Od pojawienia się modeli rozumujących, takich jak OpenAI o1, mam wrażenie, że zamiast postępu robimy krok wstecz. Modele są klasyfikowane za pomocą dość arbitralnych benchmarków. Niektóre z nich są bardzo abstrakcyjne, jak GSM8K, który sprawdza, jak dobrze modele radzą sobie z matematyką na poziomie szkoły podstawowej. Istnieją też bardziej otwarte testy tworzone przez społeczność, a nie wyłącznie badaczy akademickich — na przykład LiveCodeBench wykorzystujący zadania między innymi z LeetCode. W tym przypadku znacznie trudniej dopasować model bezpośrednio do testu.
Moje doświadczenia od czasu pojawienia się modeli rozumujących? Nie znoszę ich. Owszem, niektóre zadania rozwiązują lepiej, zwłaszcza przy jednowierszowych promptach w rodzaju „jaka jest różnica między Next.js a Laravelem?”. Radzą sobie nawet wtedy, gdy popełnię literówkę, która w przypadku „głupszych” modeli mogłaby całkowicie wykoleić odpowiedź. Czy ta wygoda jest warta dwukrotnie wyższej ceny? Być może, ale zacząłem się zastanawiać, dlaczego stałem się tak leniwy.
Wcześniej poświęcałem 10–15 minut na przygotowanie promptu, głównie dlatego, że planowałem używać go wielokrotnie. Starannie dobierałem słowa i kolejność kroków. Dlaczego już tego nie robię?
Przede wszystkim dlatego, że przy modelach rozumujących przestało to mieć znaczenie. Nie kontroluję już w pełni kierunku rozumowania, a modele próbują przechytrzyć moje instrukcje. Kiedy zapytanie kończy się niepowodzeniem, pojawia się frustracja i poczucie, że to ja zgłupiałem.
W projektach komercyjnych, tam gdzie to możliwe, nadal staram się używać modeli sprzed ery rozumowania — dają po prostu bardziej przewidywalne wyniki. Większość dostawców wycofała już jednak modele bez rozumowania. W takiej sytuacji sugeruję ograniczyć je do minimum, na przykład przez reasoning_effort = none.
Na koniec pozostaje koszt. W ubiegłym roku abonament na modele językowe za 20 dolarów miesięcznie wystarczał mi do pracy. W tym roku nawet 200 dolarów miesięcznie wydaje się niewielką kwotą, podczas gdy jakość rezultatów pozostaje dyskusyjna.