Zadanie prostego, szybkiego pytania sztucznej inteligencji, zazwyczaj kończy się w miarę celną odpowiedzią. Gorzej, jeżeli chcemy spróbować wejść z nią w konwersację. Badanie potwierdza to, co większość z nas mogła zauważyć od samego początku mody na AI.
Jak rozmawiać z LLM?
Korzystanie z naturalnego sposobu wypowiedzi nie jest dla sztucznej inteligencji problemem. Czaty AI zazwyczaj rozumieją polską składnię, rozróżniają części mowy i potrafią odpowiadać na zdania wielokrotnie złożone. Jeżeli jeszcze tego nie sprawdzaliście – wystarczy skorzystać z pierwszej lepszej opcji pokroju ChatGPT czy Gemini.
Ci, którzy rozmawiali ze sztuczną inteligencją dłużej, mogli zauważyć, że ciągnące się konwersacje przestają z czasem mieć sens. AI zaczyna odpowiadać niecelnie lub przekierowuje dyskusję na zupełnie inne tory. Część osób stwierdza nawet, że AI zaczyna w pewnym momencie halucynować i publikować głupoty, a człowiek może tylko zastanawiać się, gdzie popełnił błąd.
AI lubi bredzić – badania to potwierdzają
Naukowcy z Cornell University postanowili przeanalizować ponad 200 tysięcy konwersacji prowadzonych przez użytkowników z GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnett, DeepSeek R1. Dla osób korzystających codziennie z tych rozwiązań wyniki nie powinny być zaskoczeniem – okazało się bowiem, że dłuższa konwersacja w naturalnym języku sprawia, że AI zaczyna się gubić. O ile pierwotna odpowiedź na pytanie jest bardzo trafna, o tyle z czasem wszystko zaczyna się sypać.
Za przykład niech posłuży GPT-4.1 i Gemini 2.5 Pro. Podstawowe prompty sprawiały, że AI osiągało 90% skuteczność w udzielaniu trafnych odpowiedzi. Jednak wraz z wydłużeniem dyskusji – wynik spadał do 65%. Co więcej, o ile wydajność sztucznej inteligencji spadało o 15%, o tyle skomplikowane prośby zwiększały zawodność o 112%. Taki spadek był zauważalny już przy drugim zadanym pytaniu.
Osoby odpowiedzialne za badanie AI zauważyły również, że LLM-y próbują odpowiedzieć na pytanie zanim jeszcze im je wyjaśnimy, przez co wczesne wyniki są niedokładne i mylące. Potwierdza to popularny pogląd, że dla sztucznej inteligencji liczy się, żeby odpowiedź była szybka – jej trafność jest kwestią drugorzędną.
Ostatnią obserwacją wartą opisania jest fakt, że AI często używa pierwszego zapytania jako bazy dla kolejnych pytań, nawet jeżeli temat rozmowy lekko się zmienia lub pierwotna odpowiedź jest w całości błędna. Koniec końców, komplikowanie rozmowy z AI doprowadzało do wydłużenia czasu odpowiedzi od 20 do nawet 300%.
Wniosek? Jak macie ochotę na dłuższą, mądrą pogawędkę, poszukajcie prawdziwej inteligencji – ta sztuczna wciąż sprawuje się idealnie do zadania prostych pytań, do których nie trzeba prowadzić skomplikowanej konwersacji.
