„Test myjni” sprawdza Twoją inteligencję, a nie inteligencję AI

Od niedawna widzę w sieci zalew postów, w których ludzie testują inteligencję modeli językowych prostą zagadką. Traktują je jako dowód na halucynacje AI, czyli na to, że model po prostu zmyśla.

Pytanie brzmi mniej więcej tak: „Myjnia jest 40 metrów od domu. Chcę umyć samochód. Iść pieszo czy jechać?”

Model odpowiada: idź pieszo, bo to blisko. Internet wybucha śmiechem. Bo żeby umyć samochód na myjni, samochód musi tam być. Oczywiste, prawda?

Te posty wrzucają ludzie, którzy w nagłówku profilu mają „expert od AI” albo „expert od promptów”. I wyciągają z tego wniosek, że modele językowe są głupie.

Co – paradoksalnie – pokazuje, że sami nie rozumieją, jak te modele działają.

Pozwól, że Ci to wytłumaczę. Ale zacznę od czegoś zupełnie innego.

Iluzja Mojżesza

Ile zwierząt każdego gatunku zabrał Mojżesz na arkę?

Jeśli odpowiedziałeś „po parze”, właśnie wpadłeś w pułapkę. Arkę zbudował Noe, nie Mojżesz.

Nie miej tego sobie za złe. W 1981 roku psychologowie Thomas Erickson z Uniwersytetu Kalifornijskiego i Mark Mattson z Uniwersytetu Stanowego Nowego Jorku zadali to pytanie setkom osób. 80% odpowiedziało „po parze”. Nie zauważyli błędu, mimo że doskonale wiedzieli, kto zbudował arkę. Erickson i Mattson nazwali to „iluzją Mojżesza” i od tamtej pory dziesiątki badań potwierdziły to zjawisko.

Dlaczego ludzie się na to nabierają? Bo mózg łapie schemat – Biblia, arka, zwierzęta – i schemat jest tak silny, że olewa szczegóły. Mózg nie sprawdza, czy Mojżesz to na pewno gość od Arki. Widzi wzorzec, który pasuje, i jedzie dalej.

Czterdzieści lat badań pokazało, że iluzja Mojżesza działa nawet wtedy, kiedy ludzi z góry ostrzegasz, że pytanie zawiera błąd. Badacze z Uniwersytetu w Kolonii przetestowali to na 914 osobach. Oferowali pieniądze tym, którzy wykryją pułapkę. Nie pomogło.

Nie dlatego, że badani byli głupi. Dlatego, że tak działa ludzki system poznawczy: silny wzorzec przygniata słabszy sygnał.

Zapamiętaj ten mechanizm. Za chwilę Ci się przyda.

Obciążona ruletka, czyli skąd biorą się halucynacje AI

Model językowy nie myśli. Nie ma w środku kogoś, kto czyta Twoje pytanie, drapie się po głowie i rozważa opcje.

Jak model dobiera kolejne słowa, opisałem w artykule Jak myśli AI i dlaczego ChatGPT uważa, że zadajesz „świetne pytanie”.

Model losuje z różnych opcji, ale nie z każdej po równo.

Wyobraź sobie koło fortuny. Na kole są pola różnej wielkości. Każde pole to kawałek tekstu, który model może wygenerować jako następne słowo odpowiedzi. Im częściej dany wzorzec pojawiał się w tekstach, na których model się uczył, tym większe pole na kole.

Prosty przykład: jeśli model ma dokończyć zdanie „2 + 2 = …”, pole z cyfrą „4″ zajmuje 99% koła. Ale gdzieś na kole jest maleńkie pole z cyfrą „5″, bo w danych treningowych ktoś kiedyś napisał żart albo literówkę. I raz na tysiąc prób model wylosuje tę piątkę.

Teraz wrzucasz pytanie „40 metrów, iść czy jechać?”. W miliardach tekstów, które model wchłonął, jest mnóstwo sytuacji, w których krótki dystans plus pytanie „iść czy jechać” prowadzi do jednej odpowiedzi: idź pieszo, bo to zdrowsze, tańsze, sensowniejsze. Ten wzorzec zajmuje ogromne pole na kole. 85%, może 90%.

Gdzieś z boku jest maleńkie pole: „myjnia wymaga samochodu na miejscu”. Zajmuje 10-15%. Istnieje, ale jest niewielkie.

Model kręci kołem. Prawie zawsze zatrzymuje się na tym dużym polu. Raz na kilka prób koło zatrzyma się na tym małym i model odpowie poprawnie. Ale nie dlatego, że „zrozumiał”. Po prostu wylosował inną odpowiedź (dokładnie opisuje to w tym tekście).

Dlatego ten sam model na to samo pytanie raz odpowiada źle, a raz dobrze.

Przy okazji: modele mają parametr, który reguluje, jak bardzo to losowanie jest wyrównane. Nazywa się „temperatura”. Niska temperatura sprawia, że duże pola rosną jeszcze bardziej kosztem małych – model daje przewidywalne odpowiedzi. Wysoka temperatura wyrównuje pola – więcej niespodzianek, więcej „kreatywności”, ale też więcej głupot.

Jeśli zależy Ci na niestandardowych odpowiedziach, podkręcaj temperaturę. Jeśli zależy Ci na faktach, trzymaj ją nisko.

Mojżesz i myjnia

Widzisz już, dokąd to zmierza?

Mózg łapie schemat „Biblia + arka + zwierzęta” i odpowiada automatycznie, pomijając szczegół. Model łapie wzorzec „krótki dystans + iść czy jechać” i odpowiada automatycznie, pomijając kontekst.

Mechanizm jest inny – mózg to nie algorytm – ale efekt jest bliźniaczo podobny: w obu przypadkach silne skojarzenie zjada szczegół.

Kiedy ktoś na LinkedInie wrzuca screenshot z „testem myjni” i pisze, że AI jest głupie, robi dokładnie to, co robili badani w eksperymencie Ericksona i Mattsona. Idzie za silnym skojarzeniem – „model się pomylił, czyli jest głupi” – i pomija szczegół: ktoś celowo skonstruował to pytanie tak, żeby najsilniejszy wzorzec statystyczny prowadził do złej odpowiedzi.

A potem z tego jednego zrzutu ekranu wyciąga wniosek, że AI nie powinno pisać tekstów, nie powinno analizować danych i na pewno nie zabierze nikomu pracy. Bo skoro nie ogarnia myjni, to jak ma ogarnąć cokolwiek poważnego?

To mniej więcej tak sensowne jak testowanie wzroku iluzją optyczną.

O innej pułapce naszego mózgu, która każe nam widzieć w maszynie człowieka, pisałem w artykule Dlaczego ludzie zakochują się w maszynach.

Iluzja optyczna, nie test inteligencji

Znasz zapewne iluzję Müllera-Lyera. Dwie linie tej samej długości, ale jedna wygląda na dłuższą, bo ma strzałki na końcach. Czy to znaczy, że ludzie nie potrafią mierzyć odległości? Że nie powinni prowadzić samochodów czy budować domów?

Iluzja działa, bo system wzrokowy w 99% sytuacji poprawnie interpretuje perspektywę. Tu ktoś stworzył obraz, który tę regułę łamie. I to jest ciekawe z naukowego punktu widzenia, ale nie mówi nic o tym, czy ludzie umieją mierzyć.

Test myjni to iluzja optyczna dla modeli językowych. Ktoś dobrał pytanie tak, żeby najsilniejszy wzorzec statystyczny prowadził do złej odpowiedzi. I robi z tego dowód na głupotę AI.

Modele mają prawdziwe ograniczenia. Nie budują sobie w głowie obrazu sytuacji. Nie „widzą” samochodu, myjni, człowieka. Przetwarzają tekst i szukają statystycznie najlepszego następnego słowa. Ale jednym pytaniem-pułapką tego nie pokażesz. Tak jak nie zmierzysz czyjejś inteligencji zagadką z Mojżeszem.

Jak sobie z tymi ograniczeniami radzić w codziennej pracy, piszę w artykule Dlaczego AI daje Ci przeciętne wyniki i jak to zmienić.

Następnym razem, jak zobaczysz wiralowy „test na AI”, zadaj sobie pytanie: czy to testuje rozumowanie modelu, czy spryt pytającego?