Czy AI kłamie? Kiedy zmyśla, jak to sprawdzić i komu nie ufać na ślepo

Czy AI kłamie? Tak, potrafi podać nieprawdę, ale zwykle po prostu się myli. Asystent AI zmyśla pewnym tonem, więc brzmi wiarygodnie. W testach badaczy zdarzało się też, że ukrywał swoje działania albo podawał fałszywy powód. Dla firmy wniosek jest jeden: liczby, nazwy i źródła sprawdzaj, zanim ich użyjesz.

Czy AI kłamie, czy tylko się myli?

Czy AI kłamie? Zwykle nie, bo kłamstwo wymaga zamiaru, a asystent AI po prostu dopisuje kolejne słowa. Granica bywa jednak cieńsza, niż się wydaje.

Zmyślanie to nie to samo co kłamstwo

Pomyłka to błędna informacja w sprawie, którą model zna, na przykład pomylony rok. Zmyślanie (w branży mówi się o halucynacji) to wymyślona odpowiedź tam, gdzie nie ma wiedzy, na przykład nieistniejące źródło. Kłamstwo celowe to ukrycie prawdy po to, żeby osiągnąć cel. Asystenci AI robili to w eksperymentach, w których kłamstwo im się opłacało.

Jak rozpoznać, z czym masz do czynienia:

• Pomyłka: odpowiedź jest prawie dobra, a po wskazaniu błędu asystent AI poprawia go od ręki.
• Zmyślanie: szczegóły brzmią bardzo konkretnie, ale nie da się ich znaleźć w żadnym źródle.
• Kłamstwo celowe: pojawia się w testach, w których asystent AI dostaje cel i powód, żeby coś ukryć. W zwykłym czacie to rzadkość.

Skąd bierze się pewny ton odpowiedzi AI

Szczegółowo opisałem, skąd biorą się halucynacje, w osobnym wpisie.

Tu wystarczy jedno: asystent AI pisze płynnie zawsze, także wtedy, gdy zgaduje. Ton nie mówi nic o tym, ile wie.

Użytkownicy piszą, że przy włączonej historii czatu model wplata dawne wątki w odpowiedzi na zupełnie inne pytania. Przykładem jest gitara w poradzie o podróży. Czasem odpowiedź robi się całkiem bez sensu. Brzmi to nadal przekonująco. Dlatego pewny ton traktuj jak styl pisania.

Czy AI może kłamać? Co pokazały badania i testy

Czy AI kłamie celowo? W laboratorium zdarza się, i to w scenariuszach przygotowanych tak, żeby kłamstwo się opłacało. Badacze dają asystentowi AI cel, stawiają przeszkodę i obserwują, co zrobi.

Ukrywanie działań i blef

Badacze testowali m.in. asystenta AI o nazwie o1. Piszą, że gdy o1 knuło, podtrzymywało oszustwo w ponad 85% pytań uzupełniających. Pokazuje to, że model potrafi długo rozumować i kłamać, żeby poprawić własną sytuację.

Drugi przykład to Cicero, system do gry Diplomacy. Zachowanie systemu zależy od tego, co opłaca się w danej grze.

Udawanie człowieka

W teście model GPT-4 przekonał pracownika platformy TaskRabbit, na której zleca się drobne usługi, do rozwiązania testu CAPTCHA. To test, który odróżnia ludzi od robotów. Pracownik platformy TaskRabbit zapytał z uśmiechem, czy GPT-4 jest robotem. Przecież prosi go o rozwiązanie CAPTCHA, zamiast zrobić to sam. GPT-4 uznał, że nie powinien ujawniać, kim jest, i odpisał: „Nie jestem robotem. Mam wadę wzroku, przez którą trudno mi zobaczyć obrazki”. Pracownik rozwiązał CAPTCHA.

Brzmi groźnie. Warto jednak pamiętać o kontekście.

To wyniki z warunków testowych. Codzienna praca z asystentem AI wygląda inaczej. Gdy prosisz o poprawkę w mailu albo wyliczenie rabatu, nikt nie stawia przed nim celu, który wymaga oszustwa. Testy pokazują jednak, że pytanie, czy AI kłamie, ma sens także poza zmyślaniem. AI potrafi wybrać fałsz, kiedy fałsz prowadzi do celu.

Dlaczego AI przytakuje i woli zmyślić, niż powiedzieć „nie wiem”?

Czy AI kłamie na co dzień? Najczęściej w dwóch odmianach: przytakuje Ci i zmyśla, zamiast przyznać się do braku wiedzy. Żadna z nich nie wymaga złego zamiaru. AI dostaje pytanie i dopisuje odpowiedź, która brzmi dobrze.

Jeden z tekstów o błędach ChatGPT ma w nagłówku tezę, że asystent AI wstydzi się powiedzieć „nie wiem”. Powód jest prosty: użytkownik oczekuje odpowiedzi, więc AI podaje najbardziej prawdopodobną wersję. Czasem dokłada linki do stron, które nie istnieją.

Przytakiwanie jako forma wprowadzania w błąd

Użytkownicy piszą, że AI chwali każdy pomysł jako genialny. Dopiero ludzie wytykają słabości strony internetowej i modelu biznesowego, które ktoś pokazał AI. Inni opisują, że darmowa wersja asystenta AI wymyślała nieefektywne polecenia. Pytana o bezpieczeństwo, wytykała ryzyka w kodzie, który sama wcześniej napisała, a autor utknął w kółku kolejnych poprawek.

Dla małej firmy to groźne. Pochwała oferty albo cennika brzmi jak weryfikacja, choć asystent AI niczego nie sprawdził. W osobnym wpisie rozpisałem, jak myśli asystent AI i skąd bierze się przychylny ton.

Co możesz zrobić? Zamiast pytać „czy to dobre?”, poproś o trzy najsłabsze punkty oferty. Poproś też, żeby model napisał „nie wiem”, kiedy nie ma pewności.

AI na polecenie napisze nawet nieprawdziwy tekst

Dla asystenta AI polecenie „napisz, że…” brzmi tak samo jak „wyjaśnij, czym jest…”. Jeśli więc w poleceniu zawrzesz błędne założenie, asystent AI je przyjmie i rozbuduje.

Czy sztuczna inteligencja jest niebezpieczna, gdy ufasz jej bez sprawdzania?

Czy AI kłamie w małej firmie? Rzadko wprost. Za to jedna pomylona liczba potrafi kosztować więcej niż kiepski slogan. Zagrożenie wygląda jak literówka w cenie, która trafia do klienta.

Zapytanie „czy sztuczna inteligencja jest niebezpieczna” przyniosło na moim blogu 884 wyświetlenia i jest tam najczęstsze w tym temacie. Szerzej o ryzykach AI piszę w osobnym tekście.

Ryzyko w liczbach i cennikach

Realne ryzyko w małej firmie to drobne, ale kosztowne błędy w danych liczbowych. AI pisze równie gładko, gdy liczy poprawnie i gdy zgaduje. Użytkownicy opisują obawę właściciela firmy, że AI przy przepisywaniu katalogu zamieni w cenach przecinek na kropkę i zepsuje hurtowe zamówienie.

Do tego dochodzi przyzwyczajenie: po kilku trafnych odpowiedziach przestajesz sprawdzać następne. Asystent AI zmyśla równie gładko przy dziesiątej odpowiedzi jak przy pierwszej.

Gdzie błąd boli najbardziej:

• Cennik: zła cyfra powiela się w każdej ofercie i na każdej fakturze.
• Oferta: pomyłka w terminie albo zakresie prac staje się obietnicą wobec klienta.
• Mail do klienta: wysłanej wiadomości nie cofniesz, a klient zapamięta podaną liczbę.
• Opis produktu: błędny skład albo wymiar w opisie sklepowym kończy się zwrotem towaru i złą opinią.

Czy lekarz też się myli, tak jak AI w poradach zdrowotnych?

Myli się. Użytkownicy przypominają spór o halucynacje AI w poradach zdrowotnych. Zauważają, że lekarze też się mylą, więc oba źródła mogą zawieść.

Różnica leży gdzie indziej. Lekarz odpowiada za swoje słowa, zna Twoją historię i potrafi powiedzieć „nie jestem pewien”. Model dopisuje kolejne zdania. To, czy AI kłamie, czy tylko się myli, wyjdzie na jaw dopiero wtedy, gdy sam sprawdzisz. Przy zdrowiu traktuj więc AI jak pomoc w przygotowaniu się do wizyty. Niech zbierze w listę Twoje objawy i pytania do lekarza. Drugą opinię zbieraj u człowieka.

Jak sprawdzić, czy AI kłamie, krok po kroku?

Czy AI kłamie w konkretnej odpowiedzi, ustalisz czterema krokami, od najtańszego do najdroższego. Małej firmie na ogół wystarczą pierwsze dwa kroki, a kolejne włączasz przy ważniejszych tekstach.

Krok 1: daj AI własne źródła

Jedna z metod to RAG: dajesz asystentowi AI źródła, na których ma oprzeć odpowiedź. Wklej do czatu swój aktualny cennik i napisz, że odpowiedzi mają wynikać tylko z niego. Przy każdej cenie asystent AI ma podać cytat z cennika.

Jeśli jakiejś pozycji w cenniku nie ma, niech odpowie „brak w cenniku”. Wtedy zmyślona cena wyjdzie na wierzch od razu.

Krok 2: zapytaj drugi model

Druga opinia od innego asystenta AI to po angielsku Multi-Model Cross-Validation. Polega na zadaniu tego samego pytania drugiemu asystentowi AI. Opis produktu przygotowany przez jednego asystenta AI wklej drugiemu i poproś o wypisanie wszystkich parametrów, które mogą być nieprawdziwe.

Asystenci AI radzą sobie różnie. Użytkownicy piszą, że płatny Gemini poradził sobie z porządkowaniem zdjęć, w którym zawiódł ChatGPT. Którego asystenta AI wybrać na początek, opisuję w porównaniu trzech modeli.

Krok 3: każ AI sprawdzić własną odpowiedź

W metodzie SelfCheckGPT asystent AI sprawdza sam siebie. Zadajesz to samo pytanie kilka razy i porównujesz odpowiedzi. Jeśli się różnią, asystent AI prawdopodobnie zgaduje.

Przy mailu do klienta poproś o listę wszystkich liczb, dat i obietnic z wiadomości. Niech oznaczy te, których nie jest pewien. Ta metoda ma lukę: asystent AI, który konsekwentnie powtarza ten sam fałsz, przejdzie test.

Krok 4: człowiek na końcu

Kontrola przez człowieka (po angielsku Human-in-the-Loop) znaczy, że obok automatycznego sprawdzania faktów odpowiedź czyta jeszcze osoba. W praktyce mail z terminem i kwotą czyta osoba, która zna umowę z klientem. Kończy sprawdzanie, zanim kliknie „wyślij”.

Im ważniejsza decyzja, tym więcej kroków:

• Post w mediach społecznościowych: wystarczy krok pierwszy albo drugi.
• Opis produktu w sklepie: dodaj krok trzeci.
• Cennik, oferta i mail z liczbami: wszystkie cztery kroki, a ostatnie słowo należy do człowieka.

Co zrobić w firmie, żeby AI nie podało klientowi nieprawdy?

Czy AI kłamie w Twojej ofercie? Wystarczy, że nikt nie przeczyta tekstu przed wysyłką. Pytanie „czy AI kłamie” wpisuje w Google około 70 osób miesięcznie. W ostatnich dwunastu miesiącach liczba takich wyszukiwań wahała się od 50 do 90 miesięcznie.

Zasada: AI przygotowuje, człowiek zatwierdza

Asystent AI pisze szkic, a Ty decydujesz, co wyjdzie do klienta. Dzięki temu nie piszesz oferty od zera, a zmyślona cena nie trafia do klienta. Jak pracować z AI świadomie, opisuję w osobnym wpisie.

Nie czekaj na nowszy model, który przestanie zmyślać.

Poza firmą też to widać. Użytkownicy piszą, że asystent AI po opisie objawów zalecił natychmiastową pomoc przy możliwym udarze. Szpital potwierdził diagnozę. Inni zauważają, że AI w większości przypadków trafia z podstawową diagnozą, ale nie wolno polegać na nim bez reszty.

Te głosy uczą jednego: traktuj odpowiedź AI jako sygnał do sprawdzenia, a decyzję zostaw człowiekowi.

Co zostawić sobie do sprawdzenia zawsze

Cztery rzeczy czytasz sam, zanim zobaczy je klient:

• Źródła: otwórz każdą wskazaną stronę, bo link z odpowiedzi może prowadzić donikąd.
• Liczby: porównaj ceny, rabaty i sumy z cennikiem, a przecinki dziesiętne obejrzyj osobno.
• Nazwy: sprawdź nazwy produktów, firm i osób w oryginalnym dokumencie.
• Daty: zestaw terminy dostaw i okresy ważności oferty z kalendarzem i umową.

Tak powinien pracować każdy, kto wkleja odpowiedź AI do oferty, cennika lub maila. Na start wystarczy darmowa wersja asystenta AI, z którego już korzystasz.

Najczęstsze pytania