Czy AI mówi prawdę? Kiedy się myli, czym są halucynacje i jak sprawdzić odpowiedź

Czy AI mówi prawdę? Nie zawsze. AI nie kłamie celowo, bo nie ma zamiarów. Dobiera słowa najlepiej pasujące do rozmowy, więc potrafi zmyślić fakt, nazwę czy liczbę i brzmieć przy tym pewnie. Każdą liczbę, cenę i nazwę sprawdź w oryginalnym źródle, zanim trafi do oferty. Przy ważnych odpowiedziach poproś o argumenty przeciw.

Czy AI mówi prawdę, skoro brzmi tak pewnie?

Zapytaj ChatGPT o cenę, datę albo nazwę ustawy. Dostaniesz odpowiedź gładką i spokojną. Bez „chyba”. Bez „nie jestem pewien”. Skoro tak płynnie, to pewnie prawda, prawda?

Czy AI mówi prawdę? Czasem tak, czasem nie, a po tonie nie poznasz, w którym z tych przypadków jesteś. Zanim pokażę, jak to sprawdzać, rozdzielmy dwa słowa, które ludzie wrzucają do jednego worka.

Pierwsze to kłamstwo. Najlepiej pasuje mi taka definicja: kłamstwo to celowe wprowadzenie rozmówcy w błąd, żeby osiągnąć korzyść. Najważniejszy jest tu zamiar. Chatbot go nie ma. Jest zbudowany na modelu językowym, czyli programie, który dobiera słowa najbardziej pasujące do rozmowy. Nie potrafi Cię oszukać z premedytacją.

Drugie to błąd. Brak zamiaru nie oznacza braku szkody. AI poda nieistniejącą cenę równie spokojnie jak prawdziwą. Układa zdanie, które brzmi jak dobra odpowiedź, a fakty zostawia bez kontroli. Fachowa nazwa takiego błędu to halucynacja i o niej będzie dalej.

Jeśli ciekawi Cię, czy AI naprawdę kłamie, rozebrałem to osobno.

Użytkownicy piszą o tym podobnie: AI przewiduje kolejne słowa i często skłania się ku pochlebstwu oraz uspokajaniu rozmówcy. Dla właściciela małej firmy to ważna wskazówka. Zapytasz, czy Twój pomysł na ofertę jest dobry, a usłyszysz to, co miło słyszeć.

Dlatego pewny ton nie jest dowodem prawdy. AI brzmi tak samo, kiedy trafia, i tak samo, kiedy pudłuje. Człowiek, który się myli, zwykle zdradza to wahaniem albo spuszczonym wzrokiem. AI nie ma ani jednego, ani drugiego.

Pytanie „czy AI mówi prawdę” lepiej więc zamienić na inne: kiedy ta odpowiedź może mnie kosztować? Liczba w katalogu, cena w ofercie, ocena Twojego pomysłu. To trzy miejsca, w których gładki ton jest najgroźniejszy.

Czym jest halucynacja i jak wygląda w odpowiedzi AI?

Halucynacja to odpowiedź, która brzmi jak fakt, a faktem nie jest. Tak mówimy o odpowiedziach chatbotów, które są zmyślone, nieprawdziwe albo nieistotne, albo nie pasują do tego, o co prosił użytkownik. Czy AI mówi prawdę, kiedy halucynuje? Nie, choć nie robi tego ze złej woli.

Przykład: jak AI odpowiada na pytanie o góry pod Poznaniem

Jak halucynacje AI wychodzą w prostych pytaniach, opisuję w osobnym wpisie.

Gdy wytkniesz AI błąd, usłyszysz „przepraszam”, ale to nie znaczy, że teraz jest dobrze. Użytkownicy piszą, że AI zmienia odpowiedź zależnie od tonu i perspektywy rozmówcy. Po poprawce od razu przyznaje się do błędu, choć chwilę wcześniej sama podała zły wynik. Skoro skrucha przychodzi tak łatwo, nie traktuj jej jako dowodu rzetelności.

Teraz przykład z firmy. Prosisz o trzy hurtownie z Twojego regionu, a dostajesz trzy nazwy, z których jedna nie istnieje. Odpowiedź wygląda porządnie. Dopiero telefon do hurtowni pokazuje, że to pudło.

Rodzaje błędów i jak je sprawdzić

Czy AI mówi prawdę, zależy od tego, jaki błąd popełnia. Każdy rodzaj sprawdzasz inaczej, a tabela poniżej pokazuje cztery najczęstsze.

Dwa pierwsze wiersze są groźne, bo wyglądają jak wiedza. Dwa ostatnie widać szybciej, ale też potrafią Ci zabrać godzinę. Im bardziej odpowiedź przypomina fakt, tym dokładniej ją sprawdzaj.

Jak często AI się myli i czy to tylko pojedyncze wpadki?

W badaniu European Broadcasting Union, czyli europejskiego związku nadawców publicznych, dziennikarze ocenili ponad 3 tys. odpowiedzi AI z czterech usług: ChatGPT, Copilot, Gemini i Perplexity. Co najmniej jeden istotny błąd miało 45 proc. z nich. Na dziesięć odpowiedzi prawie pięć zawierało taki błąd.

Czy AI mówi prawdę w takiej skali? Częściej, niż byś chciał, a rodzaje błędów są zróżnicowane. Prawie w co trzeciej odpowiedzi (31 proc.) brakowało źródła albo podano je błędnie. W co piątej (20 proc.) pojawiły się halucynacje lub nieaktualne dane. Najgorzej wypadło Gemini: istotne błędy miały niemal trzy odpowiedzi na cztery (76 proc.), ponad dwa razy więcej niż u konkurentów.

Przy okazji: badanie dotyczyło pytań o wiadomości, nie o katalogi i cenniki. Nikt tam nie zmierzył, ile pomyłek trafi do Twojej oferty. Skala błędów jest jednak na tyle duża, że każdą odpowiedź warto sprawdzić.

Według autorów badania błędy są „systemowe”.

Błąd systemowy to błąd wynikający z samej budowy narzędzia. Dlatego wraca niezależnie od języka i platformy. Pech ani pora dnia nie mają tu znaczenia, a model sam się nie poprawia.

Jeśli codziennie piszesz z AI opisy produktów, maile i oferty, wynika z tego jedno. Dziewięćdziesiąt dobrych odpowiedzi z rzędu nie mówi nic o następnej. Jeśli wczoraj wpis w katalogu był poprawny, nie znaczy to, że dziś też taki będzie.

Zmienia się za to coś innego, i to na Twoją korzyść. Skoro błąd jest przewidywalny, możesz go wyłapywać tą samą metodą za każdym razem. Każdą liczbę i nazwę z odpowiedzi odhaczasz w oficjalnym źródle. Ta metoda najbardziej się opłaca tam, gdzie pomyłka kosztuje firmę prawdziwe pieniądze.

Co się dzieje z zaufaniem, gdy w sieci nie odróżniamy prawdy od fałszu?

Mark Matlock kandydował do brytyjskiej Izby Gmin. Sam przerobił swoje zdjęcie, między innymi dodając krawat. Resztę zrobili internauci: w sieci pojawiła się teoria, że takiego kandydata w ogóle nie ma.

Matlock nie przyszedł na liczenie głosów. Nie przyszedł, bo miał zapalenie płuc. Prawdziwy człowiek, prawdziwa choroba. Cała burza wzięła się z podejrzenia, że obraz jest fałszywy.

Autorka jednego z artykułów o tej sprawie zadaje proste pytanie. Jeśli regularnie widzisz bardzo realistyczne, cyfrowo wygenerowane obrazy, jak szybko przestaniesz wierzyć w te prawdziwe? Z odpowiedziami AI jest podobnie. Czy AI mówi prawdę, czy nie, skutek bywa ten sam. Zaczynasz podejrzewać wszystko po równo.

Dla małej firmy to bardzo praktyczna sprawa. Klient, który raz trafi na błędną cenę w Twojej ofercie, zacznie szukać błędów w reszcie. Zaufanie traci się szybciej, niż się je buduje. Odzyskanie go bywa wolniejsze od poprawienia samej liczby.

Kusi więc proste wyjście: niech inne narzędzie sprawdzi za Ciebie, czy odpowiedź zgadza się z faktami. Użytkownicy zwracają uwagę na haczyk. Kto buduje taki program, ten decyduje, co uznaje się za wiarygodne źródło. Program do sprawdzania faktów nie jest bezstronny. Ktoś mu wcześniej wskazał, której stronie wierzyć. Jeśli narzędzie zna tylko duże portale informacyjne, strona małego producenta z Twojego regionu wyda mu się niewiarygodna. Nie znajdzie jej wśród znanych źródeł.

Co możesz zrobić? Wybierz źródła sam i zapisz je na liście. Dla ceny będzie to cennik producenta, dla firmy rejestr, dla przepisu oficjalny tekst aktu. Bez takiej listy przenosisz problem z AI na program do sprawdzania faktów.

Drobny szczegół: w sprawie Matlocka BBC nie znalazło dowodów, że któryś z kandydatów był fałszywy. Podejrzenie wystarczyło jednak, żeby narobić szkody.

Czy sztuczna inteligencja jest niebezpieczna, gdy ufasz jej w małej firmie?

Według DataForSEO, serwisu, który liczy wyszukiwania w sieci, pytanie „czy AI mówi prawdę” pada w polskim Google 30 razy miesięcznie. W ostatnich dwunastu miesiącach było to od 20 do 50 razy. To mało.

Czytelnicy mojego bloga wpisali „czy sztuczna inteligencja jest niebezpieczna” i dostali 895 wyświetleń w ostatnich dziewięćdziesięciu dniach. Wyświetlenia na blogu i wyszukiwania w Google to różne miary, więc nie ustawiam ich obok siebie jako wyniku meczu. Pod wszystkimi 40 zapytaniami na ten temat czytelnicy wyświetlili blog łącznie 6704 razy. Widać z tego jedno: ludzie boją się AI, a rzadziej pytają, czy po prostu się myli.

W małej firmie niebezpieczne jest zaufanie bez sprawdzenia. Nie ma tu działu prawnego ani korekty, która wyłapie błąd przed klientem. Trzy miejsca zasługują na Twoją uwagę:

• Liczby i przecinki w katalogu. Użytkownik obawia się, że AI przy odczycie katalogu zamieni przecinek w liczbie dziesiętnej i zepsuje zamówienie hurtowe. Taki błąd wygląda jak poprawna tabela, a kosztuje jak źle policzona paleta.
• Pochlebne oceny pomysłów. Jak podaje hasło o halucynacjach AI w Wikipedii, chatbot nauczony przyjaznego tonu zwykle myli się częściej. Dzieje się tak, bo chętniej zgadza się z rozmówcą. Zapytasz o nową ofertę i usłyszysz brawa zamiast uwag.
• Szef, który traktuje AI jak ostatnią instancję. Użytkownicy opisują szefa, który sprawdza w AI każdy pomysł na ofertę i pyta handlowca, czy też zapytał AI. Pracowników to męczy i zniechęca. Gorzej, gdy tak zapada decyzja o ludziach: narzędzie nie zna Twojego zespołu.

Jeśli chcesz zobaczyć szerszy obraz, jakie ryzyko niesie AI, zajrzyj do osobnego wpisu.

Co możesz zrobić? Zacznij od listy rzeczy, które u Ciebie wychodzą na zewnątrz: cenniki, oferty, katalogi, maile do klientów. Przy każdej wpisz, kto je czyta i ile kosztuje pomyłka. Im droższy błąd, tym mniej samodzielności dla AI. Opis produktu do wpisu na blogu poprawisz na szybko, a cennik dla hurtowni wysyłasz dopiero po sprawdzeniu każdej liczby.

Resztę załatwią trzy kroki przed wysłaniem, które opisuję w ostatniej sekcji.

Jak sprawdzić odpowiedź AI, zanim wyślesz ją klientowi?

Czy AI mówi prawdę, zależy w dużej mierze od tego, jak zapytasz i co zrobisz z odpowiedzią. Poniższe trzy kroki zajmują kilka minut. Wykonuj je przed wysłaniem wszystkiego, co klient odczyta jak Twoją obietnicę: oferty, ceny i terminu dostawy.

Krok 1: powiedz AI, czego od niej oczekujesz

Napisz, czego potrzebujesz, zamiast wyliczać, co Ci w odpowiedzi nie pasuje. Podaj, kto przeczyta odpowiedź, do czego posłuży i jakie dane masz. Dopisz, że jeśli czegoś brakuje, AI ma to zgłosić, a nie zgadywać.

Użytkownicy radzą jeszcze jedno. Po kilku nietrafionych odpowiedziach zapytaj AI, jakie byłoby lepsze pierwsze pytanie.

Krok 2: poproś o argumenty przeciw

Domyślnie AI Ci przytakuje. Jeśli ciekawi Cię, dlaczego AI nam przytakuje, wyjaśniam to w osobnym wpisie.

Wystarczy więc poprosić o coś odwrotnego, na przykład: „Wskaż pięć powodów, dla których ta oferta może nie spodobać się klientom”. Użytkownicy piszą, że prośba o bezlitosną krytykę własnego pomysłu daje trzeźwiejszą ocenę niż pochlebna odpowiedź domyślna. Inni opisują AI tak optymistyczne, że każdy pomysł miał im przynosić fortunę co tydzień. To, co budziło wątpliwości prawne, uznawało za legalne.

Jedna osoba założyła firmę z pomocą AI i zdobyła klienta. Pomogło jej 16 lat doświadczenia w branży oraz prośba do AI o argumenty przeciw. Ta historia uczy jednego: kontrargumenty od AI wzmacniają wiedzę z branży, którą już masz.

Krok 3: sprawdź liczby i nazwy w źródle

To krok, którego nie pomijaj. Każdą liczbę i każdą nazwę porównaj z dokumentem, który istnieje poza rozmową z AI.

• Ceny sprawdź w aktualnym cenniku albo na stronie producenta, razem z datą.
• Nazwy firm i produktów wyszukaj w oficjalnym miejscu. Brak wyniku oznacza, że model je zmyślił.
• Liczby z katalogu przeliczaj na próbce. Zwróć uwagę na przecinki i jednostki.

Teraz ważne rozróżnienie. Przy szukaniu pomysłów na nazwę oferty, hasło albo temat wpisu zmyślanie jest zaletą, bo dostajesz dużo różnych propozycji do wyboru. Przy liczbach, cenach i nazwach to samo zmyślanie szkodzi.

Łatwo też uwierzyć w coś, co jest dla nas wygodniejsze. Gładka odpowiedź AI bywa właśnie taka. Jeśli wynik pasuje Ci aż za bardzo, na przykład AI podaje koszt dostawy niższy, niż się spodziewałeś, sprawdź go dokładniej.

Kto, kiedy i jak sprawdza odpowiedź AI przed wysłaniem

To, której AI używasz, nie zmienia zasady: sprawdzasz sam.

• Kto: każdy, kto wysyła klientowi ofertę, cenę albo liczbę. Dotyczy to właściciela, handlowca i osoby od katalogu.
• Kiedy: zawsze przed wysłaniem, a nie po pierwszej reklamacji.
• Jak: opisz cel, poproś o argumenty przeciw, a każdą liczbę i nazwę porównaj ze źródłem z własnej listy. Odpowiedź bez pokrycia w źródle zostaje w szkicu.

Najczęstsze pytania