Dlaczego ChatGPT daje różne odpowiedzi na to samo pytanie?

Zadajesz ChatGPT pytanie o najlepszą firmę w swojej branży. Dziś w odpowiedzi pada Twoja nazwa. Jutro, przy identycznym pytaniu, już jej nie ma. Na stronie nic się nie zmieniło, konkurencja nie opublikowała niczego nowego, a wynik wygląda zupełnie inaczej. Co się stało?

Najprawdopodobniej nic. Silniki AI z natury odpowiadają za każdym razem trochę inaczej, nawet na identyczny prompt. Postanowiliśmy sprawdzić, jak duża jest ta huśtawka, i przez pięć kolejnych dni mierzyliśmy widoczność jednej marki na tym samym zestawie pytań. Poniżej liczby z tego eksperymentu i wnioski, które oszczędzą Ci niepotrzebnej paniki.

Co pokazał pięciodniowy eksperyment?

Zasady były proste. Przez pięć kolejnych dni silniki AI dostawały ten sam zestaw 22 pytań o tę samą markę: te same sformułowania, ta sama kolejność, ten sam język. W tym czasie na stronie marki nie zmieniło się nic. Żadnych nowych treści, żadnych poprawek technicznych. Jedyną zmienną był dzień pomiaru.

Mimo to wyniki wahały się każdego dnia:

• Google AI Mode wymieniał markę raz w 3, raz w 5 odpowiedziach na 22 pytania.
• AI Overviews pokazywały ją w 2 do 4 odpowiedzi.
• Gemini działał naprzemiennie: pierwszego dnia wzmianka była, drugiego nie, trzeciego znów była, i tak przez całą serię.
• Łączna obecność marki, czyli odsetek odpowiedzi, w których padła jej nazwa, wahała się między 5,3% a 8,3%. Na jedno pytanie przypadało sześć odpowiedzi (po jednej z każdego mierzonego silnika i trybu), więc dziennie zbierało się ich ponad 130.

Skąd bierze się ta zmienność?

Na poziomie pojedynczego pytania rozrzut jest jeszcze większy. Skoro na pytanie przypada sześć odpowiedzi, jedna zmiana odpowiedzi modelu to skok o 17 punktów procentowych. Wystarczy, że model raz sięgnie po inne źródło, i wykres dla tego prompta wygląda jak przepaść albo rakieta. A realnie nie wydarzyło się nic.

Za tą huśtawką stoją trzy mechanizmy, wpisane w samą konstrukcję silników AI.

• Modele losują. Generując odpowiedź, model nie wybiera za każdym razem najbardziej prawdopodobnego słowa, tylko losuje spośród kilku dobrych kandydatów (to tak zwany sampling). Jedno inne słowo na początku potrafi poprowadzić całą odpowiedź w inną stronę, razem z listą wymienianych marek.
• Wyszukiwanie zwraca różne strony. Część silników przed odpowiedzią sięga do sieci. Wyniki tego wyszukiwania różnią się w zależności od momentu, więc model raz dostaje źródło z Twoją marką, a raz bez niej.
• Silnik raz szuka, raz odpowiada z pamięci. Ten sam prompt potrafi jednego dnia uruchomić wyszukiwanie, a drugiego zostać obsłużony z wiedzy zapisanej w modelu. To dwie różne ścieżki i często dwie różne odpowiedzi.

Czy to usterka, którą ktoś kiedyś naprawi?

Nie. Zmienność to cecha całej kategorii, nie błąd jednego dostawcy. Losowość jest wpisana w sposób, w jaki modele językowe tworzą tekst, a dostęp do żywej sieci tylko ją pogłębia.

Potwierdzają to badania zza oceanu. W eksperymencie opublikowanym przez amerykańską firmę badawczą SparkToro 600 ochotników uruchomiło te same prompty łącznie 2961 razy w trzech popularnych czatach AI. Szansa, że dwie odpowiedzi zwrócą identyczną listę marek, wyszła mniejsza niż 1 na 100.

Nasz pięciodniowy pomiar pokazuje więc w małej skali dokładnie to, co duże badania w wielkiej: pojedyncza odpowiedź silnika AI jest jak pojedynczy rzut kostką. O kostce mówi coś dopiero wtedy, gdy rzucisz nią wiele razy.

Co z tego wynika dla Twojej marki?

Pojedynczy pomiar to zdjęcie jednej chwili. Na start jest bezcenna, bo pokazuje, czy w ogóle istniejesz w odpowiedziach AI i obok kogo. Ale do wniosków o trendzie się nie nadaje, bo różnica między dwoma takimi zdjęciami może być zwykłym szumem.

Dlatego dwie rzeczy, których lepiej nie robić. Nie panikuj po jednym spadku: wzmianka, która dziś zniknęła, jutro często wraca sama, tak jak w naszym pomiarze Gemini. I nie świętuj po jednym skoku: pojedyncze pojawienie się w odpowiedzi może być tym samym szumem, tylko w przyjemniejszą stronę.

Warto przy tym pamiętać, co zmienia się szybko, a co wolno. Szybko zmienia się pojedyncza odpowiedź, bo o niej decyduje losowanie i wynik wyszukiwania z danej chwili. Wolno zmienia się to, z czego model korzysta: treści na stronach, wzmianki w rankingach i zestawieniach oraz opinie w sieci. Twoja praca dotyczy tej wolnej warstwy, więc i jej efekty zobaczysz w serii pomiarów, nie w pojedynczym dniu.

Decyzje o treściach, budżecie i kierunku działań podejmuj po serii pomiarów na tym samym zestawie promptów. Dopiero seria pokazuje, czy zmiana jest trwała, czy była kaprysem jednego dnia.

Z własnego doświadczenia

Gdy drugiego dnia eksperymentu Gemini przestał wymieniać markę, pierwszą myślą było szukanie winowajcy: co się zepsuło, co ruszyłem na stronie, czego nie dopilnowałem. Trzeciego dnia wzmianka wróciła sama, choć nie zmieniłem niczego. Od tamtej pory na pojedynczy spadek reaguję jednym pytaniem: czy to już trend, czy dopiero jeden rzut kostką.

Piotr Czerwiński · Założyciel CiteLyzer

Jak mierzyć widoczność w AI mimo zmienności?

Zmienności nie wyłączysz, ale możesz ją oswoić. Pomyśl o pomiarze ciśnienia: jeden odczyt tuż po wejściu po schodach nie mówi nic o zdrowiu, dlatego lekarz prosi o serię pomiarów o stałej porze, tym samym aparatem. Z widocznością w AI jest identycznie. Pomagają trzy zasady, znane z każdego porządnego pomiaru.

• Stały zestaw promptów. Porównuj zawsze te same pytania w tych samych sformułowaniach. Zmiana zestawu w trakcie to zmiana linijki, którą mierzysz: wyniki przestają być porównywalne.
• Regularny rytm. Mierz w stałych odstępach, na przykład co tydzień. Regularność zamienia chaotyczne punkty w serię, na której widać kierunek.
• Patrz na trend, nie na pojedyncze punkty. Jeden dzień może kłamać, seria pomiarów kłamie znacznie rzadziej. Jeśli obecność rośnie przez kilka kolejnych pomiarów, masz podstawy sądzić, że Twoje działania pracują.

Paradoks na koniec: zmienność to argument za monitoringiem

Brzmi przewrotnie, ale się broni. Gdyby silniki AI odpowiadały zawsze tak samo, wystarczyłby jeden pomiar w życiu. Sprawdzasz raz, zapisujesz wynik i wracasz za rok. Monitoring nie miałby sensu.

Jest odwrotnie. Odpowiedzi zmieniają się z dnia na dzień, źródła się wymieniają, a modele dostają aktualizacje. W takim środowisku pojedyncze sprawdzenie mówi niewiele. Dopiero seria pomiarów układa się w obraz: gdzie jesteś, w którą stronę to zmierza i czy po ostatnich działaniach coś drgnęło.

Zmienność nie jest więc powodem, żeby machnąć ręką na widoczność w AI. Jest powodem, żeby mierzyć ją mądrzej: stałym zestawem promptów, w stałym rytmie i z uwagą na trendzie, nie na wczorajszym wyniku. Taki pomiar możesz prowadzić ręcznie w arkuszu albo oddać narzędziu, które robi to za Ciebie.