Robots.txt dla botów AI - kogo wpuszczać, a kogo blokować

Wpisujesz w wyszukiwarkę „jak zablokować boty AI” i w trzy sekundy masz gotowy blok do wklejenia. Kopiujesz, wrzucasz do robots.txt, zamykasz temat. Wygląda na porządek. Tyle że tym jednym ruchem często odcinasz się od ruchu, który dopiero zaczynał do Ciebie płynąć z ChatGPT czy Perplexity.

Boty AI to nie jeden worek. Jedne zbierają treść na trening modeli, inne szukają na żywo, żeby zacytować Cię w odpowiedzi. Blokada jednych to zupełnie inna decyzja niż blokada drugich. Poniżej zbieram w jedno miejsce to, co przewijało się w tekstach o ChatGPT i pozostałych silnikach: kogo wpuścić świadomie, a kogo faktycznie warto zatrzymać.

Czym jest robots.txt i czy boty AI go respektują?

Robots.txt to zwykły plik tekstowy w głównym katalogu domeny, pod adresem twojadomena.pl/robots.txt. Podajesz w nim, który bot (User-agent) dokąd ma wstęp, a dokąd nie. Zablokowanie całej witryny dla jednego bota wygląda tak: „User-agent: GPTBot” w jednej linii, „Disallow: /” w drugiej.

Ważne, jak to działa naprawdę: robots.txt to prośba oparta na dobrej woli, nie zamek i nie mur. Uczciwe boty AI same przedstawiają się nazwą i trzymają się Twoich reguł. Robią tak crawlery OpenAI, Google, Anthropic i Perplexity. Zwykłe scrapery po prostu to zignorują. Dlatego robots.txt realnie zarządza dostępem tych, którzy grają fair, a akurat najwięksi dostawcy AI do nich należą.

Trening modeli czy wyszukiwanie na żywo? Dwa cele crawlerów AI

To jest sedno całej decyzji. Boty AI mają dwa różne zadania i każde znaczy dla Ciebie coś innego.

Pierwsza grupa to boty treningowe. Zbierają teksty jako materiał do uczenia przyszłych modeli. Należą do niej GPTBot od OpenAI, Google-Extended od Google oraz ClaudeBot od Anthropic. Gdy je zablokujesz, Twoja treść nie zasili kolejnych wersji modeli. Nie usuniesz jednak tego, czego modele nauczyły się wcześniej, bo blokada działa tylko w przód.

Druga grupa to boty wyszukiwania. Odwiedzają stronę na żywo i budują indeks, z którego AI cytuje źródła w odpowiedzi. To OAI-SearchBot (wyszukiwanie ChatGPT), Claude-SearchBot i PerplexityBot. Dochodzą do tego klasyczni Googlebot i Bingbot, bo część silników jedzie na ich indeksach. Ta grupa decyduje o jednym: czy w ogóle możesz zostać zacytowany.

Jak to się przekłada na piątkę, którą mierzy CiteLyzer? ChatGPT sięga po OAI-SearchBota i indeks Bing, Gemini po indeks Google, Perplexity po PerplexityBota, a AI Overviews i AI Mode po zwykły indeks Google, czyli Googlebota. Dlatego wyszukiwanie ChatGPT jedzie na indeksie Bing, a nie Google, co rozwijam w osobnym artykule.

Dlaczego reguła „blokuj wszystkie boty AI” odcina Cię od ruchu?

Bo gotowe listy z poradników wrzucają do jednego kotła oba rodzaje botów. Blokujesz GPTBota, żeby nie trenować modeli, a przy okazji na tej samej liście ląduje OAI-SearchBot i PerplexityBot. Efekt: znikasz z cytowań, czyli z tego jednego miejsca, które realnie dowozi ruch.

Warto tu rozdzielić dwa pojęcia. Wzmianka to sama nazwa firmy w odpowiedzi, bez linku, i buduje świadomość. Cytowanie to link do Twojej domeny jako źródła, i to ono zamienia się w wejścia na stronę. Kto blokuje boty wyszukiwania, ten najpierw traci cytowania. Chce się chronić przed treningiem, a odcina się od klientów, którzy pytają AI.

To nie znaczy, że blokada zawsze jest błędem. Znaczy tyle, że jedna reguła „na wszystko” podejmuje za Ciebie decyzję, której świadomie byś nie podjął.

Z własnego doświadczenia

Gdy przeglądam robots.txt firm w darmowym audycie, regułę „Disallow: /” skopiowaną w ciemno z poradnika widzę częściej, niż się spodziewałem. I prawie zawsze blokuje ona też boty wyszukiwania, czyli dokładnie te, które mogłyby daną firmę zacytować.

Piotr Czerwiński · Założyciel CiteLyzer

Jak świadomie zdecydować, kogo wpuścić?

Zamiast kopiować cudzą listę, zacznij od pytania, czego naprawdę chcesz. Zwykle sprowadza się to do jednego z trzech scenariuszy.

• Chcesz być cytowany w odpowiedziach AI: wpuść boty wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) oraz Googlebota i Bingbota. To one karmią wyszukiwanie ChatGPT, AI Overviews i AI Mode.
• Nie chcesz, żeby Twoja treść trenowała modele, ale chcesz zostać w odpowiedziach: zablokuj boty treningowe (GPTBot, Google-Extended, ClaudeBot), a boty wyszukiwania zostaw otwarte. Dostajesz szansę na cytowanie bez oddawania treści na trening.
• Nie chcesz mieć z AI nic wspólnego: zablokuj i jedne, i drugie. Rób to jednak świadomie, bo rezygnujesz wtedy z widoczności w czatach, nie tylko z treningu.

Gdzie sprawdzić własny robots.txt i jakich pułapek unikać?

Sprawdzenie zajmuje pół minuty. Wpisz w przeglądarce twojadomena.pl/robots.txt i przeczytaj plik. Szukaj linii „Disallow: /” pod „User-agent: *” albo pod nazwami botów AI. Jeśli tam są, ktoś (wtyczka, agencja, poradnik) zamknął drzwi, o których być może nie wiesz.

Najczęstsza pułapka to blokada zbyt szeroka. Reguła „Disallow: /” dla wszystkich albo skopiowana lista, która razem z botami treningowymi wycina też boty wyszukiwania. Skutek opisałem wyżej: brak cytowań.

Druga pułapka jest podstępniejsza. Blokujesz katalogi z zasobami potrzebnymi do wyświetlenia strony, na przykład foldery z CSS albo JavaScriptem. Bot wchodzi na stronę, ale widzi ją rozsypaną, bez treści i układu, więc słabiej rozumie, o czym jest. Zdarza się to przy regułach typu „Disallow: /assets/” czy „Disallow: /wp-content/”, skopiowanych bez sprawdzenia, co tam leży.

I jeszcze jedno, o czym łatwo zapomnieć: robots.txt to nie to samo co znacznik noindex. Robots.txt mówi „nie wchodź”, a strona zablokowana dla bota nie może zostać przez niego w ogóle oceniona. Blokada nie usuwa też z pamięci modeli tego, co przyswoiły wcześniej.

Podsumowanie

Robots.txt to nie jeden przełącznik „AI tak albo nie”. To lista decyzji per bot, a najważniejsza z nich rozdziela trening od wyszukiwania. Blokada botów treningowych chroni Twoją treść przed uczeniem modeli. Blokada botów wyszukiwania odcina Cię od cytowań, czyli od ruchu. Te dwie rzeczy mylą się w gotowych regułach z poradników i to dlatego tyle firm blokuje więcej, niż zamierzało.

Nie wiesz, jak wygląda Twój plik i czy przypadkiem nie zamyka drzwi botom wyszukiwania? Darmowy audyt techniczny (/pl/audyt-ai) sprawdza między innymi to, czy boty AI mają dostęp do Twojej strony. To dobry punkt wyjścia, zanim zdecydujesz, kogo wpuścić, a kogo zatrzymać.