Przewodnik GEO / AI search

Boty AI w robots.txt - których wpuścić

Autor: Adrian Grabski, konsultant SEO i AI search · Opublikowano: 2026-09-04 · Aktualizacja: 2026-09-06

Które boty AI odwiedzają Twoją stronę?

Rozróżnienie, które kosztuje najwięcej firm widoczność: bot treningowy to nie to samo co bot wyszukiwania. OpenAI używa osobnych agentów do zbierania danych treningowych i do obsługi zapytań w wyszukiwarce ChatGPT.

Dwie rzeczy z tej tabeli są notorycznie mylone. Po pierwsze: AI Overviews nie mają osobnego bota - korzystają z indeksu wyszukiwarki zbieranego przez zwykłego Googlebota, więc blokada Google-Extended nie usunie Cię z AI Overviews (i odwrotnie: wpuszczenie go nic tam nie da). Po drugie, Bingbot zasługuje na uwagę, ale bez przesady: w kierunkowym badaniu Seer z ery SearchGPT 87% cytowań pokrywało się z Top 20 Bing, jednak analiza Profound (240 mln cytowań, kwiecień-lipiec 2025) pokazuje, że zbieżność źródeł ChatGPT z Bing spadła w trzy miesiące do ok. 8%, a z Google wzrosła do ok. 33%. Wniosek: nie blokuj Bingbota, ale nie traktuj Bing jako jedynej bramy do ChatGPT - dbaj o indeksację w obu wyszukiwarkach.

Osobną kategorią, której nie ma w tabeli, są boty odwiedzin na żądanie: Claude-User i Perplexity-User pobierają stronę wtedy, gdy konkretny użytkownik lub agent o nią poprosi. Nie budują indeksów, a przy regule „User-agent: * / Allow: /" przechodzą bez osobnych wpisów - wspominam o nich, bo tabela wyżej obejmuje crawlery indeksujące, a nie każdy user-agent z ekosystemu AI.

Jak powinien wyglądać poprawny robots.txt?

Jeśli chcesz być cytowany - a przy stronie eksperckiej lub firmowej zwykle chcesz - konfiguracja jest prosta:

Uwaga na szczegół, który wywraca wiele wdrożeń: sitemapa wskazana w robots.txt, która zwraca 404, jest gorsza niż jej brak. Bot dostaje wskazówkę prowadzącą donikąd. Sprawdź to jednym poleceniem curl -I na adres swojej mapy.

Dlaczego poprawny robots.txt czasem nie wystarcza?

Bo blokada może siedzieć piętro wyżej. Cloudflare potrafi blokować boty AI niezależnie od robots.txt - Bot Fight Mode oraz polityki „block AI bots" bywają włączone domyślnie dla nowych domen, w zależności od konfiguracji i daty założenia konta. Jeśli używasz Cloudflare, sprawdź te ustawienia ręcznie; reguła WAF dopuszczająca boty AI musi stać wyżej w kolejności niż reguła blokująca.

Druga typowa pułapka to rate limiting. Limit dziesięciu zapytań na sekundę potrafi uniemożliwić zindeksowanie większego serwisu. Dla znanych botów AI po prostu go zdejmij.

Jak sprawdzić, czy boty faktycznie widzą treść?

Najszybszy test zajmuje pięć sekund: wciśnij Ctrl+U i poszukaj swojej treści w źródle strony. Crawlery AI w większości nie wykonują JavaScriptu, więc jeśli w źródle są głównie puste kontenery i skrypty, dla takiego bota strona jest pusta. Ważny wyjątek: Googlebot renderuje JavaScript - i to z jego indeksu korzystają AI Overviews, więc problem dotyczy przede wszystkim ChatGPT, Claude i Perplexity, nie Google.

Wersja precyzyjniejsza, z linii poleceń - sprawdza, czy fragment Twojego tekstu istnieje w surowym HTML bez renderowania:

Trzeci wiersz jest szczególnie przydatny - pokazuje, czy serwer albo CDN nie odsyła botowi innego kodu odpowiedzi niż przeglądarce.

Czego nie robić

Nie umieszczaj kluczowej treści w obrazkach. Same modele potrafią czytać obrazy, ale crawlery indeksujące na etapie zbierania treści zwykle nie przetwarzają tekstu z grafik - nie licz na to, że specyfikacja wklejona jako zdjęcie zostanie odczytana. Cennik czy porównanie mają być tabelą HTML, nie grafiką ani PDF-em.

Nie zmieniaj adresów bez potrzeby. Stary URL bywa cytowany jeszcze przez 2–4 miesiące po przeniesieniu treści.

Nie polegaj na Google Analytics przy monitoringu botów. GA domyślnie odfiltrowuje ruch botów. Wiarygodne są tylko logi serwera albo panel na poziomie CDN - narzędzia oparte na skrypcie w przeglądarce (jak Clarity) nie widzą botów, bo boty tego skryptu nie uruchamiają.

Ile to zajmuje i co daje

To najtańsza rzecz w całym GEO: trudność najniższa, czas do efektu liczony w dniach. Jednocześnie należy do trzech ruchów, które w mojej heurystyce priorytetów dają największy efekt - obok Answer Capsule w kluczowych treściach i budowy wzmianek zewnętrznych.

Częste pytania

Powiązane materiały

Autor

Adrian Grabski

Konsultant SEO i AI search. W wyszukiwarkach od 2002 roku - przez wszystkie aktualizacje Google i teraz przez wyniki generowane przez AI. Robię audyty, prowadzę konsultacje i szkolę zespoły marketingowe.

LinkedIn YouTube @czasai Search AI Academy Kontakt