Co to za bot? Lista crawlerów, botów AI i user-agentów

Zaglądasz do logów i widzisz nieznaną nazwę? Ta strona odpowiada na jedno pytanie: co to za bot i co z nim zrobić. Sprawdź operatora, funkcję bota, zasady robots.txt i liczbę żądań, które odnotowałam u siebie. Kolumna „logi podrez.pl” pokaże, ile żądań z nazwą danego bota w polu user-agent odnotowałam na swojej stronie między lutym a sierpniem 2026, ale czytaj te liczby jako podpowiedź, czego się spodziewać, nie jako średnią dla rynku.

Lista botów i user-agentów [wyszukiwarka]

W tabeli znajdziesz crawlery AI, klasyczne wyszukiwarki, narzędzia SEO, podglądy linków z komunikatorów, monitoring i zwykłe biblioteki HTTP. Zawęź kategorię albo wpisz nazwę – tabela filtruje się na bieżąco, a przy jednym trafieniu dostaniesz gotową odpowiedź, a tam, gdzie bot ma użyteczny token – również wpis do robots.txt.

Dlaczego robots.txt nie blokuje wszystkich botów AI?

Wpis w robots.txt nie działa tak samo na każdego bota. Crawlery chodzące po sieci z własnej inicjatywy zwykle się do niego stosują. Przy fetcherach uruchamianych przez użytkownika zaczynają się schody, bo tu każdy operator ma własną politykę.

• Crawlery automatyczne

  Chodzą po sieci z inicjatywy operatora: GPTBot, ClaudeBot, PerplexityBot, Googlebot. Respektują robots.txt i to dla nich ten plik powstał.

• Fetchery na żądanie użytkownika

  Pobierają stronę, bo konkretne działanie użytkownika tego wymagało. Tu operatorzy się różnią. Anthropic i Mistral dają osobne tokeny (Claude-User, MistralAI-User) i deklarują, że je respektują. Google, OpenAI, Perplexity i Amazon zaznaczają, że reguły mogą nie mieć zastosowania, bo żądanie inicjuje użytkownik.

• Tokeny sterujące bez bota

  Google-Extended i Applebot-Extended nie wysyłają żadnych żądań. Wpisujesz je do robots.txt, ale w logach ich nie zobaczysz. Google-Extended obejmuje trening modeli Gemini oraz grounding, czyli podawanie treści modelowi w momencie odpowiedzi. Applebot-Extended dotyczy treningu modeli Apple.

Praktyczny wniosek: zanim zablokujesz fetcher uruchamiany przez użytkownika, sprawdź politykę konkretnego operatora. Disallow dla Claude-User albo MistralAI-User faktycznie zamyka drzwi, bo Anthropic i Mistral deklarują respektowanie tych tokenów. Przy Google, OpenAI, Perplexity i Amazonie ten sam wpis jest prośbą, więc jeśli potrzebujesz pewności, dołóż regułę na poziomie serwera albo WAF-a. Jak to sprawdzić u siebie, opisałam w tekście o analizie logów serwera.

Podejrzane user-agenty: nazwy niemożliwe i wymagające weryfikacji

W moich logach trafiło się pięć nazw, których nie da się pogodzić z dokumentacją ich rzekomych operatorów. Warto je znać, bo wyglądają wiarygodnie i łatwo przepuścić je przez filtr.

Dwie z tych nazw nie mogą pochodzić od operatora, bo jego własna dokumentacja mówi, że te tokeny w ogóle nie crawlują. Trzy kolejne nie występują w aktualnej dokumentacji swoich rzekomych operatorów – to nie dowodzi podszycia, ale każe sprawdzić adres IP, zanim uznasz je za prawdziwe.

Adresy pochodzą z logów podrez.pl, luty–sierpień 2026. Liczba wystąpień: Google-Extended 31, anthropic-ai 28, Claude-Web 20, BingIndexCrawler 10, Applebot-Extended 5.

Wzorzec jest czytelny: podejrzane żądania sięgają po tokeny, które nie są user-agentami, oraz po nazwy nieobecne w aktualnej dokumentacji operatorów. Warto przy tym rozróżniać intencje. Żądania podpisane jako Google-Extended czy anthropic-ai szukały u mnie plików z hasłami i konfiguracyjnych, więc to skaner. Sama niezgodność nazwy z dokumentacją nie musi jednak oznaczać złych zamiarów – dlatego rozstrzyga adres IP, a nie sama nazwa. Problem nie dotyczy zresztą wyłącznie mojej strony – Common Crawl wprost ostrzega w swojej dokumentacji, że zna przypadki crawlerów fałszywie podających się za CCBota, i zaleca weryfikację user-agenta.

Jak sprawdzić, czy bot jest prawdziwy: weryfikacja po adresie IP

User-agenta podrabia się w dziesięć sekund, więc sama nazwa nie dowodzi niczego. Pewność daje dopiero zestawienie nazwy z adresem IP i oficjalnymi zakresami operatora, a tam gdzie to możliwe – z odwrotnym i ponownym sprawdzeniem DNS. Google testuje też kryptograficzne uwierzytelnianie botów, czyli Web Bot Auth.

Jak zablokować boty AI w robots.txt? Gotowe przykłady.

Pierwszy wariant ogranicza najważniejsze crawlery wykorzystywane do treningu modeli. Drugi blokuje osobno identyfikowane boty i fetchery systemów AI, zostawiając dostęp Googlebotowi, bingbotowi i Applebotowi. Oba są punktem wyjścia, nie uniwersalną konfiguracją dla każdej witryny.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Amzn-SearchBot
User-agent: ShapBot
Allow: /

# wyszukiwarki zostają
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
Allow: /

# trening modeli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# indeksy odpowiedzi generatywnych
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
User-agent: LinkupBot
User-agent: ShapBot
User-agent: YouBot
User-agent: Diffbot
Disallow: /

# pobrania na żądanie użytkownika
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
Disallow: /

Drugi wariant ma dziurę i lepiej o niej wiedzieć od razu. Ostatnia grupa to fetchery uruchamiane przez użytkownika, a część z nich może zignorować robots.txt. Gemini Notebook i Google-Agent nie mają nawet własnego tokenu. Jeśli blokada ma być szczelna, trzeba ją dołożyć na poziomie serwera. Przykład dla Apache i pliku .htaccess:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM|Google-Agent|GoogleProducer|ChatGPT-User|Perplexity-User|Amzn-User|Meta-ExternalFetcher|Shap-User) [NC]
RewriteRule ^ - [F,L]

Jedno zastrzeżenie, o którym łatwo zapomnieć: robots.txt nie służy do ochrony danych. Plik jest publiczny, dyrektywy nie są kontrolą dostępu, a zablokowany adres i tak może trafić do indeksu na podstawie linków z zewnątrz. Sekcje faktycznie prywatne zabezpiecza się logowaniem po stronie serwera.

Jak ograniczyć AI Overviews? O nosnippet, data-nosnippet i max-snippet

robots.txt informuje zgodne boty, czy powinny pobierać stronę. Dyrektywy meta sterują natomiast indeksowaniem i tym, jakie fragmenty mogą trafić do wyników oraz do funkcji AI. To dwie różne warstwy i przy AI Overviews druga bywa jedyną, jaka Ci zostaje.

Apple honoruje nosnippet jako rezygnację z wykorzystania treści w odpowiedziach generatywnych opartych na bieżących informacjach. Amazon deklaruje respektowanie noarchive, noindex i none, ale nie obsługuje crawl-delay.

Co boty AI pobierają z Twojej strony: treść czy pliki?

Sama liczba wizyt niewiele mówi. Ciekawsze, ile z nich trafia w podstronę z treścią, a ile w pliki CSS, obrazki i końcówki API.

Logi podrez.pl, 02.02–05.08.2026. Perplexity-User, ChatGPT-User i Claude-User trafiają głównie prosto w treść, ale sama klasa bota nie przesądza zachowania: CCBot ma wysoki udział wejść w treść, a Gemini Notebook niski.

Często zadawane pytania

Sama nazwa w logu to dopiero początek. Znacznie ciekawsze bywa to, co ten bot dostał w odpowiedzi – i czy w ogóle dostał. Jak to sprawdzić i co znalazłam u siebie, opisałam w tekście o analizie logów serwera.