Co to za bot? Lista crawlerów, botów AI i user-agentów

Wyszukiwarka · 120 pozycji

Lista botów i user-agentów [wyszukiwarka]

W tabeli znajdziesz crawlery AI, klasyczne wyszukiwarki, narzędzia SEO, podglądy linków z komunikatorów, monitoring i zwykłe biblioteki HTTP. Zawęź kategorię albo wpisz nazwę – tabela filtruje się na bieżąco. Kliknij nazwę bota, żeby zobaczyć kartę z jego opisem i uwagami, a tam, gdzie bot ma użyteczny token – również gotowy wpis do robots.txt. Bot z ikonką „i” ma dodatkowe uwagi.

Kolumna „Żądania” pokaże, ile żądań z nazwą danego bota w polu user-agent odnotowałam na swojej stronie między 2 lutego a 6 października 2026. Czytaj te liczby jako podpowiedź, czego się spodziewać, a nie jako średnią dla rynku – i pamiętaj, że liczą nazwy, a nie boty: pod część nazw podszywają się skanery.

Podszywanie się pod boty

Podejrzane user-agenty: nazwy niemożliwe i wymagające weryfikacji

Od czerwca 2026 w moich logach działa skaner, który podpisuje się nazwami botów AI i szuka plików z hasłami i kluczami: .env, .aws/credentials, konfiguracji Firebase. Przychodzi głównie z maszyn klientów Google Cloud i z tanich hostingów, a nazwy botów rotuje. Warto znać te nazwy, bo wyglądają wiarygodnie i łatwo przepuścić je przez filtr.

Część nazw nie może pochodzić od operatora, bo jego własna dokumentacja mówi, że te tokeny w ogóle nie crawlują. Inne to prawdziwe nazwy botów, ale żadne żądanie pod nimi nie przyszło z adresów operatora. Kolejne nie występują w żadnej dokumentacji. Ten sam skaner podpisuje się też nazwami, które w tabeli mają własne wiersze – ChatGPT-User, Claude-User, GPTBot czy Amazonbot – i zawyża ich liczby.

Logi podrez.pl, 02.02⁠–⁠06.10.2026. Liczba wystąpień: Amzn-SearchBot 244, Claude-SearchBot 213, Google-Extended 176, cohere-ai i CohereBot 60, anthropic-ai 28, Claude-Web 20, BingIndexCrawler 10, Applebot-Extended 5. Pozostałe fałszywe nazwy AI – GrokBot, xAI-Grok, xAI-SearchBot, Kimi-SearchBot, MoonshotBot, Qwenbot, DeepSeekBot, ChatGLM-Spider, Hunyuan, YiBot i MistralBot – od 20 do 38 wystąpień każda.

Wzorzec jest czytelny. Podejrzane żądania sięgają po:

• tokeny, które nie są user-agentami,
• nazwy nieobecne w dokumentacji,
• nazwy prawdziwych botów, licząc, że te przepuszcza każdy filtr.

Sama niezgodność nazwy z dokumentacją nie musi jednak oznaczać złych zamiarów – BingIndexCrawler przychodził z sieci Microsoftu i pobierał wyłącznie obrazy – dlatego rozstrzyga adres IP, a nie sama nazwa. Problem nie dotyczy zresztą wyłącznie mojej strony – Common Crawl wprost ostrzega w swojej dokumentacji, że zna przypadki crawlerów fałszywie podających się za CCBota, i zaleca weryfikację user-agenta.

Blokowanie

Jak zablokować boty AI w robots.txt? Gotowe przykłady.

Pierwszy wariant ogranicza najważniejsze crawlery wykorzystywane do treningu modeli. Drugi blokuje osobno identyfikowane boty i fetchery systemów AI, zostawiając dostęp Googlebotowi, bingbotowi i Applebotowi. Oba są punktem wyjścia, nie uniwersalną konfiguracją dla każdej witryny. Pamiętaj też, że blokada nie działa wstecz. Model już wytrenowany nie zapomni tego, czego nauczył się do swojej daty odcięcia wiedzy.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Amzn-SearchBot
User-agent: ShapBot
Allow: /

# wyszukiwarki zostają
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
Allow: /

# trening modeli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# indeksy odpowiedzi generatywnych
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: DuckAssistBot
User-agent: Amzn-SearchBot
User-agent: LinkupBot
User-agent: ShapBot
User-agent: YouBot
User-agent: Diffbot
Disallow: /

# pobrania na żądanie użytkownika
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
Disallow: /

Drugi wariant ma dziurę i lepiej o niej wiedzieć od razu. Ostatnia grupa to fetchery uruchamiane przez użytkownika, a część z nich może zignorować robots.txt. Gemini Notebook i Google-Agent nie mają nawet własnego tokenu. Jeśli blokada ma być szczelna, trzeba ją dołożyć na poziomie serwera. Przykład dla Apache i pliku .htaccess:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM|Google-Agent|GoogleProducer|ChatGPT-User|Perplexity-User|Amzn-User|Meta-ExternalFetcher|Shap-User) [NC]
RewriteRule ^ - [F,L]

Jedno zastrzeżenie, o którym łatwo zapomnieć: robots.txt nie służy do ochrony danych. Plik jest publiczny, dyrektywy nie są kontrolą dostępu, a zablokowany adres i tak może trafić do indeksu na podstawie linków z zewnątrz. Sekcje faktycznie prywatne zabezpiecza się logowaniem po stronie serwera.

Dane z moich logów

Co boty AI pobierają z Twojej strony: treść czy pliki?

Sama liczba wizyt niewiele mówi. Ciekawsze, ile z nich trafia w podstronę z treścią, a ile w pliki CSS, obrazki i końcówki API.

Logi podrez.pl, 02.02⁠–⁠06.10.2026; udane żądanie to odpowiedź ze statusem 200. Treść to każdy adres poza stroną główną, robots.txt, sitemapami, katalogami /wp-content/, /wp-includes/ i /wp-json/ oraz plikami .php. Perplexity-User, ChatGPT-User i Claude-User trafiają głównie prosto w treść, ale sama klasa bota nie przesądza zachowania: CCBot ma wysoki udział wejść w treść, a Gemini Notebook niski.

Definicja treści zmienia tu wnioski bardziej, niż się wydaje. Co czwarte udane wejście ChatGPT-User to strona główna – gdybym liczyła ją jako treść, jego udział wzrósłby do 98,6%. Wygląda to raczej na sprawdzanie, kim jest autorka strony, niż na czytanie konkretnego tekstu. Druga obserwacja dotyczy ostatnich dwóch miesięcy: od 6 sierpnia GPTBot pobierał treść tylko w 13% udanych wejść, a średnio odwiedzał stronę prawie czterokrotnie rzadziej niż wcześniej.

Logi pokazują, czy boty AI docierają do strony. Co systemy AI potem z tą treścią robią – kogo polecają Twoim klientom i do jakich źródeł odsyłają – sprawdzam w badaniach widoczności w AI.

Pytania

Często zadawane pytania