Ewelina Podrez-Siama · narzędzia i listy
Co to za bot? Lista crawlerów, botów AI i user-agentów
Ta strona odpowiada na jedno pytanie: co to za bot i co z nim zrobić.
Zaglądasz do logów i widzisz nieznaną nazwę? Sprawdź operatora, funkcję bota, zasady robots.txt i liczbę żądań, które odnotowałam u siebie.
botów i user-agentów
w tabeli
dokumentów operatorów
za tą tabelą
żądań z logów
podrez.pl
Wyszukiwarka · 148 pozycji
Lista botów i user-agentów [wyszukiwarka]
W tabeli znajdziesz crawlery AI, klasyczne wyszukiwarki, narzędzia SEO, podglądy linków z komunikatorów, monitoring i zwykłe biblioteki HTTP. Zawęź kategorię albo wpisz nazwę – tabela filtruje się na bieżąco. Kliknij nazwę bota, żeby zobaczyć kartę z jego opisem i uwagami, a tam, gdzie bot ma użyteczny token – również gotowy wpis do robots.txt. Bot z ikonką „i” ma dodatkowe uwagi.
Kolumna „Żądania” pokaże, ile żądań z nazwą danego bota w polu user-agent odnotowałam na swojej stronie między 2 lutego a 6 października 2026. Czytaj te liczby jako podpowiedź, czego się spodziewać, a nie jako średnią dla rynku – i pamiętaj, że liczą nazwy, a nie boty: pod część nazw podszywają się skanery.
Co oznaczają kategorie botów?Jedenaście klas botów, po jednym zdaniu na każdą.
- AI: trening
- zbiera treść, żeby modele się na niej uczyły
- AI: indeksy i odpowiedzi
- buduje indeks, z którego system generatywny cytuje
- Na żądanie użytkownika
- pobiera stronę, bo ktoś właśnie o coś zapytał
- Tokeny bez bota
- nie wysyłają żądań, służą tylko do wpisania w robots.txt
- Wyszukiwarki
- klasyczne wyszukiwarki i ich boty pomocnicze
- Podglądy linków
- robią miniaturkę linku w komunikatorze albo social mediach
- SEO i marketing
- narzędzia SEO, audyty i weryfikacja stron reklamowych
- Monitoring i bezpieczeństwo
- dostępność serwisu, wzmianki o marce, skanowanie nadużyć
- Badania i archiwa
- korpusy naukowe, zbiory danych i archiwizacja stron
- Narzędzia i biblioteki
- ruch uruchamiany przez przeglądarkę, wtyczkę, aplikację albo własny skrypt
- Nieznane lub podejrzane
- nie potwierdzono operatora, funkcji albo tego, czy user-agent jest prawdziwy
Tabelę można przewijać w bok →
| Bot i operator | Funkcja | Token w robots.txt | Respektuje | Żądania podrez.pl, 02.02–06.10.2026 |
|---|---|---|---|---|
| OpenAI | Trening modeli | GPTBot | Tak | 10 218 w tym 9 925 zweryfikowanych |
| Amazon | Ulepszanie produktów Amazona, może służyć do treningu modeli | Amazonbot | Tak | 8 111 w tym 7 819 zweryfikowanych |
| Anthropic | Trening modeli. Anthropic deklaruje, że od 30 października 2026 uwzględnia też wspólny token __usage_ai-training (wdraża go stopniowo), a reguła wprost dla ClaudeBota ma pierwszeństwo. | ClaudeBot | Tak | 6 789 w tym 6 518 zweryfikowanych |
| Meta | Zbieranie treści, m.in. pod trening | Meta-ExternalAgent | Deklarowane | 4 212 |
| ByteDance | Zbieranie treści pod modele ByteDance | Bytespider | Brak jednoznacznej dokumentacji | 968 |
| Common Crawl | Otwarty korpus stron, wykorzystywany m.in. do treningu | CCBot | Tak | 718 w tym 647 zweryfikowanych |
| Mistral AI | Trening modeli | MistralAI-Training | Tak | 0 |
| ElevenLabs | Trening modeli generatywnych ElevenLabs. Blokada w robots.txt oznacza dla operatora, że treść nie trafi do treningu. Listy adresów IP brak. W moich logach od 17 października do 6 listopada 2026: 502 żądania, w tym 214 pobrań wersji Markdown. | ElevenlabsCrawler | Tak | 0 |
| OpenAI | Indeks wyszukiwania ChatGPT | OAI-SearchBot | Tak | 5 891 w tym 5 604 zweryfikowane |
| Parallel | Indeks wyszukiwania Parallel, zasila jego API dla agentów AI. Wszystkie niezweryfikowane żądania to luty–lipiec, sprzed opublikowania listy adresów Parallel 14.07.2026. Od sierpnia weryfikuje się 100%. Żądania podpisuje (Web Bot Auth). | ShapBot | Tak | 5 106 w tym 3 391 zweryfikowanych |
| Linkup (linkup.so) | Indeks wyszukiwania Linkup dla API wyszukiwania i groundingu w aplikacjach AI. Linkup publikuje listę adresów IP. Od lipca 2026 nie pojawia się w moich logach. | LinkupBot | Tak | 4 935 |
| Perplexity | Indeks wyszukiwania | PerplexityBot | Tak | 3 161 w tym 2 925 zweryfikowanych |
| Exa (exa.ai) | Indeks wyszukiwarki Exa dla aplikacji AI. Bez własnej grupy w robots.txt stosuje reguły ustawione dla głównych wyszukiwarek, a dopiero potem regułę *. Żądania podpisuje (Web Bot Auth). W moich logach prawie wyłącznie od sierpnia 2026. | ExaSearchBot | Tak | 756 |
| Exa (exa.ai) | Pobieranie obrazów ze stron zaindeksowanych przez ExaSearchBota. Bez własnej grupy w robots.txt stosuje reguły dla ExaSearchBota, potem dla głównych wyszukiwarek, a na końcu regułę *. | ExaSearchBot-Images | Tak | 0 |
| Meta | Indeks wyników wyszukiwania Meta AI | Meta-WebIndexer | Tak | 401 |
| You.com | Indeks wyszukiwania | YouBot | Tak | 251 |
| Anthropic | Indeks wyszukiwania. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach. | Claude-SearchBot | Tak | 213 0 zweryfikowanych |
| DuckDuckGo | Odpowiedzi generatywne w DuckDuckGo | DuckAssistBot | Tak | 74 |
| Crawl zamawiany przez właściciela strony pod Vertex AI. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. | Google-CloudVertexBot Googlebot | Tak | 37 0 zweryfikowanych | |
| Diffbot | Wyszukiwarka i Knowledge Graph Diffbota, nie służy do treningu | Diffbot | Tak, z możliwością wyjątków umownych | 3 |
| Mistral AI | Indeks wyszukiwania dla Vibe | MistralAI-Index | Tak | 0 |
| Andi (andiai.com) | Indeks wyszukiwarki Andi. Operator deklaruje, że nie trenuje modeli AI na treściach wydawców. Respektuje też noindex. Listy adresów IP brak. W moich logach pierwszy raz 3 listopada 2026: 57 żądań na podrez.pl. Zaczął od robots.txt, potem sprawdzał ok. 40 plików dla agentów i API, m.in. llms.txt, agent-card.json i openapi.json. | Andi-SearchBot | Tak, gdy reguła wymienia go z nazwy | 0 |
| Andi (andiai.com) | Czytanie kanałów i map witryny z newsami dla wiadomości w Andi. Reguła dla AndiFeedBot dotyczy tylko kanałów, w pozostałych przypadkach obowiązują reguły dla Andi-SearchBota. | AndiFeedBot | Tak | 0 |
| SeeMe AI (Baken) | Indeks Baken dla asystenta Inka i mapy Mapr. Belgijski operator deklaruje, że dane nie służą do treningu modeli, nie są sprzedawane ani publikowane jako zbiór. Respektuje też noindex, noarchive i zastrzeżenia TDMRep. Adresy IP podaje na stronie bota. W moich logach 3 listopada 2026 na 8 serwisach: 82 żądania z adresu z tej listy, na każdym zaczął od robots.txt. Dawna nazwa: InkaIndex. | BakenBot | Tak | 0 |
| OpenAI | Pobranie na żądanie użytkownika. Zweryfikowanych jest mniej, niż się wydaje, bo OpenAI publikuje tylko bieżącą listę adresów. Większość niezweryfikowanych żądań to luty–lipiec z sieci Microsoft Azure, czyli raczej starsze pule OpenAI niż podszycia. Od sierpnia weryfikuje się 79%. | OpenAI nie dokumentuje jako tokenu sterującego | Może nie obowiązywać | 8 396 w tym 3 249 zweryfikowanych |
Pobranie źródeł dodanych przez użytkownika. Wszystkie 4064 żądania przyszły pod starą nazwą Google-NotebookLM, wszystkie z adresów Google. Nowa nazwa nie pojawiła się w moich logach ani razu – stan na 6 października 2026. Reguły blokujące powinny obejmować obie nazwy. Google podaje, że starą nazwę obsługiwało do sierpnia 2026. | brak, blokada tylko na serwerze | Zwykle nie | 4 064 wszystkie zweryfikowane | |
| Anthropic | Pobranie na żądanie użytkownika. Niezweryfikowane żądania to nie tylko skaner szukający plików z hasłami. Claude-User działa też z adresów Google Cloud, których nie było na liście Anthropic z 2 października: w moich logach z 17–26 października 51 z 81 niezweryfikowanych żądań przyszło z adresów, które są już na liście z 20 października. | Claude-User | Tak | 1 902 w tym 966 zweryfikowanych |
| Anthropic | Przeglądarka hostowana przez Anthropic, którą steruje agent Claude (m.in. w Claude Duet). Token Claude-Agent jest dopisany do zwykłego user-agenta Chrome. Anthropic publikuje adresy IP w claude.com/.well-known/sail i nie opisuje robots.txt dla tego ruchu, który odróżnia od ClaudeBota, Claude-User i Claude-SearchBota. | brak, przeglądarka agenta | Brak jednoznacznej dokumentacji | 0 |
| Pobieranie kanałów RSS i Atom dla Google News i WebSub | brak, fetcher użytkownika | Nie – Google deklaruje ignorowanie robots.txt | 1 571 w tym 1 522 zweryfikowane | |
| Odczytywanie strony na głos na żądanie użytkownika | brak, fetcher użytkownika | Nie – Google wskazuje meta tag zamiast robots.txt | 280 wszystkie zweryfikowane | |
| Perplexity | Pobranie na żądanie użytkownika. Od sierpnia 2026 żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów Perplexity. | Perplexity-User | Zwykle nie | 206 w tym 51 zweryfikowanych |
| Mistral AI | Pobranie na żądanie użytkownika Vibe, z linkiem do źródła | MistralAI-User | Tak | 180 w tym 142 zweryfikowane |
| Diffbot | Pobranie na żądanie użytkownika narzędzia. Diffbot deklaruje respektowanie robots.txt dla swoich crawli, o Diffbot-User tego nie pisze. | Diffbot-User | Brak jednoznacznej dokumentacji | 158 |
| Pobieranie stron przez Gemini Deep Research na żądanie użytkownika. Google nie wymienia go w dokumentacji fetcherów. W moich logach żądania przyszły z adresów Google. | brak, fetcher nieudokumentowany | Brak jednoznacznej dokumentacji | 93 | |
| Parallel | Pobranie strony na żądanie użytkownika Parallel | brak – Parallel opisuje go jako sygnał widoczności, nie mechanizm sterowania | Nie dotyczy | 7 0 zweryfikowanych |
| Agenci Google wykonujący zadania na żądanie użytkownika. Część żądań Google podpisuje Web Bot Auth (agent.bot.goog) i opisuje to jako funkcję eksperymentalną. | brak, blokada tylko na serwerze | Zwykle nie | 0 | |
| Amazon | Pobranie na żądanie użytkownika, np. pytanie do Alexy | Amzn-User | Może nie obowiązywać | 0 |
| Meta | Pobranie na żądanie użytkownika, m.in. przez agentów AI Meta wykonujących zadania. Meta deklaruje też użycie do oceny i ulepszania agentów AI i zaznacza, że ten bot może pomijać robots.txt. | Meta-ExternalFetcher | Bywa pomijane | 0 |
| Pobranie źródeł dodanych przez użytkownika narzędzia Pinpoint | brak, fetcher użytkownika | Zwykle nie | 0 | |
| Pobieranie adresów podanych przez twórców w metadanych rozszerzeń i motywów Chrome | brak, fetcher użytkownika | Zwykle nie | 0 | |
| Kanały skonfigurowane przez wydawcę w Google Publisher Center | brak, fetcher użytkownika | Zwykle nie | 0 | |
| Apple | Pobieranie adresów powiązanych z treściami zarejestrowanymi w Apple Podcasts | brak | Nie – Apple deklaruje, że iTMS nie stosuje robots.txt | 0 |
| ElevenLabs | Pobranie stron, które klienci ElevenLabs dodają do bazy wiedzy swoich agentów. Pobiera stronę przy dodaniu i przy odświeżeniu. Działa niezależnie od ElevenlabsCrawlera: możesz wpuścić agentów, a zablokować trening. | ElevenlabsBot | Tak | 0 |
| Exa (exa.ai) | Pobranie strony na żądanie użytkownika albo aplikacji korzystającej z API Exa. Żądania podpisuje (Web Bot Auth). Exa pisze, że robots.txt może tu nie obowiązywać, a wyłączenie z indeksu ustawia się przez ExaSearchBota. | brak, fetcher użytkownika | Może nie obowiązywać | 0 |
| Andi (andiai.com) | Pobranie strony, gdy ktoś szukający w Andi o nią poprosi | brak, fetcher użytkownika | Brak jednoznacznej dokumentacji | 0 |
| czytniki RSS | Pobranie kanału RSS w imieniu subskrybenta | brak, fetcher użytkownika | Nie – Feedly i Inoreader deklarują, że nie czytają robots.txt | 2 437 |
| Yandex | Działania użytkownika w usługach Yandex, np. pobranie strony do tłumaczenia online | brak, fetcher użytkownika | Nie uwzględnia ogólnych reguł robots.txt | 0 |
| Zgoda na trening Gemini i grounding. Każde wystąpienie tej nazwy w logach to podszycie | Google-Extended | Token sterujący, bez user-agenta | 176 wyłącznie podszycia | |
| Apple | Zgoda na trening modeli bazowych Apple (Apple Intelligence, usługi i narzędzia deweloperskie). Każde wystąpienie tej nazwy w logach to podszycie | Applebot-Extended | Token sterujący, bez user-agenta | 5 wyłącznie podszycia |
| wspólny token (szkic IETF) | Wspólny sprzeciw wobec trenowania generatywnych modeli AI u wielu dostawców naraz. Zapowiedziany 30.10.2026 przez Google, Microsoft, OpenAI i Anthropic. Anthropic deklaruje, że uwzględnia go od 30.10.2026 i wdraża stopniowo, a reguła wprost dla ClaudeBota ma pierwszeństwo. Microsoft zapowiada obsługę od 1.02.2027, Google na początku 2027, a OpenAI „w nadchodzących miesiącach”. Google zamierza traktować go jak blokadę Google-Extended, o ile Google-Extended nie ma własnej grupy. Gwiazdka (User-agent: *) go nie obejmuje (co zmienia ten token) | __usage_ai-training | Token sterujący, bez user-agenta | 0 to nie robot |
| Reguły dla Google News (news.google.com i aplikacja Google News). Googlebot-News nie ma własnego user-agenta, strony pobiera zwykły Googlebot | Googlebot-News | Token sterujący, bez user-agenta | 0 to nie robot | |
| Yandex | Wyłączenie treści z odpowiedzi Yandex AI. Zmiana działa po ponownym pobraniu strony, zwykle w ciągu 2–14 dni | YandexAdditional YandexAdditionalBot | Token sterujący, bez user-agenta | 0 to nie robot |
| Andi (andiai.com) | Reguła dla AndiBota dotyczy odpowiedzi AI w Andi, a nie wyszukiwania. Andi nie podaje dla niego user-agenta | AndiBot | Token sterujący, bez user-agenta | 0 to nie robot |
| OpenWebSearch.eu | Zastrzeżenie przed treningiem AI w otwartym indeksie OpenWebSearch.eu. Blokada nie zatrzymuje OWLera, tylko oznacza stronę w zbiorze danych jako niedostępną do treningu | OWLer-GenAI | Token sterujący, bez user-agenta | 0 to nie robot |
| Wyszukiwarka, zasila też AI Overviews i AI Mode. Niezweryfikowana część to w dużej mierze podszycia, m.in. 1000 żądań z dwóch adresów DigitalOcean w marcu. Od sierpnia weryfikuje się 92%. | Googlebot | Tak | 13 595 w tym 11 241 zweryfikowanych | |
| Microsoft | Wyszukiwarka Bing, zasila też Copilota i Microsoft 365. Od 1 lutego 2027 Microsoft deklaruje osobne preferencje dla treningu i groundingu. Nie dotyczą one indeksowania i rankingu w wynikach Binga. | bingbot | Tak | 10 079 w tym 9 809 zweryfikowanych |
| Apple | Siri, Spotlight i Safari; zasila też odpowiedzi generatywne Apple, a zebrane dane mogą służyć do treningu modeli. Bez własnej grupy w robots.txt stosuje reguły dla Googlebota. Nie obsługuje Crawl-delay. | Applebot | Tak | 4 563 w tym 4 407 zweryfikowanych |
| Huawei | Wyszukiwarka Petal Search. Huawei deklaruje, że ten sam indeks zasila też rekomendacje w Huawei Assistant i usługi AI Search. | PetalBot | Tak | 4 426 |
| Baidu | Chińska wyszukiwarka; wariant -render renderuje JavaScript | Baiduspider | Tak; Baidu deklaruje, że Baiduspider-cpro i Baiduspider-ads nie stosują robots.txt | 3 159 |
| Yandex | Wyszukiwarka Yandex | YandexBot | Tak | 2 255 |
| Yandex | Indeksowanie treści w językach innych niż rosyjski dla wyszukiwarki Yandex. Yandex deklaruje, że ten robot nie uwzględnia ogólnych reguł robots.txt i może indeksować treść, jeśli nie ma reguły wprost dla niego. | YandexComBot | Tylko reguła z jego nazwą | 0 |
| Indeksowanie grafik | Googlebot-Image Googlebot | Tak | 1 924 w tym 1 923 zweryfikowane | |
| Seznam | Czeska wyszukiwarka | SeznamBot | Tak | 1 503 |
| DuckDuckGo | Klasyczne wyniki wyszukiwania | DuckDuckBot | Tak | 995 |
| Yandex | Renderowanie JS, grafiki, favikony i strony docelowe reklam Yandex Direct. Dokumentacja Yandex rozróżnia, czy robot stosuje się do ogólnych reguł z robots.txt. YandexImages tak. YandexFavicons ignoruje reguły dla User-agent: * i trzeba go wskazać z nazwy. YandexRenderResourcesBot pobiera zasoby stron dostępnych dla YandexBota niezależnie od robots.txt, a YaDirectFetcher, sprawdzający strony docelowe reklam, robots.txt w ogóle nie używa. | własne tokeny np. YandexImages | Częściowo – w pełni tylko YandexImages | 825 |
| Amazon | Wyszukiwanie w produktach Amazona, m.in. Alexa. Bez własnej grupy w robots.txt stosuje reguły dla innych botów wyszukiwarek. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach. | Amzn-SearchBot | Tak | 244 0 zweryfikowanych |
| Microsoft | Zrzuty stron na potrzeby podglądów w Bingu. User-agent obserwowany w logach; aktualna dokumentacja Microsoftu pokazuje ten ruch jako bingbota. | brak odrębnego tokenu; obowiązują reguły dla bingbota | Zgodnie z regułami bingbota | 95 w tym 27 zweryfikowanych |
| Qwant | Francuska wyszukiwarka nastawiona na prywatność; wariant -news obsługuje Qwant News. Qwant deklaruje, że indeks zasila też odpowiedzi AI z linkiem do źródła, ale nie trenuje na nim własnych zamkniętych modeli. Blokada Qwantbota wyłącza całe indeksowanie, a nie tylko odpowiedzi AI. | Qwantbot | Tak, także Crawl-delay | 93 wszystkie zweryfikowane |
| Brave – częściowo potwierdzone | User-agent przypisywany indeksowi Brave Search. Brave pisze, że jego crawler nie przedstawia się odrębnym user-agentem i nie pobierze strony, której nie może pobrać Googlebot – robots.txt steruje nim więc przez reguły dla Googlebota. Tymczasem 6 żądań podpisanych Bravebot przyszło w marcu i kwietniu 2026 z adresów z potwierdzonym odwrotnym DNS *.searchbot.brave.app. Pozostałe 80 pochodzi z hostingów i maszyn klientów Google Cloud, bez potwierdzenia, więc samej nazwie nie warto ufać. | brak odrębnego tokenu; Brave stosuje reguły dla Googlebota | Zgodnie z regułami Googlebota | 86 w tym 6 zweryfikowanych |
| Yahoo | Wyszukiwarka Yahoo i treści partnerów dla Yahoo News, Finance i Sports. Yahoo publikuje listę adresów IP (s.yimg.com/bo/crawling/ipranges/common-crawlers.json), a odwrotny DNS kończy się na crawl.yahoo.net. | Slurp | Tak | 13 |
| Google Shopping. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. | Storebot-Google | Tak | 12 0 zweryfikowanych | |
| Sogou | Chińska wyszukiwarka. Listy adresów IP brak. Sogou podaje weryfikację przez odwrotny DNS albo podpis Web Bot Auth. | Sogou web spider | Tak | 9 |
| Mojeek | Niezależna wyszukiwarka z własnym indeksem | MojeekBot | Tak; nie obsługuje Crawl-delay | 4 |
| Indeksowanie wideo | Googlebot-Video Googlebot | Tak | 2 w tym 1 zweryfikowane | |
| Microsoft | Podglądy materiałów wideo w Bingu | BingVideoPreview | Tak | 0 |
| Ahrefs / Yep | Wyszukiwarka Yep. Operator deklaruje, że YepBot razem z AhrefsBotem buduje indeks Yep i Ahrefs | YepBot | Tak, respektuje też Crawl-delay | 0 |
| Indeksuje treści i produkty pod Piny, aktualizuje ceny i martwe linki | Pinterestbot | Tak; honoruje Crawl-delay do wartości 1, większe traktuje jak 1. Nie czyta robots.txt z subdomen | 0 | |
| ibou | Wyszukiwarka ibou. Francuska niezależna wyszukiwarka. Operator publikuje listę adresów IP i deklaruje, że nie trenuje modeli AI na zebranych danych. W moich logach od 17 października do 6 listopada 2026: 1326 żądań, w tym 936 pobrań wersji Markdown, wszystkie z adresów z listy. W okresie z tabeli ten sam operator (odwrotny DNS ibou.io) przychodził jako IbouBot/1.0: 225 żądań. | ibou-search | Tak, także Crawl-delay | 0 |
| ibou | Artykuły do aplikacji ibou Découverte i ibou Actualités. Osobna lista adresów IP. W moich logach jeszcze się nie pojawiły. | ibou-discovery ibou-news | Tak; bez obsługi Crawl-delay | 0 |
| ibou | Wyszukiwarka grafik ibou. Listę adresów IP operator zapowiada, ale jeszcze jej nie opublikował. | ibou-images | Tak; bez obsługi Crawl-delay | 0 |
| Go Away (goaw.ai) | Katalog miejsc i planer podróży Go Away. Operator pisze, że zbiera otwarte dane (Wikidata, Wikimedia Commons, GeoNames). W moich logach 4 i 6 listopada 2026 pobrał jednak 3 strony przewodnika na madeira-planner.com, za każdym razem od robots.txt. Listy adresów IP brak. | GoAwayBot | Tak; operator deklaruje dwa wyjątki (Wikimedia Commons, GeoNames) | 0 |
| Meta | Podgląd linków udostępnianych w serwisach Meta | facebookexternalhit | Bywa pomijane | 6 694 |
| Slack | Podglądy linków, pobieranie obrazów i pozostałe żądania Slacka | brak | Nie – Slack deklaruje, że nie przetwarza robots.txt | 907 |
| Microsoft | Podgląd linków pod nazwą z czasów Skype’a. Microsoft zamknął Skype’a 5 maja 2025, a ten user-agent nadal pojawia się w moich logach. Microsoft nie dokumentuje, która usługa go dziś wysyła. | brak | Brak jednoznacznej dokumentacji | 439 |
| Meta | Podgląd linków wysyłanych w WhatsAppie. Meta podaje user-agent WhatsApp/2.x z literą A, I lub N (Android, iOS, web) i pisze, że stronę pobiera w imieniu nadawcy. O robots.txt nie pisze. | brak | Brak jednoznacznej dokumentacji | 426 |
| Podgląd linków udostępnianych na LinkedInie | LinkedInBot | Brak jednoznacznej dokumentacji | 411 | |
| X (dawniej Twitter) | Podgląd linków w kartach X. Ta sama wersja dokumentacji podawała zakresy IP 199.16.156.0/22, 199.59.148.0/22 i 192.133.76.0/22 (AS13414). | Twitterbot | Tak według dokumentacji X z lutego 2026, dziś usuniętej | 56 |
| Discord | Podgląd linków na Discordzie. Discord deklaruje, że stronę pobiera tylko po wysłaniu linku w wiadomości, bez crawlowania. Publikuje listę adresów IP, o robots.txt nie pisze. | Discordbot | Brak jednoznacznej dokumentacji | 41 |
| Podgląd linków wysyłanych w Wiadomościach Google | brak, fetcher użytkownika | Zwykle nie | 15 | |
| Microsoft | Podglądy stron w produktach Microsoftu | MicrosoftPreview | Tak | 0 |
| Ahrefs | Audyt techniczny Ahrefs Site Audit. Może go uruchomić każdy użytkownik Ahrefs, ale bez weryfikacji własności najwyżej 30 adresów na minutę | AhrefsSiteAudit | Tak domyślnie; wyłączyć to może tylko zweryfikowany właściciel strony | 167 450 wszystkie zweryfikowane |
| użytkownik programu | Ręczny crawl, zwykle Twój własny albo agencji. Bez grupy dla Screaming Frog SEO Spider program stosuje reguły dla Googlebota, a dopiero potem dla User-agent: *. | Screaming Frog SEO Spider | Domyślnie tak; w płatnej wersji użytkownik może to wyłączyć i zmienić user-agenta | 16 013 |
| Ahrefs | Indeks linków i treści dla Ahrefs oraz wyszukiwarki Yep | AhrefsBot | Tak | 6 671 wszystkie zweryfikowane |
| Babbar | Indeks linków | Barkrowler | Tak | 6 615 |
| Semrush | Indeks linków (Backlink Analytics) i część narzędzi Semrush. Gotowa reguła obejmuje wszystkie 9 tokenów Semrush: sam SemrushBot blokuje tylko indeks linków, a pozostałe narzędzia mają osobne tokeny. Liczba żądań obejmuje też warianty SemrushBot-BA, -SI i pozostałe. | SemrushBot SemrushBot-BA SemrushBot-SI SemrushBot-SWA SemrushBot-OCOB SemrushBot-FT SemrushBot-ESI SplitSignalBot RyteBot | Tak | 5 790 |
| Serpstat | Indeks linków zwrotnych | serpstatbot | Tak | 3 406 |
| Majestic | Indeks linków | MJ12bot | Tak | 2 076 |
| DataForSEO | Indeks linków zwrotnych sprzedawany przez Backlinks API; według operatora bot zbiera tylko linki | DataForSeoBot | Tak | 1 450 |
| DataForSEO | Audyt techniczny On-Page API DataForSEO na zlecenie klienta API. Domyślnie respektuje robots.txt, ale klient API może to nadpisać i zmienić user-agenta. | RSiteAuditor | Tak domyślnie; klient API może to wyłączyć | 76 |
| SE Ranking | Indeks linków zwrotnych | SERankingBacklinksBot | Tak | 1 091 |
| SE Ranking | Pobieranie stron do raportów widoczności w wyszukiwarkach i odpowiedziach AI dla klientów SE Ranking. Uwzględnia Crawl-delay do 10 s. Operator podaje sposób weryfikacji przez odwrotny DNS. | SERankingPCFBot | Tak, zawsze; SE Ranking nie pozwala tego wyłączyć | 0 |
| SE Ranking | Crawler SE Ranking do Website Audit i On-Page SEO Checker. Użytkownik narzędzia może w ustawieniach projektu wyłączyć respektowanie robots.txt i zmienić user-agenta, bez weryfikacji własności strony. | SEBot-WA | Tak domyślnie | 1 082 |
| Semrush | Audyt techniczny Semrush Site Audit na zlecenie użytkownika. Reguły robots.txt może pominąć tylko właściciel strony po weryfikacji plikiem. | SiteAuditBot | Tak | 962 |
| Ocena jakości stron docelowych reklam | AdsBot-Google | Tak, ale ignoruje User-agent: * | 228 w tym 227 zweryfikowanych | |
| Crawler produktów reklamowych Google, m.in. AdSense i Google Ad Manager. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. | Mediapartners-Google | Tak, ale ignoruje User-agent: * | 103 0 zweryfikowanych | |
| Ocena jakości mobilnych stron docelowych reklam | AdsBot-Google-Mobile | Tak, ale ignoruje User-agent: * | 39 wszystkie zweryfikowane | |
| Meta | Ulepszanie reklam i innych produktów biznesowych Meta | meta-externalads | Tak | 0 |
| Microsoft | Kontrola jakości stron docelowych reklam Microsoft Advertising | adidxbot | Tak | 0 |
| Moz | Crawler budujący indeks linków Moz (Link Explorer, Links API). Moz deklaruje, że DotBot sprawdza robots.txt przy pierwszym wejściu w nowym cyklu, więc zmiany działają z opóźnieniem. | DotBot | Tak | 0 |
| Moz | Audyt techniczny Moz Pro: cotygodniowy Site Crawl w kampaniach i On-Demand Crawl na zlecenie użytkownika. Stałych adresów IP Moz nie publikuje. | rogerbot | Tak | 0 |
| OpenAI | Weryfikacja stron docelowych reklam w ChatGPT; OpenAI deklaruje też, że treść strony pomaga ustalić, kiedy reklamę pokazać. Zebrane dane nie służą do treningu modeli. Dokumentacja OpenAI dla deweloperów opisuje OAI-AdsBot z pełnym user-agentem i listą adresów IP, ale jako tagi robots.txt nadal wymienia tylko GPTBot i OAI-SearchBot. Artykuł pomocy dla reklamodawców (aktualizacja z listopada 2026) każe sprawdzić robots.txt strony docelowej jako jedną z możliwych blokad. Blokada tego bota uniemożliwia weryfikację reklam w ChatGPT. | OAI-AdsBot | Tak | 0 |
| AgentData (agentdata.run) | Baza danych o firmach: technologie strony, dane firmy i członkowie zespołu. Według operatora pobiera tylko HTML (najwyżej 1 żądanie na sekundę) i nie próbuje się logować. Listy adresów IP brak. W moich logach od 8 października 2026: 13 żądań na podrez.pl i foxstrategy.pl, m.in. media kit i strona główna. | AgentDataBot | Tak | 0 |
| Hunter (velen.io) | Crawler Hunter budujący zbiory danych o firmach i modele uczenia maszynowego. Operator deklaruje, że respektuje robots.txt i meta tagi oraz pobiera najwyżej jedną stronę co 2 sekundy. | VelenPublicWebCrawler | Tak | – w liczbie wiersza „niezidentyfikowane” |
| UptimeRobot | Monitoring dostępności strony, zwykle uruchomiony przez właściciela | UptimeRobot | Nie dotyczy | 69 895 |
| Awario | Monitoring wzmianek o markach. W robots.txt Awario podaje tokeny AwarioSmartBot i AwarioRssBot; liczba żądań dotyczy user-agenta AwarioBot. | AwarioSmartBot AwarioRssBot | Tak | 1 797 |
| badania bezpieczeństwa i inwentaryzacja domen | Skanowanie publicznej powierzchni serwisów i statystyki domen. Netcraft i StormIntel zasad nie publikują. CheckMarkNetwork i OI-Crawler mają osobny wiersz niżej. | własne tokeny | Brak jednoznacznej dokumentacji | 71 razem z CheckMarkNetwork i OI-Crawler |
| CheckMark Network, OpenINTEL | Ochrona marek (CheckMark Network) i pomiary domen projektu OpenINTEL. Obaj operatorzy deklarują respektowanie robots.txt. OI-Crawler pobiera robots.txt i stronę główną domeny. | CheckMarkNetwork OI-Crawler | Tak | – w liczbie wiersza wyżej |
| agenttru.st | Katalog agentów AI: sprawdza, czy strona publikuje agenta albo serwer MCP. Adresy stron bierze z publicznych logów Certificate Transparency i pyta o pliki z /.well-known/, m.in. agent-card.json, agent.json i mcp/server-card.json. Operator publikuje 10 adresów IP. W moich logach 5 listopada 2026 na 4 serwisach: 52 żądania z dwóch adresów z listy, na każdym od robots.txt. Dawna nazwa: agenttrust-collector. | AgentTrustBot agenttrust-collector | Tak | 0 |
| Wykrywanie malware i nadużyć pod publicznie udostępnianymi linkami | brak | Nie – Google deklaruje ignorowanie robots.txt | 61 wszystkie zweryfikowane | |
| wywiad o zagrożeniach (Recorded Future) | Wywiad o zagrożeniach i śledzenie wzmianek w sieci. Recorded Future zasad dla swojego crawlera nie publikuje. Buck (Hypefactors) ma osobny wiersz niżej. | własne tokeny | Brak jednoznacznej dokumentacji | 47 razem z Buck |
| Hypefactors | Monitoring mediów Hypefactors: śledzenie wzmianek o markach i tematach. Hypefactors deklaruje, że Buck respektuje robots.txt i kasuje dane starsze niż 90 dni. Token w regule to nazwa z user-agenta, bo Hypefactors nie podaje go wprost. | Buck | Tak | – w liczbie wiersza wyżej |
| różni operatorzy, m.in. NVIDIA | Narzędzia do budowania zbiorów obrazów i dokumentów, m.in. pod trening modeli. W moich logach pod nazwami ImageBot, nvidiabot i cc-download, prawie wyłącznie obrazy i PDF-y. Domyślnie przedstawiają się jak zwykła przeglądarka, a nazwa narzędzia trafia do logu tylko wtedy, gdy użytkownik ją dopisze. | brak | Nie czytają robots.txt; domyślnie pomijają pliki z nagłówkiem X-Robots-Tag noai lub noimageai | 3 591 |
| Internet Archive | Archiwizacja stron w Wayback Machine, także w zbiorach instytucji w usłudze Archive-It. Wykluczenie archiwów swojej witryny zgłasza się na info@archive.org. | archive.org_bot | Domyślnie tak; klienci Archive-It mogą to wyłączyć | 1 504 |
| OpenWebSearch.eu (Uniwersytet w Pasawie) | Crawler europejskiego projektu otwartego indeksu OpenWebSearch.eu. W moich logach z sieci centrum obliczeniowego Leibniz-Rechenzentrum. | OWLer | Tak, także Crawl-delay | 211 |
| Carnegie Mellon University | Akademicki crawler badawczy Language Technologies Institute na Carnegie Mellon University. CMU deklaruje, że zbiera dane wyłącznie do badań. Rezygnację można zgłosić też formularzem na stronie bota. | ClueWeb-Crawler | Tak, także Crawl-delay | 174 |
| Słowacka Akademia Nauk | Budowa publicznych korpusów językowych | brak | Brak jednoznacznej dokumentacji | 79 |
| Speridlabs | Deklarowane badania („research use”) laboratorium AI, które buduje modele 3D i generowania obrazów. Strona bota podana w user-agencie zwraca błąd 404 (8 listopada 2026). W moich logach tylko 1 listopada 2026: 492 żądania z adresów AWS na 3 serwisach, w tym 305 obrazów i ani jednej strony HTML. | SperidLabsResearchCrawler | Brak jednoznacznej dokumentacji | 0 |
| Crawler ogólnego przeznaczenia. Google deklaruje, że reguły dla GoogleOther nie wpływają na żaden produkt, a crawler służy m.in. do jednorazowych crawli badawczych. | GoogleOther | Tak | 1 146 w tym 1 119 zweryfikowanych | |
| Odmiany GoogleOther dla publicznych obrazów i filmów | GoogleOther-Image GoogleOther-Video GoogleOther | Tak | 44 wszystkie zweryfikowane | |
| WP Rocket | Wtyczka cache: Preload buduje cache, a Pre-fetch Home Links pobiera stronę główną, żeby wybrać strony do wstępnej analizy elementów priorytetowych. Twój własny ruch. U mnie to największa pozycja w całej tabeli. | brak | Nie dotyczy | 418 899 |
| WP Rocket | Usługa WP Rocket pobierająca strony i pliki z serwerów operatora na potrzeby optymalizacji. Też Twój własny ruch, jeśli używasz WP Rocket | brak | Nie dotyczy | 183 835 |
| dowolny skrypt | Nie boty, tylko biblioteki do pobierania stron. Za każdą stoi człowiek albo cudzy program | brak | Zależy od programu: Scrapy (w nowych projektach) i Wget (przy pobieraniu rekursywnym) domyślnie respektują robots.txt, pozostałe niczego nie sprawdzają | 25 903 |
| Cloudflare | Endpoint /crawl usługi Browser Run (dawniej Browser Rendering): klient Cloudflare pobiera całą witrynę jednym zapytaniem do API. Cloudflare deklaruje, że endpoint respektuje robots.txt (także Crawl-delay), ustawienia AI Crawl Control i sygnały Content-Signal. Żądania przychodzą z adresów Cloudflare, więc z logu nie dowiesz się, kto zlecił pobranie ani po co. W moich logach od 5 listopada 2026: 47 żądań na ms-fox.pl i podrez.pl, za każdym razem od robots.txt i mapy witryny. | CloudflareBrowserRenderingCrawler | Tak | 0 |
| Testy Lighthouse i PageSpeed Insights uruchamiane na żądanie: ręcznie albo automatycznie przez API PageSpeed Insights | brak | Nie dotyczy | 14 508 | |
| Narzędzia testowe Google Search: test wyników z elementami rozszerzonymi i sprawdzanie adresu URL w Search Console | Google-InspectionTool Googlebot | Tak | 7 264 w tym 7 262 zweryfikowane | |
| Rank Math | Moduł AI Link Genius we wtyczce Rank Math sprawdza linki wewnętrzne i zewnętrzne. Jeśli masz Rank Math, część tego ruchu jest Twoja, ale takie żądania wysyłają też cudze strony z Rank Math, które linkują do Ciebie. | RankMath | Tak – linki zablokowane w robots.txt Rank Math oznacza jako „Robots blocked” | 2 148 |
| Pobiera tylko plik /.well-known/traffic-advice, którym możesz ograniczyć albo wyłączyć prefetch stron przez Chrome. W moich logach od 7 października do 7 listopada 2026 na 9 serwisach: 2266 żądań, wszystkie o ten plik (404) i wszystkie z adresów Google. Same prefetche idą z okrojonym user-agentem przeglądarki i nagłówkiem Sec-Purpose, więc w zwykłym logu ich nie rozpoznasz. | brak | Nie dotyczy – prefetch ogranicza plik traffic-advice, nie robots.txt | 2 064 wszystkie zweryfikowane | |
| Microsoft (aplikacja Bing) | Przeglądarka wbudowana w aplikację Bing na Androidzie. Za tym ruchem stoi człowiek, nie crawler. Nie ma go na liście crawlerów Microsoftu. | brak | Nie dotyczy | 76 |
| Sprawdzenie potwierdzenia własności strony w Search Console | brak, fetcher użytkownika | Zwykle nie | 18 wszystkie zweryfikowane | |
| dowolny użytkownik | Biblioteka Pythona do budowania zbiorów danych. Ktoś pobierał treść do własnego zestawu | brak | Nie dotyczy – zależy od skryptu | 14 |
| Dostarczanie powiadomień push z interfejsów API Google na adresy zarejestrowane przez deweloperów | APIs-Google | Tak, ale ignoruje User-agent: * | 0 | |
| Yahoo! JAPAN (LY Corporation) | System Yahoo! JAPAN sprawdzający strony, do których linkują serwisy Yahoo! JAPAN. LY Corporation wymienia go osobno od swoich crawlerów i nic nie pisze o robots.txt. Nazwa bywa zapisywana bez wykrzyknika (YJ-DLC). W moich logach wszystkie żądania z sieci LY Corporation, z potwierdzonym odwrotnym DNS *.yahoo.co.jp. | brak | Brak jednoznacznej dokumentacji | 87 |
| podszycie – sieci domowe w Indiach | Ataki na logowanie przez /xmlrpc.php pod nazwą wtyczki Jetpack. Jeśli nie używasz Jetpacka, każde takie żądanie jest podejrzane. Jetpack deklaruje, że prawdziwe żądania przychodzą tylko z jego zakresów IPv4 (jetpack.com/ips-v4.txt) i mają w adresie for=jetpack oraz podpis, a goły /xmlrpc.php nie pochodzi od Jetpacka. | brak | Nie dotyczy – blokuj na serwerze | 12 405 |
| nieustalony | Brak dokumentacji i możliwości ustalenia operatora. Oceniaj po zachowaniu | brak | Nieznane | 4 608 razem z VelenPublicWebCrawler |
| brak aktywnego operatora (Exalead.com wycofane) | Dawny crawler wyszukiwarki Exalead. Dassault Systèmes deklaruje, że Exalead.com wycofano jako osobną usługę, a domena exabot.com jest na sprzedaż. W moich logach 97 z 98 żądań to goły user-agent Exabot z hostingów, pobierający tylko robots.txt. | Exabot | Nie dotyczy – brak aktywnego operatora | 98 |
| nieustalony – Cohere deklaruje brak bota | Nazwy przypisywane Cohere. Cohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening, a CohereBot podaje tylko jako przykład przyszłej reguły. W moich logach wszystkie żądania pochodzą od skanera. | cohere-ai CohereBot | Nie dotyczy – Cohere nie deklaruje aktywnego bota | 60 żadne od Cohere |
| 2ip.io | Usługa sprawdzania adresów IP i stron | 2ip bot | Brak jednoznacznej dokumentacji | 51 |
| nieznany | Zbieranie adresów e-mail. Jedyna pozycja, przy której blokada nie wymaga namysłu | EmailCrawler | Nieznane; jeśli chcesz mieć pewność, blokuj na serwerze | 21 |
Jeśli blokujesz NotebookLM, zablokuj obie nazwy. 16 lipca 2026 Google zmieniło w dokumentacji nazwę user-agenta z Google-NotebookLM na Google-GeminiNotebook i zapowiedziało wsparcie starej nazwy do sierpnia 2026. W praktyce do 6 października 2026 wszystkie 4064 żądania tego fetchera przyszły u mnie pod starą nazwą i z adresów Google, a nowa nie pojawiła się ani razu. Reguła w .htaccess albo w WAF-ie musi więc obejmować obie: starą, bo nadal działa, i nową, bo według dokumentacji może ją zastąpić w każdej chwili.
Jak powstała ta tabela
Funkcje i tokeny sprawdziłam w dokumentacji operatorów wszędzie tam, gdzie taka dokumentacja istnieje. Pozycje bez oficjalnego źródła opisuję na podstawie pełnego user-agenta, adresu podanego w jego ciągu i zachowania w logach – brak potwierdzenia jest wyraźnie oznaczony. Dane o częstotliwości pochodzą z ponad 2,6 mln żądań w logach podrez.pl za okres od 2 lutego do 6 października 2026.
Każde żądanie liczę w jednym wierszu – tym, którego nazwa stoi w user-agencie najwcześniej – więc na przykład Googlebot-Image nie liczy się drugi raz jako Googlebot. Część pozycji grupuje kilka pokrewnych user-agentów jednego operatora, więc nazw jest więcej niż wierszy.
Tabela liczy nazwy, nie boty. Pod nazwy części botów AI podszywają się skanery, dlatego przy niektórych pozycjach podaję, ile żądań przeszło weryfikację po adresie IP.
Opracowanie: Ewelina Podrez-Siama, SEO od 2009 roku. Ostatnia aktualizacja: 8 listopada 2026.
Źródła: dokumentacja operatorów botówDziewięćdziesiąt siedem dokumentów, w których sprawdzałam tokeny, funkcje i zasady. Każdy można sprawdzić samodzielnie.
OpenAI
Overview of OpenAI Crawlers – GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot
Advertiser Guidance for Allowing OpenAI Web Crawlers – token OAI-AdsBot i respektowanie reguł
Ułatwiamy witrynom określanie preferencji dotyczących trenowania AI – token __usage_ai-training
Anthropic
Does Anthropic crawl data from the web… – ClaudeBot, Claude-User, Claude-SearchBot
Claude-Agent – przeglądarki hostowane przez Anthropic i adresy IP
Perplexity
Perplexity Crawlers – PerplexityBot, Perplexity-User, listy adresów IP
Google
Google’s common crawlers – Googlebot, GoogleOther, Google-Extended, Google-CloudVertexBot
Google special-case crawlers – AdsBot, Mediapartners, APIs-Google, Google-Safety
Google user-triggered fetchers – Gemini Notebook, Google-Agent, GoogleProducer
Verify requests from Google – trzy klasy botów, trzy pliki JSON, odwrotny DNS
Changelog dokumentacji crawlerów – daty zmian, m.in. 17.09.2026, 16.07.2026 i 20.03.2026
AI Features and Your Website – dyrektywy podglądu wobec AI Overviews i AI Mode
Supporting a shared AI training control for websites – token __usage_ai-training i Google-Extended
Feedfetcher – ignorowanie robots.txt, blokada kodem 404 lub 410
Google Read Aloud user agent – meta tag nopagereadaloud
APIs-Google user agent
Authenticate requests with Web Bot Auth – Google-Agent
PageSpeed Insights API – automatyczne testy Lighthouse
Apple
About Applebot – Applebot, Applebot-Extended, iTMS, lista adresów IP, dziedziczenie reguł po Googlebocie
Meta
Meta Web Crawlers – meta-externalagent, meta-webindexer, meta-externalfetcher, facebookexternalhit; dwa ostatnie mogą pomijać robots.txt
WhatsApp – Link Previews
Amazon
Amazon Web Search crawlers – Amazonbot, Amzn-SearchBot, Amzn-User, trzy listy adresów IP
Mistral AI
Mistral crawlers – MistralAI-Training, MistralAI-Index, MistralAI-User
Microsoft
Overview of Bing crawlers – bingbot, adidxbot, BingPreview, MicrosoftPreview, BingVideoPreview
Your content, your choice: clearer preferences for training and grounding – token __usage_ai-training
Inne wyszukiwarki
DuckDuckGo – DuckDuckBot i DuckAssistBot – respektowanie reguł, listy adresów IP
YouBot – robots.txt, Crawl-delay, odwrotny DNS
Yandex – roboty w logach serwera – które roboty stosują się do reguł ogólnych, odwrotny DNS
Seznam – Crawling control
Petal Search – PetalBot
Baidu – Baiduspider – deklaracja przestrzegania protokołu robots
Sogou – spider i robots.txt
Sogou – pomoc dla webmasterów
Yahoo – Why is Slurp crawling my page? – także weryfikacja po adresie IP
Mojeek – MojeekBot
ibou – crawlery – ibou-search, ibou-discovery, ibou-news, ibou-images i listy adresów IP
Andi – Andi-SearchBot
Go Away – GoAwayBot
Yahoo! JAPAN – Y!J-DLC (po japońsku)
Yandex – YandexAdditional – odpowiedzi Yandex AI
Qwant and AI Training Data
Narzędzia SEO
Semrush – SemrushBot i SiteAuditBot
Majestic – MJ12bot
Serpstat – serpstatbot
DataForSEO – DataForSeoBot
SE Ranking – SERankingBacklinksBot
Babbar – Barkrowler
SE Ranking – SEBot-WA – crawler Website Audit, odwrotny DNS
Awario Crawlers – AwarioSmartBot i AwarioRssBot
Screaming Frog – robots.txt
Moz – DotBot
Moz – rogerbot
SE Ranking – SERankingPCFBot
DataForSEO – On-Page API – RSiteAuditor
Hunter – Velen crawler
Pozostali operatorzy
Common Crawl – CCBot
Parallel – ShapBot i Shap-User – wersja z 11.08.2026
Cohere Web Crawlers – deklaracja, że Cohere obecnie nie używa botów do zbierania treści pod trening
Qwant – QwantBot i robots.txt – warianty user-agenta, lista adresów IP, Crawl-delay
Ahrefs Bots – AhrefsBot, AhrefsSiteAudit, listy adresów IP
Slack Robots – trzy agenty i deklaracja o nierespektowaniu reguł
Yep – YepBot
Pinterest – Pinterestbot
Diffbot – Does Diffbot respect robots.txt?
Brave Search Crawler
ElevenLabs bots – ElevenlabsCrawler i ElevenlabsBot
Baken – BakenBot – zasady danych i adresy IP
agenttru.st – AgentTrustBot – pobierane pliki i adresy IP
AgentData – AgentDataBot
Cloudflare – robots.txt and sitemaps – CloudflareBrowserRenderingCrawler
Cloudflare – Crawl entire websites with a single API call – endpoint /crawl, robots.txt i AI Crawl Control
Exa – ExaSearchBot
Exa – ExaUser
Exa – ExaSearchBot-Images
Linkup – LinkupBot i lista adresów IP
OpenWebSearch.eu – How Owler crawls – także OWLer-GenAI
CMU – ClueWeb Crawler
Inoreader Fetcher
Feedly Fetcher
CheckMark Network – crawler
OpenINTEL – web crawl
Hypefactors – Buck
Scrapy – ROBOTSTXT_OBEY
GNU Wget – Robot Exclusion
img2dataset – opt-out directives
Rank Math – AI Link Genius
Cloudflare – /crawl endpoint – Crawl-delay i Content-Signal
Discord – Link Previews and the Discordbot
X – Troubleshooting Cards – kopia z 6.02.2026 w Web Archive, dziś usunięte
Jetpack – IP allowlist
Archive-It – robots.txt exclusions – kopia z 17.03.2026 w Web Archive
Internet Archive – removal requests
OpenWebSearch.eu – Owler at a glance
Kontekst
Cloudflare – Your site, your rules: new AI traffic options – kategorie Search, Agent i Training, ustawienia domyślne od 15.09.2026 i blokada crawlerów wielofunkcyjnych przy blokadzie kategorii Training
IETF – Machine-Readable Training Preference Signal (draft) – token __usage_ai-training
Dassault Systèmes – Exalead.com retired
Wszystkie odnośniki sprawdzone 8 listopada 2026. Pozycje w tabeli oznaczone jako „brak jednoznacznej dokumentacji” albo nie mają odpowiednika na tej liście, albo ich dokumentacja nic nie mówi o robots.txt – opisuję je na podstawie user-agenta i zachowania w logach.
Weryfikacja. Przy części pozycji podaję pod liczbą, ile żądań przeszło weryfikację: adres IP z oficjalnej listy operatora albo odwrotny DNS w jego domenie, potwierdzony zapytaniem w przód. Listy pobrałam 7 października 2026, więc starsze żądania z adresów, których operator już nie używa, mogą wypaść jako niezweryfikowane. Dlatego nie oznaczam w ten sposób ChatGPT-User i ShapBota – ich niezweryfikowane żądania pochodzą głównie z lutego–lipca, a od sierpnia weryfikuje się odpowiednio 79% i 100%.
Kolumna „respektuje robots.txt”. Opiera się na dokumentacji operatora, nie na moich testach. „Deklarowane” znaczy, że operator tak twierdzi, ale krążą raporty o odstępstwach. „Brak jednoznacznej dokumentacji” znaczy dokładnie to, co mówi – nie znalazłam wiarygodnego źródła i nie zgaduję.
robots.txt
Dlaczego robots.txt nie blokuje wszystkich botów AI?
Wpis w robots.txt nie działa tak samo na każdego bota. Crawlery chodzące po sieci z własnej inicjatywy zwykle się do niego stosują. Przy fetcherach uruchamianych przez użytkownika zaczynają się schody, bo tu każdy operator ma własną politykę.
Crawlery automatyczne
Chodzą po sieci z inicjatywy operatora: GPTBot, ClaudeBot, PerplexityBot, Googlebot. Respektują
robots.txti to dla nich ten plik powstał.Fetchery na żądanie użytkownika
Pobierają stronę, bo konkretne działanie użytkownika tego wymagało. Tu operatorzy się różnią. Anthropic i Mistral dają osobne tokeny (
Claude-User,MistralAI-User) i deklarują, że je respektują. Google, OpenAI, Perplexity, Amazon i Meta zaznaczają, że reguły mogą nie mieć zastosowania, bo żądanie inicjuje użytkownik.Tokeny sterujące bez bota
Google-ExtendediApplebot-Extendednie wysyłają żadnych żądań. Wpisujesz je dorobots.txt, ale w logach ich nie zobaczysz. Google-Extended obejmuje trening modeli Gemini oraz grounding, czyli podawanie treści modelowi w momencie odpowiedzi. Applebot-Extended dotyczy treningu modeli Apple.
Praktyczny wniosek: zanim zablokujesz fetcher uruchamiany przez użytkownika, sprawdź politykę konkretnego operatora. Disallow dla Claude-User albo MistralAI-User faktycznie zamyka drzwi, bo Anthropic i Mistral deklarują respektowanie tych tokenów. Przy Google, OpenAI, Perplexity, Amazonie i Mecie ten sam wpis jest prośbą, więc jeśli potrzebujesz pewności, dołóż regułę na poziomie serwera albo WAF-a. Jak to sprawdzić u siebie, opisałam w tekście o analizie logów serwera.
Podszywanie się pod boty
Podejrzane user-agenty: nazwy niemożliwe i wymagające weryfikacji
Od czerwca 2026 w moich logach działa skaner, który podpisuje się nazwami botów AI i szuka plików z hasłami i kluczami: .env, .aws/credentials, konfiguracji Firebase. Przychodzi głównie z maszyn klientów Google Cloud i z tanich hostingów, a nazwy botów rotuje. Warto znać te nazwy, bo wyglądają wiarygodnie i łatwo przepuścić je przez filtr.
Część nazw nie może pochodzić od operatora, bo jego własna dokumentacja mówi, że te tokeny w ogóle nie crawlują. Inne to prawdziwe nazwy botów, ale żadne żądanie pod nimi nie przyszło z adresów operatora. Kolejne nie występują w żadnej dokumentacji. Ten sam skaner podpisuje się też nazwami, które w tabeli mają własne wiersze – ChatGPT-User, Claude-User, GPTBot czy Amazonbot – i zawyża ich liczby.
| Nazwa w logu | Status | Dlaczego | Czego szukała u mnie |
|---|---|---|---|
Google-Extended | Niemożliwa | Token sterujący w robots.txt, Google nie wysyła nim żądań | /.aws/credentials, /.env.test |
Applebot-Extended | Niemożliwa | Apple pisze wprost, że ten token nie crawluje stron | /privatekey.key, /secrets.json |
Claude-SearchBot | Podszycie | Prawdziwa nazwa bota Anthropic, ale żadne żądanie nie przyszło z adresów z listy Anthropic | pliki z hasłami i kluczami |
Amzn-SearchBot | Podszycie | Prawdziwa nazwa bota Amazona, ale żadne żądanie nie przyszło z adresów Amazona | pliki z hasłami i kluczami |
anthropic-ai | Skaner | Nazwa spoza aktualnej dokumentacji Anthropic | /__/firebase/init.json, /env.js |
Claude-Web | Skaner | Nazwa spoza aktualnej dokumentacji Anthropic | /secrets.json, /.env.old |
cohere-ai, CohereBot | Skaner | Cohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening | /.aws/credentials, /api/v1/env |
GrokBot, Kimi-SearchBot, DeepSeekBot i inne | Skaner | Nazwy spoza dokumentacji operatorów, ten sam wzorzec ruchu | .env, credentials, konfiguracja Firebase |
BingIndexCrawler | Do weryfikacji | Sieć Microsoftu, ale bez odwrotnego DNS search.msn.com; Bing crawluje jako bingbot | obrazy z /wp-content/uploads/ |
Logi podrez.pl, 02.02–06.10.2026. Liczba wystąpień: Amzn-SearchBot 244, Claude-SearchBot 213, Google-Extended 176, cohere-ai i CohereBot 60, anthropic-ai 28, Claude-Web 20, BingIndexCrawler 10, Applebot-Extended 5. Pozostałe fałszywe nazwy AI – GrokBot, xAI-Grok, xAI-SearchBot, Kimi-SearchBot, MoonshotBot, Qwenbot, DeepSeekBot, ChatGLM-Spider, Hunyuan, YiBot i MistralBot – od 20 do 38 wystąpień każda.
Wzorzec jest czytelny. Podejrzane żądania sięgają po:
- tokeny, które nie są user-agentami,
- nazwy nieobecne w dokumentacji,
- nazwy prawdziwych botów, licząc, że te przepuszcza każdy filtr.
Sama niezgodność nazwy z dokumentacją nie musi jednak oznaczać złych zamiarów – BingIndexCrawler przychodził z sieci Microsoftu i pobierał wyłącznie obrazy – dlatego rozstrzyga adres IP, a nie sama nazwa. Problem nie dotyczy zresztą wyłącznie mojej strony – Common Crawl wprost ostrzega w swojej dokumentacji, że zna przypadki crawlerów fałszywie podających się za CCBota, i zaleca weryfikację user-agenta.
Weryfikacja
Jak sprawdzić, czy bot jest prawdziwy: weryfikacja po adresie IP
User-agenta podrabia się w dziesięć sekund, więc sama nazwa nie dowodzi niczego. Pewność daje dopiero zestawienie nazwy z adresem IP i oficjalnymi zakresami operatora, a tam gdzie to możliwe – z odwrotnym i ponownym sprawdzeniem DNS. Google testuje też kryptograficzne uwierzytelnianie botów, czyli Web Bot Auth.
| Operator | Źródło adresów |
|---|---|
| OpenAI | openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, openai.com/adsbot.json |
| Anthropic | claude.com/crawling/bots.json; dla Claude-Agent claude.com/.well-known/sail |
| Perplexity | perplexity.com/perplexitybot.json, perplexity.com/perplexity-user.json |
| Google – crawlery zwykłe | common-crawlers.json; odwrotny DNS kończy się na googlebot.com |
| Google – crawlery specjalne | special-crawlers.json; odwrotny DNS kończy się na google.com |
| Google – fetchery i agenty użytkownika | osobne pliki JSON; odwrotny DNS kończy się na google.com lub gae.googleusercontent.com |
| Apple | search.developer.apple.com/applebot.json; odwrotny DNS kończy się na applebot.apple.com |
| Mistral | mistral.ai/mistralai-user-ips.json, mistral.ai/mistralai-index-ips.json; dla MistralAI-Training lista nie jest publikowana |
| Amazon | trzy osobne listy: /ip-addresses/, /searchbot-ip-addresses/, /live-ip-addresses/ |
| Parallel | docs.parallel.ai/resources/shapbot.json; także podpis Web Bot Auth |
| Microsoft | narzędzie Verify Bingbot w Bing Webmaster Tools; odwrotny DNS kończy się na search.msn.com |
| Common Crawl | index.commoncrawl.org/ccbot.json; odwrotny DNS kończy się na crawl.commoncrawl.org |
| Qwant | help.qwant.com/qwantbot.json; odwrotny DNS kończy się na qwant.com |
| Meta | adresy z systemu autonomicznego AS32934, do pobrania przez whois -h whois.radb.net -- '-i origin AS32934'; lista często się zmienia |
| Baidu | odwrotny DNS kończy się na baidu.com lub baidu.jp; listy adresów Baidu nie publikuje |
| DuckDuckGo | duckduckgo.com/duckassistbot.json dla DuckAssistBota |
| You.com | odwrotny DNS kończy się na search.you.com; dodatkowo podpisy kryptograficzne |
| Yandex | odwrotny DNS kończy się na yandex.ru, yandex.net lub yandex.com; listy adresów Yandex nie publikuje |
| SE Ranking | odwrotny DNS kończy się na seranking.com (SERankingBacklinksBot) lub sr-srv.net (SEBot-WA) |
| Babbar (Barkrowler) | odwrotny DNS kończy się na babbar.eu |
| Ahrefs (także YepBot) | zakresy i pojedyncze adresy przez api.ahrefs.com; odwrotny DNS kończy się na ahrefs.com lub ahrefs.net |
odwrotny DNS kończy się na pinterest.com lub pinterestcrawler.com | |
| ibou | ibou.com/ibousearch-ip-ranges.json (ibou-search) i ibou.com/iboumedia-ip-ranges.json (ibou-discovery, ibou-news); dla ibou-search odwrotny DNS kończy się na ibou.io |
| ElevenLabs | listy adresów ElevenLabs nie publikuje |
| Baken (SeeMe AI) | adresy 213.239.220.146 i 2a01:4f8:a0:70c4::2 na stronie bota; odwrotny DNS bakenbot.baken.dev |
| agenttru.st | 10 adresów IP na stronie bota; odwrotny DNS kończy się na agenttru.st i wskazuje z powrotem ten sam adres |
| Cloudflare (Browser Run) | podpis Web Bot Auth (nagłówek Signature-agent); adres IP Cloudflare nie mówi, kto zlecił pobranie |
| Andi, AgentData, Go Away, Speridlabs | list adresów nie publikują |
| Exa | podpis Web Bot Auth; klucze w crawler.exa.ai/.well-known/http-message-signatures-directory |
| Linkup | www.linkup.so/linkupbot-ips.txt |
| Discord | cdn.discordapp.com/ipranges/discord.json |
| Jetpack (WordPress.com) | jetpack.com/ips-v4.txt; prawdziwe żądania mają też for=jetpack i podpis w adresie |
| X (Twitterbot) | zakresy z dokumentacji z lutego 2026: 199.16.156.0/22, 199.59.148.0/22, 192.133.76.0/22 (AS13414) |
| Yahoo (Slurp) | s.yimg.com/bo/crawling/ipranges/common-crawlers.json; odwrotny DNS kończy się na crawl.yahoo.net |
Ile z tego to prawdziwe boty? Weryfikacja moich logów
Tabela na górze liczy nazwy w logach, a nie boty. Dlatego przy każdym bocie, którego adresy da się sprawdzić, podaję też, ile żądań przyszło z oficjalnych zakresów operatora albo przeszło odwrotne i ponowne sprawdzenie DNS. Okres jak w tabeli: 02.02–06.10.2026, podrez.pl.
| Bot | Żądania | Zweryfikowane | Udział |
|---|---|---|---|
| GPTBot | 10 218 | 9 925 | 97% |
| OAI-SearchBot | 5 891 | 5 604 | 95% |
| ChatGPT-User | 8 396 | 3 249 | 39%* |
| ClaudeBot | 6 789 | 6 518 | 96% |
| Claude-User | 1 902 | 966 | 51% |
| Claude-SearchBot | 213 | 0 | 0% |
| PerplexityBot | 3 161 | 2 925 | 93% |
| Perplexity-User | 206 | 51 | 25%* |
| Amazonbot | 8 111 | 7 819 | 96% |
| Applebot | 4 563 | 4 407 | 97% |
| Googlebot | 13 595 | 11 241 | 83% |
| bingbot | 10 079 | 9 809 | 97% |
* Od sierpnia 2026: ChatGPT-User 79%, Perplexity-User 0%. OpenAI publikuje tylko bieżącą listę adresów, więc starsze żądania z sieci Microsoft Azure na nią nie trafiają.
Żeby sprawdzić, czy to nie przypadłość jednej strony, porównałam tydzień 17–23.10.2026 w logach dziewięciu serwisów, którymi się opiekuję. Obraz jest ten sam, a przy niektórych nazwach nawet ostrzejszy:
- Perplexity-User: 169 żądań, ani jednego z adresów Perplexity,
- DuckAssistBot: 207 żądań, prawdziwych 23,
- PerplexityBot: fałszywe co trzecie żądanie,
- ChatGPT-User: fałszywe co szóste,
- OAI-SearchBot i GPTBot: fałszywe co dziesiąte i co czternaste.
Morał? Zanim pochwalisz się, że „ChatGPT odwiedza Cię 200 razy w tygodniu”, sprawdź adresy. Raport, który liczy boty AI po samej nazwie, potrafi pokazać skaner szukający pliku .env jako Twojego najwierniejszego czytelnika z Perplexity.
Blokowanie
Jak zablokować boty AI w robots.txt? Gotowe przykłady.
Zanim cokolwiek zablokujesz: w większości przypadków tego nie rekomenduję. Blokada odcina Cię od odpowiedzi generatywnych, a więc od kanału, w którym Twoja marka może zostać wymieniona i zacytowana. Dla większości firm, ekspertów i sklepów to strata, nie zysk.
Wyjątki są realne i dotyczą przede wszystkim wydawców, portali i mediów, czyli tych, którzy żyją ze sprzedaży treści albo z ruchu na własnej stronie. Tam blokada bywa uzasadnioną decyzją biznesową – ale nadal decyzją, a nie ustawieniem domyślnym.
Poniższe konfiguracje traktuj więc jako punkt wyjścia do świadomego wyboru, nie jako zalecenie.
Pierwszy wariant ogranicza najważniejsze crawlery wykorzystywane do treningu modeli. Drugi blokuje osobno identyfikowane boty i fetchery systemów AI, zostawiając dostęp Googlebotowi, bingbotowi i Applebotowi. Oba są punktem wyjścia, nie uniwersalną konfiguracją dla każdej witryny. Pamiętaj też, że blokada nie działa wstecz. Model już wytrenowany nie zapomni tego, czego nauczył się do swojej daty odcięcia wiedzy.
Wariant 1 · Bez treningu
chronię treśćWpuszczam wszystko, co może mnie cytować, i odcinam zbieranie treści pod uczenie modeli.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Amzn-SearchBot
User-agent: ShapBot
Allow: /
Wariant 2 · Osobne boty AI
Google i Apple zostająBlokuję osobne crawlery treningowe, indeksy AI i fetchery użytkowników, ale zostawiam otwarte klasyczne wyszukiwarki. To nie usuwa strony z AI Overviews, AI Mode ani z generatywnych odpowiedzi Apple.
# wyszukiwarki zostają
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: Amzn-SearchBot
Allow: /
# trening modeli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# indeksy odpowiedzi generatywnych
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: DuckAssistBot
User-agent: LinkupBot
User-agent: ShapBot
User-agent: YouBot
User-agent: Diffbot
Disallow: /
# pobrania na żądanie użytkownika
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
Disallow: /
Drugi wariant ma dziurę i lepiej o niej wiedzieć od razu. Ostatnia grupa to fetchery uruchamiane przez użytkownika, a część z nich może zignorować robots.txt. Gemini Notebook i Google-Agent nie mają nawet własnego tokenu. Jeśli blokada ma być szczelna, trzeba ją dołożyć na poziomie serwera. Przykład dla Apache i pliku .htaccess:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM|Google-Agent|GoogleProducer|ChatGPT-User|Perplexity-User|Amzn-User|Meta-ExternalFetcher|Shap-User) [NC]
RewriteRule ^ - [F,L]
Jedno zastrzeżenie, o którym łatwo zapomnieć: robots.txt nie służy do ochrony danych. Plik jest publiczny, dyrektywy nie są kontrolą dostępu, a zablokowany adres i tak może trafić do indeksu na podstawie linków z zewnątrz. Sekcje faktycznie prywatne zabezpiecza się logowaniem po stronie serwera.
Robots.txt to nie jedyna warstwa.
- Jeśli dla bota istnieje bardziej konkretna pasująca grupa, ma ona pierwszeństwo przed
User-agent: *, a wildcard obowiązuje dopiero wtedy, gdy nic konkretniejszego nie pasuje. - Fetchery uruchamiane przez użytkownika to osobny przypadek: część respektuje dedykowane tokeny, część może je pomijać i wymaga reguły na poziomie serwera lub WAF-a.
- Jeśli strona stoi za Cloudflare, sprawdź też ustawienia botów AI: od 15 września 2026 blokada kategorii Training – w nowych ustawieniach albo przez dawny przełącznik „Block AI bots” – obejmuje także Googlebota, bingbota i Applebota, bo te boty zbierają dane zarówno do wyszukiwarki, jak i do treningu. Robots.txt może być ustawiony wzorowo, a Googlebot i tak dostanie odmowę na poziomie Cloudflare.
Jak ograniczyć AI Overviews? O nosnippet, data-nosnippet i max-snippet
robots.txt informuje zgodne boty, czy powinny pobierać stronę. Dyrektywy meta sterują natomiast indeksowaniem i tym, jakie fragmenty mogą trafić do wyników oraz do funkcji AI. To dwie różne warstwy i przy AI Overviews druga bywa jedyną, jaka Ci zostaje.
Rzecz kluczowa
Nie istnieje osobny opt-out z AI Overviews i AI Mode, który zostawiałby nienaruszoną zwykłą obecność w Google. Zasila je ten sam Googlebot i ten sam indeks, a Google-Extended dotyczy wyłącznie treningu Gemini i groundingu, więc jego blokada nic tu nie zmienia.
Możesz natomiast ograniczyć, ile treści trafia do tych funkcji. Google wymienia cztery dyrektywy: nosnippet, data-nosnippet, max-snippet i noindex. Każda z nich działa jednocześnie na zwykłe wyniki i na funkcje AI – nie da się rozdzielić jednego od drugiego.
| Dyrektywa | Co robi | Czym płacisz |
|---|---|---|
nosnippet | Blokuje wyświetlanie fragmentu strony we wszystkich formach wyników, łącznie z AI Overviews i AI Mode | Znika też zwykły opis pod tytułem w wynikach i szansa na direct answer |
data-nosnippet | To samo, ale tylko dla oznaczonego fragmentu HTML | Reszta strony działa normalnie – najbardziej precyzyjne narzędzie z tego zestawu |
max-snippet:N | Ogranicza długość fragmentu do N znaków i tym samym ilość treści podawanej modelowi | Przy niskiej wartości efekt zbliżony do nosnippet |
noindex | Usuwa stronę ze wszystkich form wyników Google, także z AI Overviews i AI Mode | Strona znika również ze zwykłych wyników wyszukiwania |
noarchive | U Amazona oznacza „nie używaj tej strony do trenowania modeli” | Działa tylko u operatorów, którzy tę dyrektywę honorują |
Apple honoruje nosnippet – także w nagłówku X-Robots-Tag: applebot: nosnippet – jako rezygnację z wykorzystania treści jako dodatkowego kontekstu w odpowiedziach generatywnych. Ten sam skutek ma oznaczenie strony jako isAccessibleForFree: false w danych strukturalnych, a strona nadal może się pojawiać w wynikach wyszukiwania Apple. Amazon deklaruje respektowanie noarchive, noindex i none, ale nie obsługuje crawl-delay.
Najbardziej precyzyjne narzędzie to data-nosnippet. Wyłącza z podglądów i z bezpośredniego użycia przez funkcje AI tylko oznaczony fragment strony. Stosuj je świadomie: te same akapity, które najłatwiej zastąpiłyby wizytę u Ciebie – definicje, listy kroków, tabele – są zwykle tymi, dzięki którym strona w ogóle bywa cytowana.
Dane z moich logów
Co boty AI pobierają z Twojej strony: treść czy pliki?
Sama liczba wizyt niewiele mówi. Ciekawsze, ile z nich trafia w podstronę z treścią, a ile w pliki CSS, obrazki i końcówki API.
| Bot | Udane żądania | Udział wejść w treść |
|---|---|---|
| Perplexity-User | 61 | 91,8% |
| CCBot | 569 | 81,5% |
| ChatGPT-User | 7805 | 74,2% |
| Claude-User | 984 | 63,7% |
| PerplexityBot | 2749 | 62,1% |
| OAI-SearchBot | 4145 | 33,5% |
| GPTBot | 5843 | 30,2% |
| ClaudeBot | 4289 | 21,8% |
| Google-GeminiNotebook | 3686 | 19,9% |
| Applebot | 4051 | 17,7% |
| Amazonbot | 5415 | 15,1% |
Logi podrez.pl, 02.02–06.10.2026; udane żądanie to odpowiedź ze statusem 200. Treść to każdy adres poza stroną główną, robots.txt, sitemapami, katalogami /wp-content/, /wp-includes/ i /wp-json/ oraz plikami .php. Perplexity-User, ChatGPT-User i Claude-User trafiają głównie prosto w treść, ale sama klasa bota nie przesądza zachowania: CCBot ma wysoki udział wejść w treść, a Gemini Notebook niski.
Definicja treści zmienia tu wnioski bardziej, niż się wydaje. Co czwarte udane wejście ChatGPT-User to strona główna – gdybym liczyła ją jako treść, jego udział wzrósłby do 98,6%. Wygląda to raczej na sprawdzanie, kim jest autorka strony, niż na czytanie konkretnego tekstu. Druga obserwacja dotyczy ostatnich dwóch miesięcy: od 6 sierpnia GPTBot pobierał treść tylko w 13% udanych wejść, a średnio odwiedzał stronę prawie czterokrotnie rzadziej niż wcześniej.
Logi pokazują, czy boty AI docierają do strony. Co systemy AI potem z tą treścią robią – kogo polecają Twoim klientom i do jakich źródeł odsyłają – sprawdzam w badaniach widoczności w AI.
Narzędzia i listy
Inne moje narzędzia i listy
Darmowe narzędzie
Obserwatorium encji
Zobacz dane strukturalne strony jako mapę relacji: kto jest autorem, kto założył firmę i dokąd prowadzi sameAs.
Darmowe narzędzie
Czy jesteś w Grafie Wiedzy Google?
Wpisz nazwę i sprawdź, czy Google zna Cię jako encję i czy zgadza się to z Wikidatą.
Darmowe narzędzie
Boty AI w logach
Wrzuć log serwera i zobacz, które boty AI przychodzą, które mają potwierdzone adresy IP i komu serwer odmawia. Plik zostaje na Twoim komputerze.
Darmowe narzędzie
Czy strona jest w Common Crawl?
Wpisz domenę i zobacz, ile stron CCBot zapisał w 6 ostatnich crawlach i czy coś go blokuje.
Tabela
Cutoff modeli AI
Do kiedy modele AI mają dane? Daty odcięcia wiedzy ChatGPT, Claude, Gemini, Groka i modeli polskich.
Lista
Narzędzia SEO
40 narzędzi do Google i AI, których naprawdę używam: do czego się nadają i gdzie mają limit.
Boty nie przychodzą na stronę? Może nie mają takiej możliwości! Sprawdź to w High Five, AI! by Maciej Chmurkowski.
Pytania
Często zadawane pytania
Jak sprawdzić, jaki bot odwiedził moją stronę?
Nazwa bota znajduje się w polu user-agent w logu dostępowym serwera, zwykle w pliku access.log lub domena.pl.log w katalogu logs. Skopiuj nazwę i wyszukaj ją w tabeli powyżej. Jeśli chcesz mieć pewność, że bot jest prawdziwy, porównaj adres IP z zakresami publikowanymi przez operatora. Najszybciej zrobisz to w moim narzędziu Boty AI w logach: wczytujesz log w przeglądarce, plik nie opuszcza Twojego komputera, a narzędzie rozpozna boty i sprawdzi ich adresy IP.
Czy zablokowanie GPTBota usuwa mnie z wyników ChatGPT?
Nie. GPTBot odpowiada za zbieranie treści pod trening modeli, a za obecność w wynikach wyszukiwania ChatGPT odpowiada OAI-SearchBot. To dwa niezależne tokeny i można je ustawić różnie: zablokować trening, zostawić wyszukiwanie. Analogiczny trójpodział stosują Anthropic i Mistral. Amazon również rozdziela ruch na trzy agenty, ale jego Amazonbot jest crawlerem wielofunkcyjnym, który do treningu tylko może być wykorzystywany. Perplexity rozdziela natomiast tylko indeks wyszukiwania od pobrań na żądanie użytkownika i nie ma udokumentowanego crawlera treningowego.
Dlaczego nie widzę Google-Extended w logach?
Bo Google-Extended nie jest botem. To token sterujący w robots.txt, którym decydujesz o wykorzystaniu treści do trenowania modeli Gemini i do groundingu. Samo pobieranie stron wykonują zwykłe roboty Google. Jeśli mimo to widzisz tę nazwę w logu, patrzysz na podszywacza.
Jak wypisać się z AI Overviews?
Przez robots.txt się nie da. AI Overviews i AI Mode korzystają ze zwykłego indeksu Google, budowanego przez Googlebota, a token Google-Extended dotyczy wyłącznie trenowania modeli Gemini i groundingu. Jedyne dostępne narzędzie to dyrektywy podglądu: nosnippet, data-nosnippet, max-snippet i noindex. Każda z nich ogranicza też zwykły wynik wyszukiwania, więc wyjście z AI Overviews oznacza częściowe wyjście z Google.
Czy blokada w robots.txt zatrzyma każdego bota AI?
Nie. Fetchery uruchamiane przez użytkownika, takie jak Gemini Notebook czy ChatGPT-User, mogą pomijać robots.txt, ponieważ żądanie inicjuje człowiek, a nie automat. Żeby je zatrzymać, potrzebujesz reguły na poziomie serwera, w konfiguracji WAF-a albo w pliku .htaccess.
Co się zmieniło z NotebookLM?
16 lipca 2026 Google zaktualizowało dokumentację i zmieniło nazwę user-agenta z Google-NotebookLM na Google-GeminiNotebook, po tym jak sam produkt został przemianowany na Gemini Notebook. Starą nazwę zapowiedziało jako wspieraną do sierpnia 2026. W moich logach do 6 października wszystkie żądania tego fetchera nadal przychodziły pod starą nazwą, a nowa nie pojawiła się ani razu, więc reguły blokujące powinny obejmować obie.
Historia strony i kalendarium zmian u operatorów
06.08.2026 – pierwsza wersja.
Kalendarium zmian u operatorów 17.09.2026 – Google rozszerzyło dokumentację
Mediapartners-Google na różne produkty reklamowe, m.in. AdSense i Google Ad Manager.15.09.2026 – zapowiedziany przez Cloudflare 1 lipca termin nowych ustawień domyślnych: na stronach z reklamami w nowych domenach kategorie Training i Agent są blokowane, a crawlery łączące wyszukiwanie z treningiem – w tym Googlebot, bingbot i Applebot – podlegają blokadzie kategorii Training.
Sierpień 2026 – zapowiadany przez Google koniec wsparcia starej nazwy
Google-NotebookLM; w moich logach działa ona nadal (stan na 6 października).16.07.2026 – Google zmieniło nazwę user-agenta NotebookLM na
Google-GeminiNotebook; stara nazwa wspierana przez okres przejściowy.01.07.2026 – Cloudflare wprowadził podział botów na kategorie Search, Agent i Training.
20.03.2026 – Google udokumentowało user-agenta
Google-Agent.
Co dalej
Nie wiesz, które boty wpuszcza Twoja strona?
Sama nazwa w logu to dopiero początek. Znacznie ciekawsze bywa to, co ten bot dostał w odpowiedzi – i czy w ogóle dostał. Jak to sprawdzić i co znalazłam u siebie, opisałam w tekście o analizie logów serwera. A czym czytam logi? Głównie Log File Analyserem i Claude’em – oba znajdziesz w moim zestawieniu narzędzi SEO.
Przy dużym serwisie samo „co to za bot” nie wystarcza. Trzeba wiedzieć, po których adresach chodzi Googlebot i ile wizyt traci na podstrony, które nic nie wnoszą. Na to pytanie odpowiadam w strategicznym audycie SEO.
Analizę logów pod kątem botów AI, crawlerów wyszukiwarek, narzędzi SEO i podejrzanego ruchu robię w ramach audytu. Jeśli wolisz zacząć od rozmowy, umów krótkie spotkanie.





