Kontakt
Kolaż: katalog botów z ikonami crawlerów, pająk, lupa i serwery

Ewelina Podrez-Siama · narzędzia i listy

Co to za bot? Lista crawlerów, botów AI i user-agentów

Ta strona odpowiada na jedno pytanie: co to za bot i co z nim zrobić.

Zaglądasz do logów i widzisz nieznaną nazwę? Sprawdź operatora, funkcję bota, zasady robots.txt i liczbę żądań, które odnotowałam u siebie.

148

botów i user-agentów
w tabeli

97

dokumentów operatorów
za tą tabelą

2,6 mln

żądań z logów
podrez.pl

Wyszukiwarka · 148 pozycji

Lista botów i user-agentów [wyszukiwarka]

W tabeli znajdziesz crawlery AI, klasyczne wyszukiwarki, narzędzia SEO, podglądy linków z komunikatorów, monitoring i zwykłe biblioteki HTTP. Zawęź kategorię albo wpisz nazwę – tabela filtruje się na bieżąco. Kliknij nazwę bota, żeby zobaczyć kartę z jego opisem i uwagami, a tam, gdzie bot ma użyteczny token – również gotowy wpis do robots.txt. Bot z ikonką „i” ma dodatkowe uwagi.

Kolumna „Żądania” pokaże, ile żądań z nazwą danego bota w polu user-agent odnotowałam na swojej stronie między 2 lutego a 6 października 2026. Czytaj te liczby jako podpowiedź, czego się spodziewać, a nie jako średnią dla rynku – i pamiętaj, że liczą nazwy, a nie boty: pod część nazw podszywają się skanery.

1. Zawęź kategorię

Co oznaczają kategorie botów?Jedenaście klas botów, po jednym zdaniu na każdą.

AI: trening
zbiera treść, żeby modele się na niej uczyły
AI: indeksy i odpowiedzi
buduje indeks, z którego system generatywny cytuje
Na żądanie użytkownika
pobiera stronę, bo ktoś właśnie o coś zapytał
Tokeny bez bota
nie wysyłają żądań, służą tylko do wpisania w robots.txt
Wyszukiwarki
klasyczne wyszukiwarki i ich boty pomocnicze
Podglądy linków
robią miniaturkę linku w komunikatorze albo social mediach
SEO i marketing
narzędzia SEO, audyty i weryfikacja stron reklamowych
Monitoring i bezpieczeństwo
dostępność serwisu, wzmianki o marce, skanowanie nadużyć
Badania i archiwa
korpusy naukowe, zbiory danych i archiwizacja stron
Narzędzia i biblioteki
ruch uruchamiany przez przeglądarkę, wtyczkę, aplikację albo własny skrypt
Nieznane lub podejrzane
nie potwierdzono operatora, funkcji albo tego, czy user-agent jest prawdziwy

Tabelę można przewijać w bok →

Bot i operatorFunkcjaToken w robots.txtRespektujeŻądania
podrez.pl, 02.02⁠–⁠06.10.2026
OpenAITrening modeliGPTBotTak10 218
w tym 9 925 zweryfikowanych
AmazonUlepszanie produktów Amazona, może służyć do treningu modeliAmazonbotTak8 111
w tym 7 819 zweryfikowanych
AnthropicTrening modeli. Anthropic deklaruje, że od 30 października 2026 uwzględnia też wspólny token __usage_ai-training (wdraża go stopniowo), a reguła wprost dla ClaudeBota ma pierwszeństwo.ClaudeBotTak6 789
w tym 6 518 zweryfikowanych
MetaZbieranie treści, m.in. pod treningMeta-ExternalAgentDeklarowane4 212
ByteDanceZbieranie treści pod modele ByteDanceBytespiderBrak jednoznacznej dokumentacji968
Common CrawlOtwarty korpus stron, wykorzystywany m.in. do treninguCCBotTak718
w tym 647 zweryfikowanych
Mistral AITrening modeliMistralAI-TrainingTak0
ElevenLabsTrening modeli generatywnych ElevenLabs. Blokada w robots.txt oznacza dla operatora, że treść nie trafi do treningu. Listy adresów IP brak. W moich logach od 17 października do 6 listopada 2026: 502 żądania, w tym 214 pobrań wersji Markdown.ElevenlabsCrawlerTak0
OpenAIIndeks wyszukiwania ChatGPTOAI-SearchBotTak5 891
w tym 5 604 zweryfikowane
ParallelIndeks wyszukiwania Parallel, zasila jego API dla agentów AI. Wszystkie niezweryfikowane żądania to luty⁠–⁠lipiec, sprzed opublikowania listy adresów Parallel 14.07.2026. Od sierpnia weryfikuje się 100%. Żądania podpisuje (Web Bot Auth).ShapBotTak5 106
w tym 3 391 zweryfikowanych
Linkup (linkup.so)Indeks wyszukiwania Linkup dla API wyszukiwania i groundingu w aplikacjach AI. Linkup publikuje listę adresów IP. Od lipca 2026 nie pojawia się w moich logach.LinkupBotTak4 935
PerplexityIndeks wyszukiwaniaPerplexityBotTak3 161
w tym 2 925 zweryfikowanych
Exa (exa.ai)Indeks wyszukiwarki Exa dla aplikacji AI. Bez własnej grupy w robots.txt stosuje reguły ustawione dla głównych wyszukiwarek, a dopiero potem regułę *. Żądania podpisuje (Web Bot Auth). W moich logach prawie wyłącznie od sierpnia 2026.ExaSearchBotTak756
Exa (exa.ai)Pobieranie obrazów ze stron zaindeksowanych przez ExaSearchBota. Bez własnej grupy w robots.txt stosuje reguły dla ExaSearchBota, potem dla głównych wyszukiwarek, a na końcu regułę *.ExaSearchBot-ImagesTak0
MetaIndeks wyników wyszukiwania Meta AIMeta-WebIndexerTak401
You.comIndeks wyszukiwaniaYouBotTak251
AnthropicIndeks wyszukiwania. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach.Claude-SearchBotTak213
0 zweryfikowanych
DuckDuckGoOdpowiedzi generatywne w DuckDuckGoDuckAssistBotTak74
GoogleCrawl zamawiany przez właściciela strony pod Vertex AI. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Google-CloudVertexBot
Googlebot
Tak37
0 zweryfikowanych
DiffbotWyszukiwarka i Knowledge Graph Diffbota, nie służy do treninguDiffbotTak, z możliwością wyjątków umownych3
Mistral AIIndeks wyszukiwania dla VibeMistralAI-IndexTak0
Andi (andiai.com)Indeks wyszukiwarki Andi. Operator deklaruje, że nie trenuje modeli AI na treściach wydawców. Respektuje też noindex. Listy adresów IP brak. W moich logach pierwszy raz 3 listopada 2026: 57 żądań na podrez.pl. Zaczął od robots.txt, potem sprawdzał ok. 40 plików dla agentów i API, m.in. llms.txt, agent-card.json i openapi.json.Andi-SearchBotTak, gdy reguła wymienia go z nazwy0
Andi (andiai.com)Czytanie kanałów i map witryny z newsami dla wiadomości w Andi. Reguła dla AndiFeedBot dotyczy tylko kanałów, w pozostałych przypadkach obowiązują reguły dla Andi-SearchBota.AndiFeedBotTak0
SeeMe AI (Baken)Indeks Baken dla asystenta Inka i mapy Mapr. Belgijski operator deklaruje, że dane nie służą do treningu modeli, nie są sprzedawane ani publikowane jako zbiór. Respektuje też noindex, noarchive i zastrzeżenia TDMRep. Adresy IP podaje na stronie bota. W moich logach 3 listopada 2026 na 8 serwisach: 82 żądania z adresu z tej listy, na każdym zaczął od robots.txt. Dawna nazwa: InkaIndex.BakenBotTak0
OpenAIPobranie na żądanie użytkownika. Zweryfikowanych jest mniej, niż się wydaje, bo OpenAI publikuje tylko bieżącą listę adresów. Większość niezweryfikowanych żądań to luty⁠–⁠lipiec z sieci Microsoft Azure, czyli raczej starsze pule OpenAI niż podszycia. Od sierpnia weryfikuje się 79%.OpenAI nie dokumentuje jako tokenu sterującegoMoże nie obowiązywać8 396
w tym 3 249 zweryfikowanych
GooglePobranie źródeł dodanych przez użytkownika. Wszystkie 4064 żądania przyszły pod starą nazwą Google-NotebookLM, wszystkie z adresów Google. Nowa nazwa nie pojawiła się w moich logach ani razu – stan na 6 października 2026. Reguły blokujące powinny obejmować obie nazwy. Google podaje, że starą nazwę obsługiwało do sierpnia 2026.brak, blokada tylko na serwerzeZwykle nie4 064
wszystkie zweryfikowane
AnthropicPobranie na żądanie użytkownika. Niezweryfikowane żądania to nie tylko skaner szukający plików z hasłami. Claude-User działa też z adresów Google Cloud, których nie było na liście Anthropic z 2 października: w moich logach z 17⁠–⁠26 października 51 z 81 niezweryfikowanych żądań przyszło z adresów, które są już na liście z 20 października.Claude-UserTak1 902
w tym 966 zweryfikowanych
AnthropicPrzeglądarka hostowana przez Anthropic, którą steruje agent Claude (m.in. w Claude Duet). Token Claude-Agent jest dopisany do zwykłego user-agenta Chrome. Anthropic publikuje adresy IP w claude.com/.well-known/sail i nie opisuje robots.txt dla tego ruchu, który odróżnia od ClaudeBota, Claude-User i Claude-SearchBota.brak, przeglądarka agentaBrak jednoznacznej dokumentacji0
GooglePobieranie kanałów RSS i Atom dla Google News i WebSubbrak, fetcher użytkownikaNie – Google deklaruje ignorowanie robots.txt1 571
w tym 1 522 zweryfikowane
GoogleOdczytywanie strony na głos na żądanie użytkownikabrak, fetcher użytkownikaNie – Google wskazuje meta tag zamiast robots.txt280
wszystkie zweryfikowane
PerplexityPobranie na żądanie użytkownika. Od sierpnia 2026 żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów Perplexity.Perplexity-UserZwykle nie206
w tym 51 zweryfikowanych
Mistral AIPobranie na żądanie użytkownika Vibe, z linkiem do źródłaMistralAI-UserTak180
w tym 142 zweryfikowane
DiffbotPobranie na żądanie użytkownika narzędzia. Diffbot deklaruje respektowanie robots.txt dla swoich crawli, o Diffbot-User tego nie pisze.Diffbot-UserBrak jednoznacznej dokumentacji158
GooglePobieranie stron przez Gemini Deep Research na żądanie użytkownika. Google nie wymienia go w dokumentacji fetcherów. W moich logach żądania przyszły z adresów Google.brak, fetcher nieudokumentowanyBrak jednoznacznej dokumentacji93
ParallelPobranie strony na żądanie użytkownika Parallelbrak – Parallel opisuje go jako sygnał widoczności, nie mechanizm sterowaniaNie dotyczy7
0 zweryfikowanych
GoogleAgenci Google wykonujący zadania na żądanie użytkownika. Część żądań Google podpisuje Web Bot Auth (agent.bot.goog) i opisuje to jako funkcję eksperymentalną.brak, blokada tylko na serwerzeZwykle nie0
AmazonPobranie na żądanie użytkownika, np. pytanie do AlexyAmzn-UserMoże nie obowiązywać0
MetaPobranie na żądanie użytkownika, m.in. przez agentów AI Meta wykonujących zadania. Meta deklaruje też użycie do oceny i ulepszania agentów AI i zaznacza, że ten bot może pomijać robots.txt.Meta-ExternalFetcherBywa pomijane0
GooglePobranie źródeł dodanych przez użytkownika narzędzia Pinpointbrak, fetcher użytkownikaZwykle nie0
GooglePobieranie adresów podanych przez twórców w metadanych rozszerzeń i motywów Chromebrak, fetcher użytkownikaZwykle nie0
GoogleKanały skonfigurowane przez wydawcę w Google Publisher Centerbrak, fetcher użytkownikaZwykle nie0
ApplePobieranie adresów powiązanych z treściami zarejestrowanymi w Apple PodcastsbrakNie – Apple deklaruje, że iTMS nie stosuje robots.txt0
ElevenLabsPobranie stron, które klienci ElevenLabs dodają do bazy wiedzy swoich agentów. Pobiera stronę przy dodaniu i przy odświeżeniu. Działa niezależnie od ElevenlabsCrawlera: możesz wpuścić agentów, a zablokować trening.ElevenlabsBotTak0
Exa (exa.ai)Pobranie strony na żądanie użytkownika albo aplikacji korzystającej z API Exa. Żądania podpisuje (Web Bot Auth). Exa pisze, że robots.txt może tu nie obowiązywać, a wyłączenie z indeksu ustawia się przez ExaSearchBota.brak, fetcher użytkownikaMoże nie obowiązywać0
Andi (andiai.com)Pobranie strony, gdy ktoś szukający w Andi o nią poprosibrak, fetcher użytkownikaBrak jednoznacznej dokumentacji0
czytniki RSSPobranie kanału RSS w imieniu subskrybentabrak, fetcher użytkownikaNie – Feedly i Inoreader deklarują, że nie czytają robots.txt2 437
YandexDziałania użytkownika w usługach Yandex, np. pobranie strony do tłumaczenia onlinebrak, fetcher użytkownikaNie uwzględnia ogólnych reguł robots.txt0
GoogleZgoda na trening Gemini i grounding. Każde wystąpienie tej nazwy w logach to podszycieGoogle-ExtendedToken sterujący, bez user-agenta176
wyłącznie podszycia
AppleZgoda na trening modeli bazowych Apple (Apple Intelligence, usługi i narzędzia deweloperskie). Każde wystąpienie tej nazwy w logach to podszycieApplebot-ExtendedToken sterujący, bez user-agenta5
wyłącznie podszycia
wspólny token (szkic IETF)Wspólny sprzeciw wobec trenowania generatywnych modeli AI u wielu dostawców naraz. Zapowiedziany 30.10.2026 przez Google, Microsoft, OpenAI i Anthropic. Anthropic deklaruje, że uwzględnia go od 30.10.2026 i wdraża stopniowo, a reguła wprost dla ClaudeBota ma pierwszeństwo. Microsoft zapowiada obsługę od 1.02.2027, Google na początku 2027, a OpenAI „w nadchodzących miesiącach”. Google zamierza traktować go jak blokadę Google-Extended, o ile Google-Extended nie ma własnej grupy. Gwiazdka (User-agent: *) go nie obejmuje (co zmienia ten token)__usage_ai-trainingToken sterujący, bez user-agenta0
to nie robot
GoogleReguły dla Google News (news.google.com i aplikacja Google News). Googlebot-News nie ma własnego user-agenta, strony pobiera zwykły GooglebotGooglebot-NewsToken sterujący, bez user-agenta0
to nie robot
YandexWyłączenie treści z odpowiedzi Yandex AI. Zmiana działa po ponownym pobraniu strony, zwykle w ciągu 2⁠–⁠14 dniYandexAdditional
YandexAdditionalBot
Token sterujący, bez user-agenta0
to nie robot
Andi (andiai.com)Reguła dla AndiBota dotyczy odpowiedzi AI w Andi, a nie wyszukiwania. Andi nie podaje dla niego user-agentaAndiBotToken sterujący, bez user-agenta0
to nie robot
OpenWebSearch.euZastrzeżenie przed treningiem AI w otwartym indeksie OpenWebSearch.eu. Blokada nie zatrzymuje OWLera, tylko oznacza stronę w zbiorze danych jako niedostępną do treninguOWLer-GenAIToken sterujący, bez user-agenta0
to nie robot
GoogleWyszukiwarka, zasila też AI Overviews i AI Mode. Niezweryfikowana część to w dużej mierze podszycia, m.in. 1000 żądań z dwóch adresów DigitalOcean w marcu. Od sierpnia weryfikuje się 92%.GooglebotTak13 595
w tym 11 241 zweryfikowanych
MicrosoftWyszukiwarka Bing, zasila też Copilota i Microsoft 365. Od 1 lutego 2027 Microsoft deklaruje osobne preferencje dla treningu i groundingu. Nie dotyczą one indeksowania i rankingu w wynikach Binga.bingbotTak10 079
w tym 9 809 zweryfikowanych
AppleSiri, Spotlight i Safari; zasila też odpowiedzi generatywne Apple, a zebrane dane mogą służyć do treningu modeli. Bez własnej grupy w robots.txt stosuje reguły dla Googlebota. Nie obsługuje Crawl-delay.ApplebotTak4 563
w tym 4 407 zweryfikowanych
HuaweiWyszukiwarka Petal Search. Huawei deklaruje, że ten sam indeks zasila też rekomendacje w Huawei Assistant i usługi AI Search.PetalBotTak4 426
BaiduChińska wyszukiwarka; wariant -render renderuje JavaScriptBaiduspiderTak; Baidu deklaruje, że Baiduspider-cpro i Baiduspider-ads nie stosują robots.txt3 159
YandexWyszukiwarka YandexYandexBotTak2 255
YandexIndeksowanie treści w językach innych niż rosyjski dla wyszukiwarki Yandex. Yandex deklaruje, że ten robot nie uwzględnia ogólnych reguł robots.txt i może indeksować treść, jeśli nie ma reguły wprost dla niego.YandexComBotTylko reguła z jego nazwą0
GoogleIndeksowanie grafikGooglebot-Image
Googlebot
Tak1 924
w tym 1 923 zweryfikowane
SeznamCzeska wyszukiwarkaSeznamBotTak1 503
DuckDuckGoKlasyczne wyniki wyszukiwaniaDuckDuckBotTak995
YandexRenderowanie JS, grafiki, favikony i strony docelowe reklam Yandex Direct. Dokumentacja Yandex rozróżnia, czy robot stosuje się do ogólnych reguł z robots.txt. YandexImages tak. YandexFavicons ignoruje reguły dla User-agent: * i trzeba go wskazać z nazwy. YandexRenderResourcesBot pobiera zasoby stron dostępnych dla YandexBota niezależnie od robots.txt, a YaDirectFetcher, sprawdzający strony docelowe reklam, robots.txt w ogóle nie używa.własne tokeny
np. YandexImages
Częściowo – w pełni tylko YandexImages825
AmazonWyszukiwanie w produktach Amazona, m.in. Alexa. Bez własnej grupy w robots.txt stosuje reguły dla innych botów wyszukiwarek. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach.Amzn-SearchBotTak244
0 zweryfikowanych
MicrosoftZrzuty stron na potrzeby podglądów w Bingu. User-agent obserwowany w logach; aktualna dokumentacja Microsoftu pokazuje ten ruch jako bingbota.brak odrębnego tokenu; obowiązują reguły dla bingbotaZgodnie z regułami bingbota95
w tym 27 zweryfikowanych
QwantFrancuska wyszukiwarka nastawiona na prywatność; wariant -news obsługuje Qwant News. Qwant deklaruje, że indeks zasila też odpowiedzi AI z linkiem do źródła, ale nie trenuje na nim własnych zamkniętych modeli. Blokada Qwantbota wyłącza całe indeksowanie, a nie tylko odpowiedzi AI.QwantbotTak, także Crawl-delay93
wszystkie zweryfikowane
Brave – częściowo potwierdzoneUser-agent przypisywany indeksowi Brave Search. Brave pisze, że jego crawler nie przedstawia się odrębnym user-agentem i nie pobierze strony, której nie może pobrać Googlebot – robots.txt steruje nim więc przez reguły dla Googlebota. Tymczasem 6 żądań podpisanych Bravebot przyszło w marcu i kwietniu 2026 z adresów z potwierdzonym odwrotnym DNS *.searchbot.brave.app. Pozostałe 80 pochodzi z hostingów i maszyn klientów Google Cloud, bez potwierdzenia, więc samej nazwie nie warto ufać.brak odrębnego tokenu; Brave stosuje reguły dla GooglebotaZgodnie z regułami Googlebota86
w tym 6 zweryfikowanych
YahooWyszukiwarka Yahoo i treści partnerów dla Yahoo News, Finance i Sports. Yahoo publikuje listę adresów IP (s.yimg.com/bo/crawling/ipranges/common-crawlers.json), a odwrotny DNS kończy się na crawl.yahoo.net.SlurpTak13
GoogleGoogle Shopping. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Storebot-GoogleTak12
0 zweryfikowanych
SogouChińska wyszukiwarka. Listy adresów IP brak. Sogou podaje weryfikację przez odwrotny DNS albo podpis Web Bot Auth.Sogou web spiderTak9
MojeekNiezależna wyszukiwarka z własnym indeksemMojeekBotTak; nie obsługuje Crawl-delay4
GoogleIndeksowanie wideoGooglebot-Video
Googlebot
Tak2
w tym 1 zweryfikowane
MicrosoftPodglądy materiałów wideo w BinguBingVideoPreviewTak0
Ahrefs / YepWyszukiwarka Yep. Operator deklaruje, że YepBot razem z AhrefsBotem buduje indeks Yep i AhrefsYepBotTak, respektuje też Crawl-delay0
PinterestIndeksuje treści i produkty pod Piny, aktualizuje ceny i martwe linkiPinterestbotTak; honoruje Crawl-delay do wartości 1, większe traktuje jak 1. Nie czyta robots.txt z subdomen0
ibouArtykuły do aplikacji ibou Découverte i ibou Actualités. Osobna lista adresów IP. W moich logach jeszcze się nie pojawiły.ibou-discovery
ibou-news
Tak; bez obsługi Crawl-delay0
ibouWyszukiwarka grafik ibou. Listę adresów IP operator zapowiada, ale jeszcze jej nie opublikował.ibou-imagesTak; bez obsługi Crawl-delay0
Go Away (goaw.ai)Katalog miejsc i planer podróży Go Away. Operator pisze, że zbiera otwarte dane (Wikidata, Wikimedia Commons, GeoNames). W moich logach 4 i 6 listopada 2026 pobrał jednak 3 strony przewodnika na madeira-planner.com, za każdym razem od robots.txt. Listy adresów IP brak.GoAwayBotTak; operator deklaruje dwa wyjątki (Wikimedia Commons, GeoNames)0
MetaPodgląd linków udostępnianych w serwisach MetafacebookexternalhitBywa pomijane6 694
SlackPodglądy linków, pobieranie obrazów i pozostałe żądania SlackabrakNie – Slack deklaruje, że nie przetwarza robots.txt907
MicrosoftPodgląd linków pod nazwą z czasów Skype’a. Microsoft zamknął Skype’a 5 maja 2025, a ten user-agent nadal pojawia się w moich logach. Microsoft nie dokumentuje, która usługa go dziś wysyła.brakBrak jednoznacznej dokumentacji439
MetaPodgląd linków wysyłanych w WhatsAppie. Meta podaje user-agent WhatsApp/2.x z literą A, I lub N (Android, iOS, web) i pisze, że stronę pobiera w imieniu nadawcy. O robots.txt nie pisze.brakBrak jednoznacznej dokumentacji426
LinkedInPodgląd linków udostępnianych na LinkedInieLinkedInBotBrak jednoznacznej dokumentacji411
X (dawniej Twitter)Podgląd linków w kartach X. Ta sama wersja dokumentacji podawała zakresy IP 199.16.156.0/22, 199.59.148.0/22 i 192.133.76.0/22 (AS13414).TwitterbotTak według dokumentacji X z lutego 2026, dziś usuniętej56
DiscordPodgląd linków na Discordzie. Discord deklaruje, że stronę pobiera tylko po wysłaniu linku w wiadomości, bez crawlowania. Publikuje listę adresów IP, o robots.txt nie pisze.DiscordbotBrak jednoznacznej dokumentacji41
GooglePodgląd linków wysyłanych w Wiadomościach Googlebrak, fetcher użytkownikaZwykle nie15
MicrosoftPodglądy stron w produktach MicrosoftuMicrosoftPreviewTak0
AhrefsAudyt techniczny Ahrefs Site Audit. Może go uruchomić każdy użytkownik Ahrefs, ale bez weryfikacji własności najwyżej 30 adresów na minutęAhrefsSiteAuditTak domyślnie; wyłączyć to może tylko zweryfikowany właściciel strony167 450
wszystkie zweryfikowane
użytkownik programuRęczny crawl, zwykle Twój własny albo agencji. Bez grupy dla Screaming Frog SEO Spider program stosuje reguły dla Googlebota, a dopiero potem dla User-agent: *.Screaming Frog SEO SpiderDomyślnie tak; w płatnej wersji użytkownik może to wyłączyć i zmienić user-agenta16 013
AhrefsIndeks linków i treści dla Ahrefs oraz wyszukiwarki YepAhrefsBotTak6 671
wszystkie zweryfikowane
BabbarIndeks linkówBarkrowlerTak6 615
SemrushIndeks linków (Backlink Analytics) i część narzędzi Semrush. Gotowa reguła obejmuje wszystkie 9 tokenów Semrush: sam SemrushBot blokuje tylko indeks linków, a pozostałe narzędzia mają osobne tokeny. Liczba żądań obejmuje też warianty SemrushBot-BA, -SI i pozostałe.SemrushBot
SemrushBot-BA
SemrushBot-SI
SemrushBot-SWA
SemrushBot-OCOB
SemrushBot-FT
SemrushBot-ESI
SplitSignalBot
RyteBot
Tak5 790
SerpstatIndeks linków zwrotnychserpstatbotTak3 406
MajesticIndeks linkówMJ12botTak2 076
DataForSEOIndeks linków zwrotnych sprzedawany przez Backlinks API; według operatora bot zbiera tylko linkiDataForSeoBotTak1 450
DataForSEOAudyt techniczny On-Page API DataForSEO na zlecenie klienta API. Domyślnie respektuje robots.txt, ale klient API może to nadpisać i zmienić user-agenta.RSiteAuditorTak domyślnie; klient API może to wyłączyć76
SE RankingIndeks linków zwrotnychSERankingBacklinksBotTak1 091
SE RankingPobieranie stron do raportów widoczności w wyszukiwarkach i odpowiedziach AI dla klientów SE Ranking. Uwzględnia Crawl-delay do 10 s. Operator podaje sposób weryfikacji przez odwrotny DNS.SERankingPCFBotTak, zawsze; SE Ranking nie pozwala tego wyłączyć0
SE RankingCrawler SE Ranking do Website Audit i On-Page SEO Checker. Użytkownik narzędzia może w ustawieniach projektu wyłączyć respektowanie robots.txt i zmienić user-agenta, bez weryfikacji własności strony.SEBot-WATak domyślnie1 082
SemrushAudyt techniczny Semrush Site Audit na zlecenie użytkownika. Reguły robots.txt może pominąć tylko właściciel strony po weryfikacji plikiem.SiteAuditBotTak962
GoogleOcena jakości stron docelowych reklamAdsBot-GoogleTak, ale ignoruje User-agent: *228
w tym 227 zweryfikowanych
GoogleCrawler produktów reklamowych Google, m.in. AdSense i Google Ad Manager. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Mediapartners-GoogleTak, ale ignoruje User-agent: *103
0 zweryfikowanych
GoogleOcena jakości mobilnych stron docelowych reklamAdsBot-Google-MobileTak, ale ignoruje User-agent: *39
wszystkie zweryfikowane
MetaUlepszanie reklam i innych produktów biznesowych Metameta-externaladsTak0
MicrosoftKontrola jakości stron docelowych reklam Microsoft AdvertisingadidxbotTak0
MozCrawler budujący indeks linków Moz (Link Explorer, Links API). Moz deklaruje, że DotBot sprawdza robots.txt przy pierwszym wejściu w nowym cyklu, więc zmiany działają z opóźnieniem.DotBotTak0
MozAudyt techniczny Moz Pro: cotygodniowy Site Crawl w kampaniach i On-Demand Crawl na zlecenie użytkownika. Stałych adresów IP Moz nie publikuje.rogerbotTak0
OpenAIWeryfikacja stron docelowych reklam w ChatGPT; OpenAI deklaruje też, że treść strony pomaga ustalić, kiedy reklamę pokazać. Zebrane dane nie służą do treningu modeli. Dokumentacja OpenAI dla deweloperów opisuje OAI-AdsBot z pełnym user-agentem i listą adresów IP, ale jako tagi robots.txt nadal wymienia tylko GPTBot i OAI-SearchBot. Artykuł pomocy dla reklamodawców (aktualizacja z listopada 2026) każe sprawdzić robots.txt strony docelowej jako jedną z możliwych blokad. Blokada tego bota uniemożliwia weryfikację reklam w ChatGPT.OAI-AdsBotTak0
AgentData (agentdata.run)Baza danych o firmach: technologie strony, dane firmy i członkowie zespołu. Według operatora pobiera tylko HTML (najwyżej 1 żądanie na sekundę) i nie próbuje się logować. Listy adresów IP brak. W moich logach od 8 października 2026: 13 żądań na podrez.pl i foxstrategy.pl, m.in. media kit i strona główna.AgentDataBotTak0
Hunter (velen.io)Crawler Hunter budujący zbiory danych o firmach i modele uczenia maszynowego. Operator deklaruje, że respektuje robots.txt i meta tagi oraz pobiera najwyżej jedną stronę co 2 sekundy.VelenPublicWebCrawlerTak–
w liczbie wiersza „niezidentyfikowane”
UptimeRobotMonitoring dostępności strony, zwykle uruchomiony przez właścicielaUptimeRobotNie dotyczy69 895
AwarioMonitoring wzmianek o markach. W robots.txt Awario podaje tokeny AwarioSmartBot i AwarioRssBot; liczba żądań dotyczy user-agenta AwarioBot.AwarioSmartBot
AwarioRssBot
Tak1 797
badania bezpieczeństwa i inwentaryzacja domenSkanowanie publicznej powierzchni serwisów i statystyki domen. Netcraft i StormIntel zasad nie publikują. CheckMarkNetwork i OI-Crawler mają osobny wiersz niżej.własne tokenyBrak jednoznacznej dokumentacji71
razem z CheckMarkNetwork i OI-Crawler
CheckMark Network, OpenINTELOchrona marek (CheckMark Network) i pomiary domen projektu OpenINTEL. Obaj operatorzy deklarują respektowanie robots.txt. OI-Crawler pobiera robots.txt i stronę główną domeny.CheckMarkNetwork
OI-Crawler
Tak–
w liczbie wiersza wyżej
agenttru.stKatalog agentów AI: sprawdza, czy strona publikuje agenta albo serwer MCP. Adresy stron bierze z publicznych logów Certificate Transparency i pyta o pliki z /.well-known/, m.in. agent-card.json, agent.json i mcp/server-card.json. Operator publikuje 10 adresów IP. W moich logach 5 listopada 2026 na 4 serwisach: 52 żądania z dwóch adresów z listy, na każdym od robots.txt. Dawna nazwa: agenttrust-collector.AgentTrustBot
agenttrust-collector
Tak0
GoogleWykrywanie malware i nadużyć pod publicznie udostępnianymi linkamibrakNie – Google deklaruje ignorowanie robots.txt61
wszystkie zweryfikowane
wywiad o zagrożeniach (Recorded Future)Wywiad o zagrożeniach i śledzenie wzmianek w sieci. Recorded Future zasad dla swojego crawlera nie publikuje. Buck (Hypefactors) ma osobny wiersz niżej.własne tokenyBrak jednoznacznej dokumentacji47
razem z Buck
HypefactorsMonitoring mediów Hypefactors: śledzenie wzmianek o markach i tematach. Hypefactors deklaruje, że Buck respektuje robots.txt i kasuje dane starsze niż 90 dni. Token w regule to nazwa z user-agenta, bo Hypefactors nie podaje go wprost.BuckTak–
w liczbie wiersza wyżej
różni operatorzy, m.in. NVIDIANarzędzia do budowania zbiorów obrazów i dokumentów, m.in. pod trening modeli. W moich logach pod nazwami ImageBot, nvidiabot i cc-download, prawie wyłącznie obrazy i PDF-y. Domyślnie przedstawiają się jak zwykła przeglądarka, a nazwa narzędzia trafia do logu tylko wtedy, gdy użytkownik ją dopisze.brakNie czytają robots.txt; domyślnie pomijają pliki z nagłówkiem X-Robots-Tag noai lub noimageai3 591
Internet ArchiveArchiwizacja stron w Wayback Machine, także w zbiorach instytucji w usłudze Archive-It. Wykluczenie archiwów swojej witryny zgłasza się na info@archive.org.archive.org_botDomyślnie tak; klienci Archive-It mogą to wyłączyć1 504
OpenWebSearch.eu (Uniwersytet w Pasawie)Crawler europejskiego projektu otwartego indeksu OpenWebSearch.eu. W moich logach z sieci centrum obliczeniowego Leibniz-Rechenzentrum.OWLerTak, także Crawl-delay211
Carnegie Mellon UniversityAkademicki crawler badawczy Language Technologies Institute na Carnegie Mellon University. CMU deklaruje, że zbiera dane wyłącznie do badań. Rezygnację można zgłosić też formularzem na stronie bota.ClueWeb-CrawlerTak, także Crawl-delay174
Słowacka Akademia NaukBudowa publicznych korpusów językowychbrakBrak jednoznacznej dokumentacji79
SperidlabsDeklarowane badania („research use”) laboratorium AI, które buduje modele 3D i generowania obrazów. Strona bota podana w user-agencie zwraca błąd 404 (8 listopada 2026). W moich logach tylko 1 listopada 2026: 492 żądania z adresów AWS na 3 serwisach, w tym 305 obrazów i ani jednej strony HTML.SperidLabsResearchCrawlerBrak jednoznacznej dokumentacji0
GoogleCrawler ogólnego przeznaczenia. Google deklaruje, że reguły dla GoogleOther nie wpływają na żaden produkt, a crawler służy m.in. do jednorazowych crawli badawczych.GoogleOtherTak1 146
w tym 1 119 zweryfikowanych
GoogleOdmiany GoogleOther dla publicznych obrazów i filmówGoogleOther-Image
GoogleOther-Video
GoogleOther
Tak44
wszystkie zweryfikowane
WP RocketWtyczka cache: Preload buduje cache, a Pre-fetch Home Links pobiera stronę główną, żeby wybrać strony do wstępnej analizy elementów priorytetowych. Twój własny ruch. U mnie to największa pozycja w całej tabeli.brakNie dotyczy418 899
WP RocketUsługa WP Rocket pobierająca strony i pliki z serwerów operatora na potrzeby optymalizacji. Też Twój własny ruch, jeśli używasz WP RocketbrakNie dotyczy183 835
dowolny skryptNie boty, tylko biblioteki do pobierania stron. Za każdą stoi człowiek albo cudzy programbrakZależy od programu: Scrapy (w nowych projektach) i Wget (przy pobieraniu rekursywnym) domyślnie respektują robots.txt, pozostałe niczego nie sprawdzają25 903
CloudflareEndpoint /crawl usługi Browser Run (dawniej Browser Rendering): klient Cloudflare pobiera całą witrynę jednym zapytaniem do API. Cloudflare deklaruje, że endpoint respektuje robots.txt (także Crawl-delay), ustawienia AI Crawl Control i sygnały Content-Signal. Żądania przychodzą z adresów Cloudflare, więc z logu nie dowiesz się, kto zlecił pobranie ani po co. W moich logach od 5 listopada 2026: 47 żądań na ms-fox.pl i podrez.pl, za każdym razem od robots.txt i mapy witryny.CloudflareBrowserRenderingCrawlerTak0
GoogleTesty Lighthouse i PageSpeed Insights uruchamiane na żądanie: ręcznie albo automatycznie przez API PageSpeed InsightsbrakNie dotyczy14 508
GoogleNarzędzia testowe Google Search: test wyników z elementami rozszerzonymi i sprawdzanie adresu URL w Search ConsoleGoogle-InspectionTool
Googlebot
Tak7 264
w tym 7 262 zweryfikowane
GooglePobiera tylko plik /.well-known/traffic-advice, którym możesz ograniczyć albo wyłączyć prefetch stron przez Chrome. W moich logach od 7 października do 7 listopada 2026 na 9 serwisach: 2266 żądań, wszystkie o ten plik (404) i wszystkie z adresów Google. Same prefetche idą z okrojonym user-agentem przeglądarki i nagłówkiem Sec-Purpose, więc w zwykłym logu ich nie rozpoznasz.brakNie dotyczy – prefetch ogranicza plik traffic-advice, nie robots.txt2 064
wszystkie zweryfikowane
Microsoft (aplikacja Bing)Przeglądarka wbudowana w aplikację Bing na Androidzie. Za tym ruchem stoi człowiek, nie crawler. Nie ma go na liście crawlerów Microsoftu.brakNie dotyczy76
GoogleSprawdzenie potwierdzenia własności strony w Search Consolebrak, fetcher użytkownikaZwykle nie18
wszystkie zweryfikowane
dowolny użytkownikBiblioteka Pythona do budowania zbiorów danych. Ktoś pobierał treść do własnego zestawubrakNie dotyczy – zależy od skryptu14
GoogleDostarczanie powiadomień push z interfejsów API Google na adresy zarejestrowane przez deweloperówAPIs-GoogleTak, ale ignoruje User-agent: *0
Yahoo! JAPAN (LY Corporation)System Yahoo! JAPAN sprawdzający strony, do których linkują serwisy Yahoo! JAPAN. LY Corporation wymienia go osobno od swoich crawlerów i nic nie pisze o robots.txt. Nazwa bywa zapisywana bez wykrzyknika (YJ-DLC). W moich logach wszystkie żądania z sieci LY Corporation, z potwierdzonym odwrotnym DNS *.yahoo.co.jp.brakBrak jednoznacznej dokumentacji87
podszycie – sieci domowe w IndiachAtaki na logowanie przez /xmlrpc.php pod nazwą wtyczki Jetpack. Jeśli nie używasz Jetpacka, każde takie żądanie jest podejrzane. Jetpack deklaruje, że prawdziwe żądania przychodzą tylko z jego zakresów IPv4 (jetpack.com/ips-v4.txt) i mają w adresie for=jetpack oraz podpis, a goły /xmlrpc.php nie pochodzi od Jetpacka.brakNie dotyczy – blokuj na serwerze12 405
nieustalonyBrak dokumentacji i możliwości ustalenia operatora. Oceniaj po zachowaniubrakNieznane4 608
razem z VelenPublicWebCrawler
brak aktywnego operatora (Exalead.com wycofane)Dawny crawler wyszukiwarki Exalead. Dassault Systèmes deklaruje, że Exalead.com wycofano jako osobną usługę, a domena exabot.com jest na sprzedaż. W moich logach 97 z 98 żądań to goły user-agent Exabot z hostingów, pobierający tylko robots.txt.ExabotNie dotyczy – brak aktywnego operatora98
nieustalony – Cohere deklaruje brak botaNazwy przypisywane Cohere. Cohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening, a CohereBot podaje tylko jako przykład przyszłej reguły. W moich logach wszystkie żądania pochodzą od skanera.cohere-ai
CohereBot
Nie dotyczy – Cohere nie deklaruje aktywnego bota60
żadne od Cohere
2ip.ioUsługa sprawdzania adresów IP i stron2ip botBrak jednoznacznej dokumentacji51
nieznanyZbieranie adresów e-mail. Jedyna pozycja, przy której blokada nie wymaga namysłuEmailCrawlerNieznane; jeśli chcesz mieć pewność, blokuj na serwerze21

Jeśli blokujesz NotebookLM, zablokuj obie nazwy. 16 lipca 2026 Google zmieniło w dokumentacji nazwę user-agenta z Google-NotebookLM na Google-GeminiNotebook i zapowiedziało wsparcie starej nazwy do sierpnia 2026. W praktyce do 6 października 2026 wszystkie 4064 żądania tego fetchera przyszły u mnie pod starą nazwą i z adresów Google, a nowa nie pojawiła się ani razu. Reguła w .htaccess albo w WAF-ie musi więc obejmować obie: starą, bo nadal działa, i nową, bo według dokumentacji może ją zastąpić w każdej chwili.

Jak powstała ta tabela

Funkcje i tokeny sprawdziłam w dokumentacji operatorów wszędzie tam, gdzie taka dokumentacja istnieje. Pozycje bez oficjalnego źródła opisuję na podstawie pełnego user-agenta, adresu podanego w jego ciągu i zachowania w logach – brak potwierdzenia jest wyraźnie oznaczony. Dane o częstotliwości pochodzą z ponad 2,6 mln żądań w logach podrez.pl za okres od 2 lutego do 6 października 2026.

Każde żądanie liczę w jednym wierszu – tym, którego nazwa stoi w user-agencie najwcześniej – więc na przykład Googlebot-Image nie liczy się drugi raz jako Googlebot. Część pozycji grupuje kilka pokrewnych user-agentów jednego operatora, więc nazw jest więcej niż wierszy.

Tabela liczy nazwy, nie boty. Pod nazwy części botów AI podszywają się skanery, dlatego przy niektórych pozycjach podaję, ile żądań przeszło weryfikację po adresie IP.

Opracowanie: Ewelina Podrez-Siama, SEO od 2009 roku. Ostatnia aktualizacja: 8 listopada 2026.

Źródła: dokumentacja operatorów botówDziewięćdziesiąt siedem dokumentów, w których sprawdzałam tokeny, funkcje i zasady. Każdy można sprawdzić samodzielnie.

OpenAI
Overview of OpenAI Crawlers – GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot
Advertiser Guidance for Allowing OpenAI Web Crawlers – token OAI-AdsBot i respektowanie reguł
Ułatwiamy witrynom określanie preferencji dotyczących trenowania AI – token __usage_ai-training

Anthropic
Does Anthropic crawl data from the web… – ClaudeBot, Claude-User, Claude-SearchBot
Claude-Agent – przeglądarki hostowane przez Anthropic i adresy IP

Perplexity
Perplexity Crawlers – PerplexityBot, Perplexity-User, listy adresów IP

Google
Google’s common crawlers – Googlebot, GoogleOther, Google-Extended, Google-CloudVertexBot
Google special-case crawlers – AdsBot, Mediapartners, APIs-Google, Google-Safety
Google user-triggered fetchers – Gemini Notebook, Google-Agent, GoogleProducer
Verify requests from Google – trzy klasy botów, trzy pliki JSON, odwrotny DNS
Changelog dokumentacji crawlerów – daty zmian, m.in. 17.09.2026, 16.07.2026 i 20.03.2026
AI Features and Your Website – dyrektywy podglądu wobec AI Overviews i AI Mode
Supporting a shared AI training control for websites – token __usage_ai-training i Google-Extended
Feedfetcher – ignorowanie robots.txt, blokada kodem 404 lub 410
Google Read Aloud user agent – meta tag nopagereadaloud
APIs-Google user agent
Authenticate requests with Web Bot Auth – Google-Agent
PageSpeed Insights API – automatyczne testy Lighthouse

Apple
About Applebot – Applebot, Applebot-Extended, iTMS, lista adresów IP, dziedziczenie reguł po Googlebocie

Meta
Meta Web Crawlers – meta-externalagent, meta-webindexer, meta-externalfetcher, facebookexternalhit; dwa ostatnie mogą pomijać robots.txt
WhatsApp – Link Previews

Amazon
Amazon Web Search crawlers – Amazonbot, Amzn-SearchBot, Amzn-User, trzy listy adresów IP

Mistral AI
Mistral crawlers – MistralAI-Training, MistralAI-Index, MistralAI-User

Microsoft
Overview of Bing crawlers – bingbot, adidxbot, BingPreview, MicrosoftPreview, BingVideoPreview
Your content, your choice: clearer preferences for training and grounding – token __usage_ai-training

Inne wyszukiwarki
DuckDuckGo – DuckDuckBot i DuckAssistBot – respektowanie reguł, listy adresów IP
YouBot – robots.txt, Crawl-delay, odwrotny DNS
Yandex – roboty w logach serwera – które roboty stosują się do reguł ogólnych, odwrotny DNS
Seznam – Crawling control
Petal Search – PetalBot
Baidu – Baiduspider – deklaracja przestrzegania protokołu robots
Sogou – spider i robots.txt
Sogou – pomoc dla webmasterów
Yahoo – Why is Slurp crawling my page? – także weryfikacja po adresie IP
Mojeek – MojeekBot
ibou – crawlery – ibou-search, ibou-discovery, ibou-news, ibou-images i listy adresów IP
Andi – Andi-SearchBot
Go Away – GoAwayBot
Yahoo! JAPAN – Y!J-DLC (po japońsku)
Yandex – YandexAdditional – odpowiedzi Yandex AI
Qwant and AI Training Data

Narzędzia SEO
Semrush – SemrushBot i SiteAuditBot
Majestic – MJ12bot
Serpstat – serpstatbot
DataForSEO – DataForSeoBot
SE Ranking – SERankingBacklinksBot
Babbar – Barkrowler
SE Ranking – SEBot-WA – crawler Website Audit, odwrotny DNS
Awario Crawlers – AwarioSmartBot i AwarioRssBot
Screaming Frog – robots.txt
Moz – DotBot
Moz – rogerbot
SE Ranking – SERankingPCFBot
DataForSEO – On-Page API – RSiteAuditor
Hunter – Velen crawler

Pozostali operatorzy
Common Crawl – CCBot
Parallel – ShapBot i Shap-User – wersja z 11.08.2026
Cohere Web Crawlers – deklaracja, że Cohere obecnie nie używa botów do zbierania treści pod trening
Qwant – QwantBot i robots.txt – warianty user-agenta, lista adresów IP, Crawl-delay
Ahrefs Bots – AhrefsBot, AhrefsSiteAudit, listy adresów IP
Slack Robots – trzy agenty i deklaracja o nierespektowaniu reguł
Yep – YepBot
Pinterest – Pinterestbot
Diffbot – Does Diffbot respect robots.txt?
Brave Search Crawler
ElevenLabs bots – ElevenlabsCrawler i ElevenlabsBot
Baken – BakenBot – zasady danych i adresy IP
agenttru.st – AgentTrustBot – pobierane pliki i adresy IP
AgentData – AgentDataBot
Cloudflare – robots.txt and sitemaps – CloudflareBrowserRenderingCrawler
Cloudflare – Crawl entire websites with a single API call – endpoint /crawl, robots.txt i AI Crawl Control
Exa – ExaSearchBot
Exa – ExaUser
Exa – ExaSearchBot-Images
Linkup – LinkupBot i lista adresów IP
OpenWebSearch.eu – How Owler crawls – także OWLer-GenAI
CMU – ClueWeb Crawler
Inoreader Fetcher
Feedly Fetcher
CheckMark Network – crawler
OpenINTEL – web crawl
Hypefactors – Buck
Scrapy – ROBOTSTXT_OBEY
GNU Wget – Robot Exclusion
img2dataset – opt-out directives
Rank Math – AI Link Genius
Cloudflare – /crawl endpoint – Crawl-delay i Content-Signal
Discord – Link Previews and the Discordbot
X – Troubleshooting Cards – kopia z 6.02.2026 w Web Archive, dziś usunięte
Jetpack – IP allowlist
Archive-It – robots.txt exclusions – kopia z 17.03.2026 w Web Archive
Internet Archive – removal requests
OpenWebSearch.eu – Owler at a glance

Kontekst
Cloudflare – Your site, your rules: new AI traffic options – kategorie Search, Agent i Training, ustawienia domyślne od 15.09.2026 i blokada crawlerów wielofunkcyjnych przy blokadzie kategorii Training
IETF – Machine-Readable Training Preference Signal (draft) – token __usage_ai-training
Dassault Systèmes – Exalead.com retired

Wszystkie odnośniki sprawdzone 8 listopada 2026. Pozycje w tabeli oznaczone jako „brak jednoznacznej dokumentacji” albo nie mają odpowiednika na tej liście, albo ich dokumentacja nic nie mówi o robots.txt – opisuję je na podstawie user-agenta i zachowania w logach.

 

Weryfikacja. Przy części pozycji podaję pod liczbą, ile żądań przeszło weryfikację: adres IP z oficjalnej listy operatora albo odwrotny DNS w jego domenie, potwierdzony zapytaniem w przód. Listy pobrałam 7 października 2026, więc starsze żądania z adresów, których operator już nie używa, mogą wypaść jako niezweryfikowane. Dlatego nie oznaczam w ten sposób ChatGPT-User i ShapBota – ich niezweryfikowane żądania pochodzą głównie z lutego⁠–⁠lipca, a od sierpnia weryfikuje się odpowiednio 79% i 100%.

Kolumna „respektuje robots.txt”. Opiera się na dokumentacji operatora, nie na moich testach. „Deklarowane” znaczy, że operator tak twierdzi, ale krążą raporty o odstępstwach. „Brak jednoznacznej dokumentacji” znaczy dokładnie to, co mówi – nie znalazłam wiarygodnego źródła i nie zgaduję.

robots.txt

Dlaczego robots.txt nie blokuje wszystkich botów AI?

Wpis w robots.txt nie działa tak samo na każdego bota. Crawlery chodzące po sieci z własnej inicjatywy zwykle się do niego stosują. Przy fetcherach uruchamianych przez użytkownika zaczynają się schody, bo tu każdy operator ma własną politykę.

  • Crawlery automatyczne

    Chodzą po sieci z inicjatywy operatora: GPTBot, ClaudeBot, PerplexityBot, Googlebot. Respektują robots.txt i to dla nich ten plik powstał.

  • Fetchery na żądanie użytkownika

    Pobierają stronę, bo konkretne działanie użytkownika tego wymagało. Tu operatorzy się różnią. Anthropic i Mistral dają osobne tokeny (Claude-User, MistralAI-User) i deklarują, że je respektują. Google, OpenAI, Perplexity, Amazon i Meta zaznaczają, że reguły mogą nie mieć zastosowania, bo żądanie inicjuje użytkownik.

  • Tokeny sterujące bez bota

    Google-Extended i Applebot-Extended nie wysyłają żadnych żądań. Wpisujesz je do robots.txt, ale w logach ich nie zobaczysz. Google-Extended obejmuje trening modeli Gemini oraz grounding, czyli podawanie treści modelowi w momencie odpowiedzi. Applebot-Extended dotyczy treningu modeli Apple.

Praktyczny wniosek: zanim zablokujesz fetcher uruchamiany przez użytkownika, sprawdź politykę konkretnego operatora. Disallow dla Claude-User albo MistralAI-User faktycznie zamyka drzwi, bo Anthropic i Mistral deklarują respektowanie tych tokenów. Przy Google, OpenAI, Perplexity, Amazonie i Mecie ten sam wpis jest prośbą, więc jeśli potrzebujesz pewności, dołóż regułę na poziomie serwera albo WAF-a. Jak to sprawdzić u siebie, opisałam w tekście o analizie logów serwera.

Podszywanie się pod boty

Podejrzane user-agenty: nazwy niemożliwe i wymagające weryfikacji

Od czerwca 2026 w moich logach działa skaner, który podpisuje się nazwami botów AI i szuka plików z hasłami i kluczami: .env, .aws/credentials, konfiguracji Firebase. Przychodzi głównie z maszyn klientów Google Cloud i z tanich hostingów, a nazwy botów rotuje. Warto znać te nazwy, bo wyglądają wiarygodnie i łatwo przepuścić je przez filtr.

Część nazw nie może pochodzić od operatora, bo jego własna dokumentacja mówi, że te tokeny w ogóle nie crawlują. Inne to prawdziwe nazwy botów, ale żadne żądanie pod nimi nie przyszło z adresów operatora. Kolejne nie występują w żadnej dokumentacji. Ten sam skaner podpisuje się też nazwami, które w tabeli mają własne wiersze – ChatGPT-User, Claude-User, GPTBot czy Amazonbot – i zawyża ich liczby.

Nazwa w loguStatusDlaczegoCzego szukała u mnie
Google-ExtendedNiemożliwaToken sterujący w robots.txt, Google nie wysyła nim żądań/.aws/credentials, /.env.test
Applebot-ExtendedNiemożliwaApple pisze wprost, że ten token nie crawluje stron/privatekey.key, /secrets.json
Claude-SearchBotPodszyciePrawdziwa nazwa bota Anthropic, ale żadne żądanie nie przyszło z adresów z listy Anthropicpliki z hasłami i kluczami
Amzn-SearchBotPodszyciePrawdziwa nazwa bota Amazona, ale żadne żądanie nie przyszło z adresów Amazonapliki z hasłami i kluczami
anthropic-aiSkanerNazwa spoza aktualnej dokumentacji Anthropic/__/firebase/init.json, /env.js
Claude-WebSkanerNazwa spoza aktualnej dokumentacji Anthropic/secrets.json, /.env.old
cohere-ai, CohereBotSkanerCohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening/.aws/credentials, /api/v1/env
GrokBot, Kimi-SearchBot, DeepSeekBot i inneSkanerNazwy spoza dokumentacji operatorów, ten sam wzorzec ruchu.env, credentials, konfiguracja Firebase
BingIndexCrawlerDo weryfikacjiSieć Microsoftu, ale bez odwrotnego DNS search.msn.com; Bing crawluje jako bingbotobrazy z /wp-content/uploads/

Logi podrez.pl, 02.02⁠–⁠06.10.2026. Liczba wystąpień: Amzn-SearchBot 244, Claude-SearchBot 213, Google-Extended 176, cohere-ai i CohereBot 60, anthropic-ai 28, Claude-Web 20, BingIndexCrawler 10, Applebot-Extended 5. Pozostałe fałszywe nazwy AI – GrokBot, xAI-Grok, xAI-SearchBot, Kimi-SearchBot, MoonshotBot, Qwenbot, DeepSeekBot, ChatGLM-Spider, Hunyuan, YiBot i MistralBot – od 20 do 38 wystąpień każda.

Wzorzec jest czytelny. Podejrzane żądania sięgają po:

  • tokeny, które nie są user-agentami,
  • nazwy nieobecne w dokumentacji,
  • nazwy prawdziwych botów, licząc, że te przepuszcza każdy filtr.

Sama niezgodność nazwy z dokumentacją nie musi jednak oznaczać złych zamiarów – BingIndexCrawler przychodził z sieci Microsoftu i pobierał wyłącznie obrazy – dlatego rozstrzyga adres IP, a nie sama nazwa. Problem nie dotyczy zresztą wyłącznie mojej strony – Common Crawl wprost ostrzega w swojej dokumentacji, że zna przypadki crawlerów fałszywie podających się za CCBota, i zaleca weryfikację user-agenta.

Weryfikacja

Jak sprawdzić, czy bot jest prawdziwy: weryfikacja po adresie IP

User-agenta podrabia się w dziesięć sekund, więc sama nazwa nie dowodzi niczego. Pewność daje dopiero zestawienie nazwy z adresem IP i oficjalnymi zakresami operatora, a tam gdzie to możliwe – z odwrotnym i ponownym sprawdzeniem DNS. Google testuje też kryptograficzne uwierzytelnianie botów, czyli Web Bot Auth.

OperatorŹródło adresów
OpenAIopenai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, openai.com/adsbot.json
Anthropicclaude.com/crawling/bots.json; dla Claude-Agent claude.com/.well-known/sail
Perplexityperplexity.com/perplexitybot.json, perplexity.com/perplexity-user.json
Google – crawlery zwykłecommon-crawlers.json; odwrotny DNS kończy się na googlebot.com
Google – crawlery specjalnespecial-crawlers.json; odwrotny DNS kończy się na google.com
Google – fetchery i agenty użytkownikaosobne pliki JSON; odwrotny DNS kończy się na google.com lub gae.googleusercontent.com
Applesearch.developer.apple.com/applebot.json; odwrotny DNS kończy się na applebot.apple.com
Mistralmistral.ai/mistralai-user-ips.json, mistral.ai/mistralai-index-ips.json; dla MistralAI-Training lista nie jest publikowana
Amazontrzy osobne listy: /ip-addresses/, /searchbot-ip-addresses/, /live-ip-addresses/
Paralleldocs.parallel.ai/resources/shapbot.json; także podpis Web Bot Auth
Microsoftnarzędzie Verify Bingbot w Bing Webmaster Tools; odwrotny DNS kończy się na search.msn.com
Common Crawlindex.commoncrawl.org/ccbot.json; odwrotny DNS kończy się na crawl.commoncrawl.org
Qwanthelp.qwant.com/qwantbot.json; odwrotny DNS kończy się na qwant.com
Metaadresy z systemu autonomicznego AS32934, do pobrania przez whois -h whois.radb.net -- '-i origin AS32934'; lista często się zmienia
Baiduodwrotny DNS kończy się na baidu.com lub baidu.jp; listy adresów Baidu nie publikuje
DuckDuckGoduckduckgo.com/duckassistbot.json dla DuckAssistBota
You.comodwrotny DNS kończy się na search.you.com; dodatkowo podpisy kryptograficzne
Yandexodwrotny DNS kończy się na yandex.ru, yandex.net lub yandex.com; listy adresów Yandex nie publikuje
SE Rankingodwrotny DNS kończy się na seranking.com (SERankingBacklinksBot) lub sr-srv.net (SEBot-WA)
Babbar (Barkrowler)odwrotny DNS kończy się na babbar.eu
Ahrefs (także YepBot)zakresy i pojedyncze adresy przez api.ahrefs.com; odwrotny DNS kończy się na ahrefs.com lub ahrefs.net
Pinterestodwrotny DNS kończy się na pinterest.com lub pinterestcrawler.com
ibouibou.com/ibousearch-ip-ranges.json (ibou-search) i ibou.com/iboumedia-ip-ranges.json (ibou-discovery, ibou-news); dla ibou-search odwrotny DNS kończy się na ibou.io
ElevenLabslisty adresów ElevenLabs nie publikuje
Baken (SeeMe AI)adresy 213.239.220.146 i 2a01:4f8:a0:70c4::2 na stronie bota; odwrotny DNS bakenbot.baken.dev
agenttru.st10 adresów IP na stronie bota; odwrotny DNS kończy się na agenttru.st i wskazuje z powrotem ten sam adres
Cloudflare (Browser Run)podpis Web Bot Auth (nagłówek Signature-agent); adres IP Cloudflare nie mówi, kto zlecił pobranie
Andi, AgentData, Go Away, Speridlabslist adresów nie publikują
Exapodpis Web Bot Auth; klucze w crawler.exa.ai/.well-known/http-message-signatures-directory
Linkupwww.linkup.so/linkupbot-ips.txt
Discordcdn.discordapp.com/ipranges/discord.json
Jetpack (WordPress.com)jetpack.com/ips-v4.txt; prawdziwe żądania mają też for=jetpack i podpis w adresie
X (Twitterbot)zakresy z dokumentacji z lutego 2026: 199.16.156.0/22, 199.59.148.0/22, 192.133.76.0/22 (AS13414)
Yahoo (Slurp)s.yimg.com/bo/crawling/ipranges/common-crawlers.json; odwrotny DNS kończy się na crawl.yahoo.net

Ile z tego to prawdziwe boty? Weryfikacja moich logów

Tabela na górze liczy nazwy w logach, a nie boty. Dlatego przy każdym bocie, którego adresy da się sprawdzić, podaję też, ile żądań przyszło z oficjalnych zakresów operatora albo przeszło odwrotne i ponowne sprawdzenie DNS. Okres jak w tabeli: 02.02⁠–⁠06.10.2026, podrez.pl.

BotŻądaniaZweryfikowaneUdział
GPTBot10 2189 92597%
OAI-SearchBot5 8915 60495%
ChatGPT-User8 3963 24939%*
ClaudeBot6 7896 51896%
Claude-User1 90296651%
Claude-SearchBot21300%
PerplexityBot3 1612 92593%
Perplexity-User2065125%*
Amazonbot8 1117 81996%
Applebot4 5634 40797%
Googlebot13 59511 24183%
bingbot10 0799 80997%

* Od sierpnia 2026: ChatGPT-User 79%, Perplexity-User 0%. OpenAI publikuje tylko bieżącą listę adresów, więc starsze żądania z sieci Microsoft Azure na nią nie trafiają.

Żeby sprawdzić, czy to nie przypadłość jednej strony, porównałam tydzień 17⁠–⁠23.10.2026 w logach dziewięciu serwisów, którymi się opiekuję. Obraz jest ten sam, a przy niektórych nazwach nawet ostrzejszy:

  • Perplexity-User: 169 żądań, ani jednego z adresów Perplexity,
  • DuckAssistBot: 207 żądań, prawdziwych 23,
  • PerplexityBot: fałszywe co trzecie żądanie,
  • ChatGPT-User: fałszywe co szóste,
  • OAI-SearchBot i GPTBot: fałszywe co dziesiąte i co czternaste.

Morał? Zanim pochwalisz się, że „ChatGPT odwiedza Cię 200 razy w tygodniu”, sprawdź adresy. Raport, który liczy boty AI po samej nazwie, potrafi pokazać skaner szukający pliku .env jako Twojego najwierniejszego czytelnika z Perplexity.

Blokowanie

Jak zablokować boty AI w robots.txt? Gotowe przykłady.

Zanim cokolwiek zablokujesz: w większości przypadków tego nie rekomenduję. Blokada odcina Cię od odpowiedzi generatywnych, a więc od kanału, w którym Twoja marka może zostać wymieniona i zacytowana. Dla większości firm, ekspertów i sklepów to strata, nie zysk.

Wyjątki są realne i dotyczą przede wszystkim wydawców, portali i mediów, czyli tych, którzy żyją ze sprzedaży treści albo z ruchu na własnej stronie. Tam blokada bywa uzasadnioną decyzją biznesową – ale nadal decyzją, a nie ustawieniem domyślnym.

Poniższe konfiguracje traktuj więc jako punkt wyjścia do świadomego wyboru, nie jako zalecenie.

Pierwszy wariant ogranicza najważniejsze crawlery wykorzystywane do treningu modeli. Drugi blokuje osobno identyfikowane boty i fetchery systemów AI, zostawiając dostęp Googlebotowi, bingbotowi i Applebotowi. Oba są punktem wyjścia, nie uniwersalną konfiguracją dla każdej witryny. Pamiętaj też, że blokada nie działa wstecz. Model już wytrenowany nie zapomni tego, czego nauczył się do swojej daty odcięcia wiedzy.

Wariant 1 · Bez treningu

chronię treść

Wpuszczam wszystko, co może mnie cytować, i odcinam zbieranie treści pod uczenie modeli.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Amzn-SearchBot
User-agent: ShapBot
Allow: /
Cena: przy crawlerach wielofunkcyjnych, takich jak Amazonbot czy CCBot, blokada wyłącza też zastosowania inne niż trening.

Wariant 2 · Osobne boty AI

Google i Apple zostają

Blokuję osobne crawlery treningowe, indeksy AI i fetchery użytkowników, ale zostawiam otwarte klasyczne wyszukiwarki. To nie usuwa strony z AI Overviews, AI Mode ani z generatywnych odpowiedzi Apple.

# wyszukiwarki zostają
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: Amzn-SearchBot
Allow: /

# trening modeli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: cohere-ai
User-agent: CohereBot
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# indeksy odpowiedzi generatywnych
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: DuckAssistBot
User-agent: LinkupBot
User-agent: ShapBot
User-agent: YouBot
User-agent: Diffbot
Disallow: /

# pobrania na żądanie użytkownika
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
Disallow: /
Efekt: ograniczasz dostęp systemom, które mają własne boty – ChatGPT, Claude, Perplexity, Mistral. To nie jest pełne wyjście z odpowiedzi generatywnych: AI Overviews i AI Mode zasila Googlebot, Copilota zasila bingbot, a Applebot bywa źródłem kontekstu dla odpowiedzi Apple.

Drugi wariant ma dziurę i lepiej o niej wiedzieć od razu. Ostatnia grupa to fetchery uruchamiane przez użytkownika, a część z nich może zignorować robots.txt. Gemini Notebook i Google-Agent nie mają nawet własnego tokenu. Jeśli blokada ma być szczelna, trzeba ją dołożyć na poziomie serwera. Przykład dla Apache i pliku .htaccess:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM|Google-Agent|GoogleProducer|ChatGPT-User|Perplexity-User|Amzn-User|Meta-ExternalFetcher|Shap-User) [NC]
RewriteRule ^ - [F,L]

Jedno zastrzeżenie, o którym łatwo zapomnieć: robots.txt nie służy do ochrony danych. Plik jest publiczny, dyrektywy nie są kontrolą dostępu, a zablokowany adres i tak może trafić do indeksu na podstawie linków z zewnątrz. Sekcje faktycznie prywatne zabezpiecza się logowaniem po stronie serwera.

Robots.txt to nie jedyna warstwa.

  • Jeśli dla bota istnieje bardziej konkretna pasująca grupa, ma ona pierwszeństwo przed User-agent: *, a wildcard obowiązuje dopiero wtedy, gdy nic konkretniejszego nie pasuje.
  • Fetchery uruchamiane przez użytkownika to osobny przypadek: część respektuje dedykowane tokeny, część może je pomijać i wymaga reguły na poziomie serwera lub WAF-a.
  • Jeśli strona stoi za Cloudflare, sprawdź też ustawienia botów AI: od 15 września 2026 blokada kategorii Training – w nowych ustawieniach albo przez dawny przełącznik „Block AI bots” – obejmuje także Googlebota, bingbota i Applebota, bo te boty zbierają dane zarówno do wyszukiwarki, jak i do treningu. Robots.txt może być ustawiony wzorowo, a Googlebot i tak dostanie odmowę na poziomie Cloudflare.

Google

Jak ograniczyć AI Overviews? O nosnippet, data-nosnippet i max-snippet

robots.txt informuje zgodne boty, czy powinny pobierać stronę. Dyrektywy meta sterują natomiast indeksowaniem i tym, jakie fragmenty mogą trafić do wyników oraz do funkcji AI. To dwie różne warstwy i przy AI Overviews druga bywa jedyną, jaka Ci zostaje.

Rzecz kluczowa

Nie istnieje osobny opt-out z AI Overviews i AI Mode, który zostawiałby nienaruszoną zwykłą obecność w Google. Zasila je ten sam Googlebot i ten sam indeks, a Google-Extended dotyczy wyłącznie treningu Gemini i groundingu, więc jego blokada nic tu nie zmienia.

Możesz natomiast ograniczyć, ile treści trafia do tych funkcji. Google wymienia cztery dyrektywy: nosnippet, data-nosnippet, max-snippet i noindex. Każda z nich działa jednocześnie na zwykłe wyniki i na funkcje AI – nie da się rozdzielić jednego od drugiego.

DyrektywaCo robiCzym płacisz
nosnippetBlokuje wyświetlanie fragmentu strony we wszystkich formach wyników, łącznie z AI Overviews i AI ModeZnika też zwykły opis pod tytułem w wynikach i szansa na direct answer
data-nosnippetTo samo, ale tylko dla oznaczonego fragmentu HTMLReszta strony działa normalnie – najbardziej precyzyjne narzędzie z tego zestawu
max-snippet:NOgranicza długość fragmentu do N znaków i tym samym ilość treści podawanej modelowiPrzy niskiej wartości efekt zbliżony do nosnippet
noindexUsuwa stronę ze wszystkich form wyników Google, także z AI Overviews i AI ModeStrona znika również ze zwykłych wyników wyszukiwania
noarchiveU Amazona oznacza „nie używaj tej strony do trenowania modeli”Działa tylko u operatorów, którzy tę dyrektywę honorują

Apple honoruje nosnippet – także w nagłówku X-Robots-Tag: applebot: nosnippet – jako rezygnację z wykorzystania treści jako dodatkowego kontekstu w odpowiedziach generatywnych. Ten sam skutek ma oznaczenie strony jako isAccessibleForFree: false w danych strukturalnych, a strona nadal może się pojawiać w wynikach wyszukiwania Apple. Amazon deklaruje respektowanie noarchive, noindex i none, ale nie obsługuje crawl-delay.

Najbardziej precyzyjne narzędzie to data-nosnippet. Wyłącza z podglądów i z bezpośredniego użycia przez funkcje AI tylko oznaczony fragment strony. Stosuj je świadomie: te same akapity, które najłatwiej zastąpiłyby wizytę u Ciebie – definicje, listy kroków, tabele – są zwykle tymi, dzięki którym strona w ogóle bywa cytowana.

Dane z moich logów

Co boty AI pobierają z Twojej strony: treść czy pliki?

Sama liczba wizyt niewiele mówi. Ciekawsze, ile z nich trafia w podstronę z treścią, a ile w pliki CSS, obrazki i końcówki API.

BotUdane żądaniaUdział wejść w treść
Perplexity-User6191,8%
CCBot56981,5%
ChatGPT-User780574,2%
Claude-User98463,7%
PerplexityBot274962,1%
OAI-SearchBot414533,5%
GPTBot584330,2%
ClaudeBot428921,8%
Google-GeminiNotebook368619,9%
Applebot405117,7%
Amazonbot541515,1%

Logi podrez.pl, 02.02⁠–⁠06.10.2026; udane żądanie to odpowiedź ze statusem 200. Treść to każdy adres poza stroną główną, robots.txt, sitemapami, katalogami /wp-content/, /wp-includes/ i /wp-json/ oraz plikami .php. Perplexity-User, ChatGPT-User i Claude-User trafiają głównie prosto w treść, ale sama klasa bota nie przesądza zachowania: CCBot ma wysoki udział wejść w treść, a Gemini Notebook niski.

Definicja treści zmienia tu wnioski bardziej, niż się wydaje. Co czwarte udane wejście ChatGPT-User to strona główna – gdybym liczyła ją jako treść, jego udział wzrósłby do 98,6%. Wygląda to raczej na sprawdzanie, kim jest autorka strony, niż na czytanie konkretnego tekstu. Druga obserwacja dotyczy ostatnich dwóch miesięcy: od 6 sierpnia GPTBot pobierał treść tylko w 13% udanych wejść, a średnio odwiedzał stronę prawie czterokrotnie rzadziej niż wcześniej.

Logi pokazują, czy boty AI docierają do strony. Co systemy AI potem z tą treścią robią – kogo polecają Twoim klientom i do jakich źródeł odsyłają – sprawdzam w badaniach widoczności w AI.

Narzędzia i listy

Inne moje narzędzia i listy

Boty nie przychodzą na stronę? Może nie mają takiej możliwości! Sprawdź to w High Five, AI! by Maciej Chmurkowski.

Pytania

Często zadawane pytania

Jak sprawdzić, jaki bot odwiedził moją stronę?

Nazwa bota znajduje się w polu user-agent w logu dostępowym serwera, zwykle w pliku access.log lub domena.pl.log w katalogu logs. Skopiuj nazwę i wyszukaj ją w tabeli powyżej. Jeśli chcesz mieć pewność, że bot jest prawdziwy, porównaj adres IP z zakresami publikowanymi przez operatora. Najszybciej zrobisz to w moim narzędziu Boty AI w logach: wczytujesz log w przeglądarce, plik nie opuszcza Twojego komputera, a narzędzie rozpozna boty i sprawdzi ich adresy IP.

Czy zablokowanie GPTBota usuwa mnie z wyników ChatGPT?

Nie. GPTBot odpowiada za zbieranie treści pod trening modeli, a za obecność w wynikach wyszukiwania ChatGPT odpowiada OAI-SearchBot. To dwa niezależne tokeny i można je ustawić różnie: zablokować trening, zostawić wyszukiwanie. Analogiczny trójpodział stosują Anthropic i Mistral. Amazon również rozdziela ruch na trzy agenty, ale jego Amazonbot jest crawlerem wielofunkcyjnym, który do treningu tylko może być wykorzystywany. Perplexity rozdziela natomiast tylko indeks wyszukiwania od pobrań na żądanie użytkownika i nie ma udokumentowanego crawlera treningowego.

Dlaczego nie widzę Google-Extended w logach?

Bo Google-Extended nie jest botem. To token sterujący w robots.txt, którym decydujesz o wykorzystaniu treści do trenowania modeli Gemini i do groundingu. Samo pobieranie stron wykonują zwykłe roboty Google. Jeśli mimo to widzisz tę nazwę w logu, patrzysz na podszywacza.

Jak wypisać się z AI Overviews?

Przez robots.txt się nie da. AI Overviews i AI Mode korzystają ze zwykłego indeksu Google, budowanego przez Googlebota, a token Google-Extended dotyczy wyłącznie trenowania modeli Gemini i groundingu. Jedyne dostępne narzędzie to dyrektywy podglądu: nosnippet, data-nosnippet, max-snippet i noindex. Każda z nich ogranicza też zwykły wynik wyszukiwania, więc wyjście z AI Overviews oznacza częściowe wyjście z Google.

Czy blokada w robots.txt zatrzyma każdego bota AI?

Nie. Fetchery uruchamiane przez użytkownika, takie jak Gemini Notebook czy ChatGPT-User, mogą pomijać robots.txt, ponieważ żądanie inicjuje człowiek, a nie automat. Żeby je zatrzymać, potrzebujesz reguły na poziomie serwera, w konfiguracji WAF-a albo w pliku .htaccess.

Co się zmieniło z NotebookLM?

16 lipca 2026 Google zaktualizowało dokumentację i zmieniło nazwę user-agenta z Google-NotebookLM na Google-GeminiNotebook, po tym jak sam produkt został przemianowany na Gemini Notebook. Starą nazwę zapowiedziało jako wspieraną do sierpnia 2026. W moich logach do 6 października wszystkie żądania tego fetchera nadal przychodziły pod starą nazwą, a nowa nie pojawiła się ani razu, więc reguły blokujące powinny obejmować obie.

Ostatnia aktualizacja: 8 listopada 2026 Tokeny i funkcje botów sprawdzam w dokumentacji operatorów (lista w źródłach powyżej, ostatni pełny przegląd 8 listopada 2026). Pozycje oznaczone jako „brak jednoznacznej dokumentacji” opisuję na podstawie obserwacji. Dane z logów dostępowych podrez.pl obejmują okres 02.02⁠–⁠06.10.2026, ponad 2,6 mln żądań, a każde żądanie liczę w jednym wierszu. Adresy IP weryfikuję według list operatorów pobranych 7 października 2026.
Historia strony i kalendarium zmian u operatorów
Historia tej strony 08.10.2026 – dane z logów do 6 października 2026, nowe pozycje (m.in. ExaSearchBot, Gemini-Deep-Research, OWLer i fałszywy Jetpack), liczby zweryfikowanych żądań przy części botów i rozbudowana sekcja o podszywaniu się pod boty.
06.08.2026 – pierwsza wersja.

Kalendarium zmian u operatorów 17.09.2026 – Google rozszerzyło dokumentację Mediapartners-Google na różne produkty reklamowe, m.in. AdSense i Google Ad Manager.
15.09.2026 – zapowiedziany przez Cloudflare 1 lipca termin nowych ustawień domyślnych: na stronach z reklamami w nowych domenach kategorie Training i Agent są blokowane, a crawlery łączące wyszukiwanie z treningiem – w tym Googlebot, bingbot i Applebot – podlegają blokadzie kategorii Training.
Sierpień 2026 – zapowiadany przez Google koniec wsparcia starej nazwy Google-NotebookLM; w moich logach działa ona nadal (stan na 6 października).
16.07.2026 – Google zmieniło nazwę user-agenta NotebookLM na Google-GeminiNotebook; stara nazwa wspierana przez okres przejściowy.
01.07.2026 – Cloudflare wprowadził podział botów na kategorie Search, Agent i Training.
20.03.2026 – Google udokumentowało user-agenta Google-Agent.

Co dalej

Nie wiesz, które boty wpuszcza Twoja strona?

Sama nazwa w logu to dopiero początek. Znacznie ciekawsze bywa to, co ten bot dostał w odpowiedzi – i czy w ogóle dostał. Jak to sprawdzić i co znalazłam u siebie, opisałam w tekście o analizie logów serwera. A czym czytam logi? Głównie Log File Analyserem i Claude’em – oba znajdziesz w moim zestawieniu narzędzi SEO.

Przy dużym serwisie samo „co to za bot” nie wystarcza. Trzeba wiedzieć, po których adresach chodzi Googlebot i ile wizyt traci na podstrony, które nic nie wnoszą. Na to pytanie odpowiadam w strategicznym audycie SEO.

Analizę logów pod kątem botów AI, crawlerów wyszukiwarek, narzędzi SEO i podejrzanego ruchu robię w ramach audytu. Jeśli wolisz zacząć od rozmowy, umów krótkie spotkanie.

Napisz wiadomośćUmów 15 minut