--- title: "Co to za bot? Lista crawlerów, botów AI i user-agentów" description: "Ewelina Podrez-Siama · narzędzia i listy Co to za bot? Lista crawlerów, botów AI i user-agentów Ta strona odpowiada na jedno pytanie: co to za bot i co z nim zrobić. Zaglądasz do logów i widzisz nieznaną nazwę? Sprawdź operatora, funkcję bota, zasady robots.txt i liczbę żądań, które odnotowałam u siebie. Przejdź do wyszukiwarki Sprawdź boty w swoich logach Wyszukiwarkarobots.txtPodejrzane botyWeryfikacja IPBlokowanieAI OverviewsCo" date: 2026-08-06 author: "Ewelina Podrez-Siama" url: "https://podrez.pl/boty/" --- ![Kolaż: katalog botów z ikonami crawlerów, pająk, lupa i serwery](https://podrez.pl/wp-content/uploads/2026/08/co-to-za-bot.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Ewelina Podrez-Siama · narzędzia i listy Co to za bot? Lista crawlerów, botów AI i user-agentów ====================================================== Ta strona odpowiada na jedno pytanie: co to za bot i co z nim zrobić. Zaglądasz do logów i widzisz nieznaną nazwę? Sprawdź operatora, funkcję bota, zasady robots.txt i liczbę żądań, które odnotowałam u siebie. [Przejdź do wyszukiwarki ](#tabela)[Sprawdź boty w swoich logach](https://podrez.pl/boty-ai-w-logach/) [Wyszukiwarka](#tabela)[robots.txt](#klasy)[Podejrzane boty](#podszywacze)[Weryfikacja IP](#weryfikacja)[Blokowanie](#robots)[AI Overviews](#meta)[Co pobierają](#dane)[FAQ](#faq) **120**botów i user-agentów w tabeli **44**dokumenty operatorów za tą tabelą **2,6 mln**żądań z logów podrez.pl Wyszukiwarka · 120 pozycji Lista botów i user-agentów \[wyszukiwarka\] ------------------------------------------- W tabeli znajdziesz crawlery AI, klasyczne wyszukiwarki, narzędzia SEO, podglądy linków z komunikatorów, monitoring i zwykłe biblioteki HTTP. Zawęź kategorię albo wpisz nazwę – tabela filtruje się na bieżąco. Kliknij nazwę bota, żeby zobaczyć kartę z jego opisem i uwagami, a tam, gdzie bot ma użyteczny token – również gotowy wpis do robots.txt. Bot z ikonką „i” ma dodatkowe uwagi. Kolumna „Żądania” pokaże, ile żądań z nazwą danego bota w polu user-agent odnotowałam na swojej stronie między 2 lutego a 6 października 2026. Czytaj te liczby jako podpowiedź, czego się spodziewać, a nie jako średnią dla rynku – i pamiętaj, że liczą nazwy, a nie boty: pod część nazw podszywają się skanery. 1\. Zawęź kategorię Wszystkie AI: trening AI: indeksy i odpowiedzi Na żądanie użytkownika Tokeny bez bota Wyszukiwarki Podglądy linków SEO i marketing Monitoring i bezpieczeństwo Badania i archiwa Narzędzia i biblioteki Nieznane lub podejrzane 2. Albo od razu wpisz nazwę bota lub wklej cały user-agent z logów Wyczyść Popularne: [GPTBot](#) · [Googlebot](#) · [ChatGPT-User](#) · [AhrefsBot](#) · [SemrushBot](#) **Nie znalazłam tego user-agenta.** Sprawdź, czy wklejona nazwa jest pełna. Jeśli jej tu nie ma, oceń bota po adresie IP i po tym, czego żądał – opisuję to w sekcji [Jak sprawdzić, czy bot jest prawdziwy](#weryfikacja). ### Co oznaczają kategorie botów?Jedenaście klas botów, po jednym zdaniu na każdą. AI: treningzbiera treść, żeby modele się na niej uczyły AI: indeksy i odpowiedzibuduje indeks, z którego system generatywny cytuje Na żądanie użytkownikapobiera stronę, bo ktoś właśnie o coś zapytał Tokeny bez botanie wysyłają żądań, służą tylko do wpisania w robots.txt Wyszukiwarkiklasyczne wyszukiwarki i ich boty pomocnicze Podglądy linkówrobią miniaturkę linku w komunikatorze albo social mediach SEO i marketingnarzędzia SEO, audyty i weryfikacja stron reklamowych Monitoring i bezpieczeństwodostępność serwisu, wzmianki o marce, skanowanie nadużyć Badania i archiwakorpusy naukowe, zbiory danych i archiwizacja stron Narzędzia i bibliotekiruch uruchamiany przez przeglądarkę, wtyczkę, aplikację albo własny skrypt Nieznane lub podejrzanenie potwierdzono operatora, funkcji albo tego, czy user-agent jest prawdziwy Tabelę można przewijać w bok → Bot i operatorFunkcjaToken w robots.txtRespektujeŻądania podrez.pl, 02.02–06.10.2026 GPTBotOpenAITrening modeliGPTBotTak10 218 w tym 9 925 zweryfikowanych AmazonbotAmazonUlepszanie produktów Amazona, może służyć do treningu modeliAmazonbotTak8 111 w tym 7 819 zweryfikowanych ClaudeBotAnthropicTrening modeliClaudeBotTak6 789 w tym 6 518 zweryfikowanych meta-externalagentMetaZbieranie treści, m.in. pod treningMeta-ExternalAgentDeklarowane4 212 BytespiderByteDanceZbieranie treści pod modele ByteDanceBytespiderBrak jednoznacznej dokumentacji968 CCBotCommon CrawlOtwarty korpus stron, wykorzystywany m.in. do treninguCCBotTak718 w tym 647 zweryfikowanych MistralAI-TrainingMistral AITrening modeliMistralAI-TrainingTak0 OAI-SearchBotOpenAIIndeks wyszukiwania ChatGPTOAI-SearchBotTak5 891 w tym 5 604 zweryfikowane ShapBotParallelIndeks wyszukiwania Parallel, zasila jego API dla agentów AI. Wszystkie niezweryfikowane żądania to luty–lipiec, sprzed opublikowania listy adresów Parallel 14.07.2026. Od sierpnia weryfikuje się 100%.ShapBotTak5 106 w tym 3 391 zweryfikowanych LinkupBotLinkup (linkup.so)Deklarowany indeks dla API wyszukiwania używanego przez aplikacje AI. Od lipca 2026 nie pojawia się w moich logach.LinkupBotBrak jednoznacznej dokumentacji4 935 PerplexityBotPerplexityIndeks wyszukiwaniaPerplexityBotTak3 161 w tym 2 925 zweryfikowanych ExaSearchBotExa (exa.ai)Deklarowany indeks wyszukiwarki Exa dla aplikacji AI. W moich logach prawie wyłącznie od sierpnia 2026.ExaSearchBotBrak jednoznacznej dokumentacji756 meta-webindexerMetaIndeks wyników wyszukiwania Meta AIMeta-WebIndexerTak401 YouBotYou.comIndeks wyszukiwaniaYouBotTak251 Claude-SearchBotAnthropicIndeks wyszukiwania. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach.Claude-SearchBotTak213 0 zweryfikowanych DuckAssistBotDuckDuckGoOdpowiedzi generatywne w DuckDuckGoDuckAssistBotTak74 Google-CloudVertexBotGoogleCrawl zamawiany przez właściciela strony pod Vertex AI. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Google-CloudVertexBot GooglebotTak37 0 zweryfikowanych DiffbotDiffbotWyszukiwarka i Knowledge Graph Diffbota, nie służy do treninguDiffbotTak, z możliwością wyjątków umownych3 MistralAI-IndexMistral AIIndeks wyszukiwania dla VibeMistralAI-IndexTak0 ChatGPT-UserOpenAIPobranie na żądanie użytkownika. Zweryfikowanych jest mniej, niż się wydaje, bo OpenAI publikuje tylko bieżącą listę adresów. Większość niezweryfikowanych żądań to luty–lipiec z sieci Microsoft Azure, czyli raczej starsze pule OpenAI niż podszycia. Od sierpnia weryfikuje się 79%.OpenAI nie dokumentuje jako tokenu sterującegoMoże nie obowiązywać8 396 w tym 3 249 zweryfikowanych Google-GeminiNotebook w logach nadal jako Google-NotebookLMGooglePobranie źródeł dodanych przez użytkownika. Wszystkie 4064 żądania przyszły pod starą nazwą `Google-NotebookLM`, wszystkie z adresów Google. Nowa nazwa nie pojawiła się w moich logach ani razu – stan na 6 października 2026. Reguły blokujące powinny obejmować obie nazwy.brak, blokada tylko na serwerzeZwykle nie4 064 wszystkie zweryfikowane Claude-UserAnthropicPobranie na żądanie użytkownika. Niezweryfikowane żądania to nie tylko skaner szukający plików z hasłami. Claude-User działa też z adresów Google Cloud, których nie było na liście Anthropic z 2 października: w moich logach z 17–26 października 51 z 81 niezweryfikowanych żądań przyszło z adresów, które są już na liście z 20 października.Claude-UserTak1 902 w tym 966 zweryfikowanych FeedFetcher-GoogleGooglePobieranie kanałów RSS i Atom dla Google News i WebSubbrak, fetcher użytkownikaZwykle nie1 571 w tym 1 522 zweryfikowane Google-Read-AloudGoogleOdczytywanie strony na głos na żądanie użytkownikabrak, fetcher użytkownikaZwykle nie280 wszystkie zweryfikowane Perplexity-UserPerplexityPobranie na żądanie użytkownika. Od sierpnia 2026 żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów Perplexity.Perplexity-UserZwykle nie206 w tym 51 zweryfikowanych MistralAI-UserMistral AIPobranie na żądanie użytkownika Vibe, z linkiem do źródłaMistralAI-UserTak180 w tym 142 zweryfikowane Diffbot-UserDiffbotPobranie na żądanie użytkownika narzędziaDiffbot-UserTak158 Gemini-Deep-ResearchGooglePobieranie stron przez Gemini Deep Research na żądanie użytkownika. Google nie wymienia go w dokumentacji fetcherów. W moich logach żądania przyszły z adresów Google.brak, fetcher nieudokumentowanyBrak jednoznacznej dokumentacji93 Shap-UserParallelPobranie strony na żądanie użytkownika Parallelbrak – Parallel opisuje go jako sygnał widoczności, nie mechanizm sterowaniaNie dotyczy7 0 zweryfikowanych Google-AgentGoogleAgenci Google wykonujący zadania na żądanie użytkownikabrak, blokada tylko na serwerzeZwykle nie0 Amzn-UserAmazonPobranie na żądanie użytkownika, np. pytanie do AlexyAmzn-UserMoże nie obowiązywać0 meta-externalfetcherMetaPobranie na żądanie użytkownika, m.in. przez agentów AI Meta wykonujących zadaniaMeta-ExternalFetcherBywa pomijane0 Google-PinpointGooglePobranie źródeł dodanych przez użytkownika narzędzia Pinpointbrak, fetcher użytkownikaZwykle nie0 Google-CWSGooglePobieranie adresów podanych przez twórców w metadanych rozszerzeń i motywów Chromebrak, fetcher użytkownikaZwykle nie0 GoogleProducerGoogleKanały skonfigurowane przez wydawcę w Google Publisher Centerbrak, fetcher użytkownikaZwykle nie0 iTMSApplePobieranie adresów powiązanych z treściami zarejestrowanymi w Apple PodcastsbrakNie – Apple deklaruje, że iTMS nie stosuje robots.txt0 Google-ExtendedGoogleZgoda na trening Gemini i grounding. Każde wystąpienie tej nazwy w logach to podszycieGoogle-ExtendedToken sterujący, bez user-agenta176 wyłącznie podszycia Applebot-ExtendedAppleZgoda na trening Apple Intelligence. Każde wystąpienie tej nazwy w logach to podszycieApplebot-ExtendedToken sterujący, bez user-agenta5 wyłącznie podszycia \_\_usage\_ai-trainingwspólny token IETFWspólny sprzeciw wobec trenowania modeli AI u wielu dostawców naraz. Zapowiedziany 30.10.2026 przez Google, Microsoft i OpenAI, na razie nikt go nie obsługuje (Microsoft od 1.02.2027, Google na początku 2027). W Google działa jak blokada Google-Extended. Gwiazdka (User-agent: \*) go nie obejmuje ([co zmienia ten token](https://podrez.pl/usage-ai-training/))\_\_usage\_ai-trainingToken sterujący, bez user-agenta0 to nie robot GooglebotGoogleWyszukiwarka, zasila też AI Overviews i AI Mode. Niezweryfikowana część to w dużej mierze podszycia, m.in. 1000 żądań z dwóch adresów DigitalOcean w marcu. Od sierpnia weryfikuje się 92%.GooglebotTak13 595 w tym 11 241 zweryfikowanych bingbotMicrosoftWyszukiwarka Bing, zasila też CopilotabingbotTak10 079 w tym 9 809 zweryfikowanych ApplebotAppleSiri, Spotlight i Safari; zasila też odpowiedzi generatywne Apple, a zebrane dane mogą służyć do treningu modeliApplebotTak4 563 w tym 4 407 zweryfikowanych PetalBotHuaweiWyszukiwarka Petal SearchPetalBotTak4 426 BaiduspiderBaiduChińska wyszukiwarka; wariant -render renderuje JavaScriptBaiduspiderTak3 159 YandexBotYandexWyszukiwarka YandexYandexBotTak2 255 Googlebot-ImageGoogleIndeksowanie grafikGooglebot-Image GooglebotTak1 924 w tym 1 923 zweryfikowane SeznamBotSeznamCzeska wyszukiwarkaSeznamBotTak1 503 GoogleOtherGoogleCrawler ogólnego przeznaczeniaGoogleOtherTak1 146 w tym 1 119 zweryfikowanych DuckDuckBotDuckDuckGoKlasyczne wyniki wyszukiwaniaDuckDuckBotTak995 YandexRenderResourcesBot YandexImages YandexFavicons YaDirectFetcherYandexRenderowanie JS, grafiki, favikony i strony docelowe reklam Yandex Direct. Dokumentacja Yandex rozróżnia, czy robot stosuje się do ogólnych reguł z robots.txt. YandexImages tak. YandexFavicons ignoruje reguły dla `User-agent: *` i trzeba go wskazać z nazwy. YandexRenderResourcesBot pobiera zasoby stron dostępnych dla YandexBota niezależnie od robots.txt, a YaDirectFetcher, sprawdzający strony docelowe reklam, robots.txt w ogóle nie używa.własne tokeny np. YandexImagesCzęściowo – w pełni tylko YandexImages825 Amzn-SearchBotAmazonWyszukiwanie w produktach Amazona, m.in. Alexa. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora. Część z nich szukała plików z hasłami – opisuję to w sekcji o podejrzanych user-agentach.Amzn-SearchBotTak244 0 zweryfikowanych BingPreview / bingbotMicrosoftZrzuty stron na potrzeby podglądów w Bingu. User-agent obserwowany w logach; aktualna dokumentacja Microsoftu pokazuje ten ruch jako bingbota.brak odrębnego tokenu; obowiązują reguły dla bingbotaZgodnie z regułami bingbota95 w tym 27 zweryfikowanych Qwantbot Qwantbot-newsQwantFrancuska wyszukiwarka nastawiona na prywatność; wariant -news obsługuje Qwant NewsQwantbotTak, także Crawl-delay93 wszystkie zweryfikowane Y!J-DLCYahoo Japan (LY Corporation)Agent Yahoo Japan. W moich logach wszystkie żądania z sieci LY Corporation, z potwierdzonym odwrotnym DNS `*.yahoo.co.jp`.brakBrak jednoznacznej dokumentacji87 BravebotBrave – częściowo potwierdzoneUser-agent przypisywany indeksowi Brave Search. Brave pisze, że jego crawler nie przedstawia się odrębnym user-agentem i nie pobierze strony, której nie może pobrać Googlebot – robots.txt steruje nim więc przez reguły dla Googlebota. Tymczasem 6 żądań podpisanych `Bravebot` przyszło w marcu i kwietniu 2026 z adresów z potwierdzonym odwrotnym DNS `*.searchbot.brave.app`. Pozostałe 80 pochodzi z hostingów i maszyn klientów Google Cloud, bez potwierdzenia, więc samej nazwie nie warto ufać.brak odrębnego tokenu; Brave stosuje reguły dla GooglebotaZgodnie z regułami Googlebota86 w tym 6 zweryfikowanych GoogleOther-Image GoogleOther-VideoGoogleOdmiany GoogleOther dla publicznych obrazów i filmówGoogleOther-Image GoogleOther-Video GoogleOtherTak44 wszystkie zweryfikowane Yahoo! SlurpYahooWyszukiwarka Yahoo i treści partnerów dla Yahoo News, Finance i SportsSlurpTak13 Storebot-GoogleGoogleGoogle Shopping. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Storebot-GoogleTak12 0 zweryfikowanych SogouSogouChińska wyszukiwarkaSogouTak9 MojeekBotMojeekNiezależna wyszukiwarka z własnym indeksemMojeekBotTak; nie obsługuje Crawl-delay4 Googlebot-VideoGoogleIndeksowanie wideoGooglebot-Video GooglebotTak2 w tym 1 zweryfikowane BingVideoPreviewMicrosoftPodglądy materiałów wideo w BinguBingVideoPreviewTak0 YepBotAhrefs / YepWyszukiwarka Yep, obecnie tylko do żądań IndexNow. Indeks buduje AhrefsBotYepBotTak, respektuje też Crawl-delay0 PinterestbotPinterestIndeksuje treści i produkty pod Piny, aktualizuje ceny i martwe linkiPinterestbotTak; honoruje Crawl-delay do wartości 1, większe traktuje jak 10 facebookexternalhitMetaPodgląd linków udostępnianych w serwisach MetafacebookexternalhitBywa pomijane6 694 Slackbot-LinkExpanding Slack-ImgProxy SlackbotSlackPodglądy linków, pobieranie obrazów i pozostałe żądania SlackabrakNie – Slack deklaruje, że nie przetwarza robots.txt907 SkypeUriPreviewMicrosoftPodgląd linków w SkypebrakBrak jednoznacznej dokumentacji439 WhatsAppMetaPodgląd linków wysyłanych w WhatsAppiebrakBrak jednoznacznej dokumentacji426 LinkedInBotLinkedInPodgląd linków udostępnianych na LinkedInieLinkedInBotBrak jednoznacznej dokumentacji411 TwitterbotX (dawniej Twitter)Podgląd linków w kartach XTwitterbotBrak jednoznacznej dokumentacji56 DiscordbotDiscordPodgląd linków na DiscordzieDiscordbotBrak jednoznacznej dokumentacji41 Google MessagesGooglePodgląd linków wysyłanych w Wiadomościach Googlebrak, fetcher użytkownikaZwykle nie15 MicrosoftPreviewMicrosoftPodglądy stron w produktach MicrosoftuMicrosoftPreviewTak0 AhrefsSiteAuditAhrefsAudyt techniczny zamówiony przez właściciela stronyAhrefsSiteAuditTak domyślnie; właściciel strony może to wyłączyć w ustawieniach audytu167 450 wszystkie zweryfikowane Screaming Frog SEO Spiderużytkownik programuRęczny crawl, zwykle Twój własny albo agencjiScreaming Frog SEO SpiderZależy od ustawień16 013 AhrefsBotAhrefsIndeks linków i treści dla Ahrefs oraz wyszukiwarki YepAhrefsBotTak6 671 wszystkie zweryfikowane BarkrowlerBabbarIndeks linkówBarkrowlerTak6 615 SemrushBotSemrushIndeks linków i danych o widocznościSemrushBotTak5 790 serpstatbotSerpstatIndeks linków zwrotnychserpstatbotTak3 406 MJ12botMajesticIndeks linkówMJ12botTak2 076 DataForSeoBotDataForSEOIndeks danych SEO sprzedawanych przez APIDataForSeoBotTak1 450 SERankingBacklinksBotSE RankingIndeks linków zwrotnychSERankingBacklinksBotTak1 091 SEBot-WASE RankingCrawler audytów technicznych SE Ranking (Website Audit). Użytkownik narzędzia może zmienić user-agenta w ustawieniach audytu.SEBot-WATak domyślnie1 082 SiteAuditBotSemrushAudyt techniczny na zlecenieSiteAuditBotTak962 AdsBot-GoogleGoogleOcena jakości stron docelowych reklamAdsBot-GoogleTak, ale ignoruje User-agent: \*228 w tym 227 zweryfikowanych Mediapartners-GoogleGoogleCrawler produktów reklamowych Google, m.in. AdSense i Google Ad Manager. Żadne żądanie pod tą nazwą nie przyszło w moich logach z adresów operatora.Mediapartners-GoogleTak, ale ignoruje User-agent: \*103 0 zweryfikowanych AdsBot-Google-MobileGoogleOcena jakości mobilnych stron docelowych reklamAdsBot-Google-MobileTak, ale ignoruje User-agent: \*39 wszystkie zweryfikowane meta-externaladsMetaUlepszanie reklam i innych produktów biznesowych Metameta-externaladsTak0 AdIdxBotMicrosoftKontrola jakości stron docelowych reklam Microsoft AdvertisingadidxbotTak0 DotBotMozCrawler budujący indeks linków Moz Link ExplorerDotBotBrak aktualnej jednoznacznej dokumentacji operatora0 rogerbotMozAudyt stron dodanych do kampanii Moz Pro przez właścicielirogerbotBrak aktualnej jednoznacznej dokumentacji operatora0 OAI-AdsBotOpenAIWeryfikacja stron docelowych reklam w ChatGPT; zebrane dane nie służą do treningu modeli. Dokumentacja OpenAI dla deweloperów opisuje OAI-AdsBot z pełnym user-agentem i listą adresów IP, ale jako tagi robots.txt nadal wymienia tylko `GPTBot` i `OAI-SearchBot`. Artykuł pomocy dla reklamodawców mówi wprost, że crawlery OpenAI respektują robots.txt, a `Disallow` natychmiast zatrzymuje pobieranie. Blokada tego bota uniemożliwia weryfikację reklam w ChatGPT.OAI-AdsBotTak0 UptimeRobotUptimeRobotMonitoring dostępności strony, zwykle uruchomiony przez właścicielaUptimeRobotNie dotyczy69 895 AwarioBotAwarioMonitoring wzmianek o markach. W robots.txt Awario podaje tokeny AwarioSmartBot i AwarioRssBot; liczba żądań dotyczy user-agenta AwarioBot.AwarioSmartBot AwarioRssBotTak1 797 NetcraftSurveyAgent CheckMarkNetwork StormIntelCrawler OI-Crawlerbadania bezpieczeństwa i inwentaryzacja domenSkanowanie publicznej powierzchni serwisów, statystyki domenwłasne tokenyBrak jednoznacznej dokumentacji71 Google-SafetyGoogleWykrywanie malware i nadużyć pod publicznie udostępnianymi linkamibrakNie – Google deklaruje ignorowanie robots.txt61 wszystkie zweryfikowane Buck (Hypefactors) RecordedFuturemonitoring mediówŚledzenie wzmianek o markach i tematachwłasne tokenyBrak jednoznacznej dokumentacji47 img2dataset pdf2datasetróżni operatorzy, m.in. NVIDIANarzędzia do budowania zbiorów obrazów i dokumentów, m.in. pod trening modeli. W moich logach pod nazwami ImageBot, nvidiabot i cc-download, prawie wyłącznie obrazy i PDF-y.brakBrak jednoznacznej dokumentacji3 591 archive.org\_botInternet ArchiveArchiwizacja stron w Wayback Machinearchive.org\_botBrak jednoznacznej aktualnej dokumentacji operatora1 504 OWLerOpenWebSearch.euCrawler europejskiego projektu otwartego indeksu OpenWebSearch.eu. W moich logach z sieci centrum obliczeniowego Leibniz-Rechenzentrum.OWLerBrak jednoznacznej dokumentacji211 ClueWeb-CrawlerCarnegie Mellon UniversityBudowa publicznego korpusu ClueWeb do badań nad wyszukiwaniem. Aktualnej dokumentacji tego crawlera nie znalazłam; starsze crawlery projektu respektowały robots.txt.ClueWeb-CrawlerBrak jednoznacznej dokumentacji174 Aranea Web-Crawled CorporaSłowacka Akademia NaukBudowa publicznych korpusów językowychbrakBrak jednoznacznej dokumentacji79 WP Rocket Preload, Pre-fetchWP RocketWtyczka cache: Preload buduje cache, Pre-fetch pobiera linki z wyprzedzeniem. Twój własny ruch. U mnie to największa pozycja w całej tabeli.brakNie dotyczy418 899 WP-Rocket-SaaSWP RocketUsługa WP Rocket pobierająca strony i pliki z serwerów operatora na potrzeby optymalizacji. Też Twój własny ruch, jeśli używasz WP RocketbrakNie dotyczy183 835 curl Wget python-requests Scrapy Go-http-client axios i pokrewnedowolny skryptNie boty, tylko biblioteki do pobierania stron. Za każdą stoi człowiek albo cudzy programbrakNie dotyczy – zależy od skryptu, biblioteka niczego nie egzekwuje25 903 Chrome-LighthouseGoogleTesty Lighthouse i PageSpeed Insights, uruchamiane przez kogoś ręczniebrakNie dotyczy14 508 Google-InspectionToolGoogleNarzędzia testowe Search ConsoleGoogle-InspectionTool GooglebotTak7 264 w tym 7 262 zweryfikowane Inoreader Feedlyczytniki RSSPobranie kanału RSS w imieniu subskrybentawłasne tokenyZwykle tak2 437 RankMath Link CheckerRank MathWtyczka SEO sprawdzająca linki. Jeśli masz Rank Math, to Twój własny ruchbrakNie dotyczy2 148 Chrome Privacy Preserving Prefetch ProxyGooglePrefetch stron dla użytkowników Chrome. Wygląda jak bot, stoi za nim przeglądarkabrakNie dotyczy2 064 wszystkie zweryfikowane BingSapphireMicrosoft (aplikacja Bing)Przeglądarka wbudowana w aplikację Bing na Androidzie. Za tym ruchem stoi człowiek, nie crawler. Nie ma go na liście crawlerów Microsoftu.brakNie dotyczy76 Google-Site-VerificationGoogleSprawdzenie potwierdzenia własności strony w Search Consolebrak, fetcher użytkownikaZwykle nie18 wszystkie zweryfikowane biblioteka datasets (Hugging Face)dowolny użytkownikBiblioteka Pythona do budowania zbiorów danych. Ktoś pobierał treść do własnego zestawubrakNie dotyczy – zależy od skryptu14 APIs-GoogleGoogleDostarczanie powiadomień z interfejsów API Google, np. PubSubHubbubAPIs-GoogleTak, ale ignoruje User-agent: \*0 Jetpack by WordPress.compodszycie – sieci domowe w IndiachAtaki na logowanie przez /xmlrpc.php pod nazwą wtyczki Jetpack. Jeśli nie używasz Jetpacka, każde takie żądanie jest podejrzanebrakNie dotyczy – blokuj na serwerze12 405 br-crawler crawler\_eb\_germany Hermes-SVF-static-crawler VelenPublicWebCrawler i innenieustalonyBrak dokumentacji i możliwości ustalenia operatora. Oceniaj po zachowaniubrakNieznane4 608 ExabotExalead? – do weryfikacjiHistorycznie wyszukiwarka Exalead. W moich logach 97 z 98 żądań to goły user-agent `Exabot` z hostingów, pobierający tylko robots.txt.ExabotBrak jednoznacznej dokumentacji98 cohere-ai CohereBotCohere? – do weryfikacjiNazwy przypisywane Cohere. Cohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening, a CohereBot podaje tylko jako przykład przyszłej reguły. W moich logach wszystkie żądania pochodzą od skanera.cohere-ai CohereBotNie dotyczy – Cohere nie deklaruje aktywnego bota60 żadne od Cohere 2ip bot2ip.ioUsługa sprawdzania adresów IP i stron2ip botBrak jednoznacznej dokumentacji51 EmailCrawlernieznanyZbieranie adresów e-mail. Jedyna pozycja, przy której blokada nie wymaga namysłuEmailCrawlerNieznane; jeśli chcesz mieć pewność, blokuj na serwerze21 **Jeśli blokujesz NotebookLM, zablokuj obie nazwy.** 16 lipca 2026 Google zmieniło w dokumentacji nazwę user-agenta z `Google-NotebookLM` na `Google-GeminiNotebook` i zapowiedziało wsparcie starej nazwy do sierpnia 2026. W praktyce do 6 października 2026 wszystkie 4064 żądania tego fetchera przyszły u mnie pod starą nazwą i z adresów Google, a nowa nie pojawiła się ani razu. Reguła w `.htaccess` albo w WAF-ie musi więc obejmować obie: starą, bo nadal działa, i nową, bo według dokumentacji może ją zastąpić w każdej chwili. Jak powstała ta tabela **Funkcje i tokeny sprawdziłam w dokumentacji operatorów wszędzie tam, gdzie taka dokumentacja istnieje.** Pozycje bez oficjalnego źródła opisuję na podstawie pełnego user-agenta, adresu podanego w jego ciągu i zachowania w logach – brak potwierdzenia jest wyraźnie oznaczony. Dane o częstotliwości pochodzą z ponad 2,6 mln żądań w logach podrez.pl za okres od 2 lutego do 6 października 2026. Każde żądanie liczę w jednym wierszu – tym, którego nazwa stoi w user-agencie najwcześniej – więc na przykład Googlebot-Image nie liczy się drugi raz jako Googlebot. Część pozycji grupuje kilka pokrewnych user-agentów jednego operatora, więc nazw jest więcej niż wierszy. Tabela liczy nazwy, nie boty. Pod nazwy części botów AI podszywają się skanery, dlatego przy niektórych pozycjach podaję, ile żądań przeszło weryfikację po adresie IP. Opracowanie: Ewelina Podrez-Siama, SEO od 2009 roku. Ostatnia aktualizacja: 24 października 2026. ### Źródła: dokumentacja operatorów botówCzterdzieści cztery dokumenty, w których sprawdzałam tokeny, funkcje i zasady. Każdy można sprawdzić samodzielnie. **OpenAI** [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) – GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot [Advertiser Guidance for Allowing OpenAI Web Crawlers](https://help.openai.com/en/articles/20001243-advertiser-guidance-for-allowing-openai-web-crawlers) – token OAI-AdsBot i respektowanie reguł **Anthropic** [Does Anthropic crawl data from the web…](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) – ClaudeBot, Claude-User, Claude-SearchBot **Perplexity** [Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) – PerplexityBot, Perplexity-User, listy adresów IP **Google** [Google’s common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) – Googlebot, GoogleOther, Google-Extended, Google-CloudVertexBot [Google special-case crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers) – AdsBot, Mediapartners, APIs-Google, Google-Safety [Google user-triggered fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) – Gemini Notebook, Google-Agent, GoogleProducer [Verify requests from Google](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests) – trzy klasy botów, trzy pliki JSON, odwrotny DNS [Changelog dokumentacji crawlerów](https://developers.google.com/crawling/docs/changelog) – daty zmian, m.in. 17.09.2026, 16.07.2026 i 20.03.2026 [AI Features and Your Website](https://developers.google.com/search/docs/appearance/ai-features) – dyrektywy podglądu wobec AI Overviews i AI Mode **Apple** [About Applebot](https://support.apple.com/en-us/119829) – Applebot, Applebot-Extended, iTMS, lista adresów IP, dziedziczenie reguł po Googlebocie **Meta** [Meta Web Crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers) – meta-externalagent, meta-webindexer, meta-externalfetcher, facebookexternalhit; dwa ostatnie mogą pomijać robots.txt **Amazon** [About Amazonbot](https://developer.amazon.com/amazonbot) – Amazonbot, Amzn-SearchBot, Amzn-User, trzy listy adresów IP **Mistral AI** [Mistral crawlers](https://docs.mistral.ai/robots) – MistralAI-Training, MistralAI-Index, MistralAI-User **Microsoft** [Overview of Bing crawlers](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) – bingbot, adidxbot, BingPreview, MicrosoftPreview, BingVideoPreview **Inne wyszukiwarki** [DuckDuckGo – DuckDuckBot](https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot) i [DuckAssistBot](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot) – respektowanie reguł, listy adresów IP [YouBot](https://docs.you.com/youbot) – robots.txt, Crawl-delay, odwrotny DNS [Yandex – roboty w logach serwera](https://www.yandex.com/support/webmaster/en/robot-workings/check-yandex-robots) – które roboty stosują się do reguł ogólnych, odwrotny DNS [Seznam – Crawling control](https://o-seznam.cz/napoveda/vyhledavani/en/crawling-control/) [Petal Search – PetalBot](https://webmaster.petalsearch.com/site/petalbot) [Baidu – Baiduspider](https://ziyuan.baidu.com/college/articleinfo?id=1192) – deklaracja przestrzegania protokołu robots [Sogou – spider i robots.txt](https://help.sogou.com/spider.html) [Yahoo – Why is Slurp crawling my page?](https://help.yahoo.com/kb/SLN22600.html) [Mojeek – MojeekBot](https://www.mojeek.com/bot.html) **Narzędzia SEO** [Semrush – SemrushBot i SiteAuditBot](https://www.semrush.com/bot/) [Majestic – MJ12bot](https://mj12bot.com/) [Serpstat – serpstatbot](https://serpstatbot.com/) [DataForSEO – DataForSeoBot](https://dataforseo.com/dataforseo-bot) [SE Ranking – SERankingBacklinksBot](https://help.seranking.com/hc/en-us/articles/23020353159964-SERankingBacklinksBot-Crawler) [Babbar – Barkrowler](https://babbar.tech/crawler) [SE Ranking – SEBot-WA](https://help.seranking.com/hc/en-us/articles/16335355751196-Verifying-SE-Ranking-Crawler-FAQ) – crawler Website Audit, odwrotny DNS [Awario Crawlers](https://awario.com/bots/) – AwarioSmartBot i AwarioRssBot **Pozostali operatorzy** [Common Crawl – CCBot](https://commoncrawl.org/ccbot) [Parallel – ShapBot i Shap-User](https://parallel.ai/parallel-web-systems-bots) – wersja z 11.08.2026 [Cohere Web Crawlers](https://docs.cohere.com/v2/docs/cohere-web-crawlers) – deklaracja, że Cohere obecnie nie używa botów do zbierania treści pod trening [Qwant – QwantBot i robots.txt](https://help.qwant.com/hc/en-us/articles/51146433634833-The-Qwant-bot-QwantBot-and-the-robots-txt-file) – warianty user-agenta, lista adresów IP, Crawl-delay [Ahrefs Bots](https://ahrefs.com/robot) – AhrefsBot, AhrefsSiteAudit, listy adresów IP [Slack Robots](https://api.slack.com/robots) – trzy agenty i deklaracja o nierespektowaniu reguł [Yep – YepBot](https://yep.com/yepbot/) [Pinterest – Pinterestbot](https://help.pinterest.com/en/business/article/pinterestbot) [Diffbot – Does Diffbot respect robots.txt?](https://www.diffbot.com/docs/crawl/faq/robots-txt) [Brave Search Crawler](https://search.brave.com/help/brave-search-crawler) **Kontekst** [Cloudflare – Your site, your rules: new AI traffic options](https://blog.cloudflare.com/content-independence-day-ai-options/) – kategorie Search, Agent i Training, ustawienia domyślne od 15.09.2026 i blokada crawlerów wielofunkcyjnych przy blokadzie kategorii Training Wszystkie odnośniki sprawdzone 7 i 8 października 2026. Pozycje w tabeli oznaczone jako „brak jednoznacznej dokumentacji” nie mają odpowiednika na tej liście – opisuję je wyłącznie na podstawie user-agenta i zachowania w logach. **Weryfikacja.** Przy części pozycji podaję pod liczbą, ile żądań przeszło weryfikację: adres IP z oficjalnej listy operatora albo odwrotny DNS w jego domenie, potwierdzony zapytaniem w przód. Listy pobrałam 7 października 2026, więc starsze żądania z adresów, których operator już nie używa, mogą wypaść jako niezweryfikowane. Dlatego nie oznaczam w ten sposób ChatGPT-User i ShapBota – ich niezweryfikowane żądania pochodzą głównie z lutego–lipca, a od sierpnia weryfikuje się odpowiednio 79% i 100%. **Kolumna „respektuje robots.txt”.** Opiera się na dokumentacji operatora, nie na moich testach. „Deklarowane” znaczy, że operator tak twierdzi, ale krążą raporty o odstępstwach. „Brak jednoznacznej dokumentacji” znaczy dokładnie to, co mówi – nie znalazłam wiarygodnego źródła i nie zgaduję. Chcesz wiedzieć, które boty AI odwiedzają Twoją stronę? To widać w logach serwera, nie w robots.txt. Wrzuć log do darmowego narzędzia, a zobaczysz, które boty przyszły i czy ich adresy IP są na listach operatorów. Pełną analizę logów robię w ramach audytu widoczności marki w AI. [Sprawdź boty AI w logach](https://podrez.pl/boty-ai-w-logach/)[Widoczność marki w AI](https://podrez.pl/pozycjonowanie-w-ai/)[Umów bezpłatne 15 minut](https://tidycal.com/ewelina/spotkanie-15-minut) robots.txt Dlaczego robots.txt nie blokuje wszystkich botów AI? ---------------------------------------------------- **Wpis w `robots.txt` nie działa tak samo na każdego bota.** Crawlery chodzące po sieci z własnej inicjatywy zwykle się do niego stosują. Przy fetcherach uruchamianych przez użytkownika zaczynają się schody, bo tu każdy operator ma własną politykę. - ### Crawlery automatyczne Chodzą po sieci z inicjatywy operatora: GPTBot, ClaudeBot, PerplexityBot, Googlebot. Respektują `robots.txt` i to dla nich ten plik powstał. - ### Fetchery na żądanie użytkownika Pobierają stronę, bo konkretne działanie użytkownika tego wymagało. Tu operatorzy się różnią. Anthropic i Mistral dają osobne tokeny (`Claude-User`, `MistralAI-User`) i deklarują, że je respektują. Google, OpenAI, Perplexity, Amazon i Meta zaznaczają, że reguły mogą nie mieć zastosowania, bo żądanie inicjuje użytkownik. - ### Tokeny sterujące bez bota `Google-Extended` i `Applebot-Extended` nie wysyłają żadnych żądań. Wpisujesz je do `robots.txt`, ale w logach ich nie zobaczysz. Google-Extended obejmuje trening modeli Gemini *oraz* grounding, czyli podawanie treści modelowi w momencie odpowiedzi. Applebot-Extended dotyczy treningu modeli Apple. Praktyczny wniosek: zanim zablokujesz fetcher uruchamiany przez użytkownika, sprawdź politykę konkretnego operatora. `Disallow` dla Claude-User albo MistralAI-User faktycznie zamyka drzwi, bo Anthropic i Mistral deklarują respektowanie tych tokenów. Przy Google, OpenAI, Perplexity, Amazonie i Mecie ten sam wpis jest prośbą, więc jeśli potrzebujesz pewności, dołóż regułę na poziomie serwera albo WAF-a. Jak to sprawdzić u siebie, opisałam w tekście o [analizie logów serwera](https://podrez.pl/analiza-logow-serwera-a-ai/). Podszywanie się pod boty Podejrzane user-agenty: nazwy niemożliwe i wymagające weryfikacji ----------------------------------------------------------------- Od czerwca 2026 w moich logach działa skaner, który podpisuje się nazwami botów AI i szuka plików z hasłami i kluczami: `.env`, `.aws/credentials`, konfiguracji Firebase. Przychodzi głównie z maszyn klientów Google Cloud i z tanich hostingów, a nazwy botów rotuje. Warto znać te nazwy, bo wyglądają wiarygodnie i łatwo przepuścić je przez filtr. Część nazw nie może pochodzić od operatora, bo jego własna dokumentacja mówi, że te tokeny w ogóle nie crawlują. Inne to prawdziwe nazwy botów, ale żadne żądanie pod nimi nie przyszło z adresów operatora. Kolejne nie występują w żadnej dokumentacji. Ten sam skaner podpisuje się też nazwami, które w tabeli mają własne wiersze – ChatGPT-User, Claude-User, GPTBot czy Amazonbot – i zawyża ich liczby. Nazwa w loguStatusDlaczegoCzego szukała u mnie`Google-Extended`**Niemożliwa**Token sterujący w `robots.txt`, Google nie wysyła nim żądań`/.aws/credentials`, `/.env.test``Applebot-Extended`**Niemożliwa**Apple pisze wprost, że ten token nie crawluje stron`/privatekey.key`, `/secrets.json``Claude-SearchBot`**Podszycie**Prawdziwa nazwa bota Anthropic, ale żadne żądanie nie przyszło z adresów z listy Anthropicpliki z hasłami i kluczami`Amzn-SearchBot`**Podszycie**Prawdziwa nazwa bota Amazona, ale żadne żądanie nie przyszło z adresów Amazonapliki z hasłami i kluczami`anthropic-ai`SkanerNazwa spoza aktualnej dokumentacji Anthropic`/__/firebase/init.json`, `/env.js``Claude-Web`SkanerNazwa spoza aktualnej dokumentacji Anthropic`/secrets.json`, `/.env.old``cohere-ai`, `CohereBot`SkanerCohere deklaruje, że obecnie nie używa botów do zbierania treści pod trening`/.aws/credentials`, `/api/v1/env``GrokBot`, `Kimi-SearchBot`, `DeepSeekBot` i inneSkanerNazwy spoza dokumentacji operatorów, ten sam wzorzec ruchu`.env`, `credentials`, konfiguracja Firebase`BingIndexCrawler`Do weryfikacjiSieć Microsoftu, ale bez odwrotnego DNS `search.msn.com`; Bing crawluje jako `bingbot`obrazy z `/wp-content/uploads/` Logi podrez.pl, 02.02–06.10.2026. Liczba wystąpień: `Amzn-SearchBot` 244, `Claude-SearchBot` 213, `Google-Extended` 176, `cohere-ai` i `CohereBot` 60, `anthropic-ai` 28, `Claude-Web` 20, `BingIndexCrawler` 10, `Applebot-Extended` 5. Pozostałe fałszywe nazwy AI – `GrokBot`, `xAI-Grok`, `xAI-SearchBot`, `Kimi-SearchBot`, `MoonshotBot`, `Qwenbot`, `DeepSeekBot`, `ChatGLM-Spider`, `Hunyuan`, `YiBot` i `MistralBot` – od 20 do 38 wystąpień każda. Wzorzec jest czytelny. Podejrzane żądania sięgają po: - tokeny, które nie są user-agentami, - nazwy nieobecne w dokumentacji, - nazwy prawdziwych botów, licząc, że te przepuszcza każdy filtr. Sama niezgodność nazwy z dokumentacją nie musi jednak oznaczać złych zamiarów – `BingIndexCrawler` przychodził z sieci Microsoftu i pobierał wyłącznie obrazy – dlatego rozstrzyga adres IP, a nie sama nazwa. Problem nie dotyczy zresztą wyłącznie mojej strony – Common Crawl wprost ostrzega w swojej dokumentacji, że zna przypadki crawlerów fałszywie podających się za CCBota, i zaleca weryfikację user-agenta. Weryfikacja Jak sprawdzić, czy bot jest prawdziwy: weryfikacja po adresie IP ---------------------------------------------------------------- User-agenta podrabia się w dziesięć sekund, więc sama nazwa nie dowodzi niczego. Pewność daje dopiero zestawienie nazwy z adresem IP i oficjalnymi zakresami operatora, a tam gdzie to możliwe – z odwrotnym i ponownym sprawdzeniem DNS. Google testuje też kryptograficzne uwierzytelnianie botów, czyli Web Bot Auth. OperatorŹródło adresówOpenAI`openai.com/gptbot.json`, `openai.com/searchbot.json`, `openai.com/chatgpt-user.json`, `openai.com/adsbot.json`Anthropic`claude.com/crawling/bots.json`Perplexity`perplexity.com/perplexitybot.json`, `perplexity.com/perplexity-user.json`Google – crawlery zwykłe`common-crawlers.json`; odwrotny DNS kończy się na `googlebot.com`Google – crawlery specjalne`special-crawlers.json`; odwrotny DNS kończy się na `google.com`Google – fetchery i agenty użytkownikaosobne pliki JSON; odwrotny DNS kończy się na `google.com` lub `gae.googleusercontent.com`Apple`search.developer.apple.com/applebot.json`; odwrotny DNS kończy się na `applebot.apple.com`Mistral`mistral.ai/mistralai-user-ips.json`, `mistral.ai/mistralai-index-ips.json`; dla `MistralAI-Training` lista nie jest publikowanaAmazontrzy osobne listy: `/ip-addresses/`, `/searchbot-ip-addresses/`, `/live-ip-addresses/`Paralleldocs.parallel.ai/resources/shapbot.jsonMicrosoftnarzędzie Verify Bingbot w Bing Webmaster Tools; odwrotny DNS kończy się na search.msn.comCommon Crawl`index.commoncrawl.org/ccbot.json`; odwrotny DNS kończy się na `crawl.commoncrawl.org`Qwant`help.qwant.com/qwantbot.json`; odwrotny DNS kończy się na `qwant.com`Metaadresy z systemu autonomicznego AS32934, do pobrania przez `whois -h whois.radb.net -- '-i origin AS32934'`; lista często się zmieniaBaiduodwrotny DNS kończy się na `baidu.com` lub `baidu.jp`; listy adresów Baidu nie publikujeDuckDuckGo`duckduckgo.com/duckassistbot.json` dla DuckAssistBotaYou.comodwrotny DNS kończy się na `search.you.com`; dodatkowo podpisy kryptograficzneYandexodwrotny DNS kończy się na `yandex.ru`, `yandex.net` lub `yandex.com`; listy adresów Yandex nie publikujeSE Rankingodwrotny DNS kończy się na `seranking.com` (SERankingBacklinksBot) lub `sr-srv.net` (SEBot-WA)Babbar (Barkrowler)odwrotny DNS kończy się na `babbar.eu`Ahrefs (także YepBot)zakresy i pojedyncze adresy przez `api.ahrefs.com`; odwrotny DNS kończy się na `ahrefs.com` lub `ahrefs.net`Pinterestodwrotny DNS kończy się na `pinterest.com` lub `pinterestcrawler.com` ### Ile z tego to prawdziwe boty? Weryfikacja moich logów Tabela na górze liczy nazwy w logach, a nie boty. Dlatego przy każdym bocie, którego adresy da się sprawdzić, podaję też, ile żądań przyszło z oficjalnych zakresów operatora albo przeszło odwrotne i ponowne sprawdzenie DNS. Okres jak w tabeli: 02.02–06.10.2026, podrez.pl. BotŻądaniaZweryfikowaneUdziałGPTBot10 2189 92597%OAI-SearchBot5 8915 60495%ChatGPT-User8 3963 24939%\*ClaudeBot6 7896 51896%Claude-User1 90296651%Claude-SearchBot21300%PerplexityBot3 1612 92593%Perplexity-User2065125%\*Amazonbot8 1117 81996%Applebot4 5634 40797%Googlebot13 59511 24183%bingbot10 0799 80997% \* Od sierpnia 2026: ChatGPT-User 79%, Perplexity-User 0%. OpenAI publikuje tylko bieżącą listę adresów, więc starsze żądania z sieci Microsoft Azure na nią nie trafiają. Żeby sprawdzić, czy to nie przypadłość jednej strony, porównałam tydzień 17–23.10.2026 w logach dziewięciu serwisów, którymi się opiekuję. Obraz jest ten sam, a przy niektórych nazwach nawet ostrzejszy: - **Perplexity-User**: 169 żądań, ani jednego z adresów Perplexity, - **DuckAssistBot**: 207 żądań, prawdziwych 23, - **PerplexityBot**: fałszywe co trzecie żądanie, - **ChatGPT-User**: fałszywe co szóste, - **OAI-SearchBot** i **GPTBot**: fałszywe co dziesiąte i co czternaste. Morał? Zanim pochwalisz się, że „ChatGPT odwiedza Cię 200 razy w tygodniu”, sprawdź adresy. Raport, który liczy boty AI po samej nazwie, potrafi pokazać skaner szukający pliku `.env` jako Twojego najwierniejszego czytelnika z Perplexity. Blokowanie Jak zablokować boty AI w robots.txt? Gotowe przykłady. ------------------------------------------------------ **Zanim cokolwiek zablokujesz: w większości przypadków tego nie rekomenduję.** Blokada odcina Cię od odpowiedzi generatywnych, a więc od kanału, w którym Twoja marka może zostać wymieniona i zacytowana. Dla większości firm, ekspertów i sklepów to strata, nie zysk. Wyjątki są realne i dotyczą przede wszystkim wydawców, portali i mediów, czyli tych, którzy żyją ze sprzedaży treści albo z ruchu na własnej stronie. Tam blokada bywa uzasadnioną decyzją biznesową – ale nadal decyzją, a nie ustawieniem domyślnym. Poniższe konfiguracje traktuj więc jako punkt wyjścia do świadomego wyboru, nie jako zalecenie. Pierwszy wariant ogranicza najważniejsze crawlery wykorzystywane do treningu modeli. Drugi blokuje osobno identyfikowane boty i fetchery systemów AI, zostawiając dostęp Googlebotowi, bingbotowi i Applebotowi. Oba są punktem wyjścia, nie uniwersalną konfiguracją dla każdej witryny. Pamiętaj też, że blokada nie działa wstecz. Model już wytrenowany nie zapomni tego, czego nauczył się do swojej [daty odcięcia wiedzy](https://podrez.pl/cutoff-modeli-ai/). ### Wariant 1 · Bez treningu *chronię treść* Wpuszczam wszystko, co może mnie cytować, i odcinam zbieranie treści pod uczenie modeli. ``` User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Bytespider User-agent: Meta-ExternalAgent User-agent: MistralAI-Training User-agent: cohere-ai User-agent: CohereBot User-agent: Amazonbot User-agent: Google-Extended User-agent: Applebot-Extended Disallow: / User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot User-agent: MistralAI-Index User-agent: MistralAI-User User-agent: Amzn-SearchBot User-agent: ShapBot Allow: / ``` Cena: przy crawlerach wielofunkcyjnych, takich jak Amazonbot czy CCBot, blokada wyłącza też zastosowania inne niż trening. ### Wariant 2 · Osobne boty AI *Google i Apple zostają* Blokuję osobne crawlery treningowe, indeksy AI i fetchery użytkowników, ale zostawiam otwarte klasyczne wyszukiwarki. To nie usuwa strony z AI Overviews, AI Mode ani z generatywnych odpowiedzi Apple. ``` # wyszukiwarki zostają User-agent: Googlebot User-agent: bingbot User-agent: Applebot Allow: / # trening modeli User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Bytespider User-agent: Meta-ExternalAgent User-agent: MistralAI-Training User-agent: cohere-ai User-agent: CohereBot User-agent: Amazonbot User-agent: Google-Extended User-agent: Applebot-Extended Disallow: / # indeksy odpowiedzi generatywnych User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot User-agent: MistralAI-Index User-agent: Meta-WebIndexer User-agent: DuckAssistBot User-agent: Amzn-SearchBot User-agent: LinkupBot User-agent: ShapBot User-agent: YouBot User-agent: Diffbot Disallow: / # pobrania na żądanie użytkownika User-agent: ChatGPT-User User-agent: Claude-User User-agent: Perplexity-User User-agent: MistralAI-User User-agent: Meta-ExternalFetcher User-agent: Amzn-User Disallow: / ``` Efekt: ograniczasz dostęp systemom, które mają własne boty – ChatGPT, Claude, Perplexity, Mistral. To nie jest pełne wyjście z odpowiedzi generatywnych: AI Overviews i AI Mode zasila Googlebot, Copilota zasila bingbot, a Applebot bywa źródłem kontekstu dla odpowiedzi Apple. Drugi wariant ma dziurę i lepiej o niej wiedzieć od razu. Ostatnia grupa to fetchery uruchamiane przez użytkownika, a część z nich może zignorować `robots.txt`. Gemini Notebook i Google-Agent nie mają nawet własnego tokenu. Jeśli blokada ma być szczelna, trzeba ją dołożyć na poziomie serwera. Przykład dla Apache i pliku `.htaccess`: ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (Google-GeminiNotebook|Google-NotebookLM|Google-Agent|GoogleProducer|ChatGPT-User|Perplexity-User|Amzn-User|Meta-ExternalFetcher|Shap-User) [NC] RewriteRule ^ - [F,L] ``` Jedno zastrzeżenie, o którym łatwo zapomnieć: `robots.txt` nie służy do ochrony danych. Plik jest publiczny, dyrektywy nie są kontrolą dostępu, a zablokowany adres i tak może trafić do indeksu na podstawie linków z zewnątrz. Sekcje faktycznie prywatne zabezpiecza się logowaniem po stronie serwera. **Robots.txt to nie jedyna warstwa.** - Jeśli dla bota istnieje bardziej konkretna pasująca grupa, ma ona pierwszeństwo przed `User-agent: *`, a wildcard obowiązuje dopiero wtedy, gdy nic konkretniejszego nie pasuje. - Fetchery uruchamiane przez użytkownika to osobny przypadek: część respektuje dedykowane tokeny, część może je pomijać i wymaga reguły na poziomie serwera lub WAF-a. - Jeśli strona stoi za Cloudflare, sprawdź też ustawienia botów AI: od 15 września 2026 blokada kategorii Training – w nowych ustawieniach albo przez dawny przełącznik „Block AI bots” – obejmuje także Googlebota, bingbota i Applebota, bo te boty zbierają dane zarówno do wyszukiwarki, jak i do treningu. Robots.txt może być ustawiony wzorowo, a Googlebot i tak dostanie odmowę na poziomie Cloudflare. Twojej marki nie ma w odpowiedziach AI? Zanim zaproponuję audyt, chcę zrozumieć, o jakie pytania klientów Ci chodzi. Zacznijmy od bezpłatnych 15 minut. [Umów bezpłatne 15 minut](https://tidycal.com/ewelina/spotkanie-15-minut)[Widoczność marki w AI](https://podrez.pl/pozycjonowanie-w-ai/)[Szkolenie GEO / AI dla zespołu](https://podrez.pl/szkolenie-geo/) Google Jak ograniczyć AI Overviews? O nosnippet, data-nosnippet i max-snippet ---------------------------------------------------------------------- `robots.txt` informuje zgodne boty, czy *powinny* pobierać stronę. Dyrektywy meta sterują natomiast indeksowaniem i tym, jakie fragmenty mogą trafić do wyników oraz do funkcji AI. To dwie różne warstwy i przy AI Overviews druga bywa jedyną, jaka Ci zostaje. Rzecz kluczowa **Nie istnieje osobny opt-out z AI Overviews i AI Mode, który zostawiałby nienaruszoną zwykłą obecność w Google.** Zasila je ten sam Googlebot i ten sam indeks, a `Google-Extended` dotyczy wyłącznie treningu Gemini i groundingu, więc jego blokada nic tu nie zmienia. Możesz natomiast ograniczyć, ile treści trafia do tych funkcji. Google wymienia cztery dyrektywy: `nosnippet`, `data-nosnippet`, `max-snippet` i `noindex`. Każda z nich działa jednocześnie na zwykłe wyniki i na funkcje AI – nie da się rozdzielić jednego od drugiego. DyrektywaCo robiCzym płacisz`nosnippet`Blokuje wyświetlanie fragmentu strony we wszystkich formach wyników, łącznie z AI Overviews i AI ModeZnika też zwykły opis pod tytułem w wynikach i szansa na direct answer`data-nosnippet`To samo, ale tylko dla oznaczonego fragmentu HTMLReszta strony działa normalnie – najbardziej precyzyjne narzędzie z tego zestawu`max-snippet:N`Ogranicza długość fragmentu do N znaków i tym samym ilość treści podawanej modelowiPrzy niskiej wartości efekt zbliżony do `nosnippet``noindex`Usuwa stronę ze wszystkich form wyników Google, także z AI Overviews i AI ModeStrona znika również ze zwykłych wyników wyszukiwania`noarchive`U Amazona oznacza „nie używaj tej strony do trenowania modeli”Działa tylko u operatorów, którzy tę dyrektywę honorują Apple honoruje `nosnippet` – także w nagłówku `X-Robots-Tag: applebot: nosnippet` – jako rezygnację z wykorzystania treści jako dodatkowego kontekstu w odpowiedziach generatywnych. Ten sam skutek ma oznaczenie strony jako `isAccessibleForFree: false` w danych strukturalnych, a strona nadal może się pojawiać w wynikach wyszukiwania Apple. Amazon deklaruje respektowanie `noarchive`, `noindex` i `none`, ale nie obsługuje `crawl-delay`. **Najbardziej precyzyjne narzędzie to `data-nosnippet`.** Wyłącza z podglądów i z bezpośredniego użycia przez funkcje AI tylko oznaczony fragment strony. Stosuj je świadomie: te same akapity, które najłatwiej zastąpiłyby wizytę u Ciebie – definicje, listy kroków, tabele – są zwykle tymi, dzięki którym strona w ogóle bywa cytowana. Dane z moich logów Co boty AI pobierają z Twojej strony: treść czy pliki? ------------------------------------------------------ Sama liczba wizyt niewiele mówi. Ciekawsze, ile z nich trafia w podstronę z treścią, a ile w pliki CSS, obrazki i końcówki API. BotUdane żądaniaUdział wejść w treśćPerplexity-User6191,8%CCBot56981,5%ChatGPT-User780574,2%Claude-User98463,7%PerplexityBot274962,1%OAI-SearchBot414533,5%GPTBot584330,2%ClaudeBot428921,8%Google-GeminiNotebook368619,9%Applebot405117,7%Amazonbot541515,1% Logi podrez.pl, 02.02–06.10.2026; udane żądanie to odpowiedź ze statusem 200. Treść to każdy adres poza stroną główną, `robots.txt`, sitemapami, katalogami `/wp-content/`, `/wp-includes/` i `/wp-json/` oraz plikami `.php`. Perplexity-User, ChatGPT-User i Claude-User trafiają głównie prosto w treść, ale sama klasa bota nie przesądza zachowania: CCBot ma wysoki udział wejść w treść, a Gemini Notebook niski. Definicja treści zmienia tu wnioski bardziej, niż się wydaje. Co czwarte udane wejście ChatGPT-User to strona główna – gdybym liczyła ją jako treść, jego udział wzrósłby do 98,6%. Wygląda to raczej na sprawdzanie, kim jest autorka strony, niż na czytanie konkretnego tekstu. Druga obserwacja dotyczy ostatnich dwóch miesięcy: od 6 sierpnia GPTBot pobierał treść tylko w 13% udanych wejść, a średnio odwiedzał stronę prawie czterokrotnie rzadziej niż wcześniej. Logi pokazują, czy boty AI docierają do strony. Co systemy AI potem z tą treścią robią – kogo polecają Twoim klientom i do jakich źródeł odsyłają – sprawdzam w [badaniach widoczności w AI](https://podrez.pl/badania-widocznosci-w-ai/). Narzędzia i listy Inne moje narzędzia i listy --------------------------- - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/11/obserwatorium-encji-hero-kolaz-768x432.webp "Co to za bot? Lista crawlerów, botów AI i user-agentów")Darmowe narzędzie ### [Obserwatorium encji](https://podrez.pl/obserwatorium-encji/) Zobacz dane strukturalne strony jako mapę relacji: kto jest autorem, kto założył firmę i dokąd prowadzi sameAs. - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/05/knowledge-graph-768x512.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Darmowe narzędzie ### [Czy jesteś w Grafie Wiedzy Google?](https://podrez.pl/czy-jestes-w-grafie-wiedzy-google/) Wpisz nazwę i sprawdź, czy Google zna Cię jako encję i czy zgadza się to z Wikidatą. - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/08/analiza-logow-ai-768x403.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Darmowe narzędzie ### [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/) Wrzuć log serwera i zobacz, które boty AI przychodzą, które mają potwierdzone adresy IP i komu serwer odmawia. Plik zostaje na Twoim komputerze. - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/05/common-crawl-hero-768x512.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Darmowe narzędzie ### [Czy strona jest w Common Crawl?](https://podrez.pl/czy-strona-jest-w-common-crawl/) Wpisz domenę i zobacz, ile stron CCBot zapisał w 6 ostatnich crawlach i czy coś go blokuje. - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/08/ai-cutoff-768x403.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Tabela ### [Cutoff modeli AI](https://podrez.pl/cutoff-modeli-ai/) Do kiedy modele AI mają dane? Daty odcięcia wiedzy ChatGPT, Claude, Gemini, Groka i modeli polskich. - ![Co to za bot? Lista crawlerów, botów AI i user-agentów](https://podrez.pl/wp-content/uploads/2026/08/narzedzia-seo-768x403.jpg "Co to za bot? Lista crawlerów, botów AI i user-agentów")Lista ### [Narzędzia SEO](https://podrez.pl/narzedzia-seo/) 40 narzędzi do Google i AI, których naprawdę używam: do czego się nadają i gdzie mają limit. Boty nie przychodzą na stronę? Może nie mają takiej możliwości! Sprawdź to w [High Five, AI!](https://high5ai.app/) by Maciej Chmurkowski. Pytania Często zadawane pytania ----------------------- ### Jak sprawdzić, jaki bot odwiedził moją stronę? Nazwa bota znajduje się w polu user-agent w logu dostępowym serwera, zwykle w pliku `access.log` lub `domena.pl.log` w katalogu `logs`. Skopiuj nazwę i wyszukaj ją w tabeli powyżej. Jeśli chcesz mieć pewność, że bot jest prawdziwy, porównaj adres IP z zakresami publikowanymi przez operatora. Najszybciej zrobisz to w moim narzędziu [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/): wczytujesz log w przeglądarce, plik nie opuszcza Twojego komputera, a narzędzie rozpozna boty i sprawdzi ich adresy IP. ### Czy zablokowanie GPTBota usuwa mnie z wyników ChatGPT? Nie. GPTBot odpowiada za zbieranie treści pod trening modeli, a za obecność w wynikach wyszukiwania ChatGPT odpowiada OAI-SearchBot. To dwa niezależne tokeny i można je ustawić różnie: zablokować trening, zostawić wyszukiwanie. Analogiczny trójpodział stosują Anthropic i Mistral. Amazon również rozdziela ruch na trzy agenty, ale jego Amazonbot jest crawlerem wielofunkcyjnym, który do treningu tylko może być wykorzystywany. Perplexity rozdziela natomiast tylko indeks wyszukiwania od pobrań na żądanie użytkownika i nie ma udokumentowanego crawlera treningowego. ### Dlaczego nie widzę Google-Extended w logach? Bo `Google-Extended` nie jest botem. To token sterujący w `robots.txt`, którym decydujesz o wykorzystaniu treści do trenowania modeli Gemini i do groundingu. Samo pobieranie stron wykonują zwykłe roboty Google. Jeśli mimo to widzisz tę nazwę w logu, patrzysz na podszywacza. ### Jak wypisać się z AI Overviews? Przez `robots.txt` się nie da. AI Overviews i AI Mode korzystają ze zwykłego indeksu Google, budowanego przez Googlebota, a token `Google-Extended` dotyczy wyłącznie trenowania modeli Gemini i groundingu. Jedyne dostępne narzędzie to dyrektywy podglądu: `nosnippet`, `data-nosnippet`, `max-snippet` i `noindex`. Każda z nich ogranicza też zwykły wynik wyszukiwania, więc wyjście z AI Overviews oznacza częściowe wyjście z Google. ### Czy blokada w robots.txt zatrzyma każdego bota AI? Nie. Fetchery uruchamiane przez użytkownika, takie jak Gemini Notebook czy ChatGPT-User, mogą pomijać `robots.txt`, ponieważ żądanie inicjuje człowiek, a nie automat. Żeby je zatrzymać, potrzebujesz reguły na poziomie serwera, w konfiguracji WAF-a albo w pliku `.htaccess`. ### Co się zmieniło z NotebookLM? 16 lipca 2026 Google zaktualizowało dokumentację i zmieniło nazwę user-agenta z `Google-NotebookLM` na `Google-GeminiNotebook`, po tym jak sam produkt został przemianowany na Gemini Notebook. Starą nazwę zapowiedziało jako wspieraną do sierpnia 2026. W moich logach do 6 października wszystkie żądania tego fetchera nadal przychodziły pod starą nazwą, a nowa nie pojawiła się ani razu, więc reguły blokujące powinny obejmować obie. **Ostatnia aktualizacja: 24 października 2026** Tokeny i funkcje botów sprawdzam w dokumentacji operatorów (lista w źródłach powyżej, ostatni pełny przegląd 7–8 października 2026, łącznie z Cloudflare). Pozycje oznaczone jako „brak jednoznacznej dokumentacji” opisuję na podstawie obserwacji. Dane z logów dostępowych podrez.pl obejmują okres 02.02–06.10.2026, ponad 2,6 mln żądań, a każde żądanie liczę w jednym wierszu. Adresy IP weryfikuję według list operatorów pobranych 7 października 2026. Historia strony i kalendarium zmian u operatorów **Historia tej strony** 08.10.2026 – dane z logów do 6 października 2026, nowe pozycje (m.in. ExaSearchBot, Gemini-Deep-Research, OWLer i fałszywy Jetpack), liczby zweryfikowanych żądań przy części botów i rozbudowana sekcja o podszywaniu się pod boty. 06.08.2026 – pierwsza wersja. **Kalendarium zmian u operatorów** 17.09.2026 – Google rozszerzyło dokumentację `Mediapartners-Google` na różne produkty reklamowe, m.in. AdSense i Google Ad Manager. 15.09.2026 – zapowiedziany przez Cloudflare 1 lipca termin nowych ustawień domyślnych: na stronach z reklamami w nowych domenach kategorie Training i Agent są blokowane, a crawlery łączące wyszukiwanie z treningiem – w tym Googlebot, bingbot i Applebot – podlegają blokadzie kategorii Training. Sierpień 2026 – zapowiadany przez Google koniec wsparcia starej nazwy `Google-NotebookLM`; w moich logach działa ona nadal (stan na 6 października). 16.07.2026 – Google zmieniło nazwę user-agenta NotebookLM na `Google-GeminiNotebook`; stara nazwa wspierana przez okres przejściowy. 01.07.2026 – Cloudflare wprowadził podział botów na kategorie Search, Agent i Training. 20.03.2026 – Google udokumentowało user-agenta `Google-Agent`. Co dalej Nie wiesz, które boty wpuszcza Twoja strona? -------------------------------------------- Sama nazwa w logu to dopiero początek. Znacznie ciekawsze bywa to, *co* ten bot dostał w odpowiedzi – i czy w ogóle dostał. Jak to sprawdzić i co znalazłam u siebie, opisałam w tekście o [analizie logów serwera](https://podrez.pl/analiza-logow-serwera-a-ai/). A czym czytam logi? Głównie Log File Analyserem i Claude’em – oba znajdziesz w moim [zestawieniu narzędzi SEO](https://podrez.pl/narzedzia-seo/). Przy dużym serwisie samo „co to za bot” nie wystarcza. Trzeba wiedzieć, po których adresach chodzi Googlebot i ile wizyt traci na podstrony, które nic nie wnoszą. Na to pytanie odpowiadam w [strategicznym audycie SEO](https://podrez.pl/strategiczny-audyt-seo/). Analizę logów pod kątem botów AI, crawlerów wyszukiwarek, narzędzi SEO i podejrzanego ruchu robię w ramach audytu. Jeśli wolisz zacząć od rozmowy, umów krótkie spotkanie. [Umów konsultację](https://podrez.pl/spotkanie/)[Widoczność w AI](https://podrez.pl/pozycjonowanie-w-ai/)