--- title: "Czy boty AI mogą czytać Twoją stronę?" description: "Narzędzie · robots.txt i boty AI Czy boty AI mogą czytać Twoją stronę? robots.txt mówi botom, co im wolno. Sprawdź, czy mówi to, co myślisz. Wpisz domenę albo wklej robots.txt. Zobaczysz, na co Twój plik pozwala 57 botom i tokenom z mojej listy: od GPTBota i ClaudeBota po nowy token __usage_ai-training, a dla porównania Googlebotowi i Bingbotowi. Do tego meta robots," date: 2026-11-12 author: "Ewelina Podrez-Siama" url: "https://podrez.pl/czy-boty-ai-moga-czytac-strone/" --- Narzędzie · robots.txt i boty AI Czy boty AI mogą czytać Twoją stronę? ===================================== robots.txt mówi botom, co im wolno. Sprawdź, czy mówi to, co myślisz. Wpisz domenę albo wklej robots.txt. Zobaczysz, na co Twój plik pozwala 57 botom i tokenom z mojej listy: od GPTBota i ClaudeBota po nowy token \_\_usage\_ai-training, a dla porównania Googlebotowi i Bingbotowi. Do tego meta robots, X-Robots-Tag, TDMRep, Content-Signal i llms.txt, a przy każdym bocie wiersz pliku, który zdecydował. Narzędzie wymaga włączonego JavaScriptu. [Coś nie działa? Daj znać →](#zgloszenie) [Jak to działa](#jak-to-dziala)[Statusy](#statusy)[Sygnały dla AI](#sygnaly)[Prośba, nie dyrektywa](#zastrzezenia)[Prywatność](#prywatnosc)[Co zrobić z wynikiem](#co-zrobic)[Narzędzia i listy](#narzedzia)[Do poczytania](#do-poczytania)[FAQ](#faq) Narzędzie w skrócie ------------------- **57 botów i tokenów**z mojej listy botów: trening, wyszukiwarki AI, wizyty na prośbę użytkownika i tokeny bez własnego bota. Do porównania Googlebot i Bingbot. **Parser jak w Google**logika i testy z otwartej biblioteki Google robotstxt: najdłuższa reguła wygrywa, przy remisie wygrywa Allow. **5 sygnałów i llms.txt**robots.txt, token \_\_usage\_ai-training, meta robots i X-Robots-Tag, TDMRep i Content-Signal. Do tego llms.txt. **0 zapisanych domen**pliki pobiera serwer, wynik liczy Twoja przeglądarka. Domen ani plików nie zapisuję. Jak to działa Co narzędzie sprawdza i jak liczy --------------------------------- Po wpisaniu domeny serwer podrez.pl pobiera cztery publiczne pliki: `/robots.txt`, stronę główną (same nagłówki i ``), `/llms.txt` i `/.well-known/tdmrep.json`. Resztę liczy Twoja przeglądarka. Możesz też wkleić robots.txt, wtedy plik nie wychodzi z komputera. Plik czytam tak, jak Google: według RFC 9309 i otwartej biblioteki robotstxt, z której przeniosłam też testy. Bot szuka grupy ze swoją nazwą. Jeśli jej nie ma, bierze grupę `*`. Gdy do adresu pasuje kilka reguł, wygrywa najdłuższa, a przy remisie Allow. Grupy z tą samą nazwą się łączą, a Google czyta tylko pierwsze 500 KiB pliku. Niektóre boty mają regułę zapasową. Google-CloudVertexBot i Googlebot-News bez własnej grupy stosują reguły dla Googlebota. Wspólny token `__usage_ai-training` nie decyduje o dostępie, tylko wyraża sprzeciw wobec treningu. Anthropic uwzględnia go od 30 października 2026 (wdraża stopniowo), gdy plik nie ma grupy ClaudeBot, więc przy ClaudeBocie pokazuję go osobno, pod wynikiem. Sam `__usage_ai-training` nie podlega grupie `*`: bez własnej grupy strona nie wyraża preferencji. Przy każdym bocie zobaczysz wiersz, który zdecydował, a w testerze sprawdzisz dowolny adres i dowolny user-agent. To ta funkcja, którą Google wycofało z Search Console w grudniu 2023 roku. Zostały raport robots.txt i sprawdzanie adresu URL, które pokazuje blokadę tylko dla Googlebota. Wynik Co znaczą statusy ----------------- - ✓### Może czytać Twój robots.txt pozwala botowi pobrać sprawdzany adres. Wyjątki wspólne dla wszystkich botów, np. /wp-admin/, pokazuję jako uwagę pod botem. Przy tokenach: „Bez sprzeciwu”. - ◐### Częściowo Reguły tylko dla tego bota zamykają mu część adresów albo otwierają tylko część strony. Lista pod botem. Przy tokenach: „Częściowy sprzeciw”. - ✕### Zablokowany Twój robots.txt prosi bota, żeby nie pobierał tego adresu. Żadna reguła go nie otwiera. Przy tokenach: „Sprzeciw”. Gdy robots.txt zwraca błąd serwera (5xx albo 429), zobaczysz „Zablokowany (błąd serwera)”. - –### Brak preferencji Tylko \_\_usage\_ai-training: plik nie ma dla niego grupy, a grupa \* go nie obejmuje. Strona nie mówi ani tak, ani nie. - ·### Nie dotyczy Operator nie podaje nazwy do robots.txt (np. ChatGPT-User). Plik go nie zatrzyma, odciąć go można tylko na serwerze. Statusy pokazują, o co prosi Twój robots.txt, a nie co bot naprawdę zrobi. Zapora serwera albo ustawienia Cloudflare potrafią odsyłać boty, którym plik pozwala wejść. Wtedy tu zobaczysz „Może czytać”, a bot dostanie 403 albo 429. Sprawdzisz to w logach. Wpisz domenę, a sprawdzę stronę główną. Wpisz pełny adres podstrony, a sprawdzę tę podstronę. Inny adres wpiszesz też w testerze niżej i przeliczysz dla niego całą tabelę. Sygnały dla AI Allow i Disallow to nie wszystko -------------------------------- - **`__usage_ai-training`.** Wspólny token przeciw trenowaniu AI, zapowiedziany 30 października 2026 przez Google, Microsoft, OpenAI i Anthropic. Kto i od kiedy go stosuje, opisuję we [wpisie o \_\_usage\_ai-training](https://podrez.pl/usage-ai-training/). - **Google-Extended.** Zgoda na trening Gemini i grounding, czyli odpowiedzi Gemini oparte na Twojej stronie, w aplikacjach Gemini i w Vertex AI. Jego blokada nie usuwa strony z AI Overviews ani z AI Mode. Służy do tego ustawienie w Search Console (Ustawienia → [Generatywna AI w wyszukiwarce](https://podrez.pl/generatywna-ai-w-search-console/), od 31 sierpnia 2026). Na poziomie strony udział w AI Overviews ograniczysz dyrektywami `nosnippet`, `max-snippet` albo `noindex`. - **Bing.** Od 1 lutego 2027 Microsoft czyta osobno trening (`ai-training`) i grounding (`ai-grounding`) w meta tagu albo nagłówku X-Robots-Tag. Do 1 marca 2027 czyta też `noarchive` i `nocache` jako sprzeciw wobec obu. Narzędzie pokazuje oba ustawienia. - **TDMRep.** Zastrzeżenie eksploracji tekstu i danych z art. 4 dyrektywy UE 2019/790: plik `tdmrep.json`, nagłówek albo meta tag. To raport grupy W3C Community Group, nie standard W3C. - **Content-Signal i Content-Usage.** Deklaracje w robots.txt: pierwsza od Cloudflare, druga ze szkicu IETF. Pokazuję, której grupy dotyczą, bo pusty wiersz nie zamyka grupy, a deklaracja potrafi trafić do innego bota, niż chciał autor. - **llms.txt.** Sprawdzam, czy jest, jaki ma status, tytuł i linki, podobnie jak eksperymentalny audyt Lighthouse „Agentic Browsing”. Google Search go nie używa. Więcej we [wpisie o pliku llms.txt](https://podrez.pl/plik-llms-txt/). Zanim wyciągniesz wnioski robots.txt to prośba, a nie dyrektywa ------------------------------------- Uczciwe boty się do niego stosują. Podszyte i złośliwe nie. Część botów na prośbę użytkownika (np. ChatGPT-User czy Perplexity-User) według swoich operatorów może pominąć robots.txt, a roboty Google, które pobierają kanały RSS, ignorują go w ogóle. Narzędzie pokazuje przy nich, co deklaruje operator. Co boty naprawdę robią na Twojej stronie, pokażą logi serwera. Do tego mam osobne narzędzie: [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/). Prywatność Co się dzieje z wpisaną domeną ------------------------------ Pliki pobiera serwer podrez.pl, więc sprawdzana strona nie widzi Twojego adresu IP, tylko mój serwer i nazwę narzędzia w user-agencie. Serwer łączy się tylko z adresami publicznymi, a za przekierowaniami idzie najwyżej pięć razy. Nie zapisuje domen ani treści plików. Do limitów trzyma przez najwyżej dobę skróty (HMAC) Twojego adresu IP, sieci i sprawdzanej domeny, a nie same wartości. Wklejony robots.txt zostaje w przeglądarce. Jego treść nie wychodzi do sieci. **Co mierzę.** Google Analytics dostaje tylko informację, że ktoś użył narzędzia: w jakim trybie (domena, wklejony plik, przykład), z jakim typem odpowiedzi robots.txt (np. „2xx” albo „5xx”), z jakim kodem błędu, jeśli coś nie zadziałało, oraz czy tester sprawdzał bota z listy albo wpisanego ręcznie i czy wyszło „wolno”, czy „nie wolno”. Bez domeny, adresu i user-agenta, zgodnie z Twoimi ustawieniami ciasteczek. Zanim coś zmienisz Co zrobić z wynikiem -------------------- - **Nie chcesz treningu, ale chcesz być w wyszukiwarkach AI.** Zablokuj boty z grupy „Trenowanie modeli” (GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider i inne), tokeny Google-Extended i Applebot-Extended oraz dodaj grupę `__usage_ai-training`. Wyszukiwarki AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) zostaw otwarte. Co modele mają już w pamięci, pokazuje ich data odcięcia wiedzy (zestawiam te daty w tabeli [Cutoff modeli AI](https://podrez.pl/cutoff-modeli-ai/)). - **Chcesz zniknąć z AI Overviews.** Google-Extended tego nie załatwi. Najprościej przełączyć w Search Console ustawienie [Generatywna AI w wyszukiwarce](https://podrez.pl/generatywna-ai-w-search-console/) (Ustawienia). Wyklucza witrynę z AI Overviews, AI Mode i funkcji AI w Discover, bez wpływu na zwykłe wyniki. Pojedyncze strony ograniczysz `nosnippet` albo `max-snippet`, ale to skraca też ich opis w zwykłych wynikach. - **Wszystko zablokowane, choć nie miało być.** Szukaj `Disallow: /` w grupie `*`. To częsta pamiątka po wersji testowej strony. - **robots.txt zwraca błąd 5xx.** Google przez pierwsze 12 godzin nie pobiera strony, potem do 30 dni korzysta z ostatniej dobrej kopii pliku. Napraw serwer, zanim zaczniesz poprawiać reguły. - **„Może czytać”, a bota nie ma w logach albo dostaje 403 lub 429.** To nie robots.txt, tylko serwer. Zapytaj hosting o zaporę (WAF) albo sprawdź ustawienia botów w Cloudflare. Mój hosting kiedyś po cichu włączył zaporę, która odsyłała boty AI kodem 429. robots.txt wpuszczał wszystkie, a zobaczyłam to dopiero w logach. - **Uwagi do pliku.** Literówki w nazwach dyrektyw i brak dwukropka Google wybacza, inne boty niekoniecznie. Wszystkie boty pomijają reguły przed pierwszym User-agent i wzorce bez ukośnika. Lepiej je poprawić. - U siebie wpuszczam wszystkie boty AI i nie dodaję `__usage_ai-training`. Zależy mi na widoczności w odpowiedziach AI, więc to świadoma decyzja, a nie przeoczenie. Narzędzia i listy Inne moje narzędzia i listy --------------------------- Darmowe i bez logowania. Każde odpowiada na jedno konkretne pytanie. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/11/obserwatorium-encji-hero-kolaz-768x432.webp "Czy boty AI mogą czytać Twoją stronę?")Narzędzie ### [Obserwatorium encji](https://podrez.pl/obserwatorium-encji/) Zobacz dane strukturalne strony jako mapę relacji i dołóż obok rekord z Wikidaty. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/05/knowledge-graph-768x512.jpg "Czy boty AI mogą czytać Twoją stronę?")Narzędzie ### [Czy jesteś w Grafie Wiedzy Google?](https://podrez.pl/czy-jestes-w-grafie-wiedzy-google/) Wpisz nazwę i sprawdź, czy Google zna Cię jako encję i czy zgadza się to z Wikidatą. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/05/common-crawl-hero-768x512.jpg "Czy boty AI mogą czytać Twoją stronę?")Narzędzie ### [Czy strona jest w Common Crawl?](https://podrez.pl/czy-strona-jest-w-common-crawl/) Sprawdź, ile Twoich stron trafiło do archiwum Common Crawl i czy coś nie blokuje CCBota. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/08/analiza-logow-ai-768x403.jpg "Czy boty AI mogą czytać Twoją stronę?")Narzędzie ### [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/) Wrzuć log serwera i zobacz, które boty AI naprawdę przychodzą i czy serwer któregoś nie odsyła. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/10/spadek-wyswietlen-search-console-boty-768x432.webp "Czy boty AI mogą czytać Twoją stronę?")Narzędzie ### [Kto wpisał te zapytania w Search Console?](https://podrez.pl/prompty-w-search-console/) Wrzuć eksport z Search Console i zobacz, które zapytania wyglądają na prompty, operatory i footprinty narzędzi. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/08/co-to-za-bot-768x403.jpg "Czy boty AI mogą czytać Twoją stronę?")Wyszukiwarka ### [Lista botów i user-agentów](https://podrez.pl/boty/) Wyszukiwarka botów: kto za nimi stoi, do czego służą i jak je ustawić w robots.txt. [Wszystkie moje narzędzia](https://podrez.pl/narzedzia-seo/) Plik robots.txt to deklaracja. Jak serwer odpowiada botom, które udają GPTBota czy ClaudeBota, możesz sprawdzić w [High Five, AI!](https://high5ai.app/) by Maciej Chmurkowski. Do poczytania Wpisy o botach AI, robots.txt i llms.txt ---------------------------------------- - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/11/usage-ai-training-robots-txt-768x432.webp "Czy boty AI mogą czytać Twoją stronę?")Wpis ### [Jedna reguła przeciw trenowaniu AI](https://podrez.pl/usage-ai-training/) Co zmienia \_\_usage\_ai-training i kto go już stosuje. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/11/plik-llms-txt-768x404.webp "Czy boty AI mogą czytać Twoją stronę?")Wpis ### [Plik llms.txt](https://podrez.pl/plik-llms-txt/) Czym jest, kto go naprawdę pobiera i czy warto go wdrożyć. - ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/08/analiza-logow-ai-768x403.jpg "Czy boty AI mogą czytać Twoją stronę?")Wpis ### [Analiza logów serwera a widoczność w AI](https://podrez.pl/analiza-logow-serwera-a-ai/) Dane z 1,8 mln żądań: które boty AI docierają do treści. Często zadawane pytania ----------------------- ### Jak sprawdzić, czy GPTBot może czytać moją stronę? Wpisz domenę w polu na górze strony. GPTBota znajdziesz w grupie „Trenowanie modeli”, a OAI-SearchBota (wyszukiwarka ChatGPT) w grupie „Wyszukiwarki AI”. Przy każdym zobaczysz status i wiersz robots.txt, który zdecydował. Konkretny adres wpiszesz od razu w polu albo sprawdzisz w testerze niżej. ### Czy to tester robots.txt? Tak. Narzędzie czyta plik tak jak parser Google i wskazuje literówki, reguły przed pierwszym User-agent, wzorce bez ukośnika, plik większy niż 500 KiB i stronę HTML zamiast pliku. W testerze sprawdzisz dowolny adres i dowolny user-agent, a w tabeli zobaczysz, na co plik pozwala 57 botom i tokenom z mojej listy. ### Jak zablokować trenowanie AI, a zostać w wyszukiwarkach AI? Zablokuj boty treningowe z ich nazwy (np. `User-agent: GPTBot` i `Disallow: /`), dodaj tokeny Google-Extended i Applebot-Extended oraz grupę `__usage_ai-training` z `Disallow: /`. Boty wyszukiwarek AI, takie jak OAI-SearchBot, Claude-SearchBot czy PerplexityBot, zostaw otwarte. Po zmianie sprawdź plik tym narzędziem. ### Czy blokada Google-Extended usuwa stronę z AI Overviews? Nie. Google-Extended dotyczy treningu Gemini i groundingu w aplikacjach Gemini i w Vertex AI. AI Overviews i AI Mode korzystają z indeksu wyszukiwarki. Całą witrynę wykluczysz z nich w Search Console (Ustawienia → [Generatywna AI w wyszukiwarce](https://podrez.pl/generatywna-ai-w-search-console/)), bez wpływu na zwykłe wyniki. Pojedyncze strony ograniczysz dyrektywami `nosnippet`, `max-snippet` albo `noindex`. ### Czym jest \_\_usage\_ai-training? To wspólny token do robots.txt, który wyraża sprzeciw wobec trenowania modeli AI u kilku firm naraz. Grupa `*` go nie obejmuje: jeśli nie dodasz dla niego osobnej grupy, strona nie wyraża preferencji. To sprzeciw wobec treningu, a nie blokada: o tym, czy bot w ogóle wchodzi, nadal decydują reguły dla jego nazwy albo grupa `*`. Szczegóły i daty wdrożeń: [wpis o \_\_usage\_ai-training](https://podrez.pl/usage-ai-training/). ### Czy robots.txt naprawdę zatrzymuje boty? Tylko te, które chcą się do niego stosować. To prośba, a nie dyrektywa. Podszyte boty i scrapery zignorują ją, a część pobrań na prośbę użytkownika może ją pominąć z założenia. Prawdziwy ruch pokażą logi serwera. ### Dlaczego przy ChatGPT-User jest „Nie dotyczy”? Bo OpenAI nie dokumentuje ChatGPT-User jako tokenu sterującego w robots.txt i pisze, że reguły mogą go nie obowiązywać. Jeśli Twój plik ma dla niego grupę, narzędzie ją pokaże, ale ze stosownym zastrzeżeniem. Podobnie jest z innymi botami na prośbę użytkownika. ### Co znaczy status „Częściowo”? Że w robots.txt są reguły tylko dla tego bota i zamykają mu część adresów albo otwierają tylko część strony. Pod botem widać, które ścieżki. Wyjątki wspólne dla wszystkich botów, np. `/wp-admin/` czy wyniki wyszukiwania w grupie `*`, nie zmieniają statusu. Pokazuję je jako uwagę pod botem. ### Czy llms.txt jest potrzebny? Nie jest obowiązkowy, a Google Search go nie używa. Lighthouse w eksperymentalnym audycie „Agentic Browsing” uznaje jego brak (404) za „nie dotyczy”, a problemem jest dopiero błąd serwera. Czy warto go wdrożyć, piszę we [wpisie o pliku llms.txt](https://podrez.pl/plik-llms-txt/). ### Czym to się różni od testera robots.txt w Search Console? Google wycofało tester w grudniu 2023 roku. Zostawiło raport robots.txt ze stanem pliku i sprawdzanie adresu URL, które pokaże blokadę, ale tylko dla Googlebota. Tu sprawdzisz dowolny adres i dowolny user-agent, a do tego całą listę botów AI naraz. ### Ile razy mogę sprawdzać? Domenę 4 razy na minutę, 20 razy na godzinę i 60 razy na dobę z jednego adresu IP. Tę samą domenę narzędzie sprawdzi najwyżej 12 razy na godzinę i 40 razy na dobę, żeby nie zasypywać cudzych serwerów. Wklejony robots.txt sprawdzisz bez limitu, bo nie wychodzi z przeglądarki. ### Czy zapisujesz sprawdzane domeny? Nie. Serwer nie zapisuje domen ani pobranych plików. Do limitów trzyma tylko skróty adresu IP i sprawdzanej domeny, które znikają najpóźniej po dobie, a w statystykach liczy same sprawdzenia, bez domen. Google Analytics dostaje tylko tryb, typ odpowiedzi robots.txt, kod błędu i wynik testera, bez domeny. ![Czy boty AI mogą czytać Twoją stronę?](https://podrez.pl/wp-content/uploads/2026/11/ewelina-podrez-siama-awatar-bez-tla.webp "Czy boty AI mogą czytać Twoją stronę?")Narzędzie zbudowała **Ewelina Podrez-Siama**, niezależna konsultantka SEO, strateżka widoczności w AI i szkoleniowiec, w SEO od 2009 roku. [O mnie](https://podrez.pl/o-mnie/) Wersja 1.0.4, 13 listopada 2026 Dane: moja lista botów (stan z 8 listopada 2026). Parser: przeniesiony z otwartej biblioteki Google robotstxt (Apache License 2.0) razem z jej testami. Narzędzie nie jest powiązane z Google, Microsoftem, OpenAI, Anthropic ani Cloudflare. Co dalej Nie wiesz, które boty wpuścić? ------------------------------ Trening, wyszukiwarki AI, wizyty na prośbę użytkownika i zwykłe wyszukiwarki to cztery różne decyzje. Pomagam je podjąć tak, żeby nie stracić widoczności tam, gdzie jej potrzebujesz. Wolisz najpierw porozmawiać? W bezpłatnych 15 minutach ustalimy, co warto ustawić w pierwszej kolejności. [Umów bezpłatne 15 minut](https://tidycal.com/ewelina/spotkanie-15-minut) [Pozycjonowanie w AI](https://podrez.pl/pozycjonowanie-w-ai/) Zgłoszenia Coś nie działa albo masz pomysł? -------------------------------- Narzędzia buduję sama i poprawiam je na bieżąco, więc każde zgłoszenie się przydaje. Napisz, co się stało albo czego Ci brakuje. Przy błędzie dopisz przeglądarkę i urządzenie (telefon albo komputer), wtedy szybciej go znajdę. Co nie działa albo co warto dodać? \* E-mail (jeśli chcesz odpowiedź) Mailem trafi do mnie tylko Twoja wiadomość z adresem tej strony. Administratorem danych jest Ms. Fox Ewelina Podrez-Siama. Zgłoszenie (wiadomość, podany e-mail, adres strony, adres IP, przeglądarka, data i wynik reCAPTCHA) jest też zapisywane w panelu strony, a e-mail wykorzystam tylko do odpowiedzi ([polityka prywatności](/polityka-prywatnosci/)). Ta strona jest chroniona przez reCAPTCHA. Obowiązują [Polityka prywatności](https://policies.google.com/privacy) i [Warunki korzystania z usług](https://policies.google.com/terms) Google.