---
title: "Czy strona jest w Common Crawl?"
description: "Narzędzie · Common Crawl Czy strona jest w Common Crawl? Liczy się nie tylko to, czy CCBot Cię odwiedza, ale też to, co z Twojej strony zapisuje. Jak sprawdzić, czy strona jest w Common Crawl? Wpisz domenę, a zobaczysz ostatnie pół roku crawli: ile stron trafiło do archiwum, czy coś blokuje CCBota i jak wygląda Twoja strona główna bez JavaScriptu."
date: 2026-11-01
author: "Ewelina Podrez-Siama"
url: "https://podrez.pl/czy-strona-jest-w-common-crawl/"
---
Narzędzie · Common Crawl
Czy strona jest w Common Crawl?
===============================
Liczy się nie tylko to, czy CCBot Cię odwiedza, ale też to, co z Twojej strony zapisuje.
Jak sprawdzić, czy strona jest w Common Crawl? Wpisz domenę, a zobaczysz ostatnie pół roku crawli: ile stron trafiło do archiwum, czy coś blokuje CCBota i jak wygląda Twoja strona główna bez JavaScriptu.
Narzędzie wymaga włączonego JavaScriptu.
[Jak to działa](#jak-to-dziala)[Brak a awaria](#brak-odpowiedzi)[Prywatność](#prywatnosc)[Co pokazuje wynik](#wynik)[Co zrobić z wynikiem](#co-zrobic)[Inne narzędzia](#narzedzia)[Do poczytania](#do-poczytania)[FAQ](#faq)
Narzędzie w skrócie
-------------------
**6 crawli**czyli mniej więcej pół roku sprawdzasz jednym kliknięciem. Starsze dociągniesz przyciskiem.
**3 źródła**indeks Common Crawl, robots.txt z archiwum i strona główna zapisana przez CCBota.
**0 pośredników**między Twoją przeglądarką a Common Crawl. Nic nie przechodzi przez mój serwer.
**5 prób**na każde zapytanie, gdy serwer Common Crawl nie odpowiada. Awaria nigdy nie udaje braku strony.
Jak to działa
Co narzędzie czyta z indeksu Common Crawl
-----------------------------------------
Common Crawl co kilka tygodni publikuje nowy crawl, a do niego indeks: jeden wiersz na każdy adres, który pobrał CCBot. Narzędzie pyta indeks o Twoją domenę w sześciu ostatnich crawlach i z każdego wiersza bierze pięć rzeczy.
CC-MAIN-2026-43-index
`{"urlkey": "pl,podrez)/", "timestamp": "202610051205271", "url": "https://podrez.pl/2", "mime": "text/html", "status": "2003", "languages": "pol4", "filename": "crawl-data/CC-MAIN-2026-43/segments/…/warc/…-00599.warc.gz5", "offset": "411259486", "length": "88348"}`1. **Data i godzina** – kiedy CCBot pobrał stronę: rok, miesiąc, dzień, godzina.
2. **Adres strony** – narzędzie liczy unikalne adresy i osobno szuka wśród nich strony głównej.
3. **Odpowiedź serwera** – 200 to strona zapisana, 301 przekierowanie, a 403, 406 albo 429 to odmowa.
4. **Język** – tak Common Crawl rozpoznał język strony. Zbiory do trenowania modeli dzielą strony według języka.
5. **Plik w archiwum** – w ścieżce widać zbiór: warc to zapisane strony, crawldiagnostics to przekierowania i błędy, robotstxt to robots.txt.
Wynik dla tego wiersza: Strona główna 200 · zapisana polski
Potem pobiera z archiwum dwa rekordy: robots.txt, który widział CCBot, i Twoją stronę główną. Robots.txt czyta tak jak roboty, według standardu RFC 9309. Ze strony głównej wyciąga tytuł, opis, nagłówek H1, język i liczbę słów.
Jak sprawdzić to samo ręcznie, krok po kroku, opisuję we [wpisie o Common Crawl](https://podrez.pl/common-crawl/#jak-sprawdzic-czy-twoja-domena-jest-w-common-crawl).
Skąd pewność wyniku
Brak w crawlu to nie to samo co brak odpowiedzi
-----------------------------------------------
Serwer indeksu Common Crawl bywa przeciążony. W moich testach mniej więcej co drugie zapytanie dostawało za pierwszym razem błąd 502 albo 504, a odpowiedź potrafiła przyjść po kilkunastu sekundach.
Przy ręcznym sprawdzaniu łatwo to pomylić: pusta strona albo błąd wyglądają jak „nie ma mnie w Common Crawl”. Dlatego narzędzie ponawia każde zapytanie do pięciu razy, z coraz dłuższą przerwą. Brak domeny pokazuje tylko wtedy, gdy Common Crawl wprost odpowie, że niczego nie ma. Crawl, który nie odpowiedział, dostaje osobny wiersz i przycisk „Ponów”.
Tak samo z robots.txt. Gdy w crawlu jest tylko on, a żadnej strony, narzędzie nie napisze, że jesteś w Common Crawl. Napisze, że CCBot przychodzi, ale nie zapisuje stron.
Prywatność
Wpisany adres nie trafia do mnie
--------------------------------
Narzędzie działa w Twojej przeglądarce. Z podrez.pl pobiera tylko swój kod. Zapytania o domenę wysyła prosto do Common Crawl, na index.commoncrawl.org i data.commoncrawl.org, tak jak przy ręcznym sprawdzaniu w ich wyszukiwarce.
**Co mierzę.** Google Analytics dostaje tylko informację, że ktoś użył narzędzia, i typ wyniku, np. „jest w każdym crawlu” albo „brak”. Bez wpisanego adresu, zgodnie z Twoimi ustawieniami ciasteczek.
Wynik
Co pokazuje wynik
-----------------
- **Werdykt i crawl po crawlu** – czy domena jest w sześciu ostatnich crawlach, ile stron CCBot zapisał w każdym z nich, ile było przekierowań i błędów.
- **Blokady** – reguły dla CCBota w robots.txt i odpowiedzi serwera 403, 406 czy 429, których robots.txt nie daje. Na podrez.pl hosting odsyłał CCBota kodem 406 przez półtora roku, a robots.txt był otwarty.
- **Strona główna z archiwum** – tytuł, opis, H1, język i liczba słów w kodzie zapisanym przez CCBota, bez JavaScriptu. Jeśli treść dociąga skrypt, tu zobaczysz, że w archiwum jej nie ma.
- **Co dokładnie zapisano** – lista zapisanych adresów, przekierowań i błędów, języki stron i plik CSV do własnych analiz.
Zanim zaczniesz poprawiać
Co zrobić z wynikiem
--------------------
- **Brak w kilku crawlach:** to normalne przy mniejszych serwisach. Każdy crawl to inna próbka internetu.
- **Blokada w robots.txt:** to Twoja decyzja. Jeśli zależy Ci na obecności w zbiorach, z których uczą się modele, usuń regułę dla CCBota. Za i przeciw opisuję w [FAQ wpisu o Common Crawl](https://podrez.pl/common-crawl/#czy-powinienem-zablokowac-ccbota-w-robotstxt).
- **Kody 403, 406 albo 429:** sprawdź zaporę, CDN i ustawienia hostingu. Robots.txt tu nie pomoże.
- **Mało słów na stronie głównej:** treść ładuje JavaScript. Zadbaj, żeby najważniejszy tekst był w kodzie HTML od razu.
- **Brak domeny w żadnym crawlu:** sprawdź w logach serwera, czy CCBot w ogóle przychodzi. Pomoże Ci w tym narzędzie [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/).
Więcej narzędzi
Inne narzędzia
--------------
Darmowe i bez logowania. Każde odpowiada na jedno konkretne pytanie.
- Narzędzie
### [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/)
Wrzuć log serwera i zobacz, które boty AI naprawdę przychodzą, w tym CCBot, i czy serwer któregoś nie odsyła.
- Narzędzie
### [Lista botów i user-agentów](https://podrez.pl/boty/)
Wyszukiwarka botów: kto za nimi stoi, do czego służą i jak je ustawić w robots.txt.
- Narzędzie
### [Narzędzia SEO](https://podrez.pl/narzedzia-seo/)
Darmowe i płatne narzędzia, których naprawdę używam, także do widoczności w AI.
Do poczytania
Wpisy o Common Crawl, botach i widoczności w AI
-----------------------------------------------
- Wpis
### [Common Crawl. Czy AI ma Cię z czego zapamiętać?](https://podrez.pl/common-crawl/)
Czym jest Common Crawl, jak trafia do pamięci modeli i co CCBot pobierał z podrez.pl przez dziewięć lat.
- Wpis
### [Analiza logów serwera](https://podrez.pl/analiza-logow-serwera-a-ai/)
Zanim zaczniesz myśleć o widoczności w AI, sprawdź, czy boty w ogóle docierają do Twoich treści.
- Wpis
### [Plik llms.txt](https://podrez.pl/plik-llms-txt/)
Czy AI potrzebuje nowego robots.txt? Czym jest llms.txt i czy warto go wdrożyć.
Co dalej
Wynik Cię zaskoczył?
--------------------
Blokada CCBota, odmowy serwera albo strona główna bez treści w archiwum to sygnały, którym warto się przyjrzeć. Common Crawl sprawdzam w ramach audytu widoczności marki w AI, razem z logami serwera i tym, co modele o Tobie wiedzą.
Wolisz najpierw porozmawiać?
W bezpłatnych 15 minutach ustalimy, co warto sprawdzić w pierwszej kolejności.
[Umów bezpłatne 15 minut](https://tidycal.com/ewelina/spotkanie-15-minut) [Widoczność marki w AI](https://podrez.pl/pozycjonowanie-w-ai/)
Często zadawane pytania
-----------------------
### Jak sprawdzić, czy strona jest w Common Crawl?
Najszybciej w tym narzędziu: wpisz domenę w polu na górze strony. Sprawdzi sześć ostatnich crawli naraz i pokaże, ile stron CCBot zapisał, co widział w robots.txt i czy serwer go nie odsyła. Ręcznie zrobisz to w wyszukiwarce na index.commoncrawl.org, crawl po crawlu. Jak, opisuję we [wpisie o Common Crawl](https://podrez.pl/common-crawl/#jak-sprawdzic-czy-twoja-domena-jest-w-common-crawl).
### Czym to się różni od wyszukiwarki na index.commoncrawl.org?
Wyszukiwarka Common Crawl pokazuje jeden crawl naraz i surowe wiersze indeksu. Narzędzie sprawdza sześć crawli jednocześnie, odróżnia brak domeny od braku odpowiedzi serwera i czyta z archiwum robots.txt oraz stronę główną. Jak sprawdzić to ręcznie, opisuję we [wpisie o Common Crawl](https://podrez.pl/common-crawl/#jak-sprawdzic-czy-twoja-domena-jest-w-common-crawl).
### Dlaczego sprawdzanie trwa nawet dwie minuty?
Serwer indeksu Common Crawl bywa przeciążony, więc narzędzie ponawia zapytania. Wyniki pojawiają się crawl po crawlu, nie musisz czekać na wszystkie.
### Common Crawl ma tylko część moich stron. Czy to problem?
Nie. Common Crawl nigdy nie pobiera całych serwisów, tylko ich próbkę. Ważniejsze jest, co trafia do archiwum: czy są tam strony, które pokazują Twoją wiedzę i ofertę.
### Jestem w Common Crawl. Czy modele AI mnie znają?
Niekoniecznie. Common Crawl to surowe archiwum, a twórcy modeli filtrują je po swojemu. Więcej piszę o tym w [FAQ wpisu o Common Crawl](https://podrez.pl/common-crawl/#moja-strona-jest-w-common-crawl-ale-ai-mnie-nie-zna-dlaczego).
### Co znaczy kod 403 albo 406 w wyniku?
Serwer albo zapora odrzuca CCBota, nawet jeśli robots.txt jest otwarty. Sprawdź reguły zapory i zapytaj hosting. Kto dokładnie odwiedza Twoją stronę, zobaczysz w narzędziu [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/).
### Czy zapisujesz adresy, które sprawdzam?
Nie. Adres trafia z Twojej przeglądarki prosto do Common Crawl. Google Analytics dostaje tylko typ wyniku, bez adresu.
Opracowanie: Ewelina Podrez-Siama, SEO od 2009 roku. Najnowsza wersja narzędzia: 1.0.8, 1 listopada 2026.
Dane: Common Crawl Foundation, indeks crawli i archiwum WARC. Narzędzie nie jest powiązane z Common Crawl.