EN English version
Kontakt

Narzędzie · Common Crawl

Czy strona jest w Common Crawl?

Liczy się nie tylko to, czy CCBot Cię odwiedza, ale też to, co z Twojej strony zapisuje.

Jak sprawdzić, czy strona jest w Common Crawl? Wpisz domenę, a zobaczysz ostatnie pół roku crawli: ile stron trafiło do archiwum, czy coś blokuje CCBota i jak wygląda Twoja strona główna bez JavaScriptu.

Narzędzie w skrócie

6 crawli

czyli mniej więcej pół roku sprawdzasz jednym kliknięciem. Starsze dociągniesz przyciskiem.

3 źródła

indeks Common Crawl, robots.txt z archiwum i strona główna zapisana przez CCBota.

0 pośredników

między Twoją przeglądarką a Common Crawl. Nic nie przechodzi przez mój serwer.

5 prób

na każde zapytanie, gdy serwer Common Crawl nie odpowiada. Awaria nigdy nie udaje braku strony.

Jak to działa

Co narzędzie czyta z indeksu Common Crawl

Common Crawl co kilka tygodni publikuje nowy crawl, a do niego indeks: jeden wiersz na każdy adres, który pobrał CCBot. Narzędzie pyta indeks o Twoją domenę w sześciu ostatnich crawlach i z każdego wiersza bierze pięć rzeczy.

{"urlkey": "pl,podrez)/", "timestamp": "202610051205271", "url": "https://podrez.pl/2", "mime": "text/html", "status": "2003", "languages": "pol4", "filename": "crawl-data/CC-MAIN-2026-43/segments/…/warc/…-00599.warc.gz5", "offset": "411259486", "length": "88348"}
  1. Data i godzina – kiedy CCBot pobrał stronę: rok, miesiąc, dzień, godzina.
  2. Adres strony – narzędzie liczy unikalne adresy i osobno szuka wśród nich strony głównej.
  3. Odpowiedź serwera – 200 to strona zapisana, 301 przekierowanie, a 403, 406 albo 429 to odmowa.
  4. Język – tak Common Crawl rozpoznał język strony. Zbiory do trenowania modeli dzielą strony według języka.
  5. Plik w archiwum – w ścieżce widać zbiór: warc to zapisane strony, crawldiagnostics to przekierowania i błędy, robotstxt to robots.txt.

Wynik dla tego wiersza: Strona główna 200 · zapisana polski

Potem pobiera z archiwum dwa rekordy: robots.txt, który widział CCBot, i Twoją stronę główną. Robots.txt czyta tak jak roboty, według standardu RFC 9309. Ze strony głównej wyciąga tytuł, opis, nagłówek H1, język i liczbę słów.

Jak sprawdzić to samo ręcznie, krok po kroku, opisuję we wpisie o Common Crawl.

Skąd pewność wyniku

Brak w crawlu to nie to samo co brak odpowiedzi

Serwer indeksu Common Crawl bywa przeciążony. W moich testach mniej więcej co drugie zapytanie dostawało za pierwszym razem błąd 502 albo 504, a odpowiedź potrafiła przyjść po kilkunastu sekundach.

Przy ręcznym sprawdzaniu łatwo to pomylić: pusta strona albo błąd wyglądają jak „nie ma mnie w Common Crawl”. Dlatego narzędzie ponawia każde zapytanie do pięciu razy, z coraz dłuższą przerwą. Brak domeny pokazuje tylko wtedy, gdy Common Crawl wprost odpowie, że niczego nie ma. Crawl, który nie odpowiedział, dostaje osobny wiersz i przycisk „Ponów”.

Tak samo z robots.txt. Gdy w crawlu jest tylko on, a żadnej strony, narzędzie nie napisze, że jesteś w Common Crawl. Napisze, że CCBot przychodzi, ale nie zapisuje stron.

Prywatność

Wpisany adres nie trafia do mnie

Narzędzie działa w Twojej przeglądarce. Z podrez.pl pobiera tylko swój kod. Zapytania o domenę wysyła prosto do Common Crawl, na index.commoncrawl.org i data.commoncrawl.org, tak jak przy ręcznym sprawdzaniu w ich wyszukiwarce.

Co mierzę. Google Analytics dostaje tylko informację, że ktoś użył narzędzia, i typ wyniku, np. „jest w każdym crawlu” albo „brak”. Bez wpisanego adresu, zgodnie z Twoimi ustawieniami ciasteczek.

Wynik

Co pokazuje wynik

  • Werdykt i crawl po crawlu – czy domena jest w sześciu ostatnich crawlach, ile stron CCBot zapisał w każdym z nich, ile było przekierowań i błędów.

  • Blokady – reguły dla CCBota w robots.txt i odpowiedzi serwera 403, 406 czy 429, których robots.txt nie daje. Na podrez.pl hosting odsyłał CCBota kodem 406 przez półtora roku, a robots.txt był otwarty.

  • Strona główna z archiwum – tytuł, opis, H1, język i liczba słów w kodzie zapisanym przez CCBota, bez JavaScriptu. Jeśli treść dociąga skrypt, tu zobaczysz, że w archiwum jej nie ma.

  • Co dokładnie zapisano – lista zapisanych adresów, przekierowań i błędów, języki stron i plik CSV do własnych analiz.

Zanim zaczniesz poprawiać

Co zrobić z wynikiem

  • Brak w kilku crawlach: to normalne przy mniejszych serwisach. Każdy crawl to inna próbka internetu.
  • Blokada w robots.txt: to Twoja decyzja. Jeśli zależy Ci na obecności w zbiorach, z których uczą się modele, usuń regułę dla CCBota. Za i przeciw opisuję w FAQ wpisu o Common Crawl.
  • Kody 403, 406 albo 429: sprawdź zaporę, CDN i ustawienia hostingu. Robots.txt tu nie pomoże.
  • Mało słów na stronie głównej: treść ładuje JavaScript. Zadbaj, żeby najważniejszy tekst był w kodzie HTML od razu.
  • Brak domeny w żadnym crawlu: sprawdź w logach serwera, czy CCBot w ogóle przychodzi. Pomoże Ci w tym narzędzie Boty AI w logach.

Więcej narzędzi

Inne narzędzia

Darmowe i bez logowania. Każde odpowiada na jedno konkretne pytanie.

  • Czy strona jest w Common Crawl?

    Narzędzie

    Boty AI w logach

    Wrzuć log serwera i zobacz, które boty AI naprawdę przychodzą, w tym CCBot, i czy serwer któregoś nie odsyła.

  • Czy strona jest w Common Crawl?

    Narzędzie

    Lista botów i user-agentów

    Wyszukiwarka botów: kto za nimi stoi, do czego służą i jak je ustawić w robots.txt.

  • Czy strona jest w Common Crawl?

    Narzędzie

    Narzędzia SEO

    Darmowe i płatne narzędzia, których naprawdę używam, także do widoczności w AI.

Do poczytania

Wpisy o Common Crawl, botach i widoczności w AI

Co dalej

Wynik Cię zaskoczył?

Blokada CCBota, odmowy serwera albo strona główna bez treści w archiwum to sygnały, którym warto się przyjrzeć. Common Crawl sprawdzam w ramach audytu widoczności marki w AI, razem z logami serwera i tym, co modele o Tobie wiedzą.

Wolisz najpierw porozmawiać?

W bezpłatnych 15 minutach ustalimy, co warto sprawdzić w pierwszej kolejności.

Umów bezpłatne 15 minut Widoczność marki w AI

Często zadawane pytania

Jak sprawdzić, czy strona jest w Common Crawl?

Najszybciej w tym narzędziu: wpisz domenę w polu na górze strony. Sprawdzi sześć ostatnich crawli naraz i pokaże, ile stron CCBot zapisał, co widział w robots.txt i czy serwer go nie odsyła. Ręcznie zrobisz to w wyszukiwarce na index.commoncrawl.org, crawl po crawlu. Jak, opisuję we wpisie o Common Crawl.

Czym to się różni od wyszukiwarki na index.commoncrawl.org?

Wyszukiwarka Common Crawl pokazuje jeden crawl naraz i surowe wiersze indeksu. Narzędzie sprawdza sześć crawli jednocześnie, odróżnia brak domeny od braku odpowiedzi serwera i czyta z archiwum robots.txt oraz stronę główną. Jak sprawdzić to ręcznie, opisuję we wpisie o Common Crawl.

Dlaczego sprawdzanie trwa nawet dwie minuty?

Serwer indeksu Common Crawl bywa przeciążony, więc narzędzie ponawia zapytania. Wyniki pojawiają się crawl po crawlu, nie musisz czekać na wszystkie.

Common Crawl ma tylko część moich stron. Czy to problem?

Nie. Common Crawl nigdy nie pobiera całych serwisów, tylko ich próbkę. Ważniejsze jest, co trafia do archiwum: czy są tam strony, które pokazują Twoją wiedzę i ofertę.

Jestem w Common Crawl. Czy modele AI mnie znają?

Niekoniecznie. Common Crawl to surowe archiwum, a twórcy modeli filtrują je po swojemu. Więcej piszę o tym w FAQ wpisu o Common Crawl.

Co znaczy kod 403 albo 406 w wyniku?

Serwer albo zapora odrzuca CCBota, nawet jeśli robots.txt jest otwarty. Sprawdź reguły zapory i zapytaj hosting. Kto dokładnie odwiedza Twoją stronę, zobaczysz w narzędziu Boty AI w logach.

Czy zapisujesz adresy, które sprawdzam?

Nie. Adres trafia z Twojej przeglądarki prosto do Common Crawl. Google Analytics dostaje tylko typ wyniku, bez adresu.

Opracowanie: Ewelina Podrez-Siama, SEO od 2009 roku. Najnowsza wersja narzędzia: 1.0.8, 1 listopada 2026.

Dane: Common Crawl Foundation, indeks crawli i archiwum WARC. Narzędzie nie jest powiązane z Common Crawl.

Napisz wiadomośćUmów 15 minut