---
title: "Common Crawl. Czy AI ma Cię z czego zapamiętać?"
description: "Gdy ktoś pyta LLM o Ciebie, model ma dwa źródła wiedzy. Pierwsze: pamięć z treningu, czyli to, co wchłonął, zanim trafił do użytkownika. Drugie: świeże źródła, po które sięga w momencie zapytania (RAG/web search). Ten artykuł jest o pierwszym przypadku i o jednym z największych fundamentów wiedzy treningowej LLM-ów, czyli Common Crawl."
date: 2026-05-03
author: "Ewelina Podrez-Siama"
url: "https://podrez.pl/common-crawl/"
categories:
  - "Blog SEO"
tags:
  - "AI Search i GEO"
  - "SEO techniczne"
---

Pierwsza publikacja: 3 maja 2026 · Ostatnia aktualizacja: 14 listopada 2026

Common Crawl to darmowe archiwum internetu, z którego powstają dane treningowe wielu modeli językowych. Jeśli CCBot nie pobiera Twojej strony albo pobiera z niej nie to, co trzeba, model może Cię nie znać albo znać tylko z jednej strony. Sprawdziłam to na podrez.pl: w Common Crawl jestem od 2017 roku, ale artykuły o SEO i AI trafiły tam dopiero pod koniec 2025.

W skrócie

**Common Crawl** to fundacja non-profit, która od 2008 roku co miesiąc pobiera miliardy stron i udostępnia je za darmo. Taki „crawl” to przejście robota po stronach i zapisanie ich treści (jak robi to Google, opisałam w [drodze od skanowania do rankingu](https://podrez.pl/od-skanowania-do-rankingu/)).

**Dla AI to jedno z najważniejszych źródeł danych:** korzystało z niego co najmniej 64% z 47 modeli przeanalizowanych przez Mozilla Foundation.

**Obecność w Common Crawl niczego nie gwarantuje.** Twórcy modeli filtrują dane, a liczy się to, co CCBot z Twojej strony faktycznie pobrał.

**Sprawdzisz to w minutę** w moim narzędziu [Czy strona jest w Common Crawl?](#sprawdz-domene) – jest niżej w tym wpisie i pokazuje sześć ostatnich crawli naraz.



Common Crawl \[SPIS TREŚCI\]

[Toggle](#)

- [Czym jest Common Crawl?](#czym-jest-common-crawl)
- [Jak sprawdzić, czy Twoja domena jest w Common Crawl?](#jak-sprawdzic-czy-twoja-domena-jest-w-common-crawl)
- [Liczy się nie CZY jesteś w Common Crawl, ale CO Common Crawl z Twojej strony pobiera \[case podrez.pl\]](#liczy-sie-nie-czy-jestes-w-common-crawl-ale-co-common-crawl-z-twojej-strony-pobiera-case-podrezpl)
- [Common Crawl a pamięć LLM-ów](#common-crawl-a-pamiec-llm-ow)
- [Co możesz z wiedzą o Common Crawl zrobić?](#co-mozesz-z-wiedza-o-common-crawl-zrobic)
- [Czego Common Crawl nie daje?](#czego-common-crawl-nie-daje)
- [Common Crawl FAQ](#common-crawl-faq)
- [Źródła i dalsze lektury](#zrodla-i-dalsze-lektury)



Czym jest Common Crawl?
-----------------------

Common Crawl to organizacja non-profit założona w 2007 roku przez *Gila Elbaza*, która od 2008 roku robi jedną rzecz: **regularnie crawluje internet i udostępnia zebrane dane za darmo**.

Każdego miesiąca [CCBot](https://podrez.pl/boty/) odwiedza miliardy stron, pobiera ich treść i zapisuje ją w plikach **WARC** (**Web ARChive** – format archiwizacji stron, który przechowuje surowy HTML razem z nagłówkami HTTP i metadanymi) na serwerach Amazon S3. Na dziś to [ponad 300 miliardów stron](https://commoncrawl.org/) i [ponad 10 petabajtów danych](https://commoncrawl.org/about), dostępnych publicznie, bez opłat licencyjnych.

**300+ mld**stron w archiwum

**2,16 mld**stron w crawlu z X 2026

 

Common Crawl: strona główna i ogłoszenie crawla CC-MAIN-2026-43 z 21 października 2026, odczyt 14.11.2026.



Ile to jest 10 petabajtów?

Ponad dwadzieścia razy więcej niż ok. 100 mln utworów dostępnych w Spotify (przy standardowej jakości streamingu). **To porównanie objętości, nie gęstości informacji (tekst jest nieporównywalnie gęstszy niż wideo czy audio), ale daje skalę: dużo.**



Dlaczego to ma znaczenie? To właśnie te dane są jednym z najważniejszych publicznych źródeł, na których trenowano wiele dużych modeli językowych – zwłaszcza w ich przefiltrowanych wersjach.

Raport Stefana Baacka z Mozilla Foundation (2024), opublikowany na konferencji ACM FAccT, pokazał, że **co najmniej 64% z 47 analizowanych modeli (z lat 2019–2023) korzystało z co najmniej jednej przefiltrowanej wersji Common Crawl**.

W przypadku GPT-3 ponad 80% tokenów treningowych pochodziło z przefiltrowanego Common Crawl. LLaMA od Meta, dataset C4 od Google Research, Dolma i RedPajama – wszystkie zbudowane są na Common Crawl.

Ważne

Możesz mieć idealną encję w Wikidata, wzorowe dane strukturalne, Knowledge Panel w Google – a modele językowe i tak mogą Cię nie znać w swojej warstwie parametrycznej. Bo ta warstwa zależy od tego, co było w danych treningowych. A dane treningowe w dużej mierze pochodzą z Common Crawl.



[Wikidata](https://podrez.pl/wikidata-krok-po-kroku/), o której pisałam wcześniej, mówi systemom: „*kim jesteś*”. Common Crawl daje im materiał, z którego uczą się, *jak o Tobie mówić.*

Uwaga

### Nie myl obecności w Common Crawl z obecnością w LLM-ie

Common Crawl to źródło danych. Dataset treningowy to przefiltrowana wersja tego źródła. Model to jeszcze kolejny etap. Obecność w CC zwiększa szansę, że Twoje treści trafią do treningu, ale niczego nie gwarantuje. **Między Twoją stroną a odpowiedzią modelu jest kilka warstw filtrowania, z których każda może Cię odrzucić.**

Warto też wiedzieć, że część firm – OpenAI, Anthropic, Google – korzysta także z własnych crawlerów, licencjonowanych źródeł lub innych mechanizmów pozyskiwania danych niezależnych od Common Crawl.

Jak sprawdzić, czy Twoja domena jest w Common Crawl?
----------------------------------------------------

**Najszybciej sprawdzisz to w moim darmowym narzędziu [Czy strona jest w Common Crawl?](https://podrez.pl/czy-strona-jest-w-common-crawl/)** Wpisz domenę poniżej, a zobaczysz sześć ostatnich crawli naraz: ile stron zapisał CCBot, co widział w robots.txt i jak zapisał stronę główną.

Narzędzie wymaga włączonego JavaScriptu.



Wolisz sprawdzić ręcznie? Zrobisz to tak:

1. 1**Otwórz wyszukiwarkę indeksu**Common Crawl udostępnia indeks każdego crawla (tzw. cc-index). Wejdź na [index.commoncrawl.org](https://index.commoncrawl.org/) i wybierz crawl z listy – najnowszy jest na górze.
2. 2**Wpisz domenę**Szukaj całej domeny (np. `podrez.pl/*`) albo konkretnego URL-a.
3. 3**Albo zapytaj API**Ten sam wynik dostaniesz zapytaniem `https://index.commoncrawl.org/CC-MAIN-RRRR-TT-index?url=twojadomena.pl/*&output=json`. Numer crawla CC-MAIN-RRRR-TT weźmiesz z [collinfo.json](https://index.commoncrawl.org/collinfo.json) albo z mojego narzędzia (w listopadzie 2026 najnowszy to CC-MAIN-2026-43).
4. 4**Odczytaj pola**Jeśli domena jest w indeksie, dostaniesz odpowiedź w formacie JSON. Co znaczą najważniejsze pola, pokazuje tabela niżej.

[![Wyszukiwarka indeksu Common Crawl z listą dostępnych zbiorów danych](https://podrez.pl/wp-content/uploads/2026/05/common-crawl-wyszukiwarka-1024x523.png "Common Crawl. Czy AI ma Cię z czego zapamiętać?")](https://podrez.pl/wp-content/uploads/2026/05/common-crawl-wyszukiwarka.png)**Wyszukiwarka indeksu Common Crawl.** Lista crawli na index.commoncrawl.org, najnowszy na górze.

Najważniejsze pola w odpowiedzi indeksu Common CrawlPoleCo znaczyNa co uważać**`timestamp`**Kiedy dokładnie CCBot pobrał stronę (rok, miesiąc, dzień, godzina).Każdy crawl to inny wycinek domeny, więc daty i adresy zmieniają się co miesiąc.**`status`**Kod odpowiedzi HTTP. 200 znaczy, że strona była dostępna i została pobrana poprawnie.403 albo 406 to sygnał, że serwer lub firewall odrzuca CCBota. 301 to przekierowanie.**`languages`**W jakim języku Common Crawl skategoryzował stronę.Modele wielojęzyczne mogą traktować treści w różnych językach z różnym priorytetem.**`filename`**Ścieżka do pliku WARC, w którym zapisano surowy HTML strony.Techniczne, ale przydatne, jeśli chcesz zobaczyć, co dokładnie CCBot „zobaczył”.

Jeśli zapytanie nie zwraca żadnej odpowiedzi, to Twojej domeny nie ma w tym crawlu. Jeśli serwer indeksu odpowie błędem 502 albo 504, ponów zapytanie później – bywa przeciążony, a błąd to jeszcze nie brak. Pamiętaj też, że Common Crawl nie archiwizuje całych serwisów – pobiera wybrany podzbiór stron. Brak konkretnego URL-a w danym crawlu nie oznacza, że strona jest „niewidoczna dla AI”. Może oznaczać, że CC w tym przebiegu pobrał tylko wycinek domeny.

Warto wiedzieć

Common Crawl to nie tylko paliwo dla AI – to też jedno z największych archiwów internetu. Jak zauważył **Mateusz Godzic** (Head of Growth w WhitePress i jeden z nielicznych specjalistów w Polsce regularnie pracujących z danymi Common Crawl) podczas naszej prywatnej rozmowy na *SEO Vibes on Tour we Wrocławiu*, ludzie często męczą się z ograniczeniami API archive.org (60 requestów na minutę, blokady IP po przekroczeniu limitu, coraz ostrzejsze restrykcje po atakach z 2024 roku), mając ogromne zasoby surowego HTML-a dostępne w Common Crawl.

**Różnica:** Wayback Machine pokazuje Ci, jak strona wyglądała. Common Crawl daje Ci surowy HTML do analizy.



Liczy się nie CZY jesteś w Common Crawl, ale CO Common Crawl z Twojej strony pobiera \[case podrez.pl\]
-------------------------------------------------------------------------------------------------------

Domena podrez.pl (którą właśnie odwiedzasz) zarejestrowana jest od 2008 roku, czyli mniej więcej od początku mojej kariery w SEO. Najpierw była tam „zaślepka”, potem przekierowanie na stronę mojej agencji. Około 2017 roku domena zaczęła działać jako onepage, a z czasem jako pełnoprawna strona internetowa.

Kiedy zaczęłam sprawdzać swoją obecność w Common Crawl, zakładałam raczej brak większej obecności. Sprawdziłam kilka crawli wyrywkowo – w wielu nie było żadnych wyników dla podrez.pl. Wyglądało na to, że domena pojawiła się w CC dopiero niedawno. Ale **Mateusz Godzic** po lekturze szkicu artykułu zasugerował, żeby przeszukać cc-index szerzej (dziękuję!) i okazało się, że historia jest dużo ciekawsza niż „zero w Common Crawl”.

**Podrez.pl jest w Common Crawl od stycznia 2017 roku.** Nieprzerwanie. Przez dziesiątki crawli. Tyle że to, co CCBot z niej pobierał, mocno zmieniało się na przestrzeni lat.

### Dziewięć lat w Common Crawl w pigułce

- **2017–2018:** podrez.pl to onepage – strona główna i robots.txt. CCBot pobiera 2 URL-e. Nie ma z czego crawlować więcej.
- **2019:** CCBot łapie podstrony portfolio – prezentacje z konferencji SEO, wywiady, case study agencji Fox Strategy. Strona rośnie, ale wciąż jest wizytówką specjalisty z dorobkiem, nie content hubem.
- **2020–2021:** coś na poziomie hostingu zaczyna zwracać CCBotowi odpowiedź **406 (Not Acceptable)**. Nie tylko podrez.pl – ten sam kod dostawała też strona ms-fox.pl, mój blog kulinarny, na tym samym serwerze. Robots.txt był otwarty, CCBot nie był blokowany. Ale serwer go odrzucał. Przez półtora roku obie domeny były de facto niewidoczne dla Common Crawl.
- **2022:** pierwszy naprawdę głębszy crawl – **~36 URL-i**. Ale co pobiera CCBot? Portfolio. Prezentacje z semKRK, Festiwalu SEO, warsztatów. Treści, które mówią „byłam na konferencji”, a nie „jestem ekspertką SEO”.
- **2023:** **58 URL-i**. Strona rozrosła się o sekcje wideo, podcasty, materiały edukacyjne, książki. CCBot schodził głęboko. Ale gdy przejrzałam, co dokładnie pobierał, zobaczyłam problem.

22017–18onepage?2019portfolio406serwerodrzucałCCBota2020–21blokada~362022portfolio58V 20230artykułów62IV 20269artykułów40X 202615artykułówartykuły o SEO i AIpozostałe adresy2017–182onepage2019? · portfolio2020–21406 – serwer odrzucał CCBota2022~36portfolioV 2023580 artykułówIV 2026629 artykułówX 20264015 artykułówartykuły o SEO i AIpozostałe adresy

**Co CCBot pobierał z podrez.pl.** Do kwietnia 2026 liczba adresów w crawlu z mojej pierwszej analizy, w październiku 2026 strony ze statusem 200 (CC-MAIN-2026-43, wizyta 5.10.2026). Podział na artykuły zrobiłam ręcznie, po adresach i treści stron.

Co CCBot pobierał z podrez.pl w maju 2023 i w kwietniu 2026CrawlCo CCBot pobrał**Maj 2023 (58 URL-i)**wideo – 19, podcasty – 7, materiały edukacyjne – 7, książki – 5, artykuły eksperckie o SEO i AI – 0**Kwiecień 2026 (62 URL-e)**artykuły eksperckie o SEO i AI – **9**, wydarzenia – 7, usługi – 4, wideo i podcasty – 1

Klasyfikację URL-i zrobiłam ręcznie, na podstawie adresów i zawartości pobranych stron, dlatego traktuję ją jako analizę jakościową, a nie pełne badanie statystyczne.

Widzisz różnicę? W 2023 roku ani jednego artykułu, który budowałby obraz stratega SEO. Model wytrenowany na tych danych zobaczyłby kogoś, kto dużo występuje w podcastach i na konferencjach, ale nie eksperta, który pisze o encjach, E-E-A-T czy generatywnym wyszukiwaniu.

**Dopiero od końca 2025 roku** crawl zaczął odzwierciedlać moją rzeczywistą ekspertyzę. W crawlu z kwietnia 2026 CCBot pobrał artykuły o [encji marki](https://podrez.pl/encja-marki/), [E-E-A-T](https://podrez.pl/e-e-a-t-w-praktyce/), [GEO vs SEO](https://podrez.pl/geo-vs-seo/), [marce osobistej w LLM-ach](https://podrez.pl/marka-osobista-w-llm-i-rag/), [brand mentions](https://podrez.pl/brand-mentions/), [AI a SEO](https://podrez.pl/encja-kontekst-intencja/#od-berta-do-ai-mode).

Pierwszy raz w historii Common Crawl miał z podrez.pl materiał, z którego model mógłby zbudować obraz „strateżka SEO specjalizująca się także w widoczności w AI”.

### Crawl po crawlu w 2026 roku

Od kwietnia sprawdzam każdy kolejny crawl. Liczę tak samo: wszystkie rekordy podrez.pl w indeksie i osobno adresy, które CCBot faktycznie pobrał (status 200).

Podrez.pl w kolejnych crawlach Common Crawl w 2026 rokuIndeksWizyta CCBota na podrez.plRekordyW tym status 200**CC-MAIN-2026-21 (maj)**8.05.20265347**CC-MAIN-2026-25 (czerwiec)**16.06.20263836**CC-MAIN-2026-30 (lipiec)**19.07.20267367**CC-MAIN-2026-34 (sierpień)**9.08.20267143**CC-MAIN-2026-39 (wrzesień)**8.09.20263525**CC-MAIN-2026-43 (październik)**5.10.20265240

Źródło: indeks Common Crawl dla podrez.pl (bez www), odczyt 9.10.2026 (październikowy crawl: odczyt 14.11.2026). Rekordy liczone razem z przekierowaniami i robots.txt.

Liczba skacze z miesiąca na miesiąc, bo Common Crawl za każdym razem pobiera inny wycinek domeny. We wrześniowym crawlu (CC-MAIN-2026-39, 4–17 września 2026) na 25 pobranych adresów 7 to artykuły o SEO i AI, m.in. [o tym, co blokuje Knowledge Panel](https://podrez.pl/co-blokuje-knowledge-panel/), 4 to strony usług, a wydarzeń nie ma wcale. W październikowym (CC-MAIN-2026-43, wizyta 5 października) artykułów o SEO i AI jest już 15 na 40 pobranych adresów: 12 po polsku i 3 po angielsku. Madera-online.pl, która w kwietniu weszła do indeksu prawie w całości, we wrześniu ma w nim 10 rekordów.

[![Fragment logów serwera podrez.pl - zapis wizyt CCBot/2.0](https://podrez.pl/wp-content/uploads/2026/05/Zrzut-ekranu-2026-05-3-o-11.20.37-1024x693.png "Common Crawl. Czy AI ma Cię z czego zapamiętać?")](https://podrez.pl/wp-content/uploads/2026/05/Zrzut-ekranu-2026-05-3-o-11.20.37.png)**CCBot/2.0 w logach podrez.pl.** Bot przechodzi od robots.txt do głębokich podstron z treścią, badając strukturę domeny. Zrzut: 3 maja 2026.

Żeby zobaczyć skalę problemu, **wystarczy porównać podrez.pl z moimi pozostałymi domenami:**

### Inne domeny, inne historie

Moje domeny w Common Crawl: od kiedy są w indeksie i co CCBot z nich pobieraDomenaW Common CrawlCo CCBot pobiera**ms-fox.pl
blog kulinarny**od 2019, z głębokim crawlem od pierwszego dniaDziesiątki przepisów, kategorie kuchni, artykuły lifestyle’owe. W 2022 roku **~90 URL-i z przepisami**. W 2020–2021 też dostawała 406, ale po odblokowaniu CC od razu wrócił do głębokiego crawlowania.**bornholm-online.pl
przewodnik po Bornholmie**od kwietnia 2024, **dwa miesiące** po starcie w lutym 2024Od lata 2025 ok. 20 URL-i na crawl: miasta, atrakcje, szlaki, noclegi, kuchnia.**madera-online.pl
przewodnik po Maderze**od marca 2026, **miesiąc** po starcie w lutym 2026W crawlu z kwietnia 2026 **31 URL-i**, czyli prawie cały, młodziutki serwis: miasta, atrakcje, szlaki, kuchnia, historia.

Jedna rzecz łączy te domeny: od początku budowałam z nich jeden ekosystem. Bornholm-online.pl i madera-online.pl były linkowane z podrez.pl i ms-fox.pl – domen, które CC crawlował od lat. Miały wspólne [dane strukturalne](https://podrez.pl/dane-strukturalne-schema-w-pigulce/) (schema.org łączące Person z każdą z domen przez `sameAs`) i wspólną encję autorki.

Nie wiem, czy to przyspieszyło ich pojawienie się w CC, ale wiem, że CCBot odkrywa nowe URL-e przez linki.

Jeśli linkujesz do nowej domeny ze strony, którą CC już zna, dajesz mu ścieżkę.

[![Okładka książki „Marka osobista w czasach AI i generatywnego wyszukiwania”](https://podrez.pl/wp-content/uploads/2025/11/marka-osobista-w-czasach-ai-719x1024.jpg "Common Crawl. Czy AI ma Cię z czego zapamiętać?")](https://podrez.pl/marka-w-czasach-ai/)**Dla tych, którzy znają kontekst**

Jeśli znasz książkę [*Marka osobista w czasach AI i generatywnego wyszukiwania*](https://podrez.pl/marka-w-czasach-ai/) albo moje wystąpienie na I♥Marketing ([*Encja marki osobistej – co Google i AI o Tobie wiedzą*](https://podrez.pl/encje-pencje/)) – tu zapala się symboliczna „żarówka”. Tak: to jest jedno ze źródeł problemu, który opisuję przy scalaniu mojej encji kulinarnej i SEO. Dwie domeny, jedna osoba, a Common Crawl przez lata „znał” lepiej tę kulinarną.





### Co to oznacza dla modeli AI?

Modele trenowane na danych z 2023 roku miały z podrez.pl podcasty, wideo i prezentacje z konferencji. Z ms-fox.pl – dziesiątki przepisów keto. Model zapytany o mnie mógł opisać mnie jako autorkę książek kucharskich, nierzadko pomijając moją pracę w SEO od 2009 roku.

**To nie halucynacja w klasycznym sensie.** Model mówi prawdę, ale… niepełną – tyle miał w danych treningowych. I ten obraz zostaje zamrożony do czasu kolejnego treningu (z jakiego okresu dane ma który model, sprawdzisz we wpisie o [cutoffie modeli AI](https://podrez.pl/cutoff-modeli-ai/)).

Dokładnie z tym „walczyłam” w kontekście swojej encji, a praca ta stała się materiałem badawczym do mojej książki [Marka osobista w czasach AI i generatywnego wyszukiwania](https://podrez.pl/marka-w-czasach-ai/).

### ms-fox.pl

*od 2019*

Głęboki crawl przepisów od początku.

- dla modeli: autorka książek kucharskich
- blog keto





### podrez.pl

*od 2017*

Artykuły eksperckie o SEO i AI dopiero od 2025/2026.

- dla modeli trenowanych wcześniej: dużo mniejsza szansa na obraz ekspertki SEO







**Wniosek dla Ciebie?** Jeśli teraz Twoja strona to wizytówka z trzema podstronami albo portfolio z nagraniami konferencji, taki portret zostanie z Tobą na lata – nawet jeśli CCBot ją crawluje.

### Kilka niewiadomych

Chciałabym napisać, że wiem dokładnie, dlaczego CCBot przez lata pobierał z podrez.pl wideo i podcasty zamiast artykułów. Nie wiem, ale i uczciwie należy powiedzieć, że artykułów eksperckich na stronie było mało – zaczęłam pisać ich więcej dopiero od 2024 roku. Wcześniej strona oferowała CCBotowi to, co miała: portfolio konferencyjne, nagrania i materiały edukacyjne.

Wiem natomiast na pewno, że:

- W 2020–2021 hosting zwracał CCBotowi odpowiedź 406 – zarówno na podrez.pl, jak i na ms-fox.pl. Nie znam powodu i obecnie trudno go ustalić. Robots.txt nie blokował CCBota, ale serwer go odrzucał. To potwierdza, że **sama otwartość robots.txt nie gwarantuje dostępności strony dla crawlerów**.
- Nowsze domeny z mojego ekosystemu (bornholm-online.pl, madera-online.pl) trafiały do CC w ciągu 1–2 miesięcy od utworzenia – z głębokim crawlem od razu. **CC nie potrzebuje lat, żeby Cię znaleźć, jeśli masz treść i linkowanie.**
- Jedyna istotna zmiana, którą mogę wskazać po swojej stronie, to **pojawienie się artykułów eksperckich o SEO i AI**. CC crawlował podrez.pl głęboko od lat, ale dopiero teraz miał co z niej naprawdę pobrać.

Common Crawl publikuje web graphy i rankingi oparte m.in. na *Harmonic Centrality*, a w materiałach technicznych pojawia się informacja, że tego typu dane mogą służyć do sterowania kolejnymi crawlami. Czy ten sam mechanizm wpływa na głębokość crawlu? Nie mam pewności. Ale obserwuję coś innego: gdy na stronie pojawiły się artykuły tworzące klaster wokół jednego tematu – marka osobista × SEO × AI – crawl zaczął odzwierciedlać tę specjalizację.

Nie twierdzę tym samym, że CCBot mierzy [głębokość tematyczną strony](https://podrez.pl/topical-authority-i-klastry-tematyczne/#glebokosc-i-szerokosc-tematyczna). **Ale wiem, że to, co publikujesz, kształtuje to, co CCBot z Twojej strony pobiera.**

Korelacja? Mocna. Przyczynowość? *Nie do udowodnienia* bez dostępu do wewnętrznych mechanizmów Common Crawl.

Ale jako praktyczka nie traktuję tego case’u jako dowodu, tylko jako sygnał:

Bycie w Common Crawl to dopiero początek.

**Liczy się to, co CCBot z Twojej strony pobiera – to jest materiał, z którego mogą powstawać datasety treningowe.**

Common Crawl a pamięć LLM-ów
----------------------------

Dla przypomnienia: modele językowe mają dwa źródła wiedzy o Tobie:

- **Pamięć parametryczna** – wszystko, co model „wchłonął” podczas treningu. Jeśli Twoich treści nie było w Common Crawl w momencie trenowania modelu, model ma dużo mniejszą szansę Cię znać. Nawet jeśli Google Cię widzi. Nawet jeśli masz [Knowledge Panel](https://podrez.pl/knowledge-graph-i-knowledge-panel/). Nawet jeśli Twoja [Wikidata](https://podrez.pl/wikidata-krok-po-kroku/) jest wypełniona wzorowo.
- **[RAG](https://podrez.pl/marka-osobista-w-llm-i-rag/)** (*Retrieval-Augmented Generation*) – systemy takie jak Perplexity, ChatGPT z web searchem czy Google AI Overviews sięgają po aktualne źródła w momencie generowania odpowiedzi. Tu liczą się indeksowalność i widoczność strony, nie obecność w danych treningowych.

I te dwa kanały działają niezależnie.

To ważne

### Common Crawl ≠ dane treningowe

Samo bycie w Common Crawl to dopiero połowa drogi. Twórcy modeli nie używają surowych danych CC bezpośrednio – najpierw je filtrują i oczyszczają w tzw. *datasetach pochodnych* (np. FineWeb od Hugging Face, Dolma od AI2, C4 od Google Research). Te filtry odrzucają strony niskiej jakości: pełne reklam, z niskim stosunkiem treści do boilerplate’u, z dużą liczbą duplikatów.

Skala filtrowania potrafi być brutalna: w przypadku [FineWeb-Edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu) od Hugging Face klasyfikator oparty na AI odrzucił 92% danych FineWeb (już przefiltrowanej wersji Common Crawl) jako niewystarczająco wartościowe – z 15 bilionów tokenów pierwszej wersji FineWeb zostało 1,3 biliona.

Jeśli Twoja strona przejdzie przez CCBot, ale nie przejdzie przez filtry jakościowe – i tak nie trafi do danych treningowych. Objętość treści otwiera drzwi do CC, ale jakość decyduje o tym, czy te treści zostaną włączone do treningu modelu.

Twoja stronaHTML, treść, kodCCBot pobierai zapisuje w WARCCommon Crawlsurowyzrzut HTMLfiltry jakościczyszczą i wybierająDatasetpochodnyFineWeb,C4, Dolmatreningna wybranychdanychModel AIpamięćparametrycznaNa każdym etapie treść może odpaśćPrzy crawlurobots.txt blokuje botafirewall: kod 403 lub 406mało linków do stronyPrzy czyszczeniubio tylko w sidebarzeza dużo reklambałagan w kodziePrzy filtrachduplikatysłaba jakość tekstuodfiltrowany językObecność w Common Crawl zwiększa szansę, ale nie gwarantuje obecności w modelu.Twoja stronaHTML, treść, kodCCBot pobiera i zapisuje w WARCCommon Crawlsurowy zrzut HTMLfiltry jakości czyszczą i wybierająDataset pochodnyFineWeb, C4, Dolmatrening na wybranych danychModel AIpamięć parametrycznaNa każdym etapie treść może odpaśćPrzy crawlurobots.txt blokuje botafirewall: kod 403 lub 406mało linków do stronyPrzy czyszczeniubio tylko w sidebarzeza dużo reklambałagan w kodziePrzy filtrachduplikatysłaba jakość tekstuodfiltrowany językObecność w Common Crawl zwiększa szansę,ale nie gwarantuje obecności w modelu.

**Droga danych: od Twojej strony do pamięci modelu.** Common Crawl jest dopiero pierwszym ogniwem. Kryteria filtrów zna tylko twórca każdego datasetu.

Zapytałam u źródła

Na panelu dyskusyjnym podczas *SEO Vibes Summit* w Zakopanem (maj 2026) miałam okazję zapytać o filtrowanie danych **Stephena Burnsa**, Web Intelligence Lead w Common Crawl Foundation, czyli osobę pracującą dokładnie na styku SEO, GEO i danych web-scale. Zapytałam, czy to prawda, że dane CC są mocno filtrowane, zanim trafią do treningu i jaka ich część faktycznie w nim ląduje. Potwierdził sam fakt filtrowania („*it’s true*”), ale nie odniósł się do konkretnych statystyk.

I to jest dla mnie najciekawsze: nawet w rozmowie z osobą z wewnątrz organizacji dokładne progi i kryteria selekcji pozostają półjawne. **Nie da się tego „zhakować”, bo nikt z zewnątrz nie zna dokładnej bramki.** Można tylko publikować tak, żeby treść tę bramkę przeszła: wartościowo, czysto, z wysokim stosunkiem treści do boilerplate’u.



Co możesz z wiedzą o Common Crawl zrobić?
-----------------------------------------

Common Crawl to nie Wikidata – nie zakładasz tam wpisu. Możesz jednak wpłynąć na to, czy CCBot Cię znajdzie i czy Twoje treści będą miały większą szansę pojawić się w publicznym indeksie. Pamiętaj jednak, że to nie jest instrukcja „jak wejść do LLM-a”, a jak nie odpaść na pierwszym etapie – crawlowalności, dostępności i jakości źródłowego HTML-a.

- **1**### Sprawdź robots.txt
    
    Nie blokuj CCBota. `User-agent: CCBot` z `Disallow: /` to świadoma decyzja o nieobecności w jednym z najważniejszych publicznych źródeł danych dla modeli. Wiele firm to robi (New York Times, Reddit), ale jeśli budujesz markę osobistą, działa to przeciwko Tobie. **Jak sprawdzić:** [Czy boty AI mogą czytać stronę?](https://podrez.pl/czy-boty-ai-moga-czytac-strone/)
- **2**### Sprawdź firewall
    
    Hosting lub Cloudflare może blokować CCBota mimo otwartego robots.txt. Agresywne ustawienia anty-botowe (np. *Bot Fight Mode*) potrafią zwracać 403 bez Twojej wiedzy. U mnie hosting zwracał CCBotowi 406 przez półtora roku na obu domenach naraz – kod 406 często wynika z reguł *ModSecurity*. Wpuszczaj CCBota po adresach IP, nie po samym user-agencie: prawdziwy działa z [wydzielonych adresów](https://commoncrawl.org/ccbot) z reverse DNS w domenie crawl.commoncrawl.org, a fałszywych nie brakuje. **Jak sprawdzić:** cc-index (kody 403 i 406) i [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/).
- **3**### Publikuj regularnie
    
    CCBot pobiera to, co znajdzie. Z podrez.pl przez lata brał głównie nagrania i podcasty, a crawl zaczął odzwierciedlać moją specjalizację dopiero wtedy, gdy zaczęłam regularnie publikować artykuły eksperckie.
- **4**### Zadbaj o linkowanie wewnętrzne
    
    CCBot odkrywa podstrony przez linki, więc jeśli najważniejsze artykuły są pogrzebane za trzema kliknięciami od strony głównej, bot może do nich nie dotrzeć. Sekcja „*Najnowsze wpisy*” albo dobrze zorganizowane menu to nie tylko UX – to droga, którą bot dochodzi do Twoich treści.
- **5**### Zadbaj o czystość HTML
    
    Common Crawl zapisuje surowy HTML razem z nawigacją, stopką, sidebarami i cookie barami. Zanim strona trafi do danych treningowych, skrypty jak *trafilatura* (mam tu na myśli ekstrakcję tekstu, nie formowanie makaronu 😉) czy *resiliparse* oddzielają treść od ozdobników. **Informacje z sidebara albo widgetu parser może odfiltrować**, więc trzymaj je w [głównej treści](https://podrez.pl/main-content/). CCBot nie renderuje JavaScriptu: treść ładowana przez JS albo za paywallem jest dla niego niewidoczna.
- **6**### Eksponuj kluczowe treści
    
    Trzymaj je w głównym bloku artykułu i używaj znaczników, które jasno mówią „to jest treść” (article, section, nagłówki), czyli **semantycznego HTML**. Stosuj [BLUF](https://podrez.pl/bluf/): najważniejszy wniosek na początku tekstu. Im łatwiej parserowi znaleźć właściwą treść, tym mniejsze ryzyko, że potraktuje ją jak *boilerplate*.
- **7**### Zdobywaj linki z domen, które CC crawluje
    
    Common Crawl odkrywa nowe URL-e przez linki, jak typowy crawler. Jeśli nikt do Ciebie nie linkuje z domen obecnych w Common Crawl, CCBot może Cię po prostu nie znaleźć. Linki z mediów branżowych, wpisy gościnne i cytowania z linkiem to ścieżki, którymi CCBot do Ciebie dotrze.
- **8**### Monitoruj swoją obecność
    
    Sprawdzaj cc-index po każdym nowym crawlu (mniej więcej co miesiąc) i śledź, które URL-e są pobierane. CCBot nie wykonuje JavaScriptu, więc nie zobaczysz go w Google Analytics – pewne źródła to logi serwera albo cc-index. **Jak sprawdzić:** [moje narzędzie](https://podrez.pl/czy-strona-jest-w-common-crawl/) i lista [darmowych narzędzi SEO](https://podrez.pl/narzedzia-seo/#common-crawl).

### A jeśli nie chcesz być w Common Crawl?

### Chcesz być

*marka ekspercka*

Budujesz markę osobistą albo ekspercką:

- nie blokuj CCBota w robots.txt ani w firewallu,
- publikuj w głównej treści, nie w widgetach,
- sprawdzaj obecność po każdym crawlu.

[Sprawdź swoją domenę →](https://podrez.pl/czy-strona-jest-w-common-crawl/)





### Nie chcesz

*ochrona treści*

CCBot respektuje robots.txt, więc możesz go zablokować w każdej chwili:

- `User-agent: CCBot` + `Disallow: /`,
- danych już zebranych nie da się łatwo usunąć z istniejących archiwów,
- reguła \_\_usage\_ai-training nie zastąpi blokady CCBota – Common Crawl nie zapowiedział jej obsługi.

[Co zmienia \_\_usage\_ai-training? →](https://podrez.pl/usage-ai-training/)







Common Crawl prowadzi też [Opt-Out Ledger](https://commoncrawl.org/blog/common-crawl-foundation-opt-out-registry) (wcześniej Opt-Out Registry), czyli publiczną listę prawnych żądań wydawców, ale samym wydawcom zaleca robots.txt. W praktyce z listy korzystają głównie duzi gracze. Wniosek: zanim zaczniesz publikować, przemyśl, co chcesz, żeby AI o Tobie „zapamiętało”.

Czego Common Crawl nie daje?
----------------------------

Common Crawl to surowe dane, czyli tekst, HTML, metadane. CCBot nie wie, że jesteś ekspertem SEO. Nie wie, że masz na koncie książkę. Nie wie, że Twoja firma istnieje od dziesięciu lat. On po prostu… zbiera tekst.

Dlatego Common Crawl i [Wikidata](https://podrez.pl/wikidata-krok-po-kroku/) to dwa uzupełniające się kanały:

- **Common Crawl** daje modelom surowe paliwo – tekst, z którego uczą się języka i kontekstu.
- **[Wikidata](https://podrez.pl/wikidata-krok-po-kroku/)** daje algorytmom ustrukturyzowane fakty – etykietę na tym paliwie, która mówi, kim jesteś i co potwierdza Twoją ekspertyzę.
- **Twoja strona z danymi strukturalnymi** łączy oba światy – daje zarówno treść do crawlu, jak i strukturę do rozpoznania.

model „zna” z treninguCommon Crawlpamięć parametrycznasurowy tekstWikidatatożsamość encjiustrukturyzowane faktyTwoja marka w AIspójny obraz ekspertamodel „znajduje” na bieżąco (RAG)Strona + dane strukturalneaktualnośćKażdy element wzmacnia pozostałe. Jedno bez drugiego to niepełny obraz.model „zna” z treninguCommon Crawlpamięćparametrycznasurowy tekstWikidatatożsamość encjiustrukturyzowanefaktyTwoja marka w AIspójny obraz ekspertamodel „znajduje” na bieżąco(RAG)Strona + dane strukturalneaktualnośćKażdy element wzmacnia pozostałe.Jedno bez drugiego to niepełny obraz.

**Ekosystem widoczności w AI.** Common Crawl i Wikidata działają w treningu, strona z danymi strukturalnymi w odpowiedziach na bieżąco.

Jedno bez drugiego to niepełny obraz

Ekspert widoczny w Wikidata, ale nieobecny w Common Crawl, może mieć Knowledge Panel – ale LLM-y mogą mieć o nim dużo słabszą, fragmentaryczną wiedzę w warstwie parametrycznej. Ekspert obecny w Common Crawl, ale bez ustrukturyzowanych danych, będzie po prostu jedną z milionów stron, które model wchłonął – bez wyraźnej tożsamości.



**Widoczność w 2026 roku to nie jedno miejsce. To ekosystem: Common Crawl, [Wikidata](https://podrez.pl/wikidata-krok-po-kroku/), [dane strukturalne](https://podrez.pl/dane-strukturalne-schema-w-pigulce/), treści na stronie, [wzmianki w sieci](https://podrez.pl/brand-mentions/). Każdy element wzmacnia pozostałe.**

Co modele językowe o Tobie wiedzą

Wiesz już, skąd modele AI czerpią wiedzę o Tobie. Ale Common Crawl to tylko jedno ogniwo – obok Wikidata, danych strukturalnych, wzmianek i treści na stronie. Jeśli chcesz sprawdzić, jak te elementy grają razem w Twoim przypadku:

 [Umów 15 minut (bezpłatnie)](https://tidycal.com/ewelina/spotkanie-15-minut) [Konsultacje SEO](https://podrez.pl/konsulting-seo/) 



Common Crawl FAQ
----------------

### Jak sprawdzić, czy moja domena jest w Common Crawl?

Najszybciej w moim darmowym narzędziu [Czy strona jest w Common Crawl?](https://podrez.pl/czy-strona-jest-w-common-crawl/), które sprawdza sześć ostatnich crawli naraz. Ręcznie: wejdź na index.commoncrawl.org, wybierz crawl z listy i wpisz domenę (np. twojadomena.pl/\*). Przez API zapytasz adresem https://index.commoncrawl.org/CC-MAIN-RRRR-TT-index?url=twojadomena.pl/\*&amp;output=json, gdzie numer crawla weźmiesz z collinfo.json. Jeśli domena jest w indeksie, dostaniesz JSON z polami timestamp, status, languages i filename. Brak odpowiedzi oznacza, że w tym konkretnym crawlu Twojej domeny nie ma (co nie znaczy, że nie ma jej w innych).



### Moja strona jest w Common Crawl, ale AI mnie nie zna. Dlaczego?

Bo obecność w Common Crawl to nie to samo co obecność w danych treningowych modelu. Między Twoją stroną a odpowiedzią LLM-a jest kilka warstw: surowe dane CC → przefiltrowany dataset (FineWeb, C4, Dolma) → trening modelu. Każda z nich może Cię odrzucić, np. filtry jakościowe FineWeb-Edu odrzuciły 92% danych FineWeb, czyli już przefiltrowanego CC. Dodatkowo część firm korzysta z własnych crawlerów niezależnych od Common Crawl.



### Czy blokować CCBota w robots.txt?

To zależy od celu. Jeśli budujesz markę osobistą lub ekspercką i zależy Ci na obecności w publicznych datasetach treningowych, blokowanie CCBota działa przeciwko temu. Robią to duzi gracze chroniący treści (NYT, Reddit), ale dla większości specjalistów obecność jest korzystniejsza. Pamiętaj też, że dane raz zebrane trudno usunąć z istniejących archiwów, więc decyzję podejmij, zanim zaczniesz publikować.



### Jak rozpoznać prawdziwego CCBota w logach?

Prawdziwy CCBot przedstawia się jako CCBot/2.0 i działa z wydzielonych adresów IP, których reverse DNS kończy się na crawl.commoncrawl.org (poza IPv6). Listę adresów Common Crawl publikuje w pliku index.commoncrawl.org/ccbot.json i ostrzega, że są crawlery, które tylko podszywają się pod CCBota. Sam user-agent nie wystarczy, sprawdź też adres IP, np. w narzędziu [Boty AI w logach](https://podrez.pl/boty-ai-w-logach/).



### Czym różni się Common Crawl od Wayback Machine?

Wayback Machine (archive.org) pokazuje, jak strona wyglądała w danym momencie – to archiwum wizualne. Common Crawl daje surowy HTML do analizy maszynowej i służy jako źródło danych treningowych dla AI. To dwa różne narzędzia do dwóch różnych celów.



### Widzę w cc-index kod 406 lub 403 dla mojej domeny. Co to znaczy?

Twój serwer lub firewall odrzuca CCBota, nawet jeśli robots.txt jest otwarty. Kod 406 często wynika z reguł ModSecurity odrzucających requesty bez określonych nagłówków; 403 może pochodzić z agresywnych ustawień anty-botowych (np. Bot Fight Mode w Cloudflare). W moim przypadku hosting zwracał CCBotowi 406 przez półtora roku – dowiedziałam się o tym dopiero z cc-index. Jeśli to widzisz, skontaktuj się z supportem hostingu.





Źródła i dalsze lektury
-----------------------

 **Źródła** [Common Crawl Foundation](https://commoncrawl.org/), strona główna i [o fundacji](https://commoncrawl.org/about), odczyt 14.11.2026.
 Common Crawl, [October 2026 Crawl Archive Now Available](https://commoncrawl.org/blog/october-2026-crawl-archive-now-available), 21.10.2026.
 [CCBot](https://commoncrawl.org/ccbot) – informacje o robocie, adresach IP i robots.txt, odczyt 14.11.2026.
 [Common Crawl Index Server](https://index.commoncrawl.org/) i [collinfo.json](https://index.commoncrawl.org/collinfo.json) – API do przeszukiwania indeksu crawli.
 Common Crawl, [Opt-Out Registry (Opt-Out Ledger)](https://commoncrawl.org/blog/common-crawl-foundation-opt-out-registry), 17.09.2025.
 Baack S., *[A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl](https://dl.acm.org/doi/10.1145/3630106.3659033)*, ACM FAccT, 2024.
 Baack S., Mozilla Insights, *[Training Data for the Price of a Sandwich: Common Crawl’s Impact on Generative AI](https://assets.mofoprod.net/network/documents/Common_Crawl_Mozilla_Foundation_2024.pdf)*, Mozilla Foundation, 2024.
 Brown T.B. et al., *[Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)* (GPT-3), NeurIPS 2020.
 Touvron H. et al., *[LLaMA: Open and Efficient Foundation Language Models](https://arxiv.org/abs/2302.13971)*, Meta AI, arXiv 2023.
 Raffel C. et al., *[Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](https://arxiv.org/abs/1910.10683)* (T5/C4), JMLR 2020.
 Penedo G. et al., *[The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale](https://arxiv.org/abs/2406.17557)*, arXiv 2024; karta [FineWeb-Edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu), odczyt 14.11.2026.
 [Stephen Burns](https://commoncrawl.org/team/stephen-burns), Common Crawl Foundation.
 Dane własne: indeks Common Crawl dla podrez.pl, crawle 2017–2026, odczyt 9.10 i 14.11.2026. 

Więcej na blogu: [Wikidata krok po kroku](https://podrez.pl/wikidata-krok-po-kroku/) (jak dostać się do bazy, z której korzystają Google i modele językowe) i [Marka w LLM-ach. Co RAG o Tobie wie?](https://podrez.pl/marka-osobista-w-llm-i-rag/) (pamięć parametryczna a RAG).

W przygotowaniu tego tekstu mógł wspierać mnie LLM – najczęściej na etapie researchu, korekty tekstu lub stylowania kodu. Odpowiedzialność za decyzje, postawione tezy i przytoczone argumenty jest w pełni moja. Więcej o tym, [jak pracuję z AI](https://podrez.pl/autorstwo-w-czasach-ai/).