Common Crawl. Czy AI ma Cię z czego zapamiętać?

Czym jest Common Crawl?

Common Crawl to organizacja non-profit założona w 2007 roku przez Gila Elbaza, która od 2008 roku robi jedną rzecz: regularnie crawluje internet i udostępnia zebrane dane za darmo.

Każdego miesiąca CCBot odwiedza miliardy stron, pobiera ich treść i zapisuje ją w plikach WARC (Web ARChive – format archiwizacji stron, który przechowuje surowy HTML razem z nagłówkami HTTP i metadanymi) na serwerach Amazon S3. Na dziś to setki miliardów stron i ponad 10 petabajtów danych, dostępne publicznie, bez opłat licencyjnych.

Ile to jest 10 PB danych w Common Crawl? Mniej więcej trzy razy więcej niż cały katalog filmów i seriali Netflixa i ponad dwadzieścia razy więcej niż ~100 mln utworów dostępnych w Spotify (przy standardowej jakości streamingu).

To porównanie objętości, nie gęstości informacji (tekst jest nieporównywalnie gęstszy niż video czy audio), ale daje skalę: dużo.

Dlaczego to ma znaczenie? To właśnie te dane są jednym z najważniejszych publicznych źródeł, na których trenowano wiele dużych modeli językowych – zwłaszcza w ich przefiltrowanych wersjach.

Raport Stefana Baacka z Mozilla Foundation (2024), opublikowany na konferencji ACM FAccT, pokazał, że 64% z 47 analizowanych modeli korzystało z co najmniej jednej przefiltrowanej wersji Common Crawl.

W przypadku GPT-3 ponad 80% tokenów treningowych pochodziło z przefiltrowanego Common Crawl. LLaMA od Meta, dataset C4 od Google Research, Dolma i RedPajama – wszystkie zbudowane są na Common Crawl.

Wikidata, o której pisałam wcześniej, mówi systemom: „kim jesteś„. Common Crawl daje im materiał, z którego uczą się, jak o Tobie mówić.

Jak sprawdzić, czy Twoja domena jest w Common Crawl?

Common Crawl udostępnia indeks każdego crawlu (tzw. cc-index) przez prosty interfejs. Wchodzisz na index.commoncrawl.org, wybierasz crawl z listy (najnowszy jest na górze) i wpisujesz swoją domenę w pole URL. Możesz szukać całej domeny (np. podrez.pl/*) albo konkretnego URL-a. Ten sam wynik dostaniesz zapytaniem:

https://index.commoncrawl.org/CC-MAIN-2026-17-index?url=twojadomena.pl/*&output=json

Numery crawli (tu CC-MAIN-2026-17) zmieniają się mniej więcej co miesiąc, a pełną ich listę znajdziesz na index.commoncrawl.org/collinfo.json.

Jeśli Twoja domena jest w indeksie, dostaniesz odpowiedź w formacie JSON. Najważniejsze pola:

• timestamp – kiedy dokładnie CCBot pobrał Twoją stronę (format: rok, miesiąc, dzień, godzina).
• status – kod odpowiedzi HTTP. 200 znaczy, że strona była dostępna i została pobrana poprawnie.
• languages – w jakim języku CC skategoryzował Twoją stronę. Ważne o tyle, że modele wielojęzyczne mogą traktować treści w różnych językach z różnym priorytetem.
• filename – ścieżka do pliku WARC, w którym zapisano surowy HTML Twojej strony. Techniczne, ale przydatne, jeśli chcesz zobaczyć, co dokładnie CCBot „zobaczył”.

Jeśli zapytanie nie zwraca żadnej odpowiedzi, to Twojej domeny nie ma w tym crawlu. Pamiętaj też, że Common Crawl nie archiwizuje całych serwisów – pobiera wybrany podzbiór stron. Brak konkretnego URL-a w danym crawlu nie oznacza, że strona jest „niewidoczna dla AI”. Może oznaczać, że CC w tym przebiegu pobrał tylko wycinek domeny.

Liczy się nie CZY jesteś w Common Crawl, ale CO Common Crawl z Twojej strony pobiera [case podrez.pl]

Domena podrez.pl (którą właśnie odwiedzasz) zarejestrowana jest od 2008 roku, czyli mniej więcej od początku mojej kariery w SEO. Widniała tam najpierw „zaślepka”, potem przekierowanie na stronę mojej agencji, by w ok. 2017 roku zacząć funkcjonować jako onepage, a z czasem pełnoprawna strona internetowa.

Kiedy zaczęłam sprawdzać swoją obecność w Common Crawl, zakładałam raczej brak większej obecności. Sprawdziłam kilka crawli wyrywkowo – w wielu nie było żadnych wyników dla podrez.pl. Wyglądało na to, że domena pojawiła się w CC dopiero niedawno. Ale Mateusz Godzic po lekturze szkicu artykułu zasugerował, żeby przeszukać cc-index szerzej (dziękuję!) i okazało się, że historia jest dużo ciekawsza niż „zero w Common Crawl”.

Podrez.pl jest w Common Crawl od stycznia 2017 roku. Nieprzerwanie. Przez dziesiątki crawli. Tyle że to, co CCBot z niej pobierał, mocno zmieniało się na przestrzeni lat.

Dziewięć lat w Common Crawl w pigułce

• 2017–2018: podrez.pl to onepage – strona główna i robots.txt. CCBot pobiera 2 URL-e. Nie ma z czego crawlować więcej.
• 2019: CCBot łapie podstrony portfolio – prezentacje z konferencji SEO, wywiady, case study agencji Fox Strategy. Strona rośnie, ale wciąż jest wizytówką specjalisty z dorobkiem, nie content hubem.
• 2020–2021: coś na poziomie hostingu zaczyna zwracać CCBot odpowiedź 406 (Not Acceptable). Nie tylko podrez.pl – ten sam kod dostawała też strona ms-fox.pl, mój blog kulinarny, na tym samym serwerze. Robots.txt był otwarty, CCBot nie był blokowany. Ale serwer go odrzucał. Przez półtora roku obie domeny były de facto niewidoczne dla Common Crawl.
• 2022: pierwszy naprawdę głębszy crawl – ~36 URL-i. Ale co pobiera CCBot? Portfolio. Prezentacje z SEMKRK, Festiwalu SEO, warsztatów. Treści, które mówią „byłam na konferencji”, a nie „jestem ekspertem SEO”.
• 2023: 58 URL-i. Strona rozrosła się o sekcje video, podcasty, materiały edukacyjne, książki. CCBot schodził głęboko. Ale gdy przejrzałam, co dokładnie pobierał, zobaczyłam problem:

Widzisz różnicę? W 2023 roku ani jednego artykułu, który budowałby obraz stratega SEO. Model wytrenowany na tych danych zobaczyłby kogoś, kto dużo występuje w podcastach i na konferencjach, ale nie eksperta, który pisze o encjach, E-E-A-T czy generatywnym wyszukiwaniu.

• Dopiero od końca 2025 roku crawl zaczął odzwierciedlać moją rzeczywistą ekspertyzę. W crawlu z kwietnia 2026 CCBot pobrał artykuły o encji marki, E-E-A-T, GEO vs SEO, marce osobistej w LLM-ach, brand mentions, AI a SEO.
  
  Pierwszy raz w historii Common Crawl miał z podrez.pl materiał, z którego model mógłby zbudować obraz „strateg SEO specjalizujący się także w widoczności w AI”.

Żeby zobaczyć skalę problemu, wystarczy porównać podrez.pl z moimi pozostałymi domenami:

Inne domeny, inne historie

• Ms-fox.pl – mój blog kulinarny – jest w Common Crawl od 2019 z głębokim crawlem od pierwszego dnia. Już za pierwszym razem CCBot pobierał dziesiątki przepisów, kategorie kuchni, artykuły lifestyle’owe.
  W 2022 roku CC miał z ms-fox.pl ~90 URL-i z przepisami. Też dostawała 406 w 2020–2021 na tym samym serwerze – ale po odblokowaniu CC od razu wrócił do głębokiego crawlowania.
• Bornholm-online.pl – przewodnik po Bornholmie – powstał w lutym 2024. W CC pojawił się dwa miesiące później, a od lata 2025 CC pobierał ~20 URL-i na crawl: miasta, atrakcje, szlaki, noclegi, kuchnia.
• Madera-online.pl – przewodnik po Maderze – powstał w lutym 2026. W CC pojawiła się już po miesiącu. W crawlu z kwietnia 2026 31 URL-i, czyli prawie cały, młodziutki serwis: miasta, atrakcje, szlaki, kuchnia, historia.

Jedna rzecz łączy te domeny: od początku budowałam z nich jeden ekosystem. Bornholm-online.pl i madera-online.pl były linkowane z podrez.pl i ms-fox.pl – domen, które CC crawlował od lat. Miały wspólne dane strukturalne (schema.org łączące Person z każdą z domen przez sameAs) i wspólną encję autorki.

Nie wiem, czy to przyspieszyło ich pojawienie się w CC, ale wiem, że CCBot odkrywa nowe URL-e przez linki. Jeśli linkujesz do nowej domeny ze strony, którą CC już zna, dajesz mu ścieżkę.

Co to oznacza dla modeli AI?

Modele trenowane na danych z 2023 roku miały z podrez.pl podcasty, video i prezentacje z konferencji. Z ms-fox.pl – dziesiątki przepisów keto. Model zapytany o mnie mógł opisać mnie jako autorkę książek kucharskich, nierzadko pomijając ponad 15 lat pracy w SEO.

To nie halucynacja w klasycznym sensie. Model mówi prawdę, ale… niepełną – tyle miał w danych treningowych. I ten obraz zostaje zamrożony do czasu kolejnego treningu.

Dokładnie z tym „walczyłam” w kontekście swojej encji, a praca ta stała się materiałem badawczym do mojej książki Marka osobista w czasach AI i generatywnego wyszukiwania.

Wniosek dla Ciebie? Jeśli teraz Twoja strona to wizytówka z trzema podstronami albo portfolio z nagraniami konferencji, taki portret zostanie z Tobą na lata – nawet jeśli CCBot ją crawluje.

Kilka niewiadomych

Chciałabym napisać, że wiem dokładnie, dlaczego CCBot przez lata pobierał z podrez.pl video i podcasty zamiast artykułów. Nie wiem, ale i uczciwie należy powiedzieć, że artykułów eksperckich na stronie było mało – zaczęłam pisać ich więcej dopiero od 2024 roku. Wcześniej strona oferowała CCBot to, co miała: portfolio konferencyjne, nagrania i materiały edukacyjne.

Wiem natomiast na pewno, że:

• W 2020–2021 hosting zwracał CCBot odpowiedź 406 – zarówno na podrez.pl, jak i na ms-fox.pl. Nie znam powodu i obecnie trudno go ustalić. Robots.txt nie blokował CCBota, ale serwer go odrzucał.
  
  To potwierdza, że sama otwartość robots.txt nie gwarantuje dostępności strony dla crawlerów.
• Nowsze domeny z mojego ekosystemu (bornholm-online.pl, madera-online.pl) trafiały do CC w ciągu 1–2 miesięcy od utworzenia – z głębokim crawlem od razu.
  
  CC nie potrzebuje lat, żeby Cię znaleźć, jeśli masz treść i linkowanie.
• Jedyna istotna zmiana, którą mogę wskazać po swojej stronie, to pojawienie się artykułów eksperckich o SEO i AI. CC crawlował podrez.pl głęboko od lat, ale dopiero teraz miał co z niej naprawdę pobrać.

Common Crawl publikuje web graphy i rankingi oparte m.in. na Harmonic Centrality, a w materiałach technicznych pojawia się informacja, że tego typu dane mogą służyć do sterowania kolejnymi crawlami. Czy ten sam mechanizm wpływa na głębokość crawlu? Nie mam pewności. Ale obserwuję coś innego: gdy na stronie pojawiły się artykuły tworzące klaster wokół jednego tematu – marka osobista × SEO × AI – crawl zaczął odzwierciedlać tę specjalizację.

Nie twierdzę tym samym, że CCBot mierzy głębokość tematyczną strony. Ale wiem, że to, co publikujesz, kształtuje to, co CCBot z Twojej strony pobiera.

Korelacja? Mocna. Przyczynowość? Nie do udowodnienia bez dostępu do wewnętrznych mechanizmów Common Crawl.

Ale jako praktyk nie traktuję tego case’u jako dowodu, tylko jako sygnał:

Bycie w Common Crawl to dopiero początek. Liczy się to, co CCBot z Twojej strony pobiera – to jest materiał, z którego mogą powstawać datasety treningowe.

Common Crawl a pamięć LLM-ów

Dla przypomnienia modele językowe mają dwa źródła wiedzy o Tobie:

• Pamięć parametryczna – wszystko, co model „wchłonął” podczas treningu. Jeśli Twoich treści nie było w Common Crawl w momencie trenowania modelu, model ma dużo mniejszą szansę Cię znać. Nawet jeśli Google Cię widzi. Nawet jeśli masz Knowledge Panel. Nawet jeśli Twoja Wikidata jest wypełniona wzorowo.
• RAG (Retrieval-Augmented Generation) – systemy takie jak Perplexity, ChatGPT z web searchem czy Google AI Overviews sięgają po aktualne źródła w momencie generowania odpowiedzi. Tu liczą się indeksowalność i widoczność strony, nie obecność w danych treningowych.

I te dwa kanały działają niezależnie.

Co możesz z wiedzą o Common Crawl zrobić?

Common Crawl to nie Wikidata – nie zakładasz tam wpisu. Możesz jednak wpłynąć na to, czy CCBot Cię znajdzie i czy Twoje treści będą miały większą szansę pojawić się w publicznym indeksie. Pamiętaj jednak, że to nie jest instrukcja „jak wejść do LLM-a”, a jak nie odpaść na pierwszym etapie – crawlowalności, dostępności i jakości źródłowego HTML-a.

• Sprawdź robots.txt. Nie blokuj CCBot. Jeśli masz User-agent: CCBot z Disallow: / – to jest świadoma decyzja o nieobecności w Common Crawl – jednym z najważniejszych publicznych źródeł danych wykorzystywanych w datasetach treningowych modeli.
  
  Wiele firm to robi (New York Times, Reddit). W większości przypadków, jeśli budujesz markę osobistą i zależy Ci na obecności w publicznych datasetach webowych, blokowanie CCBot działa przeciwko temu celowi.
  
• Sprawdź firewall. Twój hosting lub Cloudflare może blokować CCBot na poziomie firewalla, nawet jeśli robots.txt jest otwarty. Agresywne ustawienia anty-botowe (np. Bot Fight Mode w Cloudflare) potrafią zwracać błąd 403 bez Twojej wiedzy.
  
  W moim przypadku hosting zwracał CCBot odpowiedź 406 przez półtora roku – na obu moich domenach jednocześnie. Nie wiedziałam o tym, dopóki nie sprawdziłam cc-index. Kod 406 często wynika z reguł Mod_Security na serwerze, które odrzucają requesty bez określonych nagłówków – jeśli zobaczysz go w cc-index, skontaktuj się z supportem hostingu.

• Publikuj regularnie. Mój case sugeruje, że między pierwszą wizytą CCBota a pojawieniem się domeny w publicznym indeksie może minąć długi czas. Chyba, że strona rozwija się dynamicznie i jest podlinkowana ze stron już obecnych w CC.
• Zadbaj o linkowanie wewnętrzne. CCBot odkrywa podstrony przez linki, więc jeśli Twoje najważniejsze artykuły są pogrzebane za trzema kliknięciami od strony głównej, bot może do nich nie dotrzeć.
  
  Sekcja „Najnowsze wpisy” albo dobrze zorganizowane menu to nie tylko UX – to droga, którą bot dochodzi do Twoich treści.
  
• Zadbaj o czystość HTML. Common Crawl zapisuje surowy HTML Twojej strony – razem ze wszystkim, co na niej jest: nawigacją, stopką, sidebarami, cookie barami i całym „opakowaniem”, które nie jest właściwą treścią (czyli boilerplate).
  
  Ale uwaga: modele AI nie trenują się bezpośrednio na tym surowym zrzucie. Zanim Twoja strona trafi do danych treningowych, przechodzi przez skrypty czyszczące jak trafilatura (i z racji mojego powiązania z branżą kulinarną muszę podkreślić, że mam tu na myśli ekstrakcję tekstu, nie proces formowania makaronu 😉) czy resiliparse, które próbują oddzielić faktyczną treść od ozdobników – wyciąć menu, stopkę, reklamy i zostawić tylko to, co jest artykułem.
  
  Te filtry nie są jednak idealne. Jeśli Twoje najważniejsze informacje pojawiają się w sidebarze albo widgecie, parser może potraktować je jak element nawigacyjny i odfiltrować.
  
  Mimo że były w crawlu, do danych treningowych nie trafią. I jeszcze jedno: CCBot nie renderuje JavaScriptu – pobiera surowy HTML. Jeśli Twoja treść ładuje się dynamicznie przez JS albo jest za paywallem, CCBot jej nie zobaczy.
• Eksponuj kluczowe treści. Trzymaj je w głównym bloku artykułu. Używaj znaczników HTML, które jasno mówią „to jest treść” (article, section, nagłówki), czyli zadbaj o semantyczny HTML.
  
  I stosuj BLUF, czyli eksponuj najważniejszy wniosek na początku tekstu, nie na końcu. Im łatwiej parserowi znaleźć właściwą treść, tym mniejsze ryzyko, że kluczowe informacje zostaną potraktowane jak boilerplate i odfiltrowane.
• Bądź linkowany/-a z domen, które CC crawluje regularnie. Common Crawl odkrywa nowe URL-e przez linki, jak typowy crawler.
  
  Jeśli nikt do Ciebie nie linkuje z domen obecnych w Common Crawl, CCBot może Cię po prostu nie znaleźć. Linki z mediów branżowych, wpisy gościnne, cytowania z linkiem do Twojej strony to ścieżki, którymi CCBot może do Ciebie dotrzeć.
• Monitoruj swoją obecność. Sprawdź cc-index po każdym nowym crawlu (aktualizowanym co miesiąc). Jeśli Twoja domena zaczęła się pojawiać, śledź, które URL-e są crawlowane. Jeśli nie pojawia się – pracuj nad objętością i jakością treści. CCBot nie wykonuje JavaScriptu, więc nie zobaczysz go w Google Analytics – jedyne pewne źródło to logi dostępowe serwera albo cc-index.

Czego Common Crawl nie daje?

Common Crawl to surowe dane, czyli tekst, HTML, metadane. CCBot nie wie, że jesteś ekspertem SEO. Nie wie, że napisałeś/aś książkę. Nie wie, że Twoja firma istnieje od dziesięciu lat. On po prostu… zbiera tekst.

Dlatego Common Crawl i Wikidata to dwa uzupełniające się kanały:

• Common Crawl daje modelom surowe paliwo – tekst, z którego uczą się języka i kontekstu.
• Wikidata daje algorytmom ustrukturyzowane fakty – etykietę na tym paliwie, która mówi, kim jesteś i co potwierdza Twoją ekspertyzę.
• Twoja strona z danymi strukturalnymi łączy oba światy – daje i treść do crawlu, i strukturę do rozpoznania.

Widoczność w 2026 roku to nie jedno miejsce. To ekosystem: Common Crawl, Wikidata, dane strukturalne, treści na stronie, wzmianki w sieci. Każdy element wzmacnia pozostałe.

Źródła i dalsze lektury

• Common Crawl Foundation – strona projektu, commoncrawl.org.
• Baack S., A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl, ACM FAccT, 2024.
• Baack S., Mozilla Insights, Training Data for the Price of a Sandwich: Common Crawl’s Impact on Generative AI, Mozilla Foundation, 2024.
• Brown T.B. et al., Language Models are Few-Shot Learners (GPT-3), NeurIPS 2020.
• Touvron H. et al., LLaMA: Open and Efficient Foundation Language Models, Meta AI, arXiv 2023.
• Raffel C. et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5/C4), JMLR 2020.
• Penedo G. et al., The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale, arXiv, 2024.
• CCBot – Common Crawl crawler – informacje o robocie, robots.txt i priorytetyzacji crawlowania.
• Common Crawl Index Server – API do przeszukiwania indeksu crawli.
• Wikidata krok po kroku – jak wpisać się do bazy, na której Google trenuje modele językowe, podrez.pl.
• Marka w LLM-ach. Co RAG o Tobie wie? – pamięć parametryczna vs RAG, podrez.pl.