Cutoff modeli AI. Daty odcięcia wiedzy ChatGPT, Claude, Gemini i Grok

Klient pyta, dlaczego ChatGPT nadal opisuje jego firmę sprzed rebrandingu. I dlaczego model wymienia konkurenta, a jego produktu wydaje się nie znać. I zanim odpowiemy model ma „stare dane”, sprawdźmy jak jest w rzeczywistości.

Czym jest data odcięcia wiedzy modelu AI (knowledge cutoff)?

Daty odcięcia wiedzy modeli AI. Tabela cutoff dates

Kliknięcie nagłówka sortuje całą tabelę i tymczasowo rozbija grupy.

Jak czytać daty odcięcia? Trzy rzeczy, które mogą Cię zmylić

Deklarowana data odcięcia jest granicą miękką. Dane w korpusie treningowym rzedną w miarę zbliżania się do końca zbierania, więc ostatnie miesiące przed cutoffem są reprezentowane słabiej niż wcześniejsze. Anthropic opisuje to wprost dwiema osobnymi datami. Pozostali dostawcy podają jedną, co nie oznacza, że u nich zjawisko nie występuje, po prostu go nie rozdzielają.

• Data odcięcia to nie data premiery

  Model wydany w 2026 roku może mieć pamięć zatrzymaną w styczniu 2025. Odstęp między premierą a cutoffem sięga u części modeli kilkunastu miesięcy i nie ma stałej wartości, więc numer wersji nie mówi nic o świeżości danych.

• Data odcięcia to nie data w nazwie modelu

  Identyfikatory takie jak claude-haiku-4-5-20251001 czy Bielik-11B-v3-Base-20250730 oznaczają wersję albo checkpoint treningu. To nie jest granica danych.

• Odpowiedź modelu o samym sobie nie jest źródłem

  W danych treningowych zostają setki artykułów o cutoffach poprzednich generacji, więc model bywa w stanie odtworzyć cudzą datę jako własną. Wiarygodne jest to, co producent podaje w dokumentacji dla konkretnego identyfikatora modelu.

Efektywny cutoff. Wiedza nie urywa się równo we wszystkich tematach

Deklarowana data odcięcia nie obowiązuje jednakowo dla każdego źródła i każdego tematu w korpusie treningowym. Pokazał to zespół z Johns Hopkins University w pracy Dated Data: Tracing Knowledge Cutoffs in Large Language Models (Cheng i in., arXiv:2403.12958), nagrodzonej jako Outstanding Paper na konferencji COLM 2024.

Autorzy wprowadzili pojęcie efektywnego cutoffu – empirycznie szacowanej granicy wiedzy modelu, liczonej osobno dla poszczególnych źródeł i tematów, w odróżnieniu od jednej daty deklarowanej przez producenta. Zaproponowali metodę jej szacowania przez odpytywanie modelu na kolejnych wersjach tych samych danych, bez dostępu do korpusu treningowego. Wniosek: efektywne granice często wyraźnie odbiegają od daty deklarowanej.

Analiza otwartych korpusów wskazała dwie przyczyny. Pierwsza to niespójność czasowa danych z Common Crawl – nowe zrzuty zawierają znaczące ilości starszych treści. Druga leży w schematach deduplikacji, które mają problem z duplikatami semantycznymi i bliskimi leksykalnie.

Dlaczego ChatGPT nie zna Twojej nowej strony?

Odpowiedź powstaje z wiedzy zapisanej w parametrach modelu, a zależnie od produktu i ustawień także z treści dołożonej w trakcie: wyników wyszukiwania, wklejonego pliku, pamięci produktu, konektora albo samej rozmowy. Data odcięcia rządzi wyłącznie pierwszą warstwą. Jeśli Twoja strona powstała po deklarowanym cutoffie, nie zakładaj, że jej treść jest w wiedzy parametrycznej modelu.

Problem w tym, że pobieranie uruchamia się warunkowo. Przy pytaniach ogólnych, porównaniach kategorii i rekomendacjach model często odpowiada z pamięci, bo nie widzi powodu, żeby szukać. Wtedy wymienia to, co zna – czyli konkurencję sprzed odcięcia. A nawet gdy szuka, to czym się kieruje przy ocenie znalezionych źródeł, ukształtowały dane sprzed cutoffu. Dlatego bycie w pamięci modelu i bycie w indeksie to dwie osobne sprawy.

Trzy prędkości propagacji

Systemy generatywne dowiadują się o zmianach na Twojej stronie w różnym tempie, i to tempo zależy od architektury, nie od jakości treści.

Ta różnica prędkości ma konsekwencję, o której łatwo zapomnieć przy audycie: bazowy model bez dostępu do sieci ani dodatkowego kontekstu nie zobaczy Twojej strony, chyba że jej treść została utrwalona podczas treningu. Dotyczy to modeli otwartych uruchamianych lokalnie – Llamy, Qwena, Bielika i Mistrala. SEO nie wpływa bezpośrednio na model bazowy, bo sam model nie odwiedza sieci. Dwie drogi to obecność treści w korpusie treningowym albo dostarczenie jej przez system RAG, wyszukiwarkę bądź inne narzędzie wdrożone wokół modelu. Które boty w ogóle sięgają po Twoją treść, sprawdzisz na liście crawlerów i botów AI.

Jak sprawdzić, czy model zna Twoją markę?

Zapytanie modelu o jego datę odcięcia nie da wiarygodnej odpowiedzi, ale zapytanie o konkretne fakty już tak. Zamiast pytać „jaka jest twoja data odcięcia wiedzy", sprawdź, gdzie przebiega granica jego wiedzy o Tobie.

1. Wyłącz wyszukiwanie w interfejsie, jeśli da się je wyłączyć. Bez tego testujesz grounding, a nie pamięć modelu.
2. Zapytaj o kilka dobrze udokumentowanych faktów sprzed deklarowanej daty odcięcia. Brak poprawnej odpowiedzi wskazuje, że wiedza o marce jest słaba albo trudna do przywołania – nie dowodzi, że marki nie było w korpusie.
3. Zapytaj o zmianę wprowadzoną po cutoffie i sprawdź, skąd model ją wziął. Poprawna odpowiedź może pochodzić z wyszukiwania, pliku, konektora, pamięci produktu albo wcześniejszej części rozmowy, a nie z pamięci parametrycznej.
4. Powtórz test na kilku modelach i w kilku nowych rozmowach. Rozbieżności pokazują różnice w wiedzy i w sposobie pobierania informacji, ale pojedyncze pytanie nie wyznaczy granicy.
5. Sprawdź kilka tematów, nie tylko własną markę. Efektywne granice różnią się między dziedzinami, więc wynik z jednego obszaru nie mówi nic o pozostałych.
6. Zapisz warunki testu: pełny identyfikator modelu, produkt lub API, stan wyszukiwania, stan pamięci i konektorów, dokładny prompt oraz datę. Bez tego wyniku nie da się porównać z kolejnym pomiarem.

Pojedynczy test mówi mało, bo modele odpowiadają niedeterministycznie. Powtarzalny pomiar w czasie mówi więcej. Jak podchodzę do tego u klientów, opisuję na stronie o widoczności w AI.

Często zadawane pytania