Treść wpisu

Plik robots.txt z regułami dla ClaudeBot, Claude-SearchBot i Claude-User, strona sklepu z wyróżnionym akapitem i odpowiedź Claude z przypisem, który prowadzi do tego akapitu.

Claude trafia na Twoją stronę na dwa sposoby. Pierwszy to dane, na których Anthropic trenuje modele. Drugi to wyszukiwanie na żywo: użytkownik zadaje pytanie, Claude szuka w sieci, czyta kilka stron i odpowiada z cytowaniami. Ten drugi sposób daje ruch i polecenia już dziś, więc od niego zaczynam.

Wszystko, co piszę o botach, sprawdziłem w dokumentacji Anthropic. Linki są w tekście i w źródłach pod wpisem.

Jak Claude szuka w internecie

Gdy w Claude działa wyszukiwanie, Claude sam decyduje, kiedy sięgnąć do sieci. Według pomocy Anthropic każda taka odpowiedź ma cytowania, czyli linki do stron, z których Claude wziął informacje. To jest miejsce, w którym chcesz się znaleźć.

Skąd Claude bierze listę stron do przeczytania? W marcu 2025 Anthropic dopisał Brave Search do listy swoich podwykonawców, a Simon Willison sprawdził, że cytowania w Claude pokrywały się z wynikami Brave dla tego samego zapytania. Opisał to też TechCrunch. Anthropic nie publikuje, jak dokładnie dobiera źródła, więc traktuj to jako wskazówkę, a nie przepis. Wniosek praktyczny jest prosty: sprawdź, jak Twoja strona wypada w Brave Search na zapytania, które są dla Ciebie ważne.

Trzy boty Anthropic

Anthropic opisuje trzy boty w artykule o crawlowaniu. Każdy robi co innego, więc każdy wymaga osobnej decyzji.

Bot Do czego służy Co się stanie, gdy go zablokujesz
ClaudeBot Zbiera publiczne treści, które mogą trafić do trenowania modeli Nowe treści z Twojej strony nie trafią do danych treningowych
Claude-SearchBot Indeksuje strony, żeby poprawić wyniki wyszukiwania w Claude Strona może rzadziej i mniej trafnie pojawiać się w odpowiedziach z wyszukiwania
Claude-User Pobiera stronę, gdy użytkownik zada pytanie, które tego wymaga Claude nie przeczyta strony, nawet gdy użytkownik o nią poprosi

Co jeszcze warto wiedzieć z tej samej dokumentacji:

  • Boty Anthropic respektują robots.txt.
  • Anthropic obsługuje niestandardową dyrektywę Crawl-delay, jeśli chcesz spowolnić wizyty botów.
  • Plik robots.txt działa osobno dla każdej subdomeny, więc sklep.example.pl potrzebuje własnego.
  • Adresy IP botów są publikowane w pliku claude.com/crawling/bots.json. Anthropic odradza blokowanie po IP, bo wtedy boty mogą nie odczytać Twojego robots.txt.

robots.txt: trzy decyzje zamiast jednej

Najczęstszy błąd, jaki widzę, to jedna reguła dla wszystkich botów AI. Zablokowanie treningu jest w porządku, jeśli tego chcesz. Zablokowanie wyszukiwania wycina Cię z odpowiedzi, a to już decyzja o utracie ruchu.

Jeśli chcesz być w odpowiedziach Claude, ale nie chcesz, żeby Twoje treści trafiały do treningu, robots.txt może wyglądać tak:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Jeśli nie masz nic przeciwko treningowi, wystarczy nie blokować żadnego z nich. Na tej stronie wpuszczam wszystkie trzy, bo sprzedaję widoczność w AI i sam muszę być widoczny. Mój plik możesz podejrzeć pod deadnet.pl/robots.txt.

Dwie rzeczy, które psują to po cichu:

  • Firewall i CDN. Jeśli strona stoi za Cloudflare albo innym CDN, sprawdź ustawienia blokowania botów AI. Potrafią zablokować boty niezależnie od tego, co masz w robots.txt. Przy wdrażaniu tej strony pilnowałem, żeby zarządzany robots.txt w Cloudflare nie nadpisał mojego pliku.
  • Wtyczki SEO. Niektóre wtyczki do CMS same dopisują reguły dla botów AI. Zajrzyj do gotowego pliku pod adresem /robots.txt, bo ustawienia wtyczki nie pokazują wszystkiego.

llms.txt: tani dodatek, nie warunek

Plik llms.txt to propozycja Jeremy’ego Howarda z września 2024 roku. To plik Markdown w katalogu głównym strony: nazwa strony w nagłówku, krótki opis w cytacie i listy linków do najważniejszych podstron.

Anthropic w dokumentacji crawlerów nie pisze, że Claude z niego korzysta. Google pisze wprost, że do AI Overviews nie potrzebujesz żadnych plików tekstowych dla AI. Ja mam llms.txt na tej stronie, bo generuje się sam z treści i nic nie kosztuje. Nie licz jednak, że sam plik coś zmieni. Liczy się to, co jest na stronach, do których prowadzi.

Treść, którą da się zacytować

Claude czyta kilka stron i składa z nich odpowiedź. Cytuje te fragmenty, które da się wyjąć z kontekstu i które nadal mają sens. Kilka zasad, które stosuję u klientów:

  • Definicja na górze. Pierwsze zdanie strony usługi albo kategorii mówi, czym to jest. „Audyt SEO to przegląd serwisu pod kątem technicznym, treści i linków” da się zacytować. „Witamy w naszym sklepie” nie.
  • Akapit, który stoi sam. Jeden akapit, jedna odpowiedź, bez odwołań typu „jak wspomnieliśmy wyżej”.
  • Liczby z jednostkami. Porównaj dwa zdania. „Nasz plecak to idealny wybór na każdą wyprawę.” „Plecak ma 30 litrów pojemności, waży 1,1 kg i mieści laptopa 15,6 cala.” Drugie zdanie odpowiada na konkretne pytanie, więc ma szansę trafić do odpowiedzi.
  • Nagłówki jak pytania klientów. „Ile kosztuje przegląd dachu dronem” zamiast „Cennik”.
  • Autor i daty. Kto napisał, kiedy opublikował i kiedy zaktualizował. Ten wpis ma obie daty pod tytułem.

Jedna rzecz technicza, ważna dla sklepów na PWA i headless: w dokumentacji Anthropic nie znalazłem informacji, czy boty uruchamiają JavaScript. Bezpieczniej założyć, że nie. Jeśli opis produktu pojawia się dopiero po wykonaniu skryptu, bot może zobaczyć pustą stronę. Sprawdzisz to, wyłączając JavaScript w przeglądarce albo pobierając stronę przez curl.

Dane strukturalne

Anthropic nie pisze, że Claude czyta JSON-LD. Dane strukturalne i tak warto mieć: porządkują fakty o firmie, produktach i autorach dla wyszukiwarek, a Claude korzysta z wyszukiwarek. Pilnuj tylko, żeby dane w JSON-LD zgadzały się z tym, co widać na stronie. Rozjazd między nimi to sygnał, że stronie nie można ufać.

Jak sprawdzić, czy Claude cytuje Twoją stronę

  1. Zapytaj Claude. Spisz 10 do 20 pytań, na które Twoja strona powinna odpowiadać, i zadaj je Claude z włączonym wyszukiwaniem. Zapisz, kto jest cytowany. Powtarzaj co miesiąc na tej samej liście.

  2. Przejrzyj logi serwera. Wizyty Claude-SearchBot pokazują, które podstrony Claude indeksuje. Wizyty Claude-User to moment, w którym ktoś zadał pytanie, a Claude przyszedł po odpowiedź. Na serwerze z typowym logiem dostępu wystarczy:

    grep -E "ClaudeBot|Claude-SearchBot|Claude-User" access.log \
      | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
    

    Nazwę bota łatwo podrobić, więc przy ważnych decyzjach sprawdź IP z pliku bots.json.

  3. Sprawdź analitykę. Wejścia z claude.ai to ludzie, którzy kliknęli cytowanie. Część przeglądarek nie przekazuje źródła, więc ta liczba będzie zaniżona.

  4. Sprawdź Brave. Wpisz te same pytania w Brave Search i zobacz, czy Twoja strona jest w wynikach.

Od czego zacząć

  1. Otwórz /robots.txt na swojej stronie i sprawdź reguły dla ClaudeBot, Claude-SearchBot i Claude-User.
  2. Sprawdź ustawienia botów AI w CDN i we wtyczkach SEO.
  3. Pobierz kilka ważnych podstron przez curl i zobacz, czy treść jest w HTML bez JavaScriptu.
  4. Przepisz pierwsze akapity stron usług i kategorii tak, żeby dało się je zacytować.
  5. Spisz listę pytań i sprawdź, kogo Claude dziś cytuje zamiast Ciebie.

To pierwszy wpis z serii o widoczności w asystentach AI. Kolejne opisują Grok, ChatGPT, Perplexity oraz Gemini z AI Overviews.

Sprawdzić Twoją stronę?

Napisz, jaka to strona i na czym Ci zależy. Odpiszę, co widzę na start i co warto poprawić najpierw.

hello@deadnet.ovh

30 minut online, w kalendarzu wybierasz wolny termin.