Treść wpisu
ChatGPT odpowiada na pytania na dwa sposoby: z tego, czego model nauczył się wcześniej, i z wyszukiwania na żywo. W wyszukiwaniu ChatGPT podaje źródła z linkami, więc tam można zdobyć ruch. OpenAI opisuje swoje boty w dokumentacji crawlerów i to na niej opieram ten wpis.
Cztery boty OpenAI
| Bot | Do czego służy | Czy słucha robots.txt |
|---|---|---|
OAI-SearchBot |
Pokazuje strony w wynikach wyszukiwania ChatGPT | Tak. Strona zablokowana dla niego nie pojawi się w odpowiedziach z wyszukiwania |
GPTBot |
Zbiera treści, które mogą trafić do trenowania modeli | Tak. Blokada oznacza, że treści nie powinny trafić do treningu |
ChatGPT-User |
Odwiedza stronę, gdy użytkownik zada pytanie albo skorzysta z akcji w GPT | Może nie, bo wizytę uruchamia człowiek |
OAI-AdsBot |
Sprawdza strony docelowe reklam w ChatGPT | Dokumentacja tego nie precyzuje. Odwiedza tylko strony zgłoszone jako reklamy |
Najważniejsze zdanie z dokumentacji: o obecności w wyszukiwarce ChatGPT decyduje OAI-SearchBot, a nie ChatGPT-User. OpenAI pisze też, że zmiany w robots.txt dla wyszukiwania wchodzą w życie po około 24 godzinach.
robots.txt, który nie wycina z wyszukiwarki
Jeśli chcesz być w odpowiedziach ChatGPT, ale nie chcesz oddawać treści do treningu:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
ChatGPT-User zostawiam bez reguł, bo to wizyta na prośbę człowieka. Jeśli go zablokujesz, ktoś, kto wkleił link do Twojej strony w czacie, dostanie odpowiedź bez jej treści.
OpenAI zaleca też, żeby nie blokować adresów IP z pliku openai.com/searchbot.json. Jeśli masz firewall z listą dozwolonych adresów albo agresywną ochronę przed botami, dopisz te zakresy. W logach łatwo podrobić nazwę bota, więc przy blokowaniu i odblokowywaniu sprawdzaj IP, a nie samą nazwę.
Skąd ChatGPT bierze wyniki
OpenAI nie podaje w dokumentacji, z czyich indeksów korzysta wyszukiwarka ChatGPT, poza własnym crawlerem. Testy z 2024 roku, opisane między innymi przez Windows Latest, pokazywały duże podobieństwo wyników do Bing. To nie jest oficjalne potwierdzenie. Dlatego traktuję Bing Webmaster Tools jako tani krok, który warto zrobić: dodanie strony, wysłanie sitemapy i sprawdzenie, czy Bing indeksuje ważne podstrony. Zajmuje to kwadrans i przydaje się też poza ChatGPT.
Treść, którą ChatGPT wybierze jako źródło
ChatGPT w trybie wyszukiwania czyta kilka stron i cytuje te, które najlepiej odpowiadają na pytanie. Zasady są te same co przy innych asystentach:
- Odpowiedź w pierwszym akapicie, a szczegóły niżej.
- Konkretne dane: ceny, wymiary, terminy, nazwy modeli, daty.
- Jeden temat na stronę. Strona, która odpowiada na wszystko naraz, przegrywa z taką, która odpowiada dokładnie na jedno pytanie.
- Treść w HTML. Jeśli opis produktu ładuje się dopiero przez JavaScript, sprawdź, czy jest w źródle strony. Najprościej przez
curlalbo podgląd źródła w przeglądarce.
W sklepach widzę najczęściej dwa problemy. Pierwszy to opisy kategorii, których nie ma albo są skopiowane od producenta. Drugi to porównania i poradniki schowane w PDF albo w zakładkach, które nie mają własnego adresu.
Jak sprawdzić efekty
- Lista pytań. Spisz pytania, które klienci zadają przed zakupem, i sprawdzaj co miesiąc, kogo ChatGPT cytuje. Zapisuj wyniki w arkuszu, bo odpowiedzi się zmieniają.
- Logi. Wizyty
OAI-SearchBotpokazują, które podstrony trafiają do indeksu. WizytyChatGPT-Userto moment, w którym ktoś pyta o temat, a ChatGPT przychodzi po odpowiedź na Twoją stronę. - Analityka. Wejścia z
chatgpt.comto ludzie, którzy kliknęli źródło. Część przeglądarek nie przekazuje źródła, więc ta liczba będzie zaniżona.
Od czego zacząć
- Sprawdź robots.txt pod kątem
OAI-SearchBotiGPTBot. - Sprawdź, czy firewall nie blokuje adresów z
searchbot.json. - Dodaj stronę do Bing Webmaster Tools i wyślij sitemapę.
- Przepisz pierwsze akapity najważniejszych stron tak, żeby odpowiadały na konkretne pytania.
Ten wpis jest częścią serii o widoczności w asystentach AI. Zacznij od wpisu o Claude, gdzie więcej piszę o samej treści i o tym, jak ją sprawdzać.