Treść wpisu
Przy Grok trzeba zacząć od tego, czego nie wiadomo. 3 listopada 2026 nie znalazłem oficjalnej dokumentacji xAI, która podawałaby nazwę crawlera, jego user-agent, adresy IP albo to, czy respektuje robots.txt. W sieci krążą katalogi botów z różnymi nazwami, ale się ze sobą nie zgadzają i żaden nie cytuje xAI. Dlatego w tym wpisie opieram się tylko na tym, co xAI publikuje samo.
Jak Grok szuka informacji
xAI opisuje wyszukiwanie w dokumentacji API. Grok ma dwa wbudowane narzędzia, które uruchamia sam w trakcie odpowiedzi:
- Web Search przeszukuje sieć na żywo i czyta strony, żeby znaleźć informacje.
- X Search przeszukuje posty na X: po słowach kluczowych, znaczeniu, użytkownikach i całych wątkach.
Przegląd narzędzi pokazuje, że oba działają po stronie xAI i Grok sięga po nie automatycznie. To dokumentacja dla programistów, ale dobrze pokazuje, skąd Grok bierze wiedzę: z sieci i z X. Ta druga część odróżnia go od innych asystentów.
Co z tego wynika dla robots.txt
Skoro nie ma oficjalnej nazwy bota, nie ma też pewnej reguły w robots.txt. Możesz dopisać grupę dla nazwy z któregoś katalogu, ale nie wiesz, czy xAI jej używa ani czy jej słucha. Dla strony, która chce być widoczna, to i tak nie jest problem. Wystarczy nie blokować wszystkich botów regułą User-agent: * i nie mieć agresywnej ochrony przed botami, która zatrzymuje nieznane programy.
Jeśli chcesz Groka zablokować, robots.txt tego nie zagwarantuje. Zostają logi serwera i reguły firewalla, ale bez oficjalnych adresów IP trudno odróżnić bota xAI od kogoś, kto się pod niego podszywa.
Co da się zrobić
Skoro Grok czyta sieć i X, działają dwie rzeczy:
- Strona, którą łatwo zacytować. Te same zasady co przy innych asystentach: odpowiedź w pierwszym akapicie, konkretne liczby, osobna strona na każde ważne pytanie, treść w HTML bez czekania na JavaScript. Więcej o tym piszę we wpisie o Claude.
- Obecność na X. Konto marki, które odpowiada na pytania z branży, publikuje konkrety i linkuje do stron z pełną odpowiedzią. X Search przeszukuje posty i wątki, więc to, co marka pisze na X, może trafić do odpowiedzi Groka.
Jak sprawdzić efekty
- Zadaj pytania Grokowi. Ta sama lista pytań klientów, której używasz przy innych asystentach. Zapisuj, czy pojawia się Twoja strona albo Twoje konto na X.
- Przejrzyj logi. Szukaj nieznanych user-agentów z nazwą xAI albo Grok. Zapisuj adresy IP, bo pomogą, jeśli xAI kiedyś opublikuje oficjalne zakresy.
- Sprawdź analitykę. Wejścia z
grok.comix.compokazują ruch z Groka i z samego X.
Od czego zacząć
- Upewnij się, że robots.txt nie blokuje wszystkich botów jedną regułą.
- Popraw pierwsze akapity najważniejszych stron tak, żeby odpowiadały na konkretne pytania.
- Jeśli marka ma konto na X, wybierz kilka pytań klientów i odpowiadaj na nie w postach z linkiem do strony.
Ten wpis zaktualizuję, gdy xAI opublikuje dokumentację crawlera. Kolejna część serii opisuje ChatGPT.