Analiza Agentów

Gdy użytkownik zadaje pytanie wyszukiwarce odpowiedzi, ta musi znaleźć informacje, aby zbudować swoją odpowiedź. Wysyła w tym celu specjalistyczne boty, zwane AI crawlerami, do odczytywania stron internetowych. Należą do nich GPTBot dla ChatGPT, ClaudeBot dla Claude, PerplexityBot oraz Google-Extended dla modeli AI Google.

Plik robots.txt Twojej strony jest pierwszym strażnikiem. Informuje te boty, które części witryny mogą odwiedzać. Sprawdzenie robots.txt dla AI crawlerów to proces audytu tego pliku, aby zobaczyć, które boty witasz, a które blokujesz. Jest to fundamentalny element technicznego SEO dla wyszukiwania AI. Jeśli Twoje kluczowe strony są zablokowane, nie mogą zostać odczytane i nie pojawią się jako cytowania w odpowiedziach AI.

Tradycyjne SEO skupiało się na pozycjonowaniu w liście dziesięciu niebieskich linków. Wyszukiwanie AI, czyli optymalizacja pod silniki odpowiedzi, działa inaczej. Celem jest być jednym z nielicznych źródeł cytowanych w jednym, wygenerowanym akapicie. Silniki są wybredne i cytują tylko strony, które ich crawlery mogły przeczytać.

Umożliwienie dostępu crawlerom AI to pierwszy, niepodlegający negocjacjom krok. Jeśli GPTBot nie może dostać się do twojego bloga, ChatGPT nie może się z niego uczyć. Jeśli Google-Extended jest zablokowany, twoja treść jest niewidoczna dla Google AI Overviews. To sprawdzenie nie dotyczy wolumenu ruchu, ale kwalifikowalności. Sprawdzasz swój bilet wstępu na arenę, na której pisane są odpowiedzi AI.

Agent Analytics, dostępny pod adresem /dashboard/crawlers, dostarcza techniczny raport skupiony na wyszukiwaniu AI. Działa poprzez analizę Twojej strony z zewnątrz, tak jak robiłby to bot AI. Sprawdza Twój plik robots.txt oraz ewentualny plik llms.txt, a następnie raportuje swoje ustalenia.

Ekran podzielony jest na trzy obszary. Widoczność dla crawlerów AI pokazuje listę znanych botów AI, takich jak GPTBot i ClaudeBot, oraz jasno informuje, czy Twoje obecne reguły zezwalają na ich dostęp, czy go blokują. Możliwość skanowania przeprowadza symulowane pobranie Twoich stron, raportując czasy odpowiedzi, zablokowane zasoby oraz sposób renderowania strony bez JavaScriptu, podkreślając problemy, które mogą sprawić, że Twoja treść stanie się nieczytelna. Śledzenie wydajności treści pokazuje, które z Twoich stron są indeksowane przez usługi związane z AI, oraz zbiera dane na temat tekstów zakotwiczenia prowadzących do Twojej strony z całej sieci.

Dla marketera jest to narzędzie diagnostyczne i monitorujące. Typowy przepływ pracy zaczyna się od audytu. Otwórz Agent Analytics i przejrzyj listę widoczności dla crawlerów AI. W przypadku nowej strony produktowej sprawdzasz, czy wszystkie główne boty mają dostęp do kluczowych stron docelowych i dokumentacji.

Następnie skorzystaj z raportu o możliwości indeksowania. Filtruj do strony o wysokim priorytecie, na przykład opisu flagowej usługi. Szukaj ostrzeżeń dotyczących zablokowanych plików CSS lub JavaScript, które mogą uniemożliwić botom poprawne renderowanie strony. Napraw te problemy w kodzie. Na koniec, co tydzień sprawdzaj wydajność treści. Szukaj nowych stron, które pojawiły się na liście 'zindeksowanych', co oznacza, że są teraz pobierane przez usługi AI, oraz przejrzyj raport z tekstami zakotwiczeń, aby zobaczyć, jak inne strony opisują Twoją markę, gdy do Ciebie linkują.

Zielony status 'Dozwolone' dla GPTBot oznacza, że Twój plik robots.txt na to zezwala. Nie oznacza to, że GPTBot odwiedził stronę ani że Twoja treść zostanie zacytowana. Oznacza to po prostu, że drzwi są otwarte. Długi czas odpowiedzi w raporcie o możliwości indeksowania to bezpośredni problem, ponieważ boty mają ograniczenia czasowe i mogą porzucić wolno ładujące się strony.

Metryka 'zakres indeksowania' pokazuje, które strony są znane systemom. Wzrost tej wartości to pozytywny sygnał rosnącej widoczności w AI. Raport o tekście zakotwiczenia jest przydatny do zrozumienia postrzegania marki. Zmiana z 'narzędzia software'owego' na 'platformę marketingową AI' w sposobie, w jaki inni linkują do Ciebie, odzwierciedla zmieniającą się narrację rynkową. Pamiętaj, że są to wskaźniki wyprzedzające, a nie gwarancje ruchu lub cytowań.

Ważne jest, aby jasno określić ograniczenia. Agent Analytics odczytuje Twoją stronę z publicznego internetu. Nie pobiera logów z Twojego serwera. Analiza logów serwera pokazałaby dokładnie, które boty odwiedziły stronę, jak często i co pobrały. Ten poziom szczegółowości nie jest zaimplementowany.

Funkcja ta również nie może porównywać Twojej strony z innymi. Aby stwierdzić, że indeksowalność Twojej strony znajduje się w 80. percentylu, potrzebna jest duża populacja porównywalnych stron. Nie dysponujemy taką populacją i wolimy nie pokazywać niczego, niż podawać mylący percentyl wyliczony na podstawie próbki z jednej strony.

Agent Analytics jest częścią grupy Operate w Mentionry. Możesz z niego korzystać podczas bezpłatnego siedmiodniowego okresu próbnego, który pozwala przetestować go na własnej stronie z 50 zapytaniami dziennie do ChatGPT, Gemini i Google AI Overviews. Wersja próbna nie wymaga podania danych karty kredytowej i kończy się automatycznie.

Plan Starter, za 99 dolarów miesięcznie, obejmuje pełny dostęp do Agent Analytics wraz z 50 śledzonymi zapytaniami, codziennymi odczytami dla trzech silników odpowiedzi oraz 100 uruchomień agentów miesięcznie. Dla większych zespołów potrzebujących więcej marek, silników i stanowisk, plan Enterprise jest wyceniany indywidualnie i obejmuje funkcje takie jak dostęp do API i Single Sign-On.