Agenten-Analytics

Wenn ein Nutzer einer Antwort-Engine eine Frage stellt, muss die Engine Informationen finden, um eine Antwort zu erstellen. Sie schickt spezialisierte Bots, sogenannte AI-Crawler, los, um Webseiten zu lesen. Dazu gehören GPTBot für ChatGPT, ClaudeBot für Claude, PerplexityBot und Google-Extended für die KI-Modelle von Google.

Die robots.txt-Datei Ihrer Website ist der erste Gatekeeper. Sie teilt diesen Bots mit, welche Bereiche Ihrer Seite sie besuchen dürfen. Eine AI-Crawler-Robots.txt-Prüfung ist der Prozess, diese Datei zu überprüfen, um zu sehen, welche Bots Sie willkommen heißen und welche Sie blockieren. Es ist ein grundlegender Bestandteil des technischen SEO für die KI-Suche. Wenn Ihre Schlüsselseiten blockiert sind, können sie nicht gelesen werden und werden nicht als Zitate in KI-Antworten erscheinen.

Traditionelle SEO konzentrierte sich darauf, in einer Liste von zehn blauen Links zu ranken. KI-Suche, oder Answer Engine Optimization, ist anders. Das Ziel ist, zu den wenigen Quellen zu gehören, die in einem einzigen, generierten Absatz zitiert werden. Die Suchmaschinen sind selektiv und zitieren nur Seiten, die ihre Crawler lesen durften.

KI-Crawlern Zugriff zu gewähren, ist der erste, nicht verhandelbare Schritt. Wenn GPTBot nicht auf Ihren Blog zugreifen kann, kann ChatGPT nicht daraus lernen. Wenn Google-Extended blockiert ist, ist Ihr Content für Google AI Overviews unsichtbar. Bei dieser Prüfung geht es nicht um Traffic-Volumen, sondern um die Berechtigung. Sie prüfen Ihr Ticket für die Arena, in der KI-Antworten geschrieben werden.

Agent Analytics, das Sie unter /dashboard/crawlers finden, bietet Ihnen einen technischen Bericht mit Fokus auf die KI-Suche. Es funktioniert, indem es Ihre Website von außen liest, genau wie ein KI-Bot es tun würde. Es prüft Ihre robots.txt und jede von Ihnen eingerichtete llms.txt-Datei und meldet dann die Ergebnisse.

Der Bildschirm ist in drei Bereiche gegliedert. Die Sichtbarkeit für KI-Crawler zeigt eine Liste bekannter KI-Bots wie GPTBot und ClaudeBot an und gibt klar an, ob Ihre aktuellen Regeln diese erlauben oder blockieren. Die Crawlbarkeit führt einen simulierten Abruf Ihrer Seiten durch, berichtet über Antwortzeiten, blockierte Ressourcen und wie die Seite ohne JavaScript gerendert wird, und hebt Probleme hervor, die Ihre Inhalte unlesbar machen könnten. Das Content-Performance-Tracking zeigt, welche Ihrer Seiten von KI-relevanten Diensten indexiert werden, und sammelt Daten zu Ankertexten, die von anderen Websites auf Ihre verweisen.

Für Marketingexperten ist dies ein Diagnose- und Monitoring-Tool. Ein typischer Workflow beginnt mit einem Audit. Öffnen Sie Agent Analytics und prüfen Sie die Sichtbarkeitsliste für KI-Crawler. Bei einer neuen Produktlaunch-Website sollten Sie sicherstellen, dass alle wichtigen Bots auf Ihren zentralen Landing Pages und Dokumentationsseiten zugelassen sind.

Nutzen Sie anschließend den Crawlability-Report. Filtern Sie auf eine hochpriorisierte Seite, etwa die Beschreibung Ihres Flaggschiff-Services. Achten Sie auf Warnungen zu blockierten CSS- oder JavaScript-Dateien, die eine korrekte Darstellung der Seite für einen Bot verhindern könnten. Beheben Sie diese Probleme im Code. Prüfen Sie schließlich wöchentlich die Content-Performance. Suchen Sie nach neuen Seiten, die in die 'indizierte' Liste aufgenommen wurden – ein Zeichen dafür, dass sie nun von KI-Diensten erfasst werden. Überprüfen Sie außerdem den Anchor-Text-Report, um zu sehen, wie andere Websites Ihre Marke beschreiben, wenn sie auf Sie verlinken.

Ein grüner 'Erlaubt'-Status für GPTBot bedeutet, dass Ihre robots.txt es erlaubt. Das heißt nicht, dass GPTBot Ihre Seite besucht hat oder Ihr Content zitiert wird. Es bedeutet lediglich, dass die Tür offen steht. Eine langsame Antwortzeit im Crawlbarkeitsbericht ist ein direktes Problem, da Bots Zeitlimits haben und langsame Seiten möglicherweise abbrechen.

Die Metrik 'Indizierte Abdeckung' zeigt, welche Seiten den Systemen bekannt sind. Ein Anstieg hier ist ein positives Signal für eine wachsende KI-Sichtbarkeit. Der Ankertextbericht ist nützlich, um die Markenwahrnehmung zu verstehen. Ein Wechsel von 'Software-Tool' zu 'KI-Marketingplattform' in den Verweisen anderer auf Sie spiegelt eine sich wandelnde Marktnarrative wider. Denken Sie daran, das sind Frühindikatoren, keine Garantien für Traffic oder Zitate.

Es ist wichtig, die Grenzen klar zu benennen. Agent Analytics liest Ihre Website aus dem öffentlichen Internet. Es verarbeitet nicht Ihre Server-Logs. Eine Analyse der Server-Logs würde genau zeigen, welche Bots die Seite besucht haben, wie oft und was sie abgerufen haben. Dieses Detailniveau ist nicht implementiert.

Die Funktion kann Ihre Website auch nicht mit anderen vergleichen. Um zu sagen, dass Ihre Crawlbarkeit im 80. Perzentil liegt, benötigt man eine große Anzahl vergleichbarer Websites als Bezugsgröße. Diese Datenbasis haben wir nicht, und wir zeigen lieber gar nichts, als einen irreführenden Perzentilwert aus einer Stichprobe von einer Website zu liefern.

Kostenlos: eine gespeicherte Momentaufnahme mit bis zu 3 Fragen und 3 Seiten. Keine Karte. Kein Ablaufdatum. Lite $29/Monat · Growth $99/Monat · Agency $249/Monat (USD).

Growth: 50 Fragen · 40 gemeinsame Entwurfs- und Agenten-Credits/Monat · $99/Monat (USD).