Agent Analytics

Wanneer een gebruiker een vraag stelt aan een antwoordengine, moet die engine informatie vinden om een antwoord op te bouwen. Het stuurt gespecialiseerde bots, bekend als AI-crawlers, uit om webpagina's te lezen. Dit zijn onder meer GPTBot voor ChatGPT, ClaudeBot voor Claude, PerplexityBot en Google-Extended voor de AI-modellen van Google.

Het robots.txt-bestand van je website is de eerste poortwachter. Het vertelt deze bots welke delen van je site ze mogen bezoeken. Een AI crawler robots.txt-check is het proces van het auditen van dit bestand om te zien welke bots je welkom heet en welke je blokkeert. Het is een fundamenteel onderdeel van technische SEO voor AI-zoeken. Als je belangrijkste pagina's geblokkeerd zijn, kunnen ze niet gelezen worden en zullen ze niet verschijnen als citaten in AI-antwoorden.

Traditionele SEO richtte zich op ranking in een lijst van tien blauwe links. AI-zoeken, of antwoordmachine-optimalisatie, is anders. Het doel is om een van de weinige bronnen te zijn die geciteerd worden in één gegenereerde alinea. De zoekmachines zijn selectief en citeren alleen pagina's die hun crawlers hebben mogen lezen.

AI-crawlers toelaten is de eerste, niet-onderhandelbare stap. Als GPTBot je blog niet kan bereiken, kan ChatGPT er niet van leren. Als Google-Extended wordt geblokkeerd, is je content onzichtbaar voor Google AI Overviews. Deze controle gaat niet over verkeersvolume, maar over geschiktheid. Je controleert je toegangsbewijs voor de arena waarin AI-antwoorden worden geschreven.

Agent Analytics, te vinden op /dashboard/crawlers, geeft je een technische rapportage gericht op AI-zoeken. Het werkt door je website van buitenaf te lezen, op dezelfde manier als een AI-bot zou doen. Het controleert je robots.txt en eventuele llms.txt-bestanden die je hebt ingesteld, en rapporteert vervolgens wat het vindt.

Het scherm is ingedeeld in drie gebieden. AI crawler zichtbaarheid toont een lijst van bekende AI-bots, zoals GPTBot en ClaudeBot, en geeft duidelijk aan of je huidige regels deze toestaan of weigeren. Crawlbaarheid voert een gesimuleerde ophalen van je pagina's uit, rapporteert over responstijden, geblokkeerde bronnen en hoe de pagina renderd zonder JavaScript, waarbij problemen worden uitgelicht die je content onleesbaar kunnen maken. Content prestatietracking laat zien welke van je pagina's worden geïndexeerd door AI-relevante diensten en verzamelt gegevens over ankertekst die naar je site verwijst van over het hele web.

Voor een marketeer is dit een diagnostisch en monitoringsinstrument. Een typische workflow begint met een audit. Open Agent Analytics en bekijk de zichtbaarheidslijst voor AI-crawlers. Voor een nieuwe productlanceringssite controleer je of alle belangrijke bots toegang hebben tot je belangrijkste landingspagina's en documentatiepagina's.

Vervolgens gebruik je het crawlbaarheidsrapport. Filter op een pagina met hoge prioriteit, zoals de beschrijving van je vlaggenschipdienst. Zoek naar waarschuwingen over geblokkeerde CSS- of JavaScript-bestanden die kunnen voorkomen dat de pagina correct wordt weergegeven voor een bot. Los deze problemen op in je code. Controleer ten slotte wekelijks de contentprestaties. Zoek naar nieuwe pagina's die in de 'geïndexeerde' lijst zijn verschenen, wat aangeeft dat ze nu worden opgepikt door AI-diensten, en bekijk het ankertekstrapport om te zien hoe andere sites jouw merk beschrijven wanneer ze naar je linken.

Een groene 'Toegestaan'-status voor GPTBot betekent dat je robots.txt het toestaat. Het betekent niet dat GPTBot je site heeft bezocht of dat je content geciteerd zal worden. Het betekent simpelweg dat de deur open staat. Een trage responstijd in het crawlbaarheidsrapport is een direct probleem, omdat bots tijdslimieten hebben en trage pagina's kunnen verlaten.

De 'geïndexeerde dekking'-metriek laat zien welke pagina's systemen kennen. Een stijging hierin is een positief signaal van groeiende AI-zichtbaarheid. Het ankertekstrapport is nuttig om de merkperceptie te begrijpen. Een verschuiving van 'softwaretool' naar 'AI-marketingplatform' in hoe anderen naar je linken, weerspiegelt een veranderend marktverhaal. Onthoud, dit zijn voortekenen, geen garanties voor verkeer of citaties.

Het is belangrijk om de beperkingen duidelijk te benoemen. Agent Analytics leest je website vanaf het openbare internet. Het verwerkt niet je serverlogs. Het verwerken van serverlogs zou precies laten zien welke bots je site hebben bezocht, hoe vaak en wat ze hebben opgehaald. Dat detailniveau is nog niet beschikbaar.

De functie kan je site ook niet vergelijken met andere sites. Om te zeggen dat je crawlbaarheid in de 80e percentiel zit, is een grote populatie van vergelijkbare sites nodig om tegen af te meten. Die populatie hebben we niet, en we willen liever niets tonen dan een misleidende percentiel geven die is gebaseerd op een steekproef van één.

Gratis bevat één opgeslagen momentopname van maximaal 3 vragen en 3 pagina’s. Geen betaalkaart. Geen vervaldatum. Lite $29/maand · Growth $99/maand · Agency $249/maand (USD).

Growth: 50 vragen · 40 gedeelde concept- en agentcredits/maand · $99/maand (USD).