Opera
Analisi degli Agenti
Comprendi come i bot visualizzano, citano e si riferiscono alle tue pagine: attività del crawler, copertura indicizzata e persone arrivate da una risposta.
Un controllo robots.txt per crawler AI è un audit tecnico per verificare quali bot AI, come GPTBot di OpenAI o Google-Extended, sono autorizzati ad accedere e leggere i contenuti del tuo sito web. Questo è importante perché questi bot sono il modo in cui i motori di risposta come ChatGPT e Google AI Overviews scoprono e citano le pagine. La funzione Agent Analytics di Mentionry mostra esattamente quali crawler AI sono consentiti dal tuo file robots.txt, evidenzia problemi di accessibilità e traccia quali tue pagine vengono referenziate nelle risposte generate dall'IA, aiutandoti a dimostrare l'impatto sul traffico guidato dall'intelligenza artificiale.
Comprendi e controlla la tua presenza AI
Visibilità per i crawler AI
Vedi quali bot AI sono consentiti sui tuoi contenuti: GPTBot, ClaudeBot, PerplexityBot, Google-Extended e gli altri, rispetto alle tue regole robots.
Crawlabilità
Tempo di risposta, rendering, risorse bloccate, la pagina così come viene recuperata senza JavaScript. I problemi che rendono una pagina illeggibile per un bot.
Monitoraggio delle performance dei contenuti
Quali pagine preferiscono i modelli di AI, i link non funzionanti sul tuo sito e il testo di ancoraggio che punta a te sul web.
Cosa non è ancora presente
- L'ingestione dei log del server, che mostra quali bot hanno effettivamente visitato e con quale frequenza, non è implementata. Tutto su questo schermo viene letto dall'esterno.
- Il benchmarking rispetto ad altri siti richiede un campione che ancora non abbiamo, e preferiamo non mostrare nulla piuttosto che una percentuale ricavata da un campione di uno.
Dove si trova nella piattaforma
Apri /dashboard/crawlers per la disponibilità attuale e i requisiti dei dati. I limiti di raccolta e spazio di lavoro dipendono dal tuo piano.
Cos'è un controllo robots.txt per crawler AI
Quando un utente pone una domanda a un motore di risposte, il motore deve trovare informazioni per costruire la risposta. Invia dei bot specializzati, noti come crawler AI, per leggere le pagine web. Tra questi ci sono GPTBot per ChatGPT, ClaudeBot per Claude, PerplexityBot e Google-Extended per i modelli AI di Google.
Il file robots.txt del tuo sito web è il primo guardiano. Indica a questi bot quali parti del tuo sito possono visitare. Un controllo robots.txt per crawler AI è il processo di revisione di questo file per vedere quali bot stai accogliendo e quali stai bloccando. È un elemento fondamentale della SEO tecnica per la ricerca AI. Se le tue pagine chiave sono bloccate, non possono essere lette e non appariranno come citazioni nelle risposte AI.
Perché è importante per la visibilità nella ricerca AI
La SEO tradizionale si concentrava sul posizionamento in una lista di dieci link blu. La ricerca AI, o l'ottimizzazione per i motori di risposta, è diversa. L'obiettivo è essere una delle poche fonti citate in un unico paragrafo generato. I motori sono selettivi e citano solo le pagine che i loro crawler hanno potuto leggere.
Consentire l'accesso ai crawler AI è il primo passo, non negoziabile. Se GPTBot non può accedere al tuo blog, ChatGPT non può imparare da esso. Se Google-Extended è bloccato, i tuoi contenuti sono invisibili per Google AI Overviews. Questo controllo non riguarda il volume di traffico, ma l'idoneità. Stai controllando il tuo biglietto d'ingresso nell'arena dove vengono scritte le risposte AI.
Come funziona Agent Analytics in Mentionry
Agent Analytics, disponibile in /dashboard/crawlers, fornisce un report tecnico focalizzato sulla ricerca AI. Funziona analizzando il tuo sito dall'esterno, esattamente come farebbe un bot AI. Controlla il tuo file robots.txt e qualsiasi file llms.txt che hai configurato, poi riporta ciò che trova.
La schermata è organizzata in tre aree. La visibilità dei crawler AI mostra un elenco di bot AI noti, come GPTBot e ClaudeBot, e indica chiaramente se le tue regole attuali li consentono o li bloccano. Crawlability esegue un fetch simulato delle tue pagine, riportando i tempi di risposta, le risorse bloccate e come la pagina viene renderizzata senza JavaScript, evidenziando problemi che potrebbero rendere il tuo contenuto illeggibile. Il tracciamento delle performance dei contenuti mostra quali delle tue pagine sono indicizzate da servizi rilevanti per l'AI e raccoglie dati sul testo di ancoraggio che punta al tuo sito da tutto il web.
Come utilizzarlo nel tuo flusso di lavoro settimanale
Per un marketer, questo è uno strumento di diagnostica e monitoraggio. Un tipico flusso di lavoro inizia con un audit. Apri Agent Analytics e rivedi l'elenco di visibilità del crawler AI. Per un sito di lancio di un nuovo prodotto, controlleresti che tutti i bot principali siano autorizzati sulle tue pagine di destinazione e documentazione chiave.
Successivamente, utilizza il report di crawlabilità. Filtra per una pagina ad alta priorità, come la descrizione del tuo servizio principale. Cerca avvisi su file CSS o JavaScript bloccati che potrebbero impedire il corretto rendering della pagina per un bot. Risolvi questi problemi nel tuo codice. Infine, controlla le prestazioni dei contenuti settimanalmente. Cerca nuove pagine che sono entrate nell'elenco 'indicizzato', segno che ora vengono rilevate dai servizi AI, e rivedi il report del testo di ancoraggio per vedere come altri siti descrivono il tuo brand quando si collegano a te.
Come interpretare i numeri ed evitare le trappole
Uno stato 'Consentito' in verde per GPTBot significa che il tuo file robots.txt lo autorizza. Non significa che GPTBot abbia visitato il sito o che il tuo contenuto sarà citato. Significa semplicemente che la porta è aperta. Un tempo di risposta lento nel report di crawlabilità è un problema diretto, perché i bot hanno limiti di tempo e potrebbero abbandonare le pagine troppo lente.
La metrica 'copertura indicizzata' mostra quali pagine i sistemi conoscono. Un aumento qui è un segnale positivo di una crescente visibilità nell'AI. Il report sul testo di ancoraggio è utile per comprendere la percezione del brand. Un passaggio da 'strumento software' a 'piattaforma di marketing AI' nel modo in cui altri si collegano a te riflette un cambiamento nella narrazione di mercato. Ricorda, questi sono indicatori anticipatori, non promesse di traffico o citazioni.
Cosa Agent Analytics non fa ancora
È importante dichiarare chiaramente i limiti. Agent Analytics legge il tuo sito dal web pubblico. Non elabora i log del tuo server. L'elaborazione dei log del server mostrerebbe esattamente quali bot hanno visitato il sito, con quale frequenza e cosa hanno prelevato. Questo livello di dettaglio non è implementato.
La funzione inoltre non può confrontare il tuo sito con altri. Per dire che la tua crawlability è nell'80° percentile serve una vasta popolazione di siti comparabili da misurare. Non disponiamo di quella popolazione, e preferiamo non mostrare nulla piuttosto che fornire un percentile fuorviante basato su un campione di uno.
Piani e accesso
Gratis include una panoramica salvata di massimo 3 domande e 3 pagine. Senza carta. Senza scadenza. Lite $29/mese · Growth $99/mese · Agency $249/mese (USD).
Growth: 50 domande · 40 crediti condivisi per bozze e agenti/mese · $99/mese (USD).
Domande
Il traffico bot live richiede i log del tuo server; l'ingestione dei log è nella lista delle integrazioni. Ciò che puoi vedere oggi è ciò che ogni bot può leggere e come le tue pagine si visualizzano per esso.
Fai menzionare il tuo brand dai motori di risposta
Inizia con uno snapshot gratuito. I piani a pagamento aggiungono ricerche programmate idonee entro i limiti indicati nella pagina Prezzi. I dati di Store e Google richiedono la tua autorizzazione.