Analitik Agen

Ketika pengguna mengajukan pertanyaan ke mesin jawab, mesin tersebut perlu mencari informasi untuk membangun jawabannya. Ia mengirimkan bot khusus, yang dikenal sebagai crawler AI, untuk membaca halaman web. Ini termasuk GPTBot untuk ChatGPT, ClaudeBot untuk Claude, PerplexityBot, dan Google-Extended untuk model AI Google.

File robots.txt situs web Anda adalah penjaga gerbang pertama. File ini memberi tahu bot-bot tersebut bagian mana dari situs Anda yang boleh mereka kunjungi. Pemeriksaan robots.txt crawler AI adalah proses audit file ini untuk melihat bot mana yang Anda izinkan masuk dan bot mana yang Anda blokir. Ini adalah bagian mendasar dari SEO teknis untuk pencarian AI. Jika halaman kunci Anda diblokir, mereka tidak dapat dibaca, dan tidak akan muncul sebagai kutipan dalam jawaban AI.

SEO tradisional berfokus pada peringkat dalam daftar sepuluh tautan biru. Pencarian AI, atau optimisasi mesin jawaban, berbeda. Tujuannya adalah menjadi salah satu dari sedikit sumber yang dikutip dalam satu paragraf yang dihasilkan. Mesin-mesin ini selektif, dan mereka hanya mengutip halaman yang telah diizinkan untuk dibaca oleh crawler mereka.

Mengizinkan crawler AI adalah langkah pertama yang mutlak. Jika GPTBot tidak dapat mengakses blog Anda, ChatGPT tidak dapat belajar darinya. Jika Google-Extended diblokir, konten Anda tidak terlihat oleh Google AI Overviews. Pemeriksaan ini bukan tentang volume lalu lintas, melainkan tentang kelayakan. Anda sedang memeriksa tiket Anda ke arena tempat jawaban AI ditulis.

Agent Analytics, yang dapat ditemukan di /dashboard/crawlers, memberikan laporan teknis yang berfokus pada pencarian AI. Alat ini bekerja dengan membaca situs Anda dari luar, sama seperti yang dilakukan bot AI. Ia memeriksa robots.txt dan file llms.txt yang telah Anda atur, lalu melaporkan temuannya.

Layarnya terorganisir dalam tiga area. Visibilitas crawler AI menampilkan daftar bot AI yang dikenal, seperti GPTBot dan ClaudeBot, dan menyatakan dengan jelas apakah aturan Anda saat ini mengizinkan atau melarang mereka. Kemampuan crawling menjalankan simulasi pengambilan halaman Anda, melaporkan waktu respons, sumber daya yang diblokir, dan bagaimana halaman dirender tanpa JavaScript, menyoroti masalah yang dapat membuat konten Anda tidak terbaca. Pelacakan performa konten menunjukkan halaman mana dari situs Anda yang diindeks oleh layanan relevan AI dan mengumpulkan data tentang teks jangkar yang mengarah ke situs Anda dari seluruh web.

Bagi seorang pemasar, ini adalah alat diagnostik dan pemantauan. Alur kerja khas dimulai dengan audit. Buka Agent Analytics dan tinjau daftar visibilitas perayap AI. Untuk situs peluncuran produk baru, Anda akan memeriksa bahwa semua bot utama diizinkan di halaman arahan dan dokumentasi kunci Anda.

Selanjutnya, gunakan laporan keterayapan. Filter ke halaman prioritas tinggi, seperti deskripsi layanan unggulan Anda. Cari peringatan tentang file CSS atau JavaScript yang diblokir yang mungkin mencegah halaman dirender dengan benar untuk bot. Perbaiki masalah tersebut dalam kode Anda. Terakhir, periksa kinerja konten setiap minggu. Cari halaman baru yang telah masuk ke daftar 'terindeks', yang menunjukkan bahwa mereka sekarang diambil oleh layanan AI, dan tinjau laporan teks jangkar untuk melihat bagaimana situs lain mendeskripsikan merek Anda saat mereka menautkan ke Anda.

Status 'Diizinkan' berwarna hijau untuk GPTBot berarti robots.txt Anda mengizinkannya. Itu tidak berarti GPTBot telah mengunjungi, atau konten Anda akan dikutip. Itu hanya berarti pintu terbuka. Waktu respons yang lambat dalam laporan ketercrawlan adalah masalah langsung, karena bot memiliki batas waktu dan mungkin meninggalkan halaman yang lambat.

Metrik 'cakupan terindeks' menunjukkan halaman mana yang diketahui sistem. Peningkatan di sini adalah sinyal positif dari visibilitas AI yang tumbuh. Laporan teks jangkar berguna untuk memahami persepsi merek. Pergeseran dari 'alat perangkat lunak' menjadi 'platform pemasaran AI' dalam cara orang lain menautkan ke Anda mencerminkan narasi pasar yang berubah. Ingat, ini adalah indikator awal, bukan janji lalu lintas atau kutipan.

Penting untuk menyatakan batasan-batasan ini dengan jelas. Agent Analytics membaca situs Anda dari internet publik. Fitur ini tidak mengimpor log server Anda. Pengimporan log server akan menunjukkan dengan tepat bot mana yang mengunjungi, seberapa sering, dan apa yang mereka ambil. Tingkat detail seperti itu belum tersedia.

Fitur ini juga tidak dapat membandingkan situs Anda dengan situs lain. Untuk mengatakan bahwa ketercrawlan situs Anda berada di persentil ke-80, diperlukan populasi besar situs sebanding untuk dijadikan patokan. Kami tidak memiliki populasi tersebut, dan kami lebih memilih untuk tidak menampilkan apa pun daripada memberikan persentil yang menyesatkan yang diambil dari sampel tunggal.

Agent Analytics adalah bagian dari grup Operate di Mentionry. Anda dapat mengaksesnya selama uji coba gratis tujuh hari, yang memungkinkan Anda mengujinya di situs Anda sendiri dengan 50 prompt per hari yang diberikan ke ChatGPT, Gemini, dan Google AI Overviews. Uji coba tidak memerlukan kartu kredit dan berakhir secara otomatis.

Paket Starter, seharga $99 per bulan, mencakup akses penuh ke Agent Analytics bersama dengan 50 prompt terlacak, pembacaan harian dari tiga mesin jawaban, dan 100 kali proses agen per bulan. Untuk tim yang lebih besar yang membutuhkan lebih banyak merek, mesin, dan pengguna, paket Enterprise dikutip secara individual dan mencakup fitur seperti akses API dan Single Sign-On.