Аналітика агентів

Коли користувач задає питання пошуковій системі зі штучним інтелектом, їй потрібно знайти інформацію для формування відповіді. Вона надсилає спеціалізованих ботів, відомих як AI-краулери, для читання веб-сторінок. Серед них GPTBot для ChatGPT, ClaudeBot для Claude, PerplexityBot та Google-Extended для AI-моделей Google.

Файл robots.txt вашого веб-сайту — це перший захисник. Він повідомляє цим ботам, які частини вашого сайту вони можуть відвідувати. Перевірка robots.txt для AI-краулерів — це процес аудиту цього файлу, щоб зрозуміти, яких ботів ви допускаєте, а яких блокуєте. Це фундаментальний елемент технічного SEO для AI-пошуку. Якщо ваші ключові сторінки заблоковані, їх не можна прочитати, і вони не з'являться як цитування в AI-відповідях.

Традиційне SEO зосереджувалося на ранжуванні в списку з десяти синіх посилань. AI-пошук, або оптимізація під пошукові системи з відповідями, працює інакше. Мета — стати одним з небагатьох джерел, на які посилаються в одному згенерованому абзаці. Пошукові системи вибирають обережно і цитують лише сторінки, які їхні краулери мали змогу прочитати.

Дозвіл для AI-краулерів — це перший, беззаперечний крок. Якщо GPTBot не має доступу до вашого блогу, ChatGPT не може вчитися на його основі. Якщо Google-Extended заблоковано, ваш контент невидимий для Google AI Overviews. Ця перевірка не про обсяг трафіку, а про право на участь. Ви перевіряєте свій квиток на арену, де пишуться AI-відповіді.

Agent Analytics, доступний за адресою /dashboard/crawlers, надає технічну звітність, зосереджену на пошуку за допомогою штучного інтелекту. Він працює, аналізуючи ваш сайт ззовні, так само, як це робив би AI-бот. Він перевіряє ваш файл robots.txt та будь-який налаштований файл llms.txt, а потім повідомляє про знайдене.

Екран організовано у три розділи. Відображення для AI-краулерів показує список відомих AI-ботів, таких як GPTBot та ClaudeBot, і чітко вказує, чи дозволяють ваші поточні правила їхню роботу, чи забороняють. Можливість обходу запускає симульоване отримання ваших сторінок, звітуючи про час відповіді, заблоковані ресурси та те, як сторінка відображається без JavaScript, виділяючи проблеми, які можуть зробити ваш контент нечитабельним. Відстеження ефективності контенту показує, які з ваших сторінок індексуються службами, пов'язаними зі штучним інтелектом, і збирає дані про текст якорних посилань, що ведуть на ваш сайт з усього інтернету.

Для маркетолога це інструмент діагностики та моніторингу. Типовий робочий процес починається з аудиту. Відкрийте Agent Analytics та перегляньте список видимості для AI-краулерів. Для нового сайту, що запускає продукт, варто перевірити, чи всі основні боти мають доступ до ваших ключових цільових та документаційних сторінок.

Далі використовуйте звіт про краулабельність. Відфільтруйте сторінку з високим пріоритетом, наприклад, опис вашої флагманської послуги. Шукайте попередження про заблоковані CSS або JavaScript файли, які можуть заважати коректному відображенню сторінки для бота. Виправте ці проблеми у коді. Нарешті, щотижня перевіряйте продуктивність контенту. Шукайте нові сторінки, які потрапили до списку 'проіндексованих', що вказує на те, що AI-сервіси тепер їх бачать, та переглядайте звіт про текст посилань, щоб побачити, як інші сайти описують ваш бренд, коли посилаються на вас.

Зелений статус 'Дозволено' для GPTBot означає, що ваш robots.txt дозволяє йому доступ. Це не означає, що GPTBot вже відвідав ваш сайт або що ваш контент буде процитовано. Це просто означає, що двері відчинені. Повільний час відповіді в звіті про доступність для сканування — це пряма проблема, оскільки ботам відведено обмежений час, і вони можуть покинути повільні сторінки.

Метрика 'індексоване покриття' показує, які сторінки відомі системам. Зростання цього показника — це позитивний сигнал зростаючої видимості в ШІ. Звіт про текст посилань корисний для розуміння сприйняття бренду. Зміна з 'інструмент для програмного забезпечення' на 'AI маркетингова платформа' в тому, як інші посилаються на вас, відображає зміну ринкової розповіді. Пам'ятайте, це провідні індикатори, а не обіцянки трафіку чи цитувань.

Важливо чітко окреслити обмеження. Agent Analytics читає ваш сайт з публічного інтернету. Він не аналізує ваші серверні логи. Аналіз серверних логів показав би точно, які боти відвідували сайт, як часто і що вони завантажували. Такий рівень деталізації не реалізовано.

Ця функція також не може порівнювати ваш сайт з іншими. Щоб сказати, що ваша індексованість знаходиться у 80-му процентилі, потрібна велика вибірка схожих сайтів для порівняння. У нас немає такої вибірки, і ми вважаємо за краще нічого не показувати, ніж надавати оманливий процентиль, отриманий з вибірки з одного сайту.

Agent Analytics входить до групи інструментів Operate в Mentionry. Ви можете отримати до нього доступ протягом безкоштовного семиденного пробного періоду, який дозволяє протестувати його на власному сайті з 50 запитами на день до ChatGPT, Gemini та Google AI Overviews. Для пробного періоду не потрібна кредитна картка, він закінчується автоматично.

Тариф Starter, вартістю 99 доларів на місяць, включає повний доступ до Agent Analytics разом із відстеженням 50 запитів, щоденними звітами по трьох пошукових системах та 100 запусками агентів на місяць. Для великих команд, яким потрібно більше брендів, систем та користувачів, тариф Enterprise розраховується індивідуально та включає такі функції, як доступ до API та Single Sign-On.