Керувати
Аналітика агентів
Розумійте, як боти переглядають, цитують та посилаються на ваші сторінки: активність краулерів, індексоване покриття та користувачі, які перейшли з відповіді.
Перевірка robots.txt для AI-краулера — це технічний аудит, щоб визначити, яким AI-ботам, таким як GPTBot від OpenAI або Google-Extended, дозволено отримувати доступ та читати вміст вашого веб-сайту. Це важливо, оскільки саме ці боти дозволяють пошуковим системам з відповідями, таким як ChatGPT та Google AI Overviews, знаходити та цитувати сторінки. Функція Agent Analytics від Mentionry показує, які саме AI-краулери дозволені у вашому файлі robots.txt, виділяє проблеми з доступністю для сканування та відстежує, на які ваші сторінки посилаються в AI-згенерованих відповідях, допомагаючи вам довести вплив на трафік, керований штучним інтелектом.
Розумійте та контролюйте свою присутність в AI
Видимість для AI-краулерів
Переглядайте, яким AI-ботам дозволено доступ до вашого контенту: GPTBot, ClaudeBot, PerplexityBot, Google-Extended та іншим, відповідно до ваших правил robots.
Кравлінг
Час відповіді, рендеринг, заблоковані ресурси, сторінка, отримана без JavaScript. Проблеми, через які сторінка стає нечитаною для бота.
Відстеження ефективності контенту
Які сторінки віддають перевагу моделі ШІ, зламані посилання на вашому сайті та анкорний текст, що вказує на вас у всьому інтернеті.
Чого ще немає
- Імпорт серверних логів, який показує, які боти насправді відвідували сайт і як часто, ще не реалізовано. Все на цьому екрані зчитується ззовні.
- Для порівняння з іншими сайтами потрібна вибірка, якої у нас поки немає, і ми краще нічого не покажемо, ніж відсоток, розрахований на основі одного зразка.
Де це знаходиться в платформі
Відкрийте /dashboard/crawlers для поточної доступності та вимог до даних. Ліміти колекції та робочого простору залежать від вашого плану.
Що таке перевірка robots.txt для AI-краулерів
Коли користувач задає питання пошуковій системі зі штучним інтелектом, їй потрібно знайти інформацію для формування відповіді. Вона надсилає спеціалізованих ботів, відомих як AI-краулери, для читання веб-сторінок. Серед них GPTBot для ChatGPT, ClaudeBot для Claude, PerplexityBot та Google-Extended для AI-моделей Google.
Файл robots.txt вашого веб-сайту — це перший захисник. Він повідомляє цим ботам, які частини вашого сайту вони можуть відвідувати. Перевірка robots.txt для AI-краулерів — це процес аудиту цього файлу, щоб зрозуміти, яких ботів ви допускаєте, а яких блокуєте. Це фундаментальний елемент технічного SEO для AI-пошуку. Якщо ваші ключові сторінки заблоковані, їх не можна прочитати, і вони не з'являться як цитування в AI-відповідях.
Чому це важливо для видимості в AI-пошуку
Традиційне SEO зосереджувалося на ранжуванні в списку з десяти синіх посилань. AI-пошук, або оптимізація під пошукові системи з відповідями, працює інакше. Мета — стати одним з небагатьох джерел, на які посилаються в одному згенерованому абзаці. Пошукові системи вибирають обережно і цитують лише сторінки, які їхні краулери мали змогу прочитати.
Дозвіл для AI-краулерів — це перший, беззаперечний крок. Якщо GPTBot не має доступу до вашого блогу, ChatGPT не може вчитися на його основі. Якщо Google-Extended заблоковано, ваш контент невидимий для Google AI Overviews. Ця перевірка не про обсяг трафіку, а про право на участь. Ви перевіряєте свій квиток на арену, де пишуться AI-відповіді.
Як працює Agent Analytics у Mentionry
Agent Analytics, доступний за адресою /dashboard/crawlers, надає технічну звітність, зосереджену на пошуку за допомогою штучного інтелекту. Він працює, аналізуючи ваш сайт ззовні, так само, як це робив би AI-бот. Він перевіряє ваш файл robots.txt та будь-який налаштований файл llms.txt, а потім повідомляє про знайдене.
Екран організовано у три розділи. Відображення для AI-краулерів показує список відомих AI-ботів, таких як GPTBot та ClaudeBot, і чітко вказує, чи дозволяють ваші поточні правила їхню роботу, чи забороняють. Можливість обходу запускає симульоване отримання ваших сторінок, звітуючи про час відповіді, заблоковані ресурси та те, як сторінка відображається без JavaScript, виділяючи проблеми, які можуть зробити ваш контент нечитабельним. Відстеження ефективності контенту показує, які з ваших сторінок індексуються службами, пов'язаними зі штучним інтелектом, і збирає дані про текст якорних посилань, що ведуть на ваш сайт з усього інтернету.
Як використовувати це у вашому щотижневому робочому процесі
Для маркетолога це інструмент діагностики та моніторингу. Типовий робочий процес починається з аудиту. Відкрийте Agent Analytics та перегляньте список видимості для AI-краулерів. Для нового сайту, що запускає продукт, варто перевірити, чи всі основні боти мають доступ до ваших ключових цільових та документаційних сторінок.
Далі використовуйте звіт про краулабельність. Відфільтруйте сторінку з високим пріоритетом, наприклад, опис вашої флагманської послуги. Шукайте попередження про заблоковані CSS або JavaScript файли, які можуть заважати коректному відображенню сторінки для бота. Виправте ці проблеми у коді. Нарешті, щотижня перевіряйте продуктивність контенту. Шукайте нові сторінки, які потрапили до списку 'проіндексованих', що вказує на те, що AI-сервіси тепер їх бачать, та переглядайте звіт про текст посилань, щоб побачити, як інші сайти описують ваш бренд, коли посилаються на вас.
Як читати цифри та уникати пасток
Зелений статус 'Дозволено' для GPTBot означає, що ваш robots.txt дозволяє йому доступ. Це не означає, що GPTBot вже відвідав ваш сайт або що ваш контент буде процитовано. Це просто означає, що двері відчинені. Повільний час відповіді в звіті про доступність для сканування — це пряма проблема, оскільки ботам відведено обмежений час, і вони можуть покинути повільні сторінки.
Метрика 'індексоване покриття' показує, які сторінки відомі системам. Зростання цього показника — це позитивний сигнал зростаючої видимості в ШІ. Звіт про текст посилань корисний для розуміння сприйняття бренду. Зміна з 'інструмент для програмного забезпечення' на 'AI маркетингова платформа' в тому, як інші посилаються на вас, відображає зміну ринкової розповіді. Пам'ятайте, це провідні індикатори, а не обіцянки трафіку чи цитувань.
Що Agent Analytics поки що не робить
Важливо чітко окреслити обмеження. Agent Analytics читає ваш сайт з публічного інтернету. Він не аналізує ваші серверні логи. Аналіз серверних логів показав би точно, які боти відвідували сайт, як часто і що вони завантажували. Такий рівень деталізації не реалізовано.
Ця функція також не може порівнювати ваш сайт з іншими. Щоб сказати, що ваша індексованість знаходиться у 80-му процентилі, потрібна велика вибірка схожих сайтів для порівняння. У нас немає такої вибірки, і ми вважаємо за краще нічого не показувати, ніж надавати оманливий процентиль, отриманий з вибірки з одного сайту.
Тарифи та доступ
Безкоштовний план включає один збережений знімок для 3 запитань і 3 сторінок. Без картки. Без строку дії. Lite $29/місяць · Growth $99/місяць · Agency $249/місяць (USD).
Growth: 50 запитань · 40 спільних чернеток та кредитів агента/місяць · $99/місяць (USD).
Питання
Для аналізу трафіку живих ботів потрібні ваші серверні логи, збір логів є у списку інтеграцій. Сьогодні ви можете бачити, що дозволено читати кожному боту та як ваші сторінки відображаються для нього.
Отримайте згадку про ваш бренд у пошукових системах зі штучним інтелектом
Почніть з безкоштовного знімка. Платні плани додають відповідні заплановані дослідження в межах лімітів, зазначених на сторінці Ціни. Дані Store та Google вимагають вашого дозволу.