Аналитика агентов

Когда пользователь задает вопрос поисковой системе с ответами, ей необходимо найти информацию для формирования ответа. Для этого она отправляет специализированных ботов, известных как AI-краулеры, для чтения веб-страниц. К ним относятся GPTBot для ChatGPT, ClaudeBot для Claude, PerplexityBot и Google-Extended для AI-моделей Google.

Файл robots.txt вашего сайта — это первый привратник. Он сообщает этим ботам, какие части вашего сайта им разрешено посещать. Проверка robots.txt для AI-краулеров — это процесс аудита этого файла, чтобы увидеть, каких ботов вы приветствуете, а каких блокируете. Это фундаментальный элемент технического SEO для AI-поиска. Если ваши ключевые страницы заблокированы, их нельзя прочитать, и они не появятся в качестве цитат в AI-ответах.

Традиционный SEO был сосредоточен на ранжировании в списке из десяти синих ссылок. AI-поиск, или оптимизация под поисковые системы с ответами, работает иначе. Цель — оказаться одним из немногих источников, на которые ссылается сгенерированный абзац. Поисковые системы избирательны и цитируют только те страницы, которые их краулерам разрешено читать.

Разрешить доступ AI-краулерам — это первый и обязательный шаг. Если GPTBot не может получить доступ к вашему блогу, ChatGPT не сможет на нём обучаться. Если заблокирован Google-Extended, ваш контент невидим для Google AI Overviews. Эта проверка касается не объёма трафика, а вашего права на участие. Вы проверяете свой билет на арену, где пишутся AI-ответы.

Agent Analytics, доступный по адресу /dashboard/crawlers, предоставляет технический отчет, сфокусированный на AI-поиске. Он работает, анализируя ваш сайт извне, точно так же, как это делает AI-бот. Он проверяет ваш файл robots.txt и любой установленный файл llms.txt, а затем сообщает о результатах.

Экран разделен на три области. Видимость для AI-краулеров показывает список известных AI-ботов, таких как GPTBot и ClaudeBot, и четко указывает, разрешают или запрещают их ваши текущие правила. Возможность обхода запускает симуляцию загрузки ваших страниц, сообщая о времени отклика, заблокированных ресурсах и о том, как страница отображается без JavaScript, выделяя проблемы, которые могут сделать ваш контент нечитаемым. Отслеживание производительности контента показывает, какие из ваших страниц индексируются сервисами, связанными с ИИ, и собирает данные об анкорном тексте, ведущем на ваш сайт со всего интернета.

Для маркетолога это инструмент диагностики и мониторинга. Типичный рабочий процесс начинается с аудита. Откройте Agent Analytics и просмотрите список видимости для AI-краулеров. Для сайта, запускающего новый продукт, нужно проверить, что все основные боты имеют доступ к ключевым посадочным страницам и страницам документации.

Затем используйте отчет о доступности для сканирования. Отфильтруйте по странице с высоким приоритетом, например, по описанию вашего флагманского сервиса. Ищите предупреждения о заблокированных CSS или JavaScript файлах, которые могут мешать правильной отрисовке страницы для бота. Исправьте эти проблемы в коде. Наконец, еженедельно проверяйте производительность контента. Ищите новые страницы, попавшие в список 'проиндексированных', что указывает на их обнаружение AI-сервисами, и просматривайте отчет по анкорному тексту, чтобы увидеть, как другие сайты описывают ваш бренд, ссылаясь на вас.

Статус 'Разрешено' для GPTBot означает, что ваш файл robots.txt разрешает ему доступ. Это не значит, что GPTBot уже посетил ваш сайт или что ваш контент будет процитирован. Это просто означает, что дверь открыта. Медленное время отклика в отчете о доступности для сканирования — это прямая проблема, так как у ботов есть ограничения по времени, и они могут покинуть медленные страницы.

Метрика 'Индексированное покрытие' показывает, какие страницы известны системам. Её рост — это положительный сигнал о растущей видимости в системах ИИ. Отчет по анкорному тексту полезен для понимания восприятия бренда. Сдвиг от 'программного инструмента' к 'AI-маркетинговой платформе' в том, как другие ссылаются на вас, отражает изменение рыночного нарратива. Помните, это опережающие индикаторы, а не гарантии трафика или цитирования.

Важно четко обозначить ограничения. Agent Analytics анализирует ваш сайт из открытого интернета. Он не загружает и не обрабатывает логи вашего сервера. Анализ логов сервера показал бы вам точно, какие боты посещали сайт, как часто и что они запрашивали. Такой уровень детализации в функционале не предусмотрен.

Эта функция также не может сравнивать ваш сайт с другими. Чтобы сказать, что ваша доступность для сканирования находится в 80-м процентиле, требуется большая выборка сопоставимых сайтов для сравнения. У нас нет такой выборки, и мы предпочитаем ничего не показывать, чем предоставлять вводящий в заблуждение процентиль, рассчитанный на основе одного образца.

Agent Analytics входит в группу инструментов Operate в Mentionry. Вы можете получить к нему доступ в течение бесплатного семидневного пробного периода, который позволяет протестировать его на вашем собственном сайте с 50 запросами в день к ChatGPT, Gemini и Google AI Overviews. Для пробного периода не требуется кредитная карта, и он завершается автоматически.

Тариф Starter стоимостью 99 долларов в месяц включает полный доступ к Agent Analytics, а также отслеживание 50 запросов, ежедневные отчеты по трем поисковым системам и 100 запусков агентов в месяц. Для крупных команд, которым требуется больше брендов, систем и рабочих мест, тариф Enterprise рассчитывается индивидуально и включает такие функции, как доступ к API и единый вход (Single Sign-On).