- Reading your visibility on daily trainer prompts
- Checking prompt volumes for the topic
- Reading the adidas brand kit and product lines
Across the 14 “best daily trainer” prompts, Nike is named in 88% of answers. adidas is named in 41%. The engines cite Runner’s World and Wirecutter, and you have no page that answers the question.
The topic runs at 5,400 searches a month and is climbing in the assistants. It earns a page of its own.
Your brand kit puts Supernova, not Adizero, in front of everyday runners, so the page leads with the Supernova Rise 3 and keeps Adizero for fast days. Headlines uppercase, adidas lowercase, and the one health claim is the APMA seal it holds. Staged in Documents. Nothing is published.
Run your
Fastest
Everyday.
Thanks to Dreamstrike+ cushioning the Supernova Rise 3 carries the easy miles that make up most of a training week, and keeps Adizero for the days the plan says fast. Nine weeks on our test panel sit behind every pick.
Find your daily trainer
Drafted by your AI Marketer from the Adidas brand kit and product lines. Staged in Documents, not published. Example on the sample account.
AI爬虫robots.txt检查是一项技术审计，旨在查看哪些AI机器人（如OpenAI的GPTBot或Google-Extended）被允许访问和读取您网站的内容。这很重要，因为这些机器人是像ChatGPT和Google AI Overviews这样的答案引擎发现和引用页面的方式。Mentionry的Agent Analytics功能准确显示您的robots.txt文件允许哪些AI爬虫，突出显示可抓取性问题，并跟踪您的哪些页面被AI生成的答案引用，帮助您证明对AI驱动流量的影响。
了解并掌控您的AI存在感
AI 爬虫可见性
查看哪些AI机器人被允许访问你的内容：GPTBot、ClaudeBot、PerplexityBot、Google-Extended等，并与你的robots规则进行比对。
可抓取性
响应时间、渲染、被阻止的资源、未加载JavaScript时获取的页面。这些是导致页面无法被机器人读取的问题。
内容表现追踪
AI模型偏好的页面、您网站上的失效链接，以及全网指向您的锚文本。
尚未实现的功能
- 服务器日志摄取功能尚未构建，该功能用于显示哪些机器人实际访问及频率。本屏幕所有信息均从外部读取。
- 与其他网站的基准比较需要足够的数据样本，而我们目前尚未拥有。我们宁愿不显示任何数据，也不愿展示仅基于单一样本得出的百分位数。
在平台中的位置
In the product it is /dashboard/crawlers. On the trial it reads your own site from the first day; on Starter it keeps going, and on Enterprise it runs for every brand you have under one login.
什么是AI爬虫robots.txt检查
当用户向答案引擎提问时，引擎需要查找信息来构建答案。它会派出专门的机器人，即AI爬虫，来读取网页。这些爬虫包括ChatGPT的GPTBot、Claude的ClaudeBot、PerplexityBot，以及谷歌AI模型的Google-Extended。
您网站的robots.txt文件是第一道守门员。它告诉这些机器人可以访问您网站的哪些部分。AI爬虫robots.txt检查就是审核此文件的过程，以查看您允许哪些机器人进入，又阻止了哪些。这是AI搜索技术SEO的基础环节。如果您的重要页面被屏蔽，它们就无法被读取，也不会作为引用出现在AI答案中。
AI搜索可见性的重要性
传统SEO专注于在十条蓝色链接列表中排名。AI搜索，或称答案引擎优化，则有所不同。其目标是成为单一生成段落中少数被引用的来源之一。这些搜索引擎具有选择性，它们只引用其爬虫被允许读取的页面。
允许AI爬虫访问是首要且不容商榷的步骤。如果GPTBot无法访问您的博客，ChatGPT就无法从中学习。如果屏蔽了Google-Extended，您的内容对Google AI概览就不可见。这项检查无关流量大小，而是关乎资格。您正在检查自己进入AI答案撰写竞技场的入场券。
Mentionry 中 Agent Analytics 的工作原理
Agent Analytics 位于 /dashboard/crawlers，为您提供专注于 AI 搜索的技术报告。其工作原理是从外部读取您的网站，方式与 AI 机器人相同。它会检查您的 robots.txt 以及您设置的任何 llms.txt 文件，然后报告其发现。
该界面分为三个区域。AI 爬虫可见性列出了已知的 AI 机器人，如 GPTBot 和 ClaudeBot，并清晰说明您当前的规则是允许还是禁止它们。可爬取性会模拟抓取您的页面，报告响应时间、被阻止的资源以及页面在没有 JavaScript 时的渲染情况，突出显示可能导致您的内容无法被读取的问题。内容性能跟踪则显示您的哪些页面正在被 AI 相关服务索引，并收集来自全网指向您网站的锚文本数据。
如何融入你的每周工作流程
对于营销人员而言，这是一个诊断与监控工具。典型的工作流程从审计开始。打开 Agent Analytics，查看 AI 爬虫可见性列表。对于一个新产品发布网站，你需要检查所有主要爬虫是否被允许访问你的关键着陆页和文档页面。
接下来，使用可爬取性报告。筛选到一个高优先级页面，例如你的旗舰服务描述页。查找关于被屏蔽的 CSS 或 JavaScript 文件的警告，这些文件可能会阻止页面为爬虫正确渲染。在代码中修复这些问题。最后，每周检查内容表现。关注新进入‘已收录’列表的页面，这表明它们现在正被 AI 服务抓取，并查看锚文本报告，了解其他网站在链接到你时是如何描述你的品牌的。
如何解读数据并规避陷阱
GPTBot显示为绿色的‘允许’状态，仅表示您的robots.txt文件允许其访问。这并不意味着GPTBot已经访问过您的网站，也不代表您的内容会被引用。它只是表明访问的大门是敞开的。爬取能力报告中显示的慢速响应时间是一个直接问题，因为机器人有时间限制，可能会放弃加载缓慢的页面。
‘已索引覆盖率’指标显示了系统已知的页面。该指标的增长是AI可见度提升的积极信号。锚文本报告有助于理解品牌认知。当其他网站链接到您时，其锚文本从‘软件工具’转变为‘AI营销平台’，这反映了市场叙事的转变。请记住，这些都是先行指标，而非流量或引用的保证。
Agent Analytics 目前尚未实现的功能
明确说明其局限性至关重要。Agent Analytics 通过公共互联网读取您的网站信息。它不会摄取您的服务器日志。若能摄取服务器日志，便能精确显示哪些机器人访问过、访问频率以及它们获取了哪些内容。目前尚未构建这一级别的详细功能。
此外，该功能也无法将您的网站与其他网站进行基准比较。要说明您的网站可抓取性处于第80百分位，需要有一个庞大的、可比较的网站群体作为衡量基准。我们目前没有这样的群体数据，因此我们宁愿不提供任何百分位信息，也不愿基于单一样本给出可能产生误导的百分位数据。
套餐与访问权限
Agent Analytics 是 Mentionry 中 Operate 产品组的一部分。您可以在为期七天的免费试用期内访问它，试用允许您在自己的网站上测试，每天可向 ChatGPT、Gemini 和 Google AI 概览发送 50 次提示。试用无需信用卡，到期自动结束。
Starter 套餐每月 99 美元，包含对 Agent Analytics 的完全访问权限、50 次追踪提示、每日对三个答案引擎的解读，以及每月 100 次智能体运行。对于需要更多品牌、引擎和席位的大型团队，Enterprise 套餐提供个性化报价，并包含 API 访问和单点登录等功能。
问题
实时机器人流量需要您的服务器日志；日志摄取功能在集成列表中。您现在能看到的是每个机器人被允许读取的内容以及您的页面为其呈现的效果。