智能体分析

当用户向答案引擎提问时，引擎需要查找信息来构建答案。它会派出专门的机器人，即AI爬虫，来读取网页。这些爬虫包括ChatGPT的GPTBot、Claude的ClaudeBot、PerplexityBot，以及谷歌AI模型的Google-Extended。

您网站的robots.txt文件是第一道守门员。它告诉这些机器人可以访问您网站的哪些部分。AI爬虫robots.txt检查就是审核此文件的过程，以查看您允许哪些机器人进入，又阻止了哪些。这是AI搜索技术SEO的基础环节。如果您的重要页面被屏蔽，它们就无法被读取，也不会作为引用出现在AI答案中。

传统SEO专注于在十条蓝色链接列表中排名。AI搜索，或称答案引擎优化，则有所不同。其目标是成为单一生成段落中少数被引用的来源之一。这些搜索引擎具有选择性，它们只引用其爬虫被允许读取的页面。

允许AI爬虫访问是首要且不容商榷的步骤。如果GPTBot无法访问您的博客，ChatGPT就无法从中学习。如果屏蔽了Google-Extended，您的内容对Google AI概览就不可见。这项检查无关流量大小，而是关乎资格。您正在检查自己进入AI答案撰写竞技场的入场券。

Agent Analytics 位于 /dashboard/crawlers，为您提供专注于 AI 搜索的技术报告。其工作原理是从外部读取您的网站，方式与 AI 机器人相同。它会检查您的 robots.txt 以及您设置的任何 llms.txt 文件，然后报告其发现。

该界面分为三个区域。AI 爬虫可见性列出了已知的 AI 机器人，如 GPTBot 和 ClaudeBot，并清晰说明您当前的规则是允许还是禁止它们。可爬取性会模拟抓取您的页面，报告响应时间、被阻止的资源以及页面在没有 JavaScript 时的渲染情况，突出显示可能导致您的内容无法被读取的问题。内容性能跟踪则显示您的哪些页面正在被 AI 相关服务索引，并收集来自全网指向您网站的锚文本数据。

对于营销人员而言，这是一个诊断与监控工具。典型的工作流程从审计开始。打开 Agent Analytics，查看 AI 爬虫可见性列表。对于一个新产品发布网站，你需要检查所有主要爬虫是否被允许访问你的关键着陆页和文档页面。

接下来，使用可爬取性报告。筛选到一个高优先级页面，例如你的旗舰服务描述页。查找关于被屏蔽的 CSS 或 JavaScript 文件的警告，这些文件可能会阻止页面为爬虫正确渲染。在代码中修复这些问题。最后，每周检查内容表现。关注新进入‘已收录’列表的页面，这表明它们现在正被 AI 服务抓取，并查看锚文本报告，了解其他网站在链接到你时是如何描述你的品牌的。

GPTBot显示为绿色的‘允许’状态，仅表示您的robots.txt文件允许其访问。这并不意味着GPTBot已经访问过您的网站，也不代表您的内容会被引用。它只是表明访问的大门是敞开的。爬取能力报告中显示的慢速响应时间是一个直接问题，因为机器人有时间限制，可能会放弃加载缓慢的页面。

‘已索引覆盖率’指标显示了系统已知的页面。该指标的增长是AI可见度提升的积极信号。锚文本报告有助于理解品牌认知。当其他网站链接到您时，其锚文本从‘软件工具’转变为‘AI营销平台’，这反映了市场叙事的转变。请记住，这些都是先行指标，而非流量或引用的保证。

明确说明其局限性至关重要。Agent Analytics 通过公共互联网读取您的网站信息。它不会摄取您的服务器日志。若能摄取服务器日志，便能精确显示哪些机器人访问过、访问频率以及它们获取了哪些内容。目前尚未构建这一级别的详细功能。

此外，该功能也无法将您的网站与其他网站进行基准比较。要说明您的网站可抓取性处于第80百分位，需要有一个庞大的、可比较的网站群体作为衡量基准。我们目前没有这样的群体数据，因此我们宁愿不提供任何百分位信息，也不愿基于单一样本给出可能产生误导的百分位数据。

免费版包含最多3个问题和3个页面的一次已保存快照。无需信用卡。无到期日。 Lite $29/月 · Growth $99/月 · Agency $249/月 (USD).

Growth：每月 50 个问题 · 40 个共享草稿和代理积分 · $99/月（美元）。