에이전트 분석

사용자가 답변 엔진에 질문을 하면, 엔진은 답변을 구성하기 위해 정보를 찾아야 합니다. 이를 위해 AI 크롤러라고 불리는 특수한 봇을 보내 웹페이지를 읽습니다. 여기에는 ChatGPT의 GPTBot, Claude의 ClaudeBot, PerplexityBot, 그리고 Google AI 모델을 위한 Google-Extended가 포함됩니다.

귀하 웹사이트의 robots.txt 파일은 첫 번째 관문입니다. 이 파일은 어떤 봇이 사이트의 어느 부분을 방문할 수 있는지 알려줍니다. AI 크롤러 robots.txt 점검은 이 파일을 감사하여 어떤 봇을 허용하고 차단하고 있는지 확인하는 과정입니다. 이는 AI 검색을 위한 기술적 SEO의 기초 작업입니다. 중요한 페이지가 차단되면 해당 페이지는 읽히지 않으며, AI 답변의 인용 출처로 나타나지 않을 것입니다.

기존 SEO는 10개의 파란색 링크 목록에서 순위를 올리는 데 중점을 두었습니다. AI 검색, 즉 답변 엔진 최적화는 다릅니다. 목표는 하나의 생성된 단락에서 인용되는 소수의 출처 중 하나가 되는 것입니다. 검색 엔진은 선택적이며, 크롤러가 읽을 수 있도록 허용된 페이지만 인용합니다.

AI 크롤러를 허용하는 것은 첫 번째이자 필수적인 단계입니다. GPTBot가 귀하의 블로그에 접근할 수 없다면, ChatGPT는 그로부터 학습할 수 없습니다. Google-Extended가 차단되면 귀하의 콘텐츠는 Google AI Overviews에 보이지 않습니다. 이 확인은 트래픽 양이 아니라, 자격에 관한 것입니다. AI 답변이 작성되는 경기장으로 들어가는 티켓을 확인하는 것입니다.

에이전트 분석은 /dashboard/crawlers에서 확인할 수 있으며, AI 검색에 초점을 맞춘 기술적 분석을 제공합니다. 이 기능은 AI 봇이 사이트를 읽는 방식과 동일하게 외부에서 여러분의 사이트를 읽어 분석합니다. robots.txt 파일과 설정된 llms.txt 파일을 확인한 후 발견된 내용을 보고합니다.

화면은 세 가지 영역으로 구성되어 있습니다. AI 크롤러 가시성에서는 GPTBot, ClaudeBot과 같은 알려진 AI 봇 목록을 보여주며, 현재 설정된 규칙이 해당 봇들을 허용하는지 차단하는지를 명확하게 표시합니다. 크롤링 가능성은 페이지를 시뮬레이션 방식으로 가져와 응답 시간, 차단된 리소스, JavaScript 없이 페이지가 렌더링되는 방식을 보고하며, 콘텐츠를 읽을 수 없게 만들 수 있는 문제점을 강조합니다. 콘텐츠 성능 추적은 AI 관련 서비스에 의해 인덱싱되고 있는 여러분의 페이지를 보여주고, 웹 전반에서 여러분의 사이트를 가리키는 앵커 텍스트에 대한 데이터를 수집합니다.

마케터에게 이는 진단 및 모니터링 도구입니다. 일반적인 워크플로우는 감사로 시작합니다. Agent Analytics를 열고 AI 크롤러 가시성 목록을 검토하세요. 신제품 출시 사이트의 경우, 주요 랜딩 페이지와 문서 페이지에 모든 주요 봇이 허용되어 있는지 확인합니다.

다음으로, 크롤링 가능성 보고서를 사용하세요. 주력 서비스 설명 페이지와 같은 고우선순위 페이지로 필터링하세요. 봇이 페이지를 올바르게 렌더링하지 못하게 할 수 있는 차단된 CSS 또는 JavaScript 파일에 대한 경고를 찾습니다. 코드에서 이러한 문제를 수정하세요. 마지막으로, 매주 콘텐츠 성과를 확인하세요. AI 서비스에 의해 수집되기 시작했다는 의미로 '인덱싱됨' 목록에 새로 진입한 페이지를 찾고, 앵커 텍스트 보고서를 검토하여 다른 사이트가 귀사 브랜드를 링크할 때 어떻게 설명하는지 살펴보세요.

GPTBot에 대한 초록색 '허용됨' 상태는 당신의 robots.txt가 이를 허용한다는 의미입니다. 이는 GPTBot이 방문했거나 당신의 콘텐츠가 인용될 것이라는 의미가 아닙니다. 단지 문이 열려 있다는 뜻입니다. 크롤링 가능성 보고서의 느린 응답 시간은 직접적인 문제입니다. 봇에는 시간 제한이 있어 느린 페이지를 포기할 수 있기 때문입니다.

'인덱싱된 범위' 지표는 시스템이 알고 있는 페이지를 보여줍니다. 이 수치의 증가는 AI 가시성이 성장하고 있다는 긍정적인 신호입니다. 앵커 텍스트 보고서는 브랜드 인식을 이해하는 데 유용합니다. 다른 사이트가 당신을 링크할 때 '소프트웨어 도구'에서 'AI 마케팅 플랫폼'으로의 변화는 시장 담론이 변하고 있음을 반영합니다. 기억하세요, 이것들은 트래픽이나 인용을 약속하는 것이 아닌 선행 지표입니다.

제한 사항을 명확히 밝히는 것이 중요합니다. Agent Analytics는 공개 인터넷에서 귀하의 사이트를 읽습니다. 서버 로그를 수집하지는 않습니다. 서버 로그 수집 기능이 있었다면 어떤 봇이 방문했는지, 얼마나 자주 방문했는지, 무엇을 가져갔는지 정확히 보여줄 수 있었을 것입니다. 그 정도의 상세한 정보는 아직 구현되지 않았습니다.

또한 이 기능은 귀하의 사이트를 다른 사이트와 비교하여 벤치마킹할 수 없습니다. 귀하의 크롤링 가능성이 80번째 백분위수에 있다고 말하려면 비교 가능한 대규모 사이트 집단이 필요합니다. 우리는 그런 집단 데이터를 보유하고 있지 않으며, 단 하나의 샘플에서 도출된 오해의 소지가 있는 백분위수를 제공하기보다는 아무것도 표시하지 않는 편을 선택합니다.

에이전트 애널리틱스는 Mentionry의 Operate 그룹에 속합니다. 무료 7일 체험 기간 동안 접근할 수 있으며, 이 기간에는 자신의 사이트에서 하루 50회의 프롬프트를 ChatGPT, Gemini, Google AI 개요에 테스트할 수 있습니다. 체험은 신용카드 없이 가능하며 자동으로 종료됩니다.

월 99달러의 Starter 플랜은 에이전트 애널리틱스에 대한 전체 접근권과 함께 추적 가능한 프롬프트 50회, 세 가지 답변 엔진에 대한 일일 리포트, 그리고 월 100회의 에이전트 실행을 포함합니다. 더 많은 브랜드, 엔진, 사용자 자리가 필요한 대규모 팀을 위한 Enterprise 플랜은 개별 견적을 제공하며, API 접근 및 Single Sign-On과 같은 기능을 포함합니다.