사이트의 robots.txt 파일을 분석하고 GPTBot, ClaudeBot, Perplexity 및 기타 17개 AI 크롤러의 접근 상태를 실시간으로 확인하세요.
AI 기업(OpenAI, Anthropic, Google, Meta, Amazon 등)은 특수 봇을 사용하여 웹을 크롤링하고 AI 모델을 학습시키거나 실시간 검색을 수행합니다. 이러한 봇은 귀하의 사이트에 접근합니다. robots.txt 이는 파일에 있는 규칙에 따라 결정됩니다. 하지만 어떤 봇이 허용되고 어떤 봇이 차단되는지 한눈에 확인하는 것은 상당히 번거롭습니다.
AI 봇 접근 제어 도구는 사용자가 방문하는 웹사이트를 검증합니다. robots.txt 이 도구는 서버에서 파일을 실시간으로 가져와 GPTBot, ChatGPT-User, OAI-SearchBot(OpenAI), ClaudeBot, anthropic-ai, Claude-Web(Anthropic), PerplexityBot 및 Perplexity-User(Perplexity), Google-Extended(Gemini/AI Overview), Applebot-Extended, CCBot(Common Crawl), Bytespider(TikTok), Amazonbot, meta-externalagent 및 FacebookBot(Meta), DuckAssistBot 및 cohere-ai 등 17개의 AI 크롤러의 상태를 자동으로 분석합니다. 각 봇에 대해... 인정 받은, 장애가 있는 또는 지정되지 않음(기본 권한) 색깔 배지를 통해 그들의 상태를 확인할 수 있습니다.
결과 화면에는 AI 봇을 끌 수 있는 옵션도 포함되어 있습니다. robots.txt 예시 규칙도 제공됩니다. 사이트 소유자가 아니더라도 이 기능을 사용하여 어떤 사이트든 정책을 검색할 수 있습니다. 모든 쿼리는 서버 측에서 처리되며, 요청은 공용 IP 주소로만 전송됩니다. 로컬 및 사설 네트워크는 보안상의 이유로 차단됩니다.
example.com 또는 https://example.com).robots.txt 파일을 가져옵니다.robots.txt 파일에 추가하세요.