AIボットアクセス制御

AI企業（OpenAI、Anthropic、Google、Meta、Amazonなど）は、ウェブをクロールしてAIモデルをトレーニングしたり、リアルタイム検索を実行したりするために、専用のボットを使用しています。これらのボットは、あなたのサイトにアクセスし、 robots.txt これは、設定ファイル内のルールによって決定されます。しかし、どのボットが許可され、どのボットがブロックされているかを一箇所で確認するのは非常に面倒です。

AIボットアクセス制御ツールは、あなたがアクセスしているウェブサイトを検証します。 robots.txt サーバーからファイルをリアルタイムで取得し、17種類のAIクローラー（GPTBot、ChatGPT-User、OAI-SearchBot（OpenAI）、ClaudeBot、anthropic-ai、Claude-Web（Anthropic）、PerplexityBot、Perplexity-User（Perplexity）、Google-Extended（Gemini/AI Overview）、Applebot-Extended、CCBot（Common Crawl）、Bytespider（TikTok）、Amazonbot、meta-externalagent、FacebookBot（Meta）、DuckAssistBot、cohere-ai）の状態を自動的に分析します。各ボットについて... 承認済み, 無効 または 指定なし（デフォルトの権限） 彼らのステータスは、色付きのバッジで確認できます。

結果画面には、AIボットをオフにする準備完了オプションも含まれています。 robots.txt ルール例も提供されています。サイト所有者でなくても、このツールを使って任意のサイトのポリシーを調査することもできます。すべてのクエリはサーバー側で行われ、リクエストはパブリックIPアドレスにのみ送信されます。セキュリティ上の理由から、ローカルネットワークおよびプライベートネットワークからのアクセスはブロックされます。