আপনার সাইটের robots.txt ফাইল বিশ্লেষণ করুন; রিয়েল টাইমে GPTBot, ClaudeBot, Perplexity এবং আরও ১৭টি এআই ক্রলারের অ্যাক্সেস স্ট্যাটাস দেখুন।
এআই কোম্পানিগুলো (ওপেনএআই, অ্যানথ্রোপিক, গুগল, মেটা, অ্যামাজন এবং আরও অনেক) ওয়েব ক্রল করতে এবং এআই মডেলকে প্রশিক্ষণ দিতে বা রিয়েল-টাইম সার্চ চালানোর জন্য বিশেষায়িত বট ব্যবহার করে। এই বটগুলো আপনার সাইটে প্রবেশ করে, robots.txt এটি আপনার ফাইলে থাকা নিয়ম দ্বারা নির্ধারিত হয়। তবে, কোন বটগুলোকে অনুমতি দেওয়া হয়েছে এবং কোনগুলোকে ব্লক করা হয়েছে, তা এক জায়গায় দেখা বেশ কষ্টসাধ্য।
এআই বট অ্যাক্সেস কন্ট্রোল টুলটি আপনার ভিজিট করা ওয়েবসাইটটি যাচাই করে। robots.txt এটি রিয়েল টাইমে সার্ভার থেকে ফাইলটি সংগ্রহ করে এবং স্বয়ংক্রিয়ভাবে ১৭টি ভিন্ন এআই ক্রলারের অবস্থা বিশ্লেষণ করে: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot এবং Perplexity-User (Perplexity); Google-Extended (Gemini/AI Overview); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent এবং FacebookBot (Meta); DuckAssistBot এবং cohere-ai। প্রতিটি বটের জন্য... অনুমোদিত, প্রতিবন্ধী অথবা নির্দিষ্ট করা হয়নি (ডিফল্ট অনুমতি) আপনি রঙিন ব্যাজের মাধ্যমে তাদের অবস্থা দেখতে পারেন।
ফলাফলের স্ক্রিনে এআই বটগুলো বন্ধ করার একটি অপশনও রয়েছে। robots.txt উদাহরণস্বরূপ কিছু নিয়মও দেওয়া আছে। আপনি যদি কোনো সাইটের মালিক না হন, তবে সেই সাইটের নীতি সম্পর্কে জানতেও এটি ব্যবহার করতে পারেন। সমস্ত কোয়েরি সার্ভার-সাইডে পরিচালিত হয়; অনুরোধগুলি শুধুমাত্র পাবলিক আইপি অ্যাড্রেসে পাঠানো হয় এবং নিরাপত্তার কারণে লোকাল ও প্রাইভেট নেটওয়ার্ক ব্লক করা থাকে।
example.com অথবা https://example.com).robots.txt এটি ফাইলটি পুনরুদ্ধার করে।robots.txt এটি ফাইলে যোগ করুন।