د خپل سایټ د robots.txt فایل تحلیل کړئ؛ د GPTBot، ClaudeBot، Perplexity، او 17 نورو AI کرالرونو د لاسرسي حالت په ریښتیني وخت کې وګورئ.
د مصنوعي ذهانت شرکتونه (اوپن اې آی، انتروپیک، ګوګل، میټا، ایمیزون، او نور) د ویب کرول کولو او د مصنوعي ذهانت ماډلونو روزلو یا د ریښتیني وخت لټونونو ترسره کولو لپاره ځانګړي بوټونه کاروي. دا بوټونه ستاسو سایټ ته لاسرسی لري، روبوټونه.txt دا ستاسو په فایل کې د قواعدو له مخې ټاکل کیږي. په هرصورت، دا لیدل چې کوم بوټونه اجازه لري او کوم په یو ځای کې بند شوي دي خورا ستونزمن دي.
د AI بوټ لاسرسي کنټرول وسیله هغه ویب پاڼه تاییدوي چې تاسو یې ګورئ. روبوټونه.txt دا فایل په ریښتیني وخت کې له سرور څخه ترلاسه کوي او په اتوماتيک ډول د 17 مختلفو AI کرالرونو حالت تحلیل کوي: GPTBot، ChatGPT-User، OAI-SearchBot (OpenAI)؛ ClaudeBot، anthropic-ai، Claude-Web (Anthropic)؛ PerplexityBot او Perplexity-User (Perplexity)؛ Google-Extended (Gemini/AI Overview)؛ Applebot-Extended؛ CCBot (عام کرول)؛ Bytespider (TikTok)؛ Amazonbot؛ meta-externalagent او FacebookBot (Meta)؛ DuckAssistBot او cohere-ai. د هر بوټ لپاره... اجازه ورکړل شوې, معلول یا مشخص شوی نه دی (ډیفالټ اجازه) تاسو کولی شئ د رنګین بیجونو سره د دوی حالت وګورئ.
د پایلو سکرین کې د مصنوعي ذهانت روبوټونو لپاره د بندولو لپاره چمتو انتخاب هم شامل دی. روبوټونه.txt د مثال قواعد هم چمتو شوي دي. تاسو کولی شئ دا د هر سایټ د پالیسۍ د څیړنې لپاره هم وکاروئ که تاسو د سایټ مالک نه یاست. ټولې پوښتنې د سرور اړخ دي؛ غوښتنې یوازې عامه IP پتې ته لیږل کیږي، د امنیتي دلایلو لپاره محلي او خصوصي شبکې بلاکونه بند شوي دي.
مثال. com یا https://example.com).روبوټونه.txt دا فایل بیرته ترلاسه کوي.روبوټونه.txt فایل ته یې اضافه کړئ.