SEO او محتوا

د AI بوټ لاسرسي کنټرول

د خپل سایټ د robots.txt فایل تحلیل کړئ؛ د GPTBot، ClaudeBot، Perplexity، او 17 نورو AI کرالرونو د لاسرسي حالت په ریښتیني وخت کې وګورئ.

د AI بوټ لاسرسي کنټرول
معلومات

د AI بوټ لاسرسي کنټرول په اړه

د مصنوعي ذهانت شرکتونه (اوپن اې آی، انتروپیک، ګوګل، میټا، ایمیزون، او نور) د ویب کرول کولو او د مصنوعي ذهانت ماډلونو روزلو یا د ریښتیني وخت لټونونو ترسره کولو لپاره ځانګړي بوټونه کاروي. دا بوټونه ستاسو سایټ ته لاسرسی لري، روبوټونه.txt دا ستاسو په فایل کې د قواعدو له مخې ټاکل کیږي. په هرصورت، دا لیدل چې کوم بوټونه اجازه لري او کوم په یو ځای کې بند شوي دي خورا ستونزمن دي.

د AI بوټ لاسرسي کنټرول وسیله هغه ویب پاڼه تاییدوي چې تاسو یې ګورئ. روبوټونه.txt دا فایل په ریښتیني وخت کې له سرور څخه ترلاسه کوي او په اتوماتيک ډول د 17 مختلفو AI کرالرونو حالت تحلیل کوي: GPTBot، ChatGPT-User، OAI-SearchBot (OpenAI)؛ ClaudeBot، anthropic-ai، Claude-Web (Anthropic)؛ PerplexityBot او Perplexity-User (Perplexity)؛ Google-Extended (Gemini/AI Overview)؛ Applebot-Extended؛ CCBot (عام کرول)؛ Bytespider (TikTok)؛ Amazonbot؛ meta-externalagent او FacebookBot (Meta)؛ DuckAssistBot او cohere-ai. د هر بوټ لپاره... اجازه ورکړل شوې, معلول یا مشخص شوی نه دی (ډیفالټ اجازه) تاسو کولی شئ د رنګین بیجونو سره د دوی حالت وګورئ.

د پایلو سکرین کې د مصنوعي ذهانت روبوټونو لپاره د بندولو لپاره چمتو انتخاب هم شامل دی. روبوټونه.txt د مثال قواعد هم چمتو شوي دي. تاسو کولی شئ دا د هر سایټ د پالیسۍ د څیړنې لپاره هم وکاروئ که تاسو د سایټ مالک نه یاست. ټولې پوښتنې د سرور اړخ دي؛ غوښتنې یوازې عامه IP پتې ته لیږل کیږي، د امنیتي دلایلو لپاره محلي او خصوصي شبکې بلاکونه بند شوي دي.

څنګه یې وکاروئ؟

ګام په ګام

  1. د ډومین نوم یا بشپړ URL دننه کړئ (د مثال په توګه) مثال. com یا https://example.com).
  2. چک په تڼۍ کلیک وکړئ؛ وسیله به په سایټ کې وي. روبوټونه.txt دا فایل بیرته ترلاسه کوي.
  3. د هر AI بوټ لپاره اجازه ورکړل شوې, معلول یا نا مشخص شوی خپل حالت د رنګین نښانونو سره وګورئ.
  4. که اړتیا وي، تاسو کولی شئ د پاڼې په پای کې چمتو شوي قواعد خپل سایټ ته کاپي کړئ. روبوټونه.txt فایل ته یې اضافه کړئ.
FAQ

پوښتل شوې پوښتنې

robots.txt یو معیاري پروتوکول دی چې ویب کرولرانو ته وایي چې دوی کومو پاڼو ته لاسرسی کولی شي. د مصنوعي ذهانت شرکتونه ژمن دي چې ډاډ ترلاسه کړي چې د دوی د معلوماتو راټولولو بوټونه دې فایل ته غاړه ایږدي. د فایل په سمه توګه تنظیم کول ستاسو د مینځپانګې د مصنوعي ذهانت روزنې ډیټاسیټونو ته د ننوتلو یا په ریښتیني وخت مصنوعي ذهانت لټونونو کې د کارولو مخنیوي لپاره ترټولو ګړندۍ لاره ده.

که ستاسو د robots.txt فایل د دې بوټ لپاره ځانګړی قانون ونلري، او د ``کارونکي اجنټ: * (ټول بوټونه)` بلاک هیڅ محدودیت نلري، نو بوټ په ډیفالټ ډول د لاسرسي اجازه ګڼل کیږي. دا پدې مانا ده چې که تاسو غواړئ بوټ بند کړئ نو تاسو به اړتیا ولرئ چې یو دودیز قانون اضافه کړئ.

نه، robots.txt د تخنیکي درناوي پروتوکول دی؛ دا قانوني اړتیا نه ده. پداسې حال کې چې د جدي مصنوعي ذهانت شرکتونو بوټونه د دې قواعدو تعقیب ته ژمن دي، ناوړه کرالر ممکن دوی له پامه وغورځوي. د حساس مینځپانګې لپاره، سپارښتنه کیږي چې اضافي اقدامات لکه د لاسرسي کنټرول او تصدیق ترسره شي.

ګوګل-ایکسټنډډ یو ځانګړی کرالر ID دی چې ګوګل یې د AI محصولاتو لکه جیمیني او AI Overviews پراختیا لپاره کاروي. دا د منظم ګوګل لټون بوټ (ګوګل بوټ) څخه جلا دی؛ یوازې که دا بوټ بند شي نو ستاسو ویب پاڼه به د ګوګل لټون پایلو کې څرګندیدو ته دوام ورکړي.

کامن کرول د خلاصې سرچینې ویب آرشیف پروژه ده، او ډیری لوی ژبې ماډلونه (د GPT-3/4 په شمول) د روزنې لپاره د CCBot ډیټا کارولي دي. د CCBot بندول کولی شي ستاسو د مینځپانګې مقدار کم کړي چې راتلونکي خلاصې سرچینې AI ماډلونو ته به ننوځي.
ټولو وړیا وسایلو ته بیرته راشئ