SEO மற்றும் உள்ளடக்கம்

AI போட் அணுகல் கட்டுப்பாடு

உங்கள் தளத்தின் robots.txt கோப்பைப் பகுப்பாய்வு செய்யுங்கள்; GPTBot, ClaudeBot, Perplexity மற்றும் மேலும் 17 AI கிராலர்களின் அணுகல் நிலையை நிகழ்நேரத்தில் காணுங்கள்.

AI போட் அணுகல் கட்டுப்பாடு
தகவல்

AI போட் அணுகல் கட்டுப்பாடு தொடர்பாக

AI நிறுவனங்கள் (OpenAI, Anthropic, Google, Meta, Amazon மற்றும் பல) இணையத்தை ஊடுருவி, AI மாதிரிகளுக்குப் பயிற்சி அளிக்க அல்லது நிகழ்நேரத் தேடல்களைச் செய்ய சிறப்பு போட்களைப் பயன்படுத்துகின்றன. இந்த போட்கள் உங்கள் தளத்தை அணுகி, robots.txt இது உங்கள் கோப்பில் உள்ள விதிகளால் தீர்மானிக்கப்படுகிறது. இருப்பினும், எந்த போட்கள் அனுமதிக்கப்படுகின்றன, எவை தடுக்கப்பட்டுள்ளன என்பதை ஒரே இடத்தில் பார்ப்பது மிகவும் சிரமமானது.

AI Bot அணுகல் கட்டுப்பாட்டுக் கருவி நீங்கள் பார்வையிடும் வலைத்தளத்தைச் சரிபார்க்கிறது. robots.txt இது சர்வரிலிருந்து கோப்பை நிகழ் நேரத்தில் மீட்டெடுத்து, 17 வெவ்வேறு AI கிராலர்களின் நிலையைத் தானாகவே பகுப்பாய்வு செய்கிறது: GPTBot, ChatGPT-User, OAI-SearchBot (OpenAI); ClaudeBot, anthropic-ai, Claude-Web (Anthropic); PerplexityBot மற்றும் Perplexity-User (Perplexity); Google-Extended (Gemini/AI Overview); Applebot-Extended; CCBot (Common Crawl); Bytespider (TikTok); Amazonbot; meta-externalagent மற்றும் FacebookBot (Meta); DuckAssistBot மற்றும் cohere-ai. ஒவ்வொரு பாட்டிற்கும்... அங்கீகரிக்கப்பட்ட, ஊனமுற்றோர் அல்லது குறிப்பிடப்படவில்லை (இயல்புநிலை அனுமதி) வண்ணப் பேட்ஜ்கள் மூலம் அவர்களின் நிலையை நீங்கள் பார்க்கலாம்.

முடிவுகள் திரையில், AI போட்களை அணைப்பதற்கான ஒரு விருப்பமும் இடம்பெற்றுள்ளது. robots.txt எடுத்துக்காட்டு விதிகளும் வழங்கப்பட்டுள்ளன. நீங்கள் தளத்தின் உரிமையாளராக இல்லாத பட்சத்தில், எந்தவொரு தளத்தின் கொள்கையையும் ஆராய்வதற்கும் இதைப் பயன்படுத்தலாம். அனைத்து வினவல்களும் சேவையகப் பக்கத்திலிருந்தே மேற்கொள்ளப்படுகின்றன; கோரிக்கைகள் பொது ஐபி முகவரிகளுக்கு மட்டுமே அனுப்பப்படுகின்றன, பாதுகாப்புக் காரணங்களுக்காக உள்ளூர் மற்றும் தனிப்பட்ட பிணையத் தொகுதிகள் தடுக்கப்பட்டுள்ளன.

இதை எப்படி பயன்படுத்துவது?

படிப்படியாக

  1. டொமைன் பெயரை அல்லது முழு URL-ஐ உள்ளிடவும் (உதாரணமாக) example.com அல்லது https://example.com).
  2. சரிபார்க்கவும் பொத்தானைச் சொடுக்கவும்; கருவி தளத்தில் தோன்றும். robots.txt அது கோப்பை மீட்டெடுக்கிறது.
  3. ஒவ்வொரு AI போட்-க்கும் அங்கீகரிக்கப்பட்ட, ஊனமுற்றோர் அல்லது குறிப்பிடப்படாத வண்ணமயமான பேட்ஜ்கள் மூலம் உங்கள் நிலையைப் பார்க்கவும்.
  4. தேவைப்பட்டால், பக்கத்தின் கீழே உள்ள ஆயத்த விதிகளை உங்கள் தளத்தில் நகலெடுத்துக் கொள்ளலாம். robots.txt அதை கோப்பில் சேர்க்கவும்.
FAQ

அடிக்கடி கேட்கப்படும் கேள்விகள்

robots.txt என்பது, வலை ஊளர்கள் (web crawlers) எந்தப் பக்கங்களை அணுகலாம் என்பதைத் தெரிவிக்கும் ஒரு தரநிலை நெறிமுறை ஆகும். செயற்கை நுண்ணறிவு (AI) நிறுவனங்கள், தங்களின் தரவு சேகரிக்கும் போட்கள் இந்தக் கோப்பைப் பின்பற்றுவதை உறுதிசெய்ய உறுதிபூண்டுள்ளன. உங்கள் உள்ளடக்கம் செயற்கை நுண்ணறிவுப் பயிற்சித் தரவுத்தொகுப்புகளில் நுழைவதையோ அல்லது நிகழ்நேர செயற்கை நுண்ணறிவுத் தேடல்களில் பயன்படுத்தப்படுவதையோ தடுப்பதற்கு, இந்தக் கோப்பைச் சரியாக உள்ளமைப்பதே மிக விரைவான வழியாகும்.

உங்கள் robots.txt கோப்பில் அந்த பாட்டிற்கான ஒரு குறிப்பிட்ட விதி இல்லாமலும், `User-agent: * (all bots)` தொகுதியில் எந்தக் கட்டுப்பாடுகளும் இல்லாமலும் இருந்தால், அந்த பாட் இயல்பாகவே அணுக அனுமதிக்கப்பட்டதாகக் கருதப்படும். இதன் பொருள், நீங்கள் அந்த பாட்டைத் தடுக்க விரும்பினால், ஒரு தனிப்பயன் விதியைச் சேர்க்க வேண்டும்.

இல்லை, robots.txt என்பது ஒரு தொழில்நுட்ப மரியாதை நெறிமுறை; அது ஒரு சட்டப்பூர்வத் தேவை அல்ல. தீவிரமான செயற்கை நுண்ணறிவு நிறுவனங்களின் போட்கள் இந்த விதிகளைப் பின்பற்றுவதாக உறுதியளித்தாலும், தீங்கிழைக்கும் கிராலர்கள் அவற்றைப் புறக்கணிக்கக்கூடும். முக்கியமான உள்ளடக்கத்திற்கு, அணுகல் கட்டுப்பாடு மற்றும் அங்கீகாரம் போன்ற கூடுதல் நடவடிக்கைகளை எடுப்பது பரிந்துரைக்கப்படுகிறது.

கூகிள்-எக்ஸ்டென்டட் என்பது, ஜெமினி மற்றும் ஏஐ ஓவர்வியூஸ் போன்ற செயற்கை நுண்ணறிவுத் தயாரிப்புகளை உருவாக்க கூகிள் பயன்படுத்தும் ஒரு சிறப்பு கிராலர் ஐடி ஆகும். இது வழக்கமான கூகிள் தேடல் பாட்டிலிருந்து (கூகிள்பாட்) வேறுபட்டது; இந்த பாட் தடுக்கப்பட்டால் மட்டுமே உங்கள் வலைப்பக்கம் கூகிள் தேடல் முடிவுகளில் தொடர்ந்து தோன்றும்.

காமன் கிரால் என்பது ஒரு திறந்த மூல வலைக் காப்பகத் திட்டமாகும், மேலும் பல முக்கிய மொழி மாதிரிகள் (GPT-3/4 உட்பட) பயிற்சிக்காக CCBot தரவைப் பயன்படுத்தியுள்ளன. CCBot-ஐத் தடுப்பதன் மூலம், எதிர்காலத் திறந்த மூல செயற்கை நுண்ணறிவு மாதிரிகளில் நுழையும் உங்கள் உள்ளடக்கத்தின் அளவைக் குறைக்கலாம்.
அனைத்து இலவச கருவிகளுக்கும் திரும்பு