இணையதளங்களுக்கு தாக்குதல் செய்யும் போலி Googlebot களை .htaccess மூலம் கண்டறிந்து தடுப்பது

போலி Googlebot களை .htaccess மூலம் கண்டறிந்து தடுப்பது, உங்கள் இணையதளத்திற்கு Googlebot போல தோன்றி வரும் சேதிகரமான பாட்டுகளை பயனர் முகமைக்கு, IP உறுதிப்படுத்தலுக்கு மற்றும் அணுகல் பதிவுகளுக்கு அடிப்படையாகக் கொண்டு பிரித்து, உண்மையான Google தேடல் கருவிகளை பாதிக்காமல் 403 மூலம் நிறுத்தும் செயலாகும். மிகவும் பாதுகாப்பான முறை; வெறும் User-Agent மதிப்பிற்கு நம்பவில்லை, Google இன் அதிகாரப்பூர்வ IP வரம்புகளை அல்லது எதிர்மறை DNS உறுதிப்படுத்தலை அடிப்படையாகக் கொண்டு, முதலில் பதிவு செய்வது, பின்னர் கட்டுப்பாட்டுடன் .htaccess விதிகளை மூலம் தடுப்பது ஆகும்.

பல தாக்குதல் செய்யும் பாட்டுகள், பாதுகாப்பு சுவர்களை மற்றும் எளிய பாட்டுப்过滤ங்களை மீற உதவுவதற்காக, Googlebot, Google-InspectionTool, AdsBot-Google அல்லது Googlebot-Image போலத்தான் தன்னை அறிமுகப்படுத்துகின்றன. ஏனெனில், இணையதள உரிமையாளர்கள் பெரும்பாலும் Google தேடலைத் தடுப்பதில் அஞ்சுகிறார்கள். இந்த இடம்; உள்ளடக்கம் கறுக்குதல், அதிக ஆதார உபயோகத்தை, போலி போக்குவரத்து, படிவ ஸ்பாம், உள்நுழைவு முயற்சிகள் மற்றும் SEO தரவுகளின் மாசுபாட்டை போன்ற பிரச்சினைகளை உருவாக்குகிறது. குறிப்பாக பகிர்ந்து கொள்ளப்படும் ஹோஸ்டிங், WordPress, WooCommerce, செய்தி இணையதளங்கள் மற்றும் அடிக்கடி புதுப்பிக்கப்படும் பிளாக்குகளில் இந்த போக்குவரத்து விரைவில் CPU, RAM மற்றும் I/O வரம்புகளை சிக்கலாக்கலாம். இந்த வழிகாட்டியில் போலி Googlebot நடத்தைகளை நீங்கள் எப்படி வாசிப்பது, Apache .htaccess மூலம் எப்படி பாதுகாப்பான விதி எழுதுவது மற்றும் உண்மையான Googlebot ஐ தவறாக தடுப்பதற்காக நீங்கள் செய்ய வேண்டிய கட்டுப்பாடுகளை எவ்வாறு செய்ய வேண்டும் என்பதனை படி படியாக விவரிக்கிறோம். உங்கள் இணையதளத்திற்கு பாதுகாப்பான, விரைவான மற்றும் அளவிடக்கூடிய ஒரு அடிப்படையினை தேவைப்பட்டால் Hostragons வலை ஹோஸ்டிங் தீர்வுகள் மற்றும் SSL சான்றிதழ் அமைப்பு உள்ளடக்கங்களை உங்கள் திட்டத்தில் சேர்க்கலாம்.

போலி Googlebot என்ன மற்றும் இது ஏன் அபாயமாக உள்ளது?

போலி Googlebot, HTTP கோரிக்கையில் User-Agent புலத்தை Googlebot போல காட்டினாலும், Google இன் சொந்தம் அல்லாத IP முகவரியிலிருந்து வரும் தானியங்கி உலாவி ஆகும். User-Agent என்பது, கிளையண்ட் தன்னை அறிமுகப்படுத்தும் எளிய உரை; அதாவது தொழில்நுட்பமாக அனைவரும் தங்கள் கோரிக்கையில் Googlebot என்று எழுதலாம். எனவே, வெறும் User-Agent கட்டுப்பாடு, பாதுகாப்பு அடிப்படையில் போதுமானது அல்ல.

உண்மையான Googlebot இன் நோக்கம் உங்கள் இணையதளத்தை தேடுவது, பட்டியலிடுவது, பக்கம் புதுப்பிப்புகளை கண்டுபிடிப்பது மற்றும் தேடல் முடிவுகளுக்கான தரம் சிக்னல்களை சேகரிப்பதாகும். ஆனால், போலி Googlebot பெரும்பாலும் மாறுபட்ட இலக்குகளுடன் வருகிறார்கள். எடுத்துக்காட்டாக, அவர்கள் பொருள் விலைகளை கறுக்கலாம், உங்கள் உள்ளடக்கங்களை நகலெடுக்கலாம், நிர்வாக அட்டவணை URL களை முயற்சிக்கலாம், தேடல் பக்கங்களில் சுமையை ஏற்படுத்தலாம் அல்லது பலவீனமான இணைப்புக்களை தேடலாம். சில தாக்குதல் செயலாளர்கள் ஒரு நொடியில் பல கோரிக்கைகளை அனுப்புவதால், சிறிய இணையதளத்தில் கூட செயல்திறனை குறைக்கும்.

ஆதாரபூர்வமாக, போலி பாட்டுகளை மிகச் சற்று முன்னேற்பாடு கொண்ட செயல்களுடன் காணலாம்:

• குறுகிய காலத்தில் நூற்றுக்கணக்கான 404, 403 அல்லது 500 பதில்களை உருவாக்கும் கோரிக்கைகள்.
• wp-login.php, xmlrpc.php, நிர்வாகம், phpmyadmin, backup.zip போன்ற அடிப்படைத்துறைமுகங்களை தேடுதல்.
• User-Agent Googlebot போல இருப்பினும், IP முகவரி Google ASN அல்லது அதிகாரப்பூர்வ IP வரம்புகளில் இல்லாதது.
• Robots.txt விதிகளை மதிக்காமல் வடிகட்டி, தேடல், கையிருப்பு அல்லது கணக்கு பக்கங்களை சுற்றிவளைத்தல்.
• சாதாரண Googlebot ஐ விட மாறுபட்டதாக, மிக உயர்ந்த அடிக்கொட்டுடன் ஒரே URL களை கேட்குதல்.

ஏன் வெறும் User-Agent கட்டுப்பாடு போதுமானது அல்ல?

ஒரு பாட்டின் HTTP தலைப்பில் Googlebot எழுதுவது, அது Google இன் சொந்தம் என்பதை நிரூபிக்காது. எடுத்துக்காட்டாக, கட்டளை வரியில் ஒரே ஒரு curl கோரிக்கையால் User-Agent எளிதாக நகலெடுக்கப்படலாம். எனவே, .htaccess இல் வெறும் Googlebot வார்த்தையை பிடித்து அனைவரையும் தடுப்பதும், அனைவரையும் விடுவிப்பதும் தவறாகும். முதலாம், உண்மையான Google தேடலை நிறுத்தலாம், இரண்டாவது, தாக்குதலாளர்களுக்கு திறந்த இடத்தை அளிக்கிறது.

2026 SEO மற்றும் பாதுகாப்பு அணுகுமுறை சரியான உத்தி மூன்று அடுக்குகளில் உள்ளது: கூறப்படும் அடையாளத்தை சரிபார்க்க, IP அல்லது DNS மூலம் உறுதிப்படுத்த, அசாதாரண நடத்தைகளை பதிவு மூலம் கண்காணிக்க. இந்த அணுகுமுறை உங்கள் Google காட்சியினை பாதுகாக்கும் மற்றும் உங்கள் சேவையக வளங்களை தேவையற்ற பாட்டுகளிலிருந்து சுத்தமாக்கும்.

உண்மையான Googlebot எப்படி உறுதிப்படுத்தப்படுகிறது?

Google, உண்மையான உலாவிகளை உறுதிப்படுத்த இரண்டு முக்கியமான முறைகளை பரிந்துரை செய்கிறது: எதிர்மறை DNS உறுதிப்படுத்தல் மற்றும் அதிகாரப்பூர்வ IP வரம்புகள். எதிர்மறை DNS முறையில் கோரிக்கையை செய்யும் IP முகவரி googlebot.com அல்லது google.com இல் முடிவடைய வேண்டும், பிறகு அந்த தளத்தின் பெயர் மீண்டும் அதே IP முகவரிக்கு தீர்வு அளிக்க வேண்டும். இந்த இரு திசை உறுதிப்படுத்தல், போலி PTR பதிவு மூலம் ஏமாற்றப்படுவதைக் கெடுக்கிறது.

இரண்டாவது முறை, Google வெளியிட்ட அதிகாரப்பூர்வ IP வரம்புகளைப் பயன்படுத்துவது. Googlebot, தனிப்பட்ட உலாவிகள் மற்றும் பயனர் தூண்டுதலால் அழைப்பாளர்களுக்கான வெவ்வேறு JSON பட்டியல்களை வெளியிடுகிறது. குறிப்பாக, dinamik பட்டியல்கள் காலப்போக்கில் மாறக்கூடியதால், உற்பத்தி சூழலில் கையேடு எழுதப்பட்ட பழைய IP பட்டியல்களுக்கு நீண்ட காலமாக நம்புவது சரியானது அல்ல. VPS அல்லது சேவையகம் மேலாண்மை உங்கள் கையில் இருந்தால், இந்த பட்டியல்களை குறிப்பிட்ட இடைவெளிகளில் இழுத்து, பாதுகாப்பு சுவர் அல்லது Apache உள்ளீட்டு கோப்பாக புதுப்பிப்பது மிகவும் ஆரோக்கியமான அணுகுமுறை ஆகும். பகிர்ந்து கொள்ளப்பட்ட ஹோஸ்டிங் பயன்படுத்தினால், உங்கள் நிர்வாக அட்டவணையில் உள்ள அணுகல் பதிவுகள், .htaccess மற்றும் இருந்தால் பாதுகாப்பு மாடியுடன் கட்டுப்பாட்டுடன் முன்னேறலாம்.

.htaccess மூலம் போலி Googlebot தடுப்பு செயல்முறை

.htaccess, Apache இணைய சேவையகத்தில் அடுக்குகளின் அடிப்படையில் விதிகளை வரையறுக்க உங்களுக்கு அனுமதிக்கிறது. URL மறுவரைப்படுத்தல், அணுகல் கட்டுப்பாடு, சுருக்கம், கேஷிங் மற்றும் அடிப்படையான பாதுகாப்பு கட்டுப்பாடுகளுக்காக பயன்படுத்தப்படுகிறது. போலி Googlebot தடுப்பில் .htaccess இன் பங்கு, வரும் கோரிக்கையை குறிப்பிட்ட சூழ்நிலைகளுடன் மதிப்பீடு செய்து, சந்தேகத்திற்குள்ளானவற்றை 403 Forbidden பதிலுடன் நிறுத்துவதற்காக உள்ளது.

ஆனால் ஒரு முக்கியமான வரையறை உள்ளது: தரநிலையிலான .htaccess தனிப்பட்ட நேரத்தில் எதிர்மறை DNS கேள்விகளை செய்ய சிறந்த இடம் அல்ல. Apache இல் HostnameLookups பெரும்பாலும் செயல்திறனை காரணமாக மூடப்பட்டுள்ளது. எனவே, .htaccess இல் மிகவும் நடைமுறைமான முறை, Googlebot ஆக இருப்பதாகக் கூறும் கோரிக்கைகளை IP அனுமதியோடு ஒப்பிடுவது அல்லது சந்தேகத்திற்குள்ளான வழிகளை மிகக் கடுமையான வடிகட்ட வேண்டும். மேலும் மேம்பட்ட உறுதிப்படுத்தலுக்கு WAF, சேவையகம் பாதுகாப்பு சுவர், CDN அல்லது பதிவுகளைப் பிளவுபடுத்தும் தானியங்கி பயன்படுத்தப்படுகிறது. CDN என்ன மற்றும் இணையதளத்தின் செயல்திறனை எப்படி பாதிக்கிறது உள்ளடக்கம் இந்த அடுக்கையை திட்டமிட உதவலாம்.

படி படியாக செயல்படுத்தல்: போலி Googlebot களை கண்டறிந்து தடுப்பது

1. அணுகல் பதிவுகளை ஆய்வு செய்க

தடுப்பிற்கான விதியை எழுதுவதற்கு முன், குறைந்தது 24-72 மணி நேரகால அணுகல் பதிவுகளை ஆய்வு செய்க. உங்கள் போக்குவரத்து அளவு அதிகமாக இருந்தால், ஒரு மணி நேர பதிவேடு கூட போதுமான சிக்னலை அளிக்கலாம். நீங்கள் கவனிக்க வேண்டிய பகுதிகள் IP முகவரி, தேதி, கேட்ட URL, HTTP நிலை குறியீடு, பிட்ச் அளவு, குறிப்பிடுபவர் மற்றும் User-Agent தகவலாகும். எடுத்துக்காட்டாக, ஒரே IP முகவரி 10 நிமிடங்களில் 800 கோரிக்கைகளை உருவாக்குகிறது, பெரும்பாலும் 404 ஆக திரும்புகிறது மற்றும் தன்னை Googlebot ஆக அறிமுகப்படுத்தினால், இது ஒரு வலுவான சந்தேகம் சிக்னல் ஆகும்.

cPanel அல்லது சமமான கட்டுப்படுத்தப்பட்ட உள்நுழைவு பதிவுகளை Raw Access Logs பகுதியில் பதிவிறக்கம் செய்யலாம். SSH அணுகல் இருந்தால், Googlebot என்பதாகக் கூறும் கோரிக்கைகளை வடிகட்டி, grep, awk மற்றும் sort போன்ற கருவிகளைப் பயன்படுத்தி IP அடிப்படையிலான அடர்த்தியை வெளியேற்றலாம். எடுத்துக்காட்டாக, நோக்கம், Googlebot என்று எழுதும் ஒவ்வொரு கோரிக்கையையும் அல்லாமல், இந்த குறிப்பு கொண்ட IP களின் நடத்தையை காண்பது ஆகும்.

2. Googlebot என்பதாகக் கூறும் IP களை உறுதிப்படுத்தவும்

சந்தேகமான IP களை அடையாளங்காணிவதற்குப் பிறகு, எதிர்மறை DNS மற்றும் முன்னணி DNS சரிபார்க்கவும். ஒரு IP க்கு PTR பதிவு crawl-66-249-66-1.googlebot.com போல தோன்றினால், முதல் கட்டத்தை கடக்கிறது. பிறகு, அந்த தளத்தை மீண்டும் தீர்வு அளிக்கும் போது, அது அதே IP க்கு திரும்ப வேண்டும். PTR பதிவு இல்லாவிட்டால், வெவ்வேறு தளத்திற்கு செல்கிறது அல்லது முன்னணி தீர்வு அதே IP ஐ வழங்கவில்லை என்றால், உண்மையான Googlebot எனக் கொள்ள முடியாது.

இந்த சரிபார்ப்பு, குறிப்பாக SEO அடிப்படையில் முக்கியமான இணையதளங்களில் தவறான தடுப்புகளைத் தவிர்க்க உதவுகிறது. ஏனெனில் உண்மையான Googlebot ஐ தடுப்பது; புதிய உள்ளடக்கங்கள் பின்னர் கண்டுபிடிக்க, பட்டியலின் புதுப்பிப்பு குறைவதற்கு, Google தேடல் கன்சோலில் கேட்கும் தவறுகள் மற்றும் இயற்கை போக்குவரத்தில் தாமதமாக இழப்புகளை உருவாக்கலாம். எனவே, தடுப்புக்கான முடிவை ஒரு வரியில் User-Agent விதியால் அல்லாமல், உறுதிப்படுத்தல் செயல்முறையால் எடுக்க வேண்டும்.

3. முதலில் பதிவு செய்யவும், பின்னர் தடுப்பைச் செய்யவும்

பாதுகாப்பான செயல்களில் நேரடியாக தடுப்பதற்கு பதிலாக, குறுகிய பார்வை கட்டம் பரிந்துரை செய்யப்படுகிறது. முதல் கட்டத்தில் சந்தேகமான IP களை மற்றும் User-Agent களை பதிவு செய்க. இரண்டாவது கட்டத்தில், தெளிவாக தீங்கான நடத்தையைக் காட்டும் வழிகளையே சிக்கனமாக்குங்கள். மூன்றாவது கட்டத்தில், Googlebot என்பதாகக் கூறி Google IP வரம்பில் இல்லாத கோரிக்கைகளை தடுங்கள்.

இந்த அணுகுமுறை, குறிப்பாக மின்னணு வர்த்தக இணையதளங்களில் முக்கியமாகும். ஏனெனில் தவறான விதி, பணம் செலுத்துதல், கையிருப்பு, தயாரிப்பு மாறுபாடுகள் அல்லது கையிருப்பு ஒருங்கிணைப்புகளைப் போன்ற முக்கிய ஓட்டங்களை பாதிக்கலாம். உங்கள் இணையதளம் அதிக போக்குவரத்தைப் பெறுமானால், முதலில் சோதனை சூழலில் சோதிக்கவும். WordPress தளம் மாற்றுதல் மற்றும் சோதனை சூழல் உருவாக்குதல் போன்ற செயல்முறைகள், பாதுகாப்பு விதி மாற்றங்களை அதிகமாகக் குறைவாகச் செய்ய உதவுகிறது.

பாதுகாப்பான .htaccess விதி எடுத்துக்காட்டுகள்

கீழ்காணும் எடுத்துக்காட்டுகள் உற்பத்தி சூழலுக்கு நேரடியாக நகலெடுக்கப்படுவதற்கு முன்னர் உங்கள் சேவையகத்தின் Apache பதிப்பு, செயல்பாட்டில் உள்ள மாதிரியான சோதனை செய்யப்பட வேண்டும். Apache 2.4 மற்றும் mod_rewrite பொதுவாக ஆதரிக்கப்படுகிறது; ஆனால் சில பகிர்ந்து கொள்ளப்பட்ட சூழல்களில் குறிப்பிட்ட உத்திகள் கட்டுப்படுத்தப்படலாம். .htaccess கோப்புகளைத் திருத்துவதற்கு முன்பு, தவறான எழுத்து உங்கள் இணையதளத்தில் 500 Internal Server Error ஐ உருவாக்கலாம் என்பதால், பேக் எடுத்து கொள்ளுங்கள்.

எளிய நடத்தை வடிகட்டி: அடிப்படைத்துறைகளில் போலி பாட்டுகளை நிறுத்துதல்

இந்த அணுகுமுறை, Googlebot போல தோன்றும் பாட்டுகள் நிர்வாகம் மற்றும் தாக்குதல் இலக்காக உள்ள கோப்புகளை அணுகுவதைக் தடுக்கும். உண்மையான Googlebot இன் wp-login.php, phpmyadmin அல்லது காப்பு zip கோப்புகளை தேடுவதே தேவையில்லை. எனவே, தவறான நேரம் நிலையானது குறைந்தது.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Google-InspectionTool|AdsBot-Google|Mediapartners-Google) [NC]
• RewriteCond %{REQUEST_URI} (wp-login[.]php|xmlrpc[.]php|phpmyadmin|adminer|backup|[.]sql|[.]zip) [NC]
• RewriteRule ^ - [F,L]

இந்த விதி, Googlebot ஆகத் தன்னை அறிமுகப்படுத்தும் ஒரு கிளையண்ட் அடிப்படைத்துறைகளுக்கு வந்தால் 403 ஐ திருப்புகிறது. SEO தேடலை பாதிக்கிறதோ இல்லை என்பதற்கான வாய்ப்பு குறைவாகவே உள்ளது, ஏனெனில் இந்த வழிகள் Google பட்டியலில் உள்ளவை அல்ல. மீண்டும், WordPress ஐப் பயன்படுத்தினால், பாதுகாப்பு இணைப்புகள், XML-RPC தேவை மற்றும் தொலைபார்ப்பு சேவைகள் ஆகியவற்றைப் பார்க்க வேண்டும்.

IP அனுமதியோடு செயல்முறை: Googlebot என்பதாகக் கூறும் கோரிக்கையை அதிகாரப்பூர்வ வரம்புகளுடன் ஒப்பிடுதல்

மேல் படிக்கும் முறையானது, Googlebot என்பதாகக் கூறும் கோரிக்கையை வெறும் நம்பத்தக்க IP வரம்புகளிலிருந்து வந்தால் அனுமதிக்க வேண்டும். கீழ்காணும் எடுத்துக்காட்டு உருவாக்கும் முறை காட்டப்படுகிறது; IP வரம்புகளை Google இன் தற்போதைய அதிகாரப்பூர்வ பட்டியலுக்கு ஏற்ப உருவாக்க வேண்டும். பழைய அல்லது குறைவான பட்டியல்கள் உண்மையான Googlebot ஐ தவறாகத் தடுக்கும்.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Googlebot-Image|Googlebot-News|Google-InspectionTool|AdsBot-Google) [NC]
• RewriteCond expr "! ( %{REMOTE_ADDR} -ipmatch '66.249.64.0/19' || %{REMOTE_ADDR} -ipmatch '64.233.160.0/19' || %{REMOTE_ADDR} -ipmatch '72.14.192.0/18' )"
• RewriteRule ^ - [F,L]

இதில் உள்ள IP வரம்புகள் எடுத்துக்காட்டாகக் கொடுக்கப்பட்டுள்ளன. உற்பத்தியில் Google இன் தற்போதைய googlebot IP JSON பட்டியலிலிருந்து தானியக்கமாக உருவாக்கப்பட்ட வரம்புகளைப் பயன்படுத்த வேண்டும். Apache வெளிப்பாடு அல்லது -ipmatch உங்கள் சேவையகத்தில் ஆதரவளிக்கப்படவில்லை என்றால், உங்கள் ஹோஸ்டிங் வழங்குநரிடமிருந்து Apache 2.4 வெளிப்பாடு ஆதரவை உறுதிப்படுத்துங்கள். மாற்றாக, CDN/WAF அடிக்கடி IP பட்டியலுடன் விதியை உருவாக்கலாம்.

சந்தேகமான கோரிக்கையின் வேகத்தை குறைப்பது

.htaccess நேரடியாக மேம்பட்ட வீதத்தை கட்டுப்படுத்துவதற்கான சிறந்த கருவி அல்ல; ஆனால் சில தீங்கான நடத்தைகளை முற்றிலும் நிறுத்துவதற்கு உதவும். உண்மையான வேகக் கட்டுப்பாட்டிற்காக mod_evasive, mod_security, CDN வேகக் கட்டுப்பாடு அல்லது பயன்பாட்டின் அடிப்படையில் பாதுகாப்பு பயன்படுத்தப்பட வேண்டும். குறிப்பாக, இரண்டாவது 5-10 இற்குமேல் தொடர்ச்சியான கோரிக்கைகளை அனுப்பும் பாட்டுகள், சிறிய இணையதளங்களில் கூட தரவுத்தள கேள்விகளை அதிகரிக்கின்றன. WordPress போன்ற இயக்கக்கூடிய அமைப்புகளில் தேடல் பக்கம், வடிகட்டப்பட்ட வகை மற்றும் குறிச்சொல் பக்கங்கள் பாட்டுகளால் துருப்பிடிக்கப்படலாம். இந்த பகுதிகள் robots.txt, canonical, noindex மற்றும் பாதுகாப்புக் கட்டுப்பாடுகளை ஒரே நேரத்தில் கவனிக்க வேண்டும். WordPress வேகம் நேர்மை வழிகாட்டி செயல்திறனை முடிக்கிறது.

ஒப்பீட்டு அட்டவணை: எப்போது எந்த முறையைப் பயன்படுத்த வேண்டும்?

தவறாக உண்மையான Googlebot ஐ தடுப்பதற்கான கட்டுப்பாட்டு பட்டியல்

போலி Googlebot க்களை தடுக்கும் போது, உண்மையான Google உலாவிகளை தடுப்பதற்கான மிகப் பெரிய ஆபத்து உள்ளது. இதைத் தடுப்பதற்காக, ஒவ்வொரு மாற்றத்திற்குப்பிறகு சற்று கட்டுப்பாட்டு பட்டியலை செயல்படுத்துங்கள்:

• Google Search Console தேடல் புள்ளிவிவரங்கள் அறிக்கையில் திடீரென சரிவுகள் அல்லது 403 அதிகரிப்புகள் உள்ளதா எனச் சரிபார்க்கவும்.
• சேவையக பதிவுகளில் உண்மையான Google IP களிலிருந்து வரும் கோரிக்கைகளுக்கு 200, 301 அல்லது பொருத்தமான நிலை குறியீடுகள் திரும்புகிறதா என ஆய்வு செய்யவும்.
• robots.txt கோப்பில் Googlebot க்கு மூடிய முக்கிய அடிப்படைகளுக்காக அணுகலைத் தடுப்பதற்கான உண்மைகள் உறுதி செய்யவும்.
• .htaccess மாற்றத்திற்குப் பிறகு மற்றும் முன்னதாக, இணையதள வரைபடம், முதன்மை பக்கம், வகை மற்றும் முக்கிய தயாரிப்பு பக்கங்களை சோதிக்கவும்.
• நீங்கள் பயன்படுத்தும் IP பட்டியலின் மூலத்தை மற்றும் புதுப்பிப்பு தேதியை பதிவு செய்யவும்.

தொழில்நுட்ப SEO அடிப்படையில் 403 பதில் ஒரு வலுவான சிக்னல் ஆகும். உண்மையான Googlebot முக்கிய பக்கங்களில் மீண்டும் மீண்டும் 403 ஐப் பார்க்கும் பட்சத்தில், அந்த URL கள் தேடப்படுவது குறைவாகலாம். எனவே, 403 ஐ வெறும் மிகவும் விரும்பாத பாட்டுகளை மற்றும் அடிப்படைத்துறைகளை மட்டுமே பயன்படுத்த வேண்டும். பராமரிப்பு, தற்காலிகமான அடர்த்தி அல்லது வேகக் கட்டுப்பாட்டின் போக்கில் 429 Too Many Requests சில நிகழ்வுகளில் மேலும் பொருத்தமாக இருக்கலாம்; ஆனால் .htaccess உடன் எளிய பாட்டுப் தடுப்பில் 403 மேலும் பரவலாகவும் புரிந்துகொள்ளக்கூடியதாகவும் உள்ளது.

WordPress மற்றும் மின்னணு வர்த்தக இணையதளங்களுக்கு கூடுதல் முன்னெச்சரிக்கைகள்

WordPress இணையதளங்களில் போலி Googlebot போக்குவரத்து பொதுவாக xmlrpc.php, wp-login.php, REST API முனைகள், தேடல் URL கள் மற்றும் ஆசிரியர் அரங்கேற்றங்களில் மையமாக்கப்படுகிறது. மின்னணு வர்த்தக இணையதளங்களில், வடிகட்டி அளவைகள், கையிருப்பு கேள்விகள், கையிருப்பு முனைகள் மற்றும் தயாரிப்பு மாறுபாடுகள் குறிக்கோளாக உள்ளன. எனவே, Googlebot போலவே உள்ளவர்களை மட்டும் அல்ல, பொதுவாக பாட்டுப் ப hygiene யையும் கவனிக்க வேண்டும்.

• உள்நுழைவு பக்கம் இரண்டு காரிய உறுதிப்படுத்தல் மற்றும் முயற்சி வரம்பு பயன்படுத்தவும்.
• பயன்படுத்தாத XML-RPC செயல்பாடுகளை மூடுங்கள் அல்லது கட்டுப்படுத்துங்கள்.
• தேடல் மற்றும் வடிகட்டல் URL களில் noindex, canonical மற்றும் robots.txt உத்திகளை ஒன்றாக திட்டமிடுங்கள்.
• புதுப்பிக்கப்பட்ட PHP பதிப்பு, புதுப்பிக்கப்பட்ட தீமை மற்றும் நம்பகமான இணைப்புகளைப் பயன்படுத்துங்கள்.
• SSL சான்றிதழை செயல்பாட்டில் வைத்திருங்கள்; பாதுகாப்பான அமர்வு மற்றும் படிவ அனுப்புவதற்காக HTTPS கட்டாயமாகிறது. Hostragons SSL சான்றிதழ்கள்
• உங்கள் டொமைனின் DNS பதிவுகளை சீராகச் சரிபார்க்கவும்; தவறான DNS மற்றும் பலவீனமான மின்னஞ்சல் பதிவுகள் பாதுகாப்பு ஆபத்தை அதிகரிக்கும். அமைப்பு விசாரணை மற்றும் DNS மேலாண்மை

செயல்திறன் பாதிப்பு: பாட்டுப் போக்குவரத்து சேவையக வளங்களை எவ்வாறு பயன்படுத்துகிறது?

பாட்டுப் போக்குவரத்து வெறும் பாதுகாப்பு பிரச்சினை அல்ல; இது ஹோஸ்டிங் செயல்திறனின் பிரச்சினையாகும். நிலையான ஒரு காட்சியை கேட்குவது குறைந்த செலவானது, ஆனால் WordPress தேடல் முடிவுகள் அல்லது WooCommerce வடிகட்டல் கோரிக்கைகள் தரவுத்தள கேள்விகளை உருவாக்கும். போலி Googlebot ஒரு நிமிடத்திற்கு 300 இயக்கக் கோரிக்கைகளை அனுப்பினால், கேஷ் செய்யப்படாத பக்கங்களில் PHP தொழிலாளர்கள் நிரம்பலாம், தரவுத்தள இணைப்புகள் அதிகரிக்கலாம் மற்றும் உண்மையான பயனர்கள் மெதுவாக செயல்படலாம்.

ஒரு எளிய எடுத்துக்காட்டை கொடுக்கலாம்: ஒரு தயாரிப்பு வடிகட்டல் பக்கம் சராசரியாக 250 ms PHP செயல்திறனைப் பயன்படுத்தினால், ஒரு நிமிடத்திற்கு 600 பாட்டுப் கோரிக்கைகள் 150 வினாடிக்கு செயல்திறனை உருவாக்கும். இந்த சுமை பறவைகளுடன் இணைந்து CPU வரம்பைக் கடக்கிறது மற்றும் TTFB மதிப்புகள் உயர்கின்றன. Core Web Vitals பக்கம் மெதுவான சேவையக பதில்கள், Dolaylı olarak பயனர் அனுபவம் மற்றும் மாற்று விகிதங்களை பாதிக்கலாம். எனவே, பாட்டுப் தடுப்பு, பாதுகாப்பு குழுவின் மட்டும் அல்ல, SEO மற்றும் செயல்திறன் மேம்பாட்டின் ஒரு பகுதியாகும்.

சோதனை: உங்கள் விதிகள் செயல்படுகின்றனவா?

.htaccess விதியைச் சேர்த்த பிறகு மூன்று சோதனைகள் செய்யவும். முதலில், சாதாரண உலாவியுடன் உங்கள் இணையதளத்தின் முதன்மை பக்கத்தை, முக்கிய வகை பக்கங்களை மற்றும் உள்நுழைவு ஓட்டங்களை சோதிக்கவும். இரண்டாவது, Google Search Console URL சோதனை உத்தியத்தில் முக்கிய URL ஐ நேரடியாக சோதிக்கவும். மூன்றாவது, பதிவுகளில் Googlebot User-Agent உடன் வரும் சந்தேகமான IP கள் 403 ஐப் பெறுவதை மற்றும் உண்மையான Google உறுதிப்படுத்தல் கடந்த IP கள் தடுப்பதில்லை என்பதைக் கண்டுபிடிக்கவும்.

கட்டளை வரியுடன் சோதனை செய்யும்போது, நீங்கள் Googlebot போலவே சுயத்தை அறிமுகப்படுத்தலாம்; ஆனால் இந்த சோதனை உண்மையான Googlebot ஆக இருக்கவில்லை, வெறும் விதியின் User-Agent பகுதி செயல்படுகிறதா என்பதைக் கண்டறிய உதவுகிறது. உண்மையான உறுதிப்படுத்தல் IP மற்றும் DNS மூலம் செய்யப்பட வேண்டும். சோதனை முடிவில் 500 பிழை கிடைத்தால், உங்கள் .htaccess கோப்பில் எழுத்து பிழை இருக்கலாம். இந்த நிலையில, நீங்கள் கடைசி சேர்த்த வரிகள் மீண்டும் எடுக்கவும், பிழை பதிவுகளை ஆய்வு செய்யவும் மற்றும் உங்கள் சேவையகம் ஆதரிக்கும் Apache உத்திகளை சரிபார்க்கவும்.

பராமரிப்பு திட்டம்: விதிகளை எவ்வளவு அடிக்கடி புதுப்பிக்க வேண்டும்?

பாட்டுப் தடுப்பு ஒரே முறை செய்யும் செயல்முறை அல்ல. Google IP வரம்புகள் மாறலாம், தாக்குதலாளர்களின் User-Agent வடிவங்கள் மாறலாம் மற்றும் உங்கள் இணையதளத்தின் URL கட்டமைப்பு காலப்போக்கில் புதுப்பிக்கப்படும். குறைந்த போக்குவரத்து கொண்ட இணையதளங்களில், மாதத்தில் ஒரு முறை பதிவுகளைப் பரிசீலனை செய்தால் போதுமானது. அதிக அளவிலான செய்தி, மின்னணு வர்த்தகம் அல்லது பிரச்சனையுள்ள இணையதளங்களில் வாராந்திர சரிபார்ப்பு மிகவும் ஆரோக்கியமாக இருக்கும். பெரிய அளவிலான திட்டங்களில் தானியக்க எச்சரிக்கைகள் அமைக்குவது சிறந்த அணுகுமுறை; எடுத்துக்காட்டாக, Googlebot User-Agent கொண்டு இருப்பினும் உறுதிப்படுத்த முடியாத IP களிலிருந்து வரும் கோரிக்கைகள் எண்ணிக்கை குறிப்பிட்ட எல்லையை மீறினால், அறிவிப்பு உருவாக்கலாம்.

மேலும், உங்கள் .htaccess கோப்புகளை பதிப்பீடு செய்யவும். எளிதாக, தேதி கொண்ட பேக் எடுக்கவும் பிரச்சினை நேரத்தில் திரும்பி வருவது விருப்பமாகும். எடுத்துக்காட்டாக, htaccess-2026-02-15.bak போன்ற கோப்புப் பெயர்களுடன் மாற்றங்களின் வரலாற்றைப் பதிவு செய்யலாம். சிலர் இணையதளத்தை நிர்வகித்தால், விதி சேர்க்கும் நபர் என்னை ஏன் சேர்த்தது என்பதைச் சிறு குறிப்புகளுடன் பதிவு செய்வது சாத்தியமான இடைவெளிகளை குறைக்கிறது.

முடிவுரை

போலி Googlebot களை .htaccess மூலம் கண்டறிந்து தடுப்பது, சரியாக செய்யப்படும்போது உங்கள் SEO காட்சியினை பாதுகாத்து உங்கள் சேவையக வளங்களை தீய நோக்குள்ள உலாவிகளிலிருந்து சுத்தமாக்குகிறது. அடிப்படையான princípio தெளிவாக உள்ளது: User-Agent தனியாக ஆதாரம் இல்லை; IP, DNS, நடத்தை மற்றும் பதிவு பகுப்பாய்வு ஒன்றாக மதிப்பீடு செய்யப்பட வேண்டும். முதலில் கவனிக்கவும், பின்னர் குறைந்த ஆபத்துள்ள வழிகளைச் சட்டமுறை செய்யவும், இறுதியாக, தற்போதைய Google IP பட்டியலுடன் உறுதிப்படுத்தல் அடிப்படையிலான தடுப்புகளை செயல்படுத்தவும்.

Hostragons அடிப்படையில் உங்கள் இணையதளத்தை மையமாக்கும்போது, பாதுகாப்பான ஹோஸ்டிங், தற்போதைய SSL, சரியான DNS மற்றும் சீரான பேக்கிங் அடுக்குகளை ஒருங்கிணைக்கவும் நீண்ட காலத்தில் அதிக நிலையான இணைய அனுபவத்தை வழங்குகிறது. நீங்கள் உங்கள் தற்போதைய இணையதளத்தின் பாட்டுப் போக்குவரத்தைப் பகுப்பாய்வு செய்வதைக் கொண்டு தொடங்கலாம், தேவையான போது Hostragons ஹோஸ்டிங் தொகுப்புகள் மூலம் மேலும் வலுவான மற்றும் பாதுகாப்பான அமைப்பைத் தேர்ந்தெடுக்கலாம்.

மிகவும் அடிக்கடி கேட்கப்படும் கேள்விகள்

போலி Googlebot என் Google தரவரிசைகளை பாதிக்குமா?

தொலைவாக ஆம். போலி Googlebot சேவையக வளங்களை சாப்பிடினால் உண்மையான பயனர்கள் மற்றும் உண்மையான Googlebot மெதுவாக பதிலளிக்கலாம். மேலும் பதிவு மற்றும் பகுப்பாய்வு தரவுகளை மாசுபடுத்துவதால் SEO முடிவுகளைப் தவறாகச் செய்யலாம். சரியான தடுப்பு, தேடல் பட்ஜெட்டை மற்றும் செயல்திறனை பாதுகாக்க உதவுகிறது.

.htaccess மூலம் அனைத்து Googlebot User-Agent களை தடுப்பது சரியானதா?

இல்லை. இந்த அணுகுமுறை உண்மையான Googlebot ஐத் தடுப்பதற்கான வாய்ப்பு உள்ளது மற்றும் பட்டியலிடும் பிரச்சினைகளை உருவாக்கலாம். Googlebot என்று எழுதும் கோரிக்கைகள் முதலில் IP அல்லது DNS மூலம் உறுதிப்படுத்தப்பட வேண்டும், போலி என்பதைப் புரிந்தால், அது தடுப்பதற்கு வழிவகுக்கும். மிகவும் பாதுகாப்பான முறை அனுமதியோடு மற்றும் நடத்தை அடிப்படையிலான விதிகளை ஒன்றாகப் பயன்படுத்துவது ஆகும்.

Googlebot IP பட்டியல்களை எவ்வளவு அடிக்கடி புதுப்பிக்க வேண்டும்?

அதிக போக்குவரத்துள்ள இணையதளங்களில் வாராந்திர, சிறிய இணையதளங்களில் மாதாந்திர சரிபார்ப்பு பரிந்துரைக்கப்படுகிறது. சிறந்த முறை, Google இன் அதிகாரப்பூர்வ IP JSON ஆதாரங்களிலிருந்து தானியக்க பட்டியல் உருவாக்குவது ஆகும். கையேடு எழுதப்பட்ட பழைய IP வரம்புகள் காலப்போக்கில் குறைவாக மாறலாம் மற்றும் உண்மையான Googlebot யை தவறாகத் தடுக்கும்.

.htaccess விதி சேர்த்த பிறகு 500 பிழை வந்தால் என்ன செய்ய வேண்டும்?

500 பிழை பொதுவாக எழுத்து பிழை, ஆதரிக்கப்படாத Apache உத்தி அல்லது தவறான அகற்றும் குறியீட்டின் காரணமாக ஏற்படும். நீங்கள் கடைசி சேர்த்த விதிகளை மீட்டெடுக்கவும், பிழை பதிவுகளைப் பரிசீலிக்கவும் மற்றும் உங்கள் ஹோஸ்டிங் சூழலில் Apache 2.4, mod_rewrite மற்றும் உரை ஆதரவை உறுதிப்படுத்தவும். மாற்றத்திற்கு முன்பு .htaccess இல் பேக் எடுக்கவும் இதற்காக முக்கியமாகிறது.

CDN அல்லது WAF பயன்படுத்தினால் .htaccess விதிக்கு தேவையா?

CDN அல்லது WAF பாட்டுப்过滤த்திற்கான வலிமையான அடுக்காக இருக்கிறத; ஆனால் .htaccess இன்னும் ஒரு பேக் மற்றும் செயல்படுத்துவதற்கு அருகிலுள்ள பாதுகாப்பை வழங்கலாம். சிறந்த முடிவு, CDN/WAF இல் வேகக் கட்டுப்பாடு மற்றும் பாட்டுப் உறுதிப்படுத்தல், சேவையகத்தில் அடிப்படைத்துறைகளுக்கான .htaccess கட்டுப்பாடுகளைப் பயன்படுத்தும் போது கிடைக்கிறது.