Sahte Googlebotlarni .htaccess yordamida aniqlash va bloklash: WordPress va hosting uchun xavfsiz yo’l

Sahte Googlebotlarni .htaccess orqali aniqlash va bloklash — bu sizning saytga Googlebot deb tanitib kirayotgan zararli botlarni User-Agent, IP va loglardan ajratib, haqiqiy Googlebotni cheklamasdan 403 status bilan to’xtatish demakdir. Eng ishonchli usul — User-Agent’ga faqat tayanmaslik, Google rasmiy IP-range’lariga yoki Reverse DNS tekshiruviga asoslanish, avval logda kuzatish, so’ng ehtiyotkorlik bilan .htaccess qoidalari bilan bloklashdir.

Ko’plab xaker botlar firewall va oddiy bot filtrlardan o’tish uchun o’zini Googlebot, Google-InspectionTool, AdsBot-Google yoki Googlebot-Image deb ko’rsatadi. Chunki sayt egalari odatda Google crawlni bloklashdan ehtiyot bo’lishadi. Bu bo’shliq — kontent o’g’irlash, resurslarni haddan tashqari sarflash, fake trafik, spam, login urinishlari va SEO statistikasi buzilishi kabi muammolarni tug’diradi. Ayniqsa, umumiy hosting, WordPress, WooCommerce, yangilik saytlari va tez-tez yangilanadigan bloglarda bu trafik tezda CPU, RAM va I/O limitlarini siqib chiqarishi mumkin. Ushbu qo’llanmada siz sahte Googlebot harakatlarini qanday tanish, Apache .htaccess orqali xavfsiz qoidalarni qanday yozish va haqiqiy Googlebotni xato bloklamaslik uchun qaysi tekshiruvlarni qilishingiz kerakligi bosqichma-bosqich ko’rsatiladi. Saytingiz uchun xavfsiz, tez va o’lchamli infratuzilma kerak bo’lsa Hostragons veb hosting yechimlari va SSL sertifikati o'rnatilishi maqolalarini ham rejangizga kiritishingiz mumkin.

Sahte Googlebot nima va nega xavfli?

Sahte Googlebot — HTTP so’rovda User-Agent qatorini Googlebot deb ko’rsatadigan, lekin Google’ga tegishli bo’lmagan IP manzildan keladigan avtomatik botdir. User-Agent — bu mijoz o’zini tanitadigan oddiy matn; ya’ni texnik jihatdan har kim so’roviga Googlebot deb yozishi mumkin. Shuning uchun faqat User-Agent tekshiruvi xavfsizlik uchun yetarli emas.

Haqiqiy Googlebot saytni crawl qiladi, indeksga oladi, sahifa yangilanishlarini topadi va search uchun sifat signallarini yig’adi. Sahte Googlebot esa ko’pincha boshqa maqsadda keladi — masalan, mahsulot narxini ko’chirish, kontentni o’g’irlash, admin panel URL’larini sinash, qidiruv sahifalariga bosim qilish yoki plugin zaifliklarini tekshirish. Ba’zi xakerlar soniyada o’nlab so’rov yuborib, kichik saytda ham sekinlik yaratishi mumkin.

Amalda sahte botlarni quyidagi belgilardan tez-tez aniqlash mumkin:

• Qisqa vaqt ichida yuzlab 404, 403 yoki 500 javobli so’rovlar.
• wp-login.php, xmlrpc.php, admin, phpmyadmin, backup.zip kabi sezgir yo’llarni scan qilish.
• User-Agent Googlebot ko’rinishida, lekin IP Google ASN yoki rasmiy IP-range’da emas.
• Robots.txt qoidalariga bo’ysunmay, filter, qidiruv, savat yoki hisob sahifalarini kezish.
• Oddiy Googlebotdan farqli ravishda bir URL’ni juda tez-tez so’rash.

Nega faqat User-Agent tekshiruvi yetarli emas?

Botning HTTP header’da Googlebot deb yozishi, uning Google’ga tegishli ekanini isbotlamaydi. Masalan, terminalda oddiy curl so’rovi bilan User-Agent osongina soxtalash mumkin. Shuning uchun .htaccess’da faqat Googlebot so’zini ushlab hammasini bloklash yoki hammasini ruxsat berish — xato yondashuv. Birinchisi haqiqiy Google crawlni to’xtatadi, ikkinchisi xakerlarga ochiq eshik bo’ladi.

2026 SEO va xavfsizlik strategiyasida to’g’ri yo’l uch qatlamli: iddaoni tekshirish, IP/DNS orqali aniqlash, g’alati harakatlarni logda kuzatish. Bu usul Google ko’rinishini saqlaydi va server resurslaringizni keraksiz botlardan tozalaydi.

Haqiqiy Googlebot qanday aniqlanadi?

Google haqiqiy crawl botlarini aniqlash uchun ikki asosiy usulni tavsiya qiladi: Reverse DNS va rasmiy IP-range. Reverse DNS’da so’rov yuborgan IP hostname’si googlebot.com yoki google.com bilan tugashi kerak, so’ng bu hostname yana ayni IPga resolve qilinishi kerak. Bu ikki tomonlama tekshiruv — soxta PTR yozuvi bilan aldashni oldini oladi.

Ikkinchi usul: Google rasmiy IP-range’larini ishlatish. Googlebot, maxsus botlar va user-trigger fetch uchun turli JSON ro’yxatlar chiqariladi. Ayniqsa, dinamik ro’yxatlar vaqt o’tishi bilan o’zgaradi, shuning uchun serverda eski IP ro’yxatiga uzoq ishonish — noto’g’ri. VPS yoki server boshqaruvi sizda bo’lsa, ushbu ro’yxatlarni vaqti-vaqti bilan yuklab, firewall yoki Apache include fayliga yangilash eng to’g’ri yondashuv. Umumiy hostingda esa paneldagi access log, .htaccess va (agar bo’lsa) xavfsizlik pluginlari bilan ehtiyotkorlik qilish kerak.

.htaccess orqali sahte Googlebotlarni bloklash mantig’i

.htaccess — Apache web serverda katalog bo’yicha qoida belgilashga imkon beradi. URL redirect, access control, compression, cache va asosiy xavfsizlik uchun ishlatiladi. Sahte Googlebot bloklashda .htaccess vazifasi — kiruvchi so’rovni bir necha shart bilan tekshirish va shubhali bo’lsa 403 Forbidden javobi qaytarishdir.

Ammo muhim cheklov bor: standart .htaccess real vaqt Reverse DNS uchun ideal emas. Apache’da HostnameLookups ko’pincha performance uchun OFF holatda. Shuning uchun .htaccess’da eng amaliy usul — User-Agent Googlebot deb ko’rsatadigan so’rovni IP allowlist bilan solishtirish yoki sezgir yo’llarda qat’iyroq filtr qilishdir. Advanced tekshiruv uchun WAF, server firewall, CDN yoki logdan avtomatizatsiya ishlatiladi. CDN nima va veb saytining ish faoliyatiga ta'siri maqolasi bu qatlamni rejalashtirishga yordam beradi.

Bosqichma-bosqich: Sahte Googlebotlarni aniqlash va bloklash

1. Access loglarni tahlil qiling

Bloklash qoidasi yozishdan oldin kamida 24–72 soatlik access loglarni ko’rib chiqing. Agar trafik katta bo’lsa, bir soatlik log ham yetarli signal beradi. Diqqat qilinadigan maydonlar: IP, vaqt, so’ralgan URL, HTTP status, byte hajmi, referer va User-Agent. Masalan, bir IP 10 daqiqada 800 so’rov yuborsa, ko’pi 404 qaytsa va User-Agent’da Googlebot deb yozsa — bu kuchli shubha signalidir.

cPanel yoki boshqa panelda Raw Access Logs bo’limidan logni yuklab olishingiz mumkin. SSH’da grep, awk, sort kabi vositalar bilan Googlebot iddaosidagi so’rovlarni IP bo’yicha ajratib ko’rishingiz mumkin. Maqsad — Googlebot deb yozilgan har bir so’rovni emas, bu iddaoni qilayotgan IP’larning davranishini ko’rish.

2. Googlebot deb ko’rsatgan IP’larni tekshiring

Shubhali IP’larni aniqlagach, Reverse DNS va forward DNS tekshiruvini bajaring. IP PTR yozuvi crawl-66-249-66-1.googlebot.com kabi ko’rinsa — birinchi bosqichdan o’tadi. So’ng hostname’ni resolve qilganda ayni IP chiqishi kerak. Agar PTR yo’q, boshqacha hostname chiqsa yoki forward resolve IP mos kelmasa — bu haqiqiy Googlebot emas.

Bu tekshiruv, ayniqsa, SEO uchun muhim saytlarda xato bloklashni oldini oladi. Chunki haqiqiy Googlebotni bloklasangiz, yangi kontent kech topiladi, indeks yangiligi pasayadi, Search Console’da crawl xatolar ko’payadi va organik trafikda kechikishlar bo’ladi. Shuning uchun bloklashni oddiy User-Agent qoidasi bilan emas, tekshiruv orqali qilish kerak.

3. Avval log, so’ng bloklash

Xavfsiz operatsiyada to’g’ridan-to’g’ri bloklashdan ko’ra, avval kuzatish tavsiya qilinadi. Birinchi bosqichda shubhali IP va User-Agent’larni qayd eting. Ikkinchi bosqichda faqat aniq zararli yo’llarni cheklang. Uchinchi bosqichda Googlebot deb ko’rsatib, Google IP-range’da bo’lmagan so’rovlarni bloklang.

Bu usul ayniqsa e-tijorat saytlarda muhim. Chunki xato qoida — to’lov, savat, mahsulot variantlari yoki ombor integratsiyasi kabi muhim jarayonlarni buzishi mumkin. Agar trafik katta bo’lsa, avval test muhitida sinab ko’ring. WordPress saytini ko'chirish va test muhiti yaratish kabi jarayonlar xavfsizlik qoidasi o’zgarishlarini xavfsiz qiladi.

Xavfsiz .htaccess qoida misollari

Quyidagi misollar ishlab chiqarishga to’g’ridan-to’g’ri ko’chirmasdan oldin server Apache versiyasi, faol modullar va hosting ruxsatlari bo’yicha test qilinishi kerak. Apache 2.4 va mod_rewrite keng tarqalgan; lekin ba’zi umumiy hostlarda ayrim direktivalar cheklangan. .htaccess’ni o’zgartirishdan oldin doimo backup oling. Fayldagi bitta imlo xatosi 500 Internal Server Error keltirib chiqarishi mumkin.

Oddiy harakat filtri: Sezgir yo’llarda soxta botlarni to’xtatish

Bu usul — Googlebot deb ko’rsatgan botlar admin va xakerlikka mo’ljallangan fayllarga kirishini bloklaydi. Haqiqiy Googlebot’ning wp-login.php, phpmyadmin yoki backup zip fayllarini crawl qilishi shart emas. Shuning uchun “false positive” riski past.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Google-InspectionTool|AdsBot-Google|Mediapartners-Google) [NC]
• RewriteCond %{REQUEST_URI} (wp-login[.]php|xmlrpc[.]php|phpmyadmin|adminer|backup|[.]sql|[.]zip) [NC]
• RewriteRule ^ - [F,L]

Bu qoida — Googlebot deb tanitgan mijoz sezgir yo’lga kirsa 403 qaytaradi. SEO crawliga ta’siri minimal, chunki bu yo’llar Google indeksda bo’lishi istalmaydi. WordPress ishlatsangiz, xavfsizlik pluginlari, XML-RPC talabi va uzak nashr servislar bo’yicha qo’shimcha tekshiruv qiling.

IP allowlist usuli: Googlebot iddaosini rasmiy IP-range bilan solishtirish

Kuchliroq usul — Googlebot deb ko’rsatgan so’rovni faqat ishonchli IP-range’dan kelganda o’tkazishdir. Quyidagi misol mantig’ini ko’rsatadi; IP-range’ni Google rasmiy ro’yxatiga qarab tuzish zarur. Eski yoki xato ro’yxat haqiqiy Googlebotni xato bloklashi mumkin.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Googlebot-Image|Googlebot-News|Google-InspectionTool|AdsBot-Google) [NC]
• RewriteCond expr "! ( %{REMOTE_ADDR} -ipmatch '66.249.64.0/19' || %{REMOTE_ADDR} -ipmatch '64.233.160.0/19' || %{REMOTE_ADDR} -ipmatch '72.14.192.0/18' )"
• RewriteRule ^ - [F,L]

Bu IP-range misol uchun. Ishlab chiqarishda Google’ning yangilangan googlebot IP JSON’dan avtomatik tuzilgan ro’yxat ishlatiladi. Apache ifoda yoki -ipmatch hostingda ishlamasa, provider’dan Apache 2.4 ifoda qo’llab-quvvatlashini so’rang. Alternativa — CDN/WAF qatlamida IP ro’yxati bilan qoida yozish.

Shubhali so’rov tezligini pasaytirish

.htaccess to’g’ridan-to’g’ri advanced rate limit uchun ideal emas; lekin ba’zi zararli harakatlarni erta to’xtatishda foydali. Real rate limit uchun mod_evasive, mod_security, CDN rate limiting yoki dastur darajasida himoya ishlatiladi. Ayniqsa, soniyada 5–10 dan ortiq doimiy so’rov yuboradigan botlar, kichik saytlarda ham database query’larni ko’paytiradi. WordPress kabi dinamik tizimlarda qidiruv, filter va tag sahifalar botlar tomonidan suiste’mol qilinishi mumkin. Bu joylarda robots.txt, canonical, noindex va xavfsizlik qoidalarini birga rejalashtiring. WordPress tezligini optimallashtirish bo'yicha qo'llanma performans uchun yordam beradi.

Taqqoslash jadvali: Qaysi usul qayerda ishlatiladi?

Haqiqiy Googlebotni tasodifan bloklamaslik uchun checklist

Sahte Googlebotlarni bloklashda eng katta xavf — haqiqiy Google crawl botlarini ham bloklash. Buni oldini olish uchun har o’zgarishdan so’ng quyidagi checklistni bajaring:

• Google Search Console Crawl Statistics’da keskin pasayish yoki 403 ko’payganini tekshiring.
• Server loglarida haqiqiy Google IP’lardan kelgan so’rovlarga 200, 301 yoki mos status qaytishini ko’rib chiqing.
• robots.txt faylingizda Googlebot uchun yopiq muhim kataloglardan tashqari blok yo’qligiga ishonch hosil qiling.
• .htaccess o’zgarishidan oldin va so’ng sitemap, bosh sahifa, kategoriya va muhim mahsulot sahifalarini test qiling.
• Ishlatayotgan IP ro’yxatining manbasi va yangilanish sanasini qayd eting.

Texnik SEO’da 403 javobi kuchli signal. Haqiqiy Googlebot muhim sahifalarda ketma-ket 403 ko’rsa, o’sha URL’lar crawl qilinmaydi. Shuning uchun 403 faqat istalmagan botlarga va sezgir yo’llarga qo’llanishi kerak. Ta’mir, vaqtinchalik yuk yoki tezlik limiti uchun 429 Too Many Requests ba’zi holatlarda mos; lekin .htaccess’da oddiy bot bloklash uchun 403 eng keng tarqalgan va tushunarli.

WordPress va e-tijorat saytlar uchun qo’shimcha choralar

WordPress saytlarda sahte Googlebot traffik asosan xmlrpc.php, wp-login.php, REST API endpointlari, qidiruv URL’lari va author archive’larda bo’ladi. E-tijoratda esa filter parametrlari, ombor so’rovlari, savat endpointlari va mahsulot variantlari nishonlanadi. Shuning uchun faqat Googlebot soxtasini emas, umumiy bot gigiyenasi ham muhim.

• Login sahifasi uchun ikki bosqichli autentifikatsiya va urinish limitini qo’llang.
• XML-RPC funksiyalarini ishlatmasangiz o’chiring yoki cheklang.
• Qidiruv va filter URL’larda noindex, canonical va robots.txt strategiyasini birga rejalashtiring.
• PHP versiyasini, theme va pluginlarni doim yangilab boring.
• SSL sertifikat har doim aktiv bo’lsin; xavfsiz sessiya va form uchun HTTPS majburiy. Hostragons SSL sertifikatlari
• Domenning DNS yozuvlarini doim tekshiring; noto’g’ri DNS va zaif email yozuvlari xavfsizlik riskini oshiradi. domen so'rovi va DNS boshqaruvi

Performansga ta’siri: Bot traffik server resurslarini qanday sarflaydi?

Bot traffik nafaqat xavfsizlik, balki hosting performansi muammosi. Statik rasm so’rovi arzon, lekin WordPress qidiruv yoki WooCommerce filter so’rovi database query’larni yaratadi. Sahte Googlebot bir daqiqada 300 dinamik so’rov yuborsa, cachelanmagan sahifalarda PHP worker’lari to’lishi, database ulanishlari ko’payishi va haqiqiy foydalarda sekinlik bo’ladi.

Oddiy misol: mahsulot filter sahifasi o’rtacha 250 ms PHP ishlash sarflasa, bir daqiqada 600 bot so’rovi 150 sekundlik ishlash yukini yaratadi. Bu yuk parallel ishlasa CPU limitiga yaqinlashadi va TTFB ko’tariladi. Core Web Vitals’da sekin server javobi foydalanuvchi tajribasi va konversiyani pasaytiradi. Shuning uchun bot bloklash nafaqat xavfsizlik, balki SEO va performans optimizatsiyasi hamdir.

Sinash: Qoidalaringiz ishlayaptimi?

.htaccess qoidasini qo’shgandan so’ng uchta test qiling. Birinchi — oddiy browserda bosh sahifa, muhim kategoriya va login jarayonini tekshiring. Ikkinchi — Google Search Console URL Inspection’da muhim URL’ni live test qiling. Uchinchisi — logda Googlebot User-Agent bilan kelgan shubhali IP’lar 403 olganini, haqiqiy Google IP esa bloklanmaganini tekshiring.

Terminalda test qilganda o’zingizni Googlebot deb ko’rsata olasiz; lekin bu haqiqiy Googlebot ekanligingizni ko’rsatmaydi, faqat User-Agent qoidasi ishlayaptimi — shuni aniqlaydi. Asosiy tekshiruv IP va DNS orqali. 500 xatosi chiqsa .htaccess’da imlo xatosi bo’lishi mumkin. So’nggi qo’shilgan qoidani olib tashlang, error logni ko’rib chiqing va server Apache direktivalarini tekshiring.

Ta’mir rejasi: Qoidalar qanchalik tez yangilanishi kerak?

Bot bloklash bir martalik emas. Google IP-range o’zgarishi mumkin, xakerlarning User-Agent uslubi yangilanadi, sayt URL tuzilmalari ham o’zgaradi. Kam traffikli saytlarda oyda bir log tekshirish yetarli. Katta yangilik, e-tijorat yoki kampaniya saytlarda haftalik nazorat yaxshi. Katta loyihalarda avtomatik bildirishnoma — eng yaxshi yo’l; masalan, Googlebot User-Agent ko’rsatuvchi, lekin tekshiruvdan o’tmagan IP’lardan so’rov soni ma’lum chegaradan oshsa — avtomatik alert chiqadi.

.htaccess faylini versiyalang. Oddiy backup, masalan, htaccess-2026-02-15.bak kabi nom bilan o’zgarish tarixini saqlang. Agar bir nechta odam sayt boshqarsa, qoidani kim, nima sabab bilan qo’shganini qisqa izoh bilan yozib boring — bu kutilmagan uzilishlarni kamaytiradi.

Xulosa

Sahte Googlebotlarni .htaccess yordamida aniqlash va bloklash — to’g’ri bajarilsa, SEO ko’rinishini saqlaydi va server resurslarini zararli botlardan tozalaydi. Asosiy tamoyil: User-Agent yolg’iz dalil emas; IP, DNS, harakat va log tahlili birga baholanishi kerak. Avval kuzatish, so’ng risk past yo’llarni cheklash, eng oxirida yangilangan Google IP ro’yxati bilan tekshiruv asosida bloklashni qo’llang.

Hostragons hostingda saytingizni joylashtirishda xavfsiz hosting, yangilangan SSL, to’g’ri DNS va muntazam backup qatlamlarini birga rejalashtirish — uzoq muddatda barqaror web tajriba beradi. Xohlasangiz, saytingiz bot traffikini tahlil qilib boshlasangiz, zarur bo’lsa Hostragons Hosting Paketlari orqali kuchliroq va xavfsizroq struktura tanlashingiz mumkin.

Ko’p so’raladigan savollar

Sahte Googlebot haqiqiy Google reytingimga ta’sir qiladimi?

Bilvosita — ha. Sahte Googlebot server resursini sarflasa, haqiqiy foydalanuvchi va haqiqiy Googlebot sekin javob oladi. Shuningdek, log va tahlil ma’lumotlarini buzib, SEO qarorlarni noto’g’ri qiladi. To’g’ri bloklash — crawl byudjet va performansni himoyalashga yordam beradi.

.htaccess bilan barcha Googlebot User-Agent’ni bloklash to’g’rimi?

Yo’q. Bu usul haqiqiy Googlebotni ham bloklab, indeks muammoga olib kelishi mumkin. Googlebot deb yozilgan so’rovlar avval IP yoki DNS bilan tekshirilishi, soxta ekanligi aniqlansa bloklanishi kerak. Eng xavfsiz usul — allowlist va harakatga asoslangan qoidalarni birga ishlatish.

Googlebot IP ro’yxatini qanchalik tez yangilash kerak?

Katta traffikli saytlarda haftalik, kichik saytlarda oylik nazorat tavsiya. Eng yaxshi usul — Google rasmiy IP JSON manbasidan avtomatik ro’yxat olish. Qo’lda yozilgan eski IP-range vaqt o’tishi bilan xato bo’lishi va haqiqiy Googlebot bloklanishiga sabab bo’lishi mumkin.

.htaccess qoidasini qo’shgandan so’ng 500 xato oldim, nima qilish kerak?

500 xatosi, odatda, imlo xatosi, Apache direktiva qo’llab-quvvatlanmasligi yoki noto’g’ri escape belgisi sababli. So’nggi qo’shilgan qoidani olib tashlang, error logni ko’rib chiqing va hosting Apache 2.4, mod_rewrite va ifoda supportini tekshiring. .htaccess backup olish — shu sababli muhim.

CDN yoki WAF ishlatsam, .htaccess bloklashga ehtiyoj bormi?

CDN/WAF bot filtrlash uchun kuchli qatlam; lekin .htaccess ham ehtiyot va dasturga yaqin himoya beradi. Eng yaxshi natija — CDN/WAF’da rate limit va bot tekshiruv, serverda esa sezgir yo’llar uchun .htaccess cheklash birga ishlatilsa chiqadi.