Sitelere Saldıran Sahte Googlebotları .htaccess ile Tespit Edip Engelleme

Sahte Googlebotları .htaccess ile tespit edip engelleme, sitenize Googlebot gibi görünerek gelen zararlı botları kullanıcı aracına, IP doğrulamasına ve erişim günlüklerine göre ayırıp gerçek Google tarayıcılarını etkilemeden 403 ile durdurma işlemidir. En güvenli yöntem; yalnızca User-Agent değerine güvenmemek, Google’ın resmi IP aralıklarını veya ters DNS doğrulamasını referans almak, önce loglamak, sonra kontrollü .htaccess kurallarıyla engellemektir.

Birçok saldırgan bot, güvenlik duvarlarını ve basit bot filtrelerini aşmak için kendini Googlebot, Google-InspectionTool, AdsBot-Google veya Googlebot-Image gibi tanıtır. Çünkü site sahipleri genellikle Google taramasını engellemekten çekinir. Bu boşluk; içerik kazıma, yoğun kaynak tüketimi, sahte trafik, form spam’i, giriş denemeleri ve SEO verilerinin kirlenmesi gibi sorunlara yol açar. Özellikle paylaşımlı hosting, WordPress, WooCommerce, haber siteleri ve sık güncellenen bloglarda bu trafik kısa sürede CPU, RAM ve I/O limitlerini zorlayabilir. Bu rehberde sahte Googlebot davranışlarını nasıl okuyacağınızı, Apache .htaccess ile nasıl güvenli kural yazacağınızı ve gerçek Googlebot’u yanlışlıkla engellememek için hangi kontrolleri yapmanız gerektiğini adım adım ele alacağız. Web siteniz için güvenli, hızlı ve ölçeklenebilir bir altyapıya ihtiyaç duyuyorsanız Hostragons web hosting çözümleri ve SSL sertifikası kurulumu içeriklerini de planınıza dahil edebilirsiniz.

Sahte Googlebot Nedir ve Neden Tehlikelidir?

Sahte Googlebot, HTTP isteğinde User-Agent alanını Googlebot gibi gösteren ancak Google’a ait olmayan IP adreslerinden gelen otomatik tarayıcıdır. User-Agent, istemcinin kendini tanıttığı basit bir metindir; yani teknik olarak herkes isteğine Googlebot yazabilir. Bu nedenle yalnızca User-Agent kontrolü, güvenlik açısından yeterli değildir.

Gerçek Googlebot’un amacı sitenizi taramak, dizine eklemek, sayfa güncellemelerini keşfetmek ve arama sonuçları için kalite sinyalleri toplamaktır. Sahte Googlebot ise çoğunlukla farklı hedeflerle gelir. Örneğin ürün fiyatlarını çekebilir, içeriklerinizi kopyalayabilir, yönetim paneli URL’lerini deneyebilir, arama sayfalarınıza yük bindirebilir veya zayıf eklenti açıklarını tarayabilir. Bazı saldırganlar saniyede onlarca istek göndererek küçük bir sitede bile performans düşüşü oluşturabilir.

Pratikte sahte botları en sık şu belirtilerle görürüz:

• Kısa sürede yüzlerce 404, 403 veya 500 yanıtı oluşturan istekler.
• wp-login.php, xmlrpc.php, admin, phpmyadmin, backup.zip gibi hassas yolların taranması.
• User-Agent Googlebot görünmesine rağmen IP adresinin Google ASN veya resmi IP aralıklarında olmaması.
• Robots.txt kurallarına uymadan filtre, arama, sepet veya hesap sayfalarının gezilmesi.
• Normal Googlebot’tan farklı olarak aşırı yüksek frekansla aynı URL’lerin istenmesi.

Neden Sadece User-Agent Kontrolü Yeterli Değildir?

Bir botun HTTP başlığında Googlebot yazması, onun Google’a ait olduğunu kanıtlamaz. Örneğin komut satırında tek bir curl isteğiyle User-Agent kolayca taklit edilebilir. Bu yüzden .htaccess içinde yalnızca Googlebot kelimesini yakalayıp tümünü engellemek de tümünü serbest bırakmak da hatalıdır. Birincisi gerçek Google taramasını kesebilir, ikincisi saldırganlara açık kapı bırakır.

2026 SEO ve güvenlik yaklaşımında doğru strateji üç katmanlıdır: iddia edilen kimliği kontrol etmek, IP veya DNS ile doğrulamak, anormal davranışları log üzerinden izlemek. Bu yaklaşım hem Google görünürlüğünüzü korur hem de sunucu kaynaklarınızı gereksiz botlardan temizler.

Gerçek Googlebot Nasıl Doğrulanır?

Google, gerçek tarayıcılarını doğrulamak için iki ana yöntem önerir: ters DNS doğrulaması ve resmi IP aralıkları. Ters DNS yönteminde isteği yapan IP adresinin alan adı googlebot.com veya google.com ile bitmeli, ardından bu alan adı tekrar aynı IP adresine çözülmelidir. Bu iki yönlü doğrulama, yalnızca sahte PTR kaydıyla kandırılmayı önler.

İkinci yöntem, Google’ın yayımladığı resmi IP aralıklarını kullanmaktır. Googlebot, özel tarayıcılar ve kullanıcı tetiklemeli getiriciler için farklı JSON listeleri yayımlanır. Özellikle dinamik listeler zamanla değişebileceği için üretim ortamında elle yazılmış eski IP listelerine uzun süre güvenmek doğru değildir. VPS veya sunucu yönetimi sizdeyse bu listeleri belirli aralıklarla çekip güvenlik duvarı ya da Apache include dosyası olarak güncellemek en sağlıklı yaklaşımdır. Paylaşımlı hosting kullanıyorsanız yönetim panelinizdeki erişim günlükleri, .htaccess ve varsa güvenlik modülleriyle kontrollü ilerleyebilirsiniz.

.htaccess ile Sahte Googlebot Engelleme Mantığı

.htaccess, Apache web sunucusunda dizin bazlı kurallar tanımlamanızı sağlar. URL yönlendirme, erişim kontrolü, sıkıştırma, önbellek ve temel güvenlik kısıtları için kullanılır. Sahte Googlebot engellemede .htaccess’in görevi, gelen isteği belirli koşullarla değerlendirmek ve şüpheli olanı 403 Forbidden yanıtıyla durdurmaktır.

Ancak önemli bir sınırlama vardır: Standart .htaccess tek başına gerçek zamanlı ters DNS sorgusu yapmak için ideal yer değildir. Apache’de HostnameLookups genellikle performans nedeniyle kapalıdır. Bu yüzden .htaccess içinde en pratik yöntem, User-Agent Googlebot olduğunu iddia eden istekleri IP allowlist ile karşılaştırmak veya şüpheli yolları daha sert filtrelemektir. Daha gelişmiş doğrulama için WAF, sunucu güvenlik duvarı, CDN veya günlüklerden beslenen otomasyon kullanılır. CDN nedir ve web sitesi performansına etkisi içeriği bu katmanı planlamanıza yardımcı olabilir.

Adım Adım Uygulama: Sahte Googlebotları Tespit Edip Engelleme

1. Erişim Günlüklerini İnceleyin

Engelleme kuralı yazmadan önce en az 24-72 saatlik access log inceleyin. Trafik hacminiz yüksekse bir saatlik log bile yeterli sinyal verebilir. Bakmanız gereken alanlar IP adresi, tarih, istenen URL, HTTP durum kodu, byte boyutu, referer ve User-Agent bilgisidir. Örneğin aynı IP adresi 10 dakikada 800 istek yapıyor, çoğu 404 dönüyor ve kendini Googlebot olarak tanıtıyorsa bu güçlü bir şüphe sinyalidir.

cPanel veya benzeri panellerde Raw Access Logs alanından log indirebilirsiniz. SSH erişiminiz varsa Googlebot iddiasındaki istekleri filtrelemek için grep, awk ve sort gibi araçlarla IP bazlı yoğunluğu çıkarabilirsiniz. Örneğin amaç, Googlebot yazan her isteği değil, bu iddiayı taşıyan IP’lerin davranışını görmektir.

2. Googlebot İddiasındaki IP’leri Doğrulayın

Şüpheli IP’leri belirledikten sonra ters DNS ve ileri DNS kontrolü yapın. Bir IP için PTR kaydı crawl-66-249-66-1.googlebot.com gibi görünüyorsa ilk aşamayı geçer. Ardından bu alan adını tekrar çözdüğünüzde aynı IP’ye dönmelidir. Eğer PTR kaydı yoksa, farklı bir alan adına gidiyorsa veya ileri çözümleme aynı IP’yi vermiyorsa gerçek Googlebot kabul edilmemelidir.

Bu kontrol, özellikle SEO açısından kritik sitelerde hatalı engellemenin önüne geçer. Çünkü gerçek Googlebot’u engellemek; yeni içeriklerin geç keşfedilmesine, indeks tazeliğinin düşmesine, Google Search Console’da tarama hatalarına ve organik trafikte gecikmeli kayıplara neden olabilir. Bu nedenle engelleme kararını tek satırlık User-Agent kuralıyla değil, doğrulama süreciyle vermelisiniz.

3. Önce Loglama, Sonra Engelleme Yapın

Güvenli operasyonlarda doğrudan engelleme yerine kısa bir gözlem aşaması önerilir. İlk aşamada şüpheli IP’leri ve User-Agent’ları not edin. İkinci aşamada yalnızca açıkça zararlı davranış gösteren yolları sınırlandırın. Üçüncü aşamada, Googlebot iddiasında bulunup Google IP aralığında olmayan istekleri engelleyin.

Bu yaklaşım özellikle e-ticaret sitelerinde önemlidir. Çünkü hatalı bir kural ödeme, sepet, ürün varyasyonları veya stok entegrasyonları gibi kritik akışları etkileyebilir. Eğer siteniz yoğun trafik alıyorsa önce test ortamında deneyin. WordPress site taşıma ve test ortamı oluşturma gibi süreçler güvenlik kuralı değişikliklerini daha risksiz hale getirir.

Güvenli .htaccess Kural Örnekleri

Aşağıdaki örnekler üretim ortamına doğrudan kopyalanmadan önce sunucunuzun Apache sürümü, etkin modülleri ve hosting izinleri açısından test edilmelidir. Apache 2.4 ve mod_rewrite yaygın olarak desteklenir; ancak bazı paylaşımlı ortamlarda belirli direktifler kısıtlanabilir. .htaccess dosyanızı düzenlemeden önce mutlaka yedek alın. Dosyadaki tek bir yazım hatası sitenizde 500 Internal Server Error oluşturabilir.

Basit Davranış Filtresi: Hassas Yollarda Sahte Botları Durdurma

Bu yaklaşım, Googlebot gibi görünen botların yönetim ve saldırı hedefli dosyalara erişmesini engeller. Gerçek Googlebot’un wp-login.php, phpmyadmin veya yedek zip dosyalarını taramasına gerek yoktur. Bu nedenle yanlış pozitif riski düşüktür.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Google-InspectionTool|AdsBot-Google|Mediapartners-Google) [NC]
• RewriteCond %{REQUEST_URI} (wp-login[.]php|xmlrpc[.]php|phpmyadmin|adminer|backup|[.]sql|[.]zip) [NC]
• RewriteRule ^ - [F,L]

Bu kural, kendini Googlebot olarak tanıtan bir istemci hassas yollara gelirse 403 döndürür. SEO taramasını etkileme ihtimali düşüktür, çünkü bu yolların Google indeksinde yer alması zaten istenmez. Yine de WordPress kullanıyorsanız güvenlik eklentileri, XML-RPC ihtiyacı ve uzak yayın servisleri açısından kontrol yapmanız gerekir.

IP Allowlist Mantığı: Googlebot İddiasını Resmi Aralıklarla Karşılaştırma

Daha güçlü yöntem, Googlebot olduğunu iddia eden isteği yalnızca güvenilir IP aralıklarından geliyorsa geçirmektir. Aşağıdaki örnek temsili mantığı gösterir; IP aralıklarını Google’ın güncel resmi listesine göre üretmelisiniz. Eski veya eksik liste gerçek Googlebot’u yanlışlıkla engelleyebilir.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Googlebot-Image|Googlebot-News|Google-InspectionTool|AdsBot-Google) [NC]
• RewriteCond expr "! ( %{REMOTE_ADDR} -ipmatch '66.249.64.0/19' || %{REMOTE_ADDR} -ipmatch '64.233.160.0/19' || %{REMOTE_ADDR} -ipmatch '72.14.192.0/18' )"
• RewriteRule ^ - [F,L]

Buradaki IP aralıkları örnek olarak verilmiştir. Üretimde Google’ın güncel googlebot IP JSON listesinden otomatik üretilmiş aralıklar kullanılmalıdır. Eğer Apache ifadesi veya -ipmatch sunucunuzda desteklenmiyorsa hosting sağlayıcınızdan Apache 2.4 ifade desteğini teyit edin. Alternatif olarak CDN/WAF katmanında IP listesiyle kural oluşturabilirsiniz.

Şüpheli İstek Hızını Azaltma

.htaccess doğrudan gelişmiş rate limit için en iyi araç değildir; ancak bazı kötü davranışları erken kesmekte faydalıdır. Gerçek hız limiti için mod_evasive, mod_security, CDN rate limiting veya uygulama düzeyi koruma kullanılmalıdır. Özellikle saniyede 5-10 üzeri sürekli istek atan botlar, küçük sitelerde bile veritabanı sorgularını artırır. WordPress gibi dinamik sistemlerde arama sayfası, filtreli kategori ve etiket sayfaları botlar tarafından sömürülebilir. Bu alanlar için robots.txt, canonical, noindex ve güvenlik kuralları birlikte düşünülmelidir. WordPress hız optimizasyonu rehberi performans tarafını tamamlar.

Karşılaştırma Tablosu: Hangi Yöntem Ne Zaman Kullanılmalı?

Yanlışlıkla Gerçek Googlebot’u Engellememek İçin Kontrol Listesi

Sahte Googlebotları engellerken en büyük risk, gerçek Google tarayıcılarını da engellemektir. Bunu önlemek için her değişiklikten sonra kısa bir kontrol listesi uygulayın:

• Google Search Console Tarama İstatistikleri raporunda ani düşüş veya 403 artışı var mı kontrol edin.
• Sunucu loglarında gerçek Google IP’lerinden gelen isteklere 200, 301 veya uygun durum kodları dönüyor mu inceleyin.
• robots.txt dosyanızın Googlebot’a kapalı kritik dizinler dışında erişimi engellemediğinden emin olun.
• .htaccess değişikliğinden önce ve sonra site haritası, ana sayfa, kategori ve önemli ürün sayfalarını test edin.
• Kullandığınız IP listesinin kaynağını ve güncelleme tarihini belgeleyin.

Teknik SEO açısından 403 yanıtı güçlü bir sinyaldir. Gerçek Googlebot önemli sayfalarda tekrar tekrar 403 görürse o URL’lerin taranması azalabilir. Bu nedenle 403 yalnızca kesinlikle istemediğiniz botlara ve hassas yollara uygulanmalıdır. Bakım, geçici yoğunluk veya hız limiti gibi durumlarda 429 Too Many Requests bazı senaryolarda daha uygun olabilir; ancak .htaccess ile basit bot engellemede 403 daha yaygın ve anlaşılırdır.

WordPress ve E-Ticaret Siteleri İçin Ek Önlemler

WordPress sitelerde sahte Googlebot trafiği genellikle xmlrpc.php, wp-login.php, REST API uçları, arama URL’leri ve yazar arşivleri üzerinde yoğunlaşır. E-ticaret sitelerinde ise filtre parametreleri, stok sorguları, sepet uçları ve ürün varyasyonları hedeflenir. Bu nedenle sadece Googlebot taklidi yapanları değil, genel bot hijyenini de ele almalısınız.

• Giriş sayfası için iki faktörlü doğrulama ve deneme limiti kullanın.
• Kullanmadığınız XML-RPC fonksiyonlarını kapatın veya kısıtlayın.
• Arama ve filtre URL’lerinde noindex, canonical ve robots.txt stratejisini birlikte planlayın.
• Güncel PHP sürümü, güncel tema ve güvenilir eklenti kullanın.
• SSL sertifikanızı aktif tutun; güvenli oturum ve form iletimi için HTTPS zorunludur. Hostragons SSL sertifikaları
• Alan adınızın DNS kayıtlarını düzenli kontrol edin; yanlış DNS ve zayıf e-posta kayıtları güvenlik riskini artırır. domain sorgulama ve DNS yönetimi

Performans Etkisi: Bot Trafiği Sunucu Kaynaklarını Nasıl Tüketir?

Bot trafiği yalnızca güvenlik problemi değildir; aynı zamanda hosting performansı problemidir. Statik bir görsel isteği düşük maliyetliyken, WordPress arama sonucu veya WooCommerce filtre isteği veritabanı sorguları doğurur. Sahte Googlebot dakikada 300 dinamik istek gönderirse, önbelleklenmeyen sayfalarda PHP işçileri dolabilir, veritabanı bağlantıları artabilir ve gerçek kullanıcılar yavaşlama yaşayabilir.

Basit bir örnek verelim: Bir ürün filtre sayfası ortalama 250 ms PHP işlem süresi tüketiyorsa, dakikada 600 bot isteği 150 saniyelik işlem yükü üretir. Bu yük paralel çalıştığında CPU limitine yaklaşır ve TTFB değerleri yükselir. Core Web Vitals tarafında yavaş sunucu yanıtı dolaylı olarak kullanıcı deneyimini ve dönüşüm oranlarını etkiler. Bu yüzden bot engelleme yalnızca güvenlik ekibinin değil, SEO ve performans optimizasyonunun da parçasıdır.

Test Etme: Kurallarınız Çalışıyor mu?

.htaccess kuralını ekledikten sonra üç test yapın. İlk olarak normal tarayıcıyla sitenizin ana sayfasını, önemli kategori sayfalarını ve giriş akışlarını kontrol edin. İkinci olarak, Google Search Console URL Denetleme aracında önemli bir URL’yi canlı test edin. Üçüncü olarak, loglarda Googlebot User-Agent ile gelen şüpheli IP’lerin 403 aldığını, gerçek Google doğrulaması geçen IP’lerin ise engellenmediğini kontrol edin.

Komut satırıyla test yapıyorsanız kendinizi Googlebot gibi tanıtabilirsiniz; fakat bu test gerçek Googlebot olduğunuzu göstermez, yalnızca kuralın User-Agent kısmının tetiklenip tetiklenmediğini anlamaya yarar. Asıl doğrulama IP ve DNS üzerinden yapılmalıdır. Test sonucunda 500 hatası alırsanız .htaccess dosyanızda sözdizimi hatası olabilir. Bu durumda son eklediğiniz satırları geri alın, hata loglarını inceleyin ve sunucunuzun desteklediği Apache direktiflerini kontrol edin.

Bakım Planı: Kurallar Ne Sıklıkla Güncellenmeli?

Bot engelleme tek seferlik bir işlem değildir. Google IP aralıkları değişebilir, saldırganların User-Agent desenleri farklılaşabilir ve sitenizin URL yapısı zaman içinde güncellenebilir. Düşük trafikli sitelerde ayda bir log kontrolü yeterli olabilir. Yoğun haber, e-ticaret veya kampanya sitelerinde haftalık kontrol daha sağlıklıdır. Büyük ölçekli projelerde otomatik alarm kurmak en iyi yaklaşımdır; örneğin Googlebot User-Agent taşıyan fakat doğrulanamayan IP’lerden gelen istek sayısı belirli eşiği aşınca bildirim üretilebilir.

Ayrıca .htaccess dosyanızı sürümleyin. Basitçe tarihli yedek almak bile sorun anında geri dönüşü hızlandırır. Örneğin htaccess-2026-02-15.bak gibi dosya adlarıyla değişiklik geçmişi tutabilirsiniz. Eğer birden fazla kişi site yönetiyorsa, kural ekleyen kişinin neyi neden eklediğini kısa notlarla belgelemesi olası kesintileri azaltır.

Sonuç

Sahte Googlebotları .htaccess ile tespit edip engelleme, doğru uygulandığında hem SEO görünürlüğünüzü korur hem de sunucu kaynaklarınızı kötü niyetli tarayıcılardan arındırır. Temel ilke nettir: User-Agent tek başına kanıt değildir; IP, DNS, davranış ve log analizi birlikte değerlendirilmelidir. Önce gözlemleyin, sonra düşük riskli yolları kısıtlayın, en son güncel Google IP listeleriyle doğrulama bazlı engelleme uygulayın.

Hostragons altyapısında sitenizi barındırırken güvenli hosting, güncel SSL, doğru DNS ve düzenli yedekleme katmanlarını birlikte planlamak uzun vadede daha stabil bir web deneyimi sağlar. İsterseniz mevcut sitenizin bot trafiğini analiz ederek işe başlayabilir, ihtiyaç duyduğunuzda Hostragons hosting paketleri üzerinden daha güçlü ve güvenli bir yapı seçebilirsiniz.

Sıkça Sorulan Sorular

Sahte Googlebot gerçek Google sıralamalarımı etkiler mi?

Dolaylı olarak evet. Sahte Googlebot sunucu kaynaklarını tüketirse gerçek kullanıcılar ve gerçek Googlebot daha yavaş yanıt alabilir. Ayrıca log ve analiz verilerini kirleterek SEO kararlarınızı yanıltabilir. Doğru engelleme, tarama bütçesini ve performansı korumaya yardımcı olur.

.htaccess ile tüm Googlebot User-Agent’larını engellemek doğru mu?

Hayır. Bu yaklaşım gerçek Googlebot’u da engelleyebilir ve indeksleme sorunlarına yol açabilir. Googlebot yazan istekler önce IP veya DNS ile doğrulanmalı, sahte olduğu anlaşılanlar engellenmelidir. En güvenli yöntem allowlist ve davranış bazlı kuralları birlikte kullanmaktır.

Googlebot IP listelerini ne sıklıkla güncellemeliyim?

Yoğun trafikli sitelerde haftalık, daha küçük sitelerde aylık kontrol önerilir. En iyi yöntem, Google’ın resmi IP JSON kaynaklarından otomatik liste üretmektir. Elle yazılmış eski IP aralıkları zamanla eksik kalabilir ve gerçek Googlebot’un yanlışlıkla engellenmesine neden olabilir.

.htaccess kuralı ekledikten sonra 500 hatası aldım, ne yapmalıyım?

500 hatası genellikle sözdizimi hatası, desteklenmeyen Apache direktifi veya yanlış kaçış karakterinden kaynaklanır. Son eklediğiniz kuralları geri alın, hata loglarını kontrol edin ve hosting ortamınızın Apache 2.4, mod_rewrite ve ifade desteğini doğrulayın. Değişiklikten önce .htaccess yedeği almak bu nedenle önemlidir.

CDN veya WAF kullanıyorsam .htaccess kuralına gerek var mı?

CDN veya WAF bot filtreleme için güçlü bir katmandır; ancak .htaccess yine de yedek ve uygulamaya yakın koruma sağlayabilir. En iyi sonuç, CDN/WAF üzerinde rate limit ve bot doğrulama, sunucuda ise hassas yollar için .htaccess kısıtları kullanıldığında alınır.