Lažna Googlebot zaštita: Detekcija i blokiranje botova putem .htaccess na web hostingu

Detekcija i blokiranje lažnih Googlebotova putem .htaccess podrazumijeva identifikaciju i zaustavljanje štetnih botova koji se predstavljaju kao Googlebot, kroz analizu User-Agent-a, IP validaciju i pristupne logove, bez utjecaja na stvarne Google crawlere, vraćanjem 403 odgovora. Najsigurniji pristup je ne oslanjati se isključivo na User-Agent, već koristiti službene Google IP raspona ili reverse DNS provjeru, prvo logirati, a potom pažljivo primijeniti .htaccess pravila.

Mnogi napadački botovi se predstavljaju kao Googlebot, Google-InspectionTool, AdsBot-Google ili Googlebot-Image, kako bi zaobišli firewallove i osnovne bot filtere. Zato što vlasnici web stranica obično izbjegavaju blokirati Google crawlere. Ova “rupa” otvara vrata za krađu sadržaja, prekomjernu potrošnju resursa, lažni saobraćaj, spam forme, pokušaje logiranja i zagađivanje SEO podataka. Posebno na shared hostingu, WordPress, WooCommerce, novinskim portalima i blogovima s čestim updateima, ovakav promet može ubrzo dovesti do preopterećenja CPU, RAM-a i I/O limita. U ovom vodiču naučit ćete kako prepoznati ponašanje lažnih Googlebotova, kako sigurno pisati .htaccess pravila na Apache serveru, i koje provjere raditi da ne bi slučajno blokirali pravog Googlebota. Za sigurnu, brzu i skalabilnu infrastrukturu vaše web stranice, preporučujemo da u plan uključite i Hostragons rješenja za web hosting i Instalacija SSL certifikata sadržaje.

Šta su lažni Googlebotovi i zašto su opasni?

Lažni Googlebot je automatizirani crawler koji u HTTP zahtjevu User-Agent polje prikazuje kao Googlebot, ali dolazi s IP adresa koje nisu povezane s Googleom. User-Agent je samo tekstualni opis klijenta; svako može "glumiti" Googlebot. Zato samo User-Agent provjera nije dovoljna zaštita.

Pravi Googlebot ima cilj indeksirati vaš site, pratiti updateove stranica i prikupljati kvalitativne signale za pretragu. Lažni Googlebot dolazi s raznim motivima: može parazitirati cijene proizvoda, kopirati sadržaj, pokušati pristupiti admin panelima, opterećivati search stranice ili tražiti ranjivosti u pluginovima. Neki napadači šalju desetke zahtjeva u sekundi, izazivajući pad performansi čak i na manjim sajtovima.

Najčešće simptome lažnih botova vidimo kroz:

• Stotine 404, 403 ili 500 odgovora u kratkom vremenu.
• Skeneranje osjetljivih putanja kao wp-login.php, xmlrpc.php, admin, phpmyadmin, backup.zip.
• User-Agent izgleda kao Googlebot, ali IP nije u Google ASN ili službenoj IP listi.
• Obilazak filter, search, cart ili account stranica bez poštovanja robots.txt pravila.
• Ekstremno visoka frekvencija zahtjeva na iste URL-ove, nekarakteristična za pravi Googlebot.

Zašto samo User-Agent provjera nije dovoljna?

To što bot ima "Googlebot" u HTTP headeru ne znači da je od Googlea. User-Agent se može lažirati jednostavnim curl komandama. Zato je pogrešno u .htaccess blokirati ili dozvoliti sve zahtjeve s "Googlebot" u User-Agentu. Prvo može prekinuti pravi crawl, drugo ostavlja rupe za napadače.

Moderni SEO i sigurnosni pristup je trostruk: provjeriti deklariranu identitet, validirati IP ili DNS, pratiti anomalije u logovima. Ova strategija štiti vašu Google vidljivost i čisti server od nepotrebnih botova.

Kako provjeriti da li je Googlebot pravi?

Google preporučuje dvije metode: reverse DNS provjeru i službene IP raspona. Kod reverse DNS-a, IP treba završiti s googlebot.com ili google.com domenom, a zatim ponovo resolveati na isti IP. Ova dvosmjerna validacija sprečava lažne PTR zapise.

Druga metoda su Googleove službene IP liste. Googlebot, specijalni crawl i user-trigger fetcheri imaju zasebne JSON liste koje se povremeno mijenjaju. Staru ručno upisanu IP listu nije preporučljivo koristiti dugoročno. Ako imate vlastiti VPS ili server, automatski povlačite ove liste u firewall ili Apache include fajl. Na shared hostingu, koristite pristupne logove, .htaccess i sigurnosne module za kontrolisano blokiranje.

.htaccess strategija za blokiranje lažnih Googlebotova

.htaccess na Apache serveru omogućava pravila po direktorijumu: redirect, kontrolu pristupa, kompresiju, cache i osnovnu sigurnost. Kod lažnih Googlebotova, .htaccess procjenjuje dolazni zahtjev i sumnjive blokira 403 Forbidden odgovorom.

Ali postoji ograničenje: standardni .htaccess nije idealan za real-time reverse DNS provjeru. HostnameLookups je često isključen radi performansi. Najpraktičnije je User-Agent zahtjeve sa "Googlebot" usporediti s IP allowlistom, ili agresivnije filtrirati sumnjive putanje. Za naprednije provjere, koristi se WAF, server firewall, CDN ili automatizacija na logovima. Šta je CDN i njegov utjecaj na performansu web stranice može olakšati planiranje ovog sloja.

Praktična primjena: detekcija i blokiranje lažnih Googlebotova

1. Analizirajte pristupne logove

Prije pisanja pravila, pregledajte barem 24-72 sata access logova. Kod velikog prometa, i sat vremena može pokazati dosta signala. Ključni podaci su IP, datum, traženi URL, HTTP kod, veličina bajta, referer i User-Agent. Ako isti IP u 10 minuta šalje 800 zahtjeva od kojih većina vraća 404, a User-Agent je Googlebot, imate jak sumnjiv signal.

Na cPanelu ili sličnim panelima, preuzmite Raw Access Logs. Ako imate SSH, filtrirajte zahtjeve s "Googlebot" User-Agentom kroz grep, awk i sort, fokusirajući se na ponašanje IP adresa, ne samo User-Agent.

2. Validirajte IP adrese koje se predstavljaju kao Googlebot

Nakon što ste identificirali sumnjive IP-e, napravite reverse i forward DNS provjeru. PTR zapis tipa crawl-66-249-66-1.googlebot.com je prvi korak, ali domen mora ponovo resolveati u isti IP. Ako nema PTR-a, domen ide na drugo mjesto ili forward ne daje isti IP, ne radi se o pravom Googlebotu.

Ova provjera je posebno kritična kod SEO osjetljivih siteova. Blokiranje pravog Googlebota može dovesti do sporog indeksiranja, gubitka svježine, crawl errora u Search Consoleu i gubitka organskog prometa. Pravilo blokiranja ne smije biti samo User-Agent, već mora proći validaciju.

3. Prvo logirajte, onda blokirajte

Sigurna praksa je prvo promatrati, a tek nakon toga blokirati. U prvoj fazi zabilježite sumnjive IP-e i User-Agentove. U drugoj fazi, ograničite samo evidentnu štetu (npr. pokušaj pristupa admin panelima). U trećoj fazi, blokirajte zahtjeve s Googlebot User-Agentom koji nisu u Google IP rasponu.

Ovo je važno kod web shopova: pogrešno pravilo može utjecati na checkout, košaricu, varijacije proizvoda ili integraciju sa zalihama. Ako imate mnogo prometa, testirajte pravila prvo na staging okruženju. Premještanje WordPress sajta i kreiranje testnog okruženja olakšava sigurne promjene sigurnosnih pravila.

Sigurni primjeri .htaccess pravila

Pravila ispod testirajte prema vašem Apache serveru, podržanim modulima i pravima hostinga. Apache 2.4 s mod_rewrite je standard, ali shared hosting može imati ograničenja. Prije editiranja .htaccess, obavezno napravite backup. Jedna greška može izazvati 500 Internal Server Error.

Jednostavan filter ponašanja: blokiranje botova na osjetljivim putanjama

Ova strategija blokira botove koji se predstavljaju kao Googlebot na admin ili napadačkim fajlovima. Pravi Googlebot nema zašto crawlati wp-login.php, phpmyadmin ili backup zipove, pa je rizik od false positive minimalan.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Google-InspectionTool|AdsBot-Google|Mediapartners-Google) [NC]
• RewriteCond %{REQUEST_URI} (wp-login[.]php|xmlrpc[.]php|phpmyadmin|adminer|backup|[.]sql|[.]zip) [NC]
• RewriteRule ^ - [F,L]

Ovo pravilo vraća 403 kad se klijent s "Googlebot" User-Agentom pojavi na osjetljivoj putanji. Utjecaj na SEO crawl je minimalan, jer te putanje ionako ne trebaju biti indeksirane. WordPress korisnici trebaju provjeriti potrebu za XML-RPC, remote publish i security pluginima.

IP allowlist: upoređivanje Googlebot identiteta s službenim IP rasponima

Jača metoda je dozvoliti samo zahtjeve koji dolaze iz Google IP raspona. Primjer ispod pokazuje logiku - IP rasponi moraju biti generisani prema aktuelnoj Google listi. Stara ili nepotpuna lista može blokirati pravog Googlebota.

• RewriteEngine On
• RewriteCond %{HTTP_USER_AGENT} (Googlebot|Googlebot-Image|Googlebot-News|Google-InspectionTool|AdsBot-Google) [NC]
• RewriteCond expr "! ( %{REMOTE_ADDR} -ipmatch '66.249.64.0/19' || %{REMOTE_ADDR} -ipmatch '64.233.160.0/19' || %{REMOTE_ADDR} -ipmatch '72.14.192.0/18' )"
• RewriteRule ^ - [F,L]

IP rasponi gore su samo primjer. Za produkciju koristite ažurnu Googlebot IP JSON listu. Ako vaš server ne podržava -ipmatch ili Apache expressions, provjerite s hosting providerom podršku za Apache 2.4. Alternativno, pravila možete postaviti na CDN/WAF sloju.

Ograničavanje brzine sumnjivih zahtjeva

.htaccess nije optimalan za napredni rate limit, ali može rano prekinuti loše ponašanje. Za pravu kontrolu brzine koristite mod_evasive, mod_security, CDN rate limiting ili zaštitu na aplikacijskom nivou. Botovi koji šalju više od 5-10 zahtjeva u sekundi mogu preopteretiti i najmanji site. Kod WordPressa, search, filter i tag stranice su česta meta. Kombinujte robots.txt, canonical, noindex i sigurnosna pravila. Vodič za optimizaciju brzine WordPress-a dopunjuje performance strategiju.

Tabela poređenja: kada koristiti koji metod?

Kontrolna lista: kako ne blokirati pravog Googlebota?

Najveći rizik kod blokiranja lažnih Googlebotova je slučajno blokiranje pravih Google crawlera. Nakon svake promjene provedite kontrolnu listu:

• Provjerite ima li naglih padova ili porasta 403 u Google Search Console Crawl Statistics.
• Logovi servera: da li zahtjevi sa stvarnih Google IP-a vraćaju 200, 301 ili odgovarajući kod?
• robots.txt ne smije blokirati pristup Googlebotu osim na kritičnim direktorijima.
• Testirajte sitemap, homepage, kategorije i ključne stranice prije i poslije .htaccess izmjena.
• Dokumentujte izvor i datum updatea vaše IP liste.

403 je jak signal za tehnički SEO. Ako Googlebot više puta dobije 403 na važnim stranicama, crawl rate može pasti. Zato 403 treba koristiti samo za definitivno neželjene botove i osjetljive putanje. Za privremeno preopterećenje ili rate limit može biti prikladniji 429 Too Many Requests, ali za jednostavno bot blokiranje .htaccess-om 403 je najjasniji.

Dodatne mjere za WordPress i web shopove

Na WordPressu lažni Googlebotovi najčešće napadaju xmlrpc.php, wp-login.php, REST API, search URL-ove i autor arhive. Kod web shopova su meta filter parametri, upiti za zalihu, košarica i varijacije proizvoda. Treba voditi računa o općoj bot higijeni, ne samo o Googlebot imitatorima.

• Za login koristite dvofaktorsku autentifikaciju i ograničenje pokušaja.
• Isključite ili ograničite nepotrebne XML-RPC funkcije.
• Kombinujte noindex, canonical i robots.txt strategiju na search i filter URL-ovima.
• Koristite najnoviji PHP, ažurirane teme i provjerene plugine.
• SSL certifikat neka bude aktivan; HTTPS je obavezan za sigurnu sesiju i formu. Hostragons SSL certifikati
• Redovno provjeravajte DNS zapise domena; loši DNS i slabi mail zapisi povećavaju sigurnosni rizik. Provjera domene i upravljanje DNS-om

Uticaj na performanse: kako bot promet troši server resurse?

Bot promet nije samo sigurnosni problem, već i problem performansi hostinga. Staticki zahtjev za sliku je jeftin, ali WordPress search ili WooCommerce filter pokreće bazu. Ako lažni Googlebot pošalje 300 dinamičkih zahtjeva u minuti, necacheovane stranice mogu napuniti PHP procese, povećati DB konekcije i usporiti korisnike.

Primjer: filter stranica troši 250 ms PHP resursa po requestu, a 600 bot zahtjeva u minuti generiše 150 sekundi procesnog opterećenja. Kad se to dešava paralelno, CPU dolazi do limita i TTFB raste. Loš server response usporava korisničko iskustvo i konverziju. Zato bot blokiranje treba biti i dio SEO i performance optimizacije.

Testiranje: rade li vaša pravila?

Nakon dodavanja .htaccess pravila, napravite tri testa. Prvo, pregledajte homepage, kategorije i login flow normalnim browserom. Drugo, testirajte važan URL u Google Search Console Live Test. Treće, provjerite logove: da li sumnjive IP-e s Googlebot User-Agentom dobivaju 403, dok validirani Google IP-e nisu blokirani.

Ako testirate s komandne linije, možete lažirati User-Agent, ali to nije dokaz da ste pravi Googlebot, nego samo testira da li User-Agent pravilo radi. Prava validacija je IP i DNS. Ako dobijete 500 grešku, provjerite syntax .htaccess-a, vratite zadnje dodane linije, pregledajte error logove i provjerite podršku Apache direktiva.

Plan održavanja: koliko često ažurirati pravila?

Bot blokiranje nije jednokratna radnja. Google IP rasponi se mijenjaju, napadači adaptiraju User-Agent pattern-e, a URL struktura sitea se vremenom mijenja. Kod low-traffic siteova, mjesečna log analiza je dovoljna. Kod portala, web shopova i kampanja, sedmična kontrola je sigurnija. Kod velikih projekata, najbolje je postaviti automatska upozorenja; npr. kad broj zahtjeva s Googlebot User-Agentom s nevalidiranih IP-a pređe određenu granicu.

.htaccess verzionirajte. Čak i jednostavan backup s datumom (npr. htaccess-2026-02-15.bak) olakšava vraćanje kod problema. Ako više ljudi upravlja siteom, neka uz svaku promjenu stoji kratka bilješka šta i zašto je dodano.

Zaključak

Detekcija i blokiranje lažnih Googlebotova putem .htaccess, ako se pravilno primijeni, štiti SEO vidljivost i server resurse od zlonamjernih crawlera. Temeljno pravilo: User-Agent nije dovoljan dokaz; kombinujte IP, DNS, ponašanje i log analizu. Prvo promatrajte, zatim ograničite rizik na osjetljivim putanjama, a na kraju koristite ažurnu Google IP listu za validaciju i blokiranje.

Na Hostragons infrastrukturi, planirajte sigurni hosting, ažurni SSL, ispravan DNS i redovan backup za stabilan web. Analizirajte bot promet na svom sajtu, a kad treba, odaberite jači i sigurniji hosting paket putem Hostragons paketi hostinga.

Često postavljana pitanja

Može li lažni Googlebot uticati na moje Google rangiranje?

Može indirektno. Ako lažni Googlebot troši server resurse, pravi korisnici i pravi Googlebot mogu dobiti sporije odgovore. Također, lažni botovi mogu zamutiti logove i analitiku, što vodi do pogrešnih SEO odluka. Pravilno blokiranje čuva crawl budget i performanse.

Da li je ispravno blokirati sve Googlebot User-Agentove u .htaccess?

Ne. Takva strategija može blokirati pravog Googlebota i izazvati probleme s indeksiranjem. User-Agent zahtjevi moraju prvo proći IP ili DNS validaciju, tek tada se blokira ono što je lažno. Najsigurnije je kombinovati allowlist i ponašajna pravila.

Koliko često treba ažurirati Googlebot IP liste?

Za siteove s velikim prometom preporučuje se sedmično, za manje siteove mjesečno. Najbolje je automatski generisati liste iz službenih Google IP JSON izvora. Ručno upisane stare liste mogu dovesti do pogrešnog blokiranja pravih Googlebotova.

Nakon dodavanja .htaccess pravila dobio sam 500 grešku, šta da radim?

500 greška je obično syntax greška, nepodržana Apache direktiva ili pogrešan escape karakter. Vratite zadnje dodane pravila, pregledajte error logove i provjerite podršku Apache 2.4, mod_rewrite i expression modula na vašem hostingu. Backup prije izmjena je ključan.

Da li je potrebno .htaccess pravilo ako koristim CDN ili WAF?

CDN ili WAF su moćan sloj za filtriranje botova, ali .htaccess je dodatna zaštita bliže aplikaciji. Najbolje rezultate daje kombinacija: rate limit i bot validacija na CDN/WAF, a .htaccess ograničenja na osjetljivim putanjama servera.