Google crawl budget optimalizálása: 7 hatékony módszer a weboldalad hatékonyabb feltérképezéséhez

A Google crawl budget optimalizálása azt jelenti, hogy a Googlebot korlátozott feltérképezési erőforrásait a legértékesebb, indexelésre érdemes és forgalmat hozó oldalakra irányítjuk. Ez gyakorlatban a fölösleges URL-ek számának csökkentését, a weboldal sebességének és a szerver válaszidejének javítását, az XML oldaltérkép tisztán tartását, a robots.txt és canonical tagek helyes használatát, a hibás átirányítások kijavítását és rendszeres log elemzést jelenti. Különösen nagy e-kereskedelmi oldalak, híroldalak, többnyelvű weboldalak és több ezer URL-el rendelkező vállalati projektek esetében a crawl budget optimalizáció kritikus technikai lépés, amely közvetlenül befolyásolja a SEO teljesítményt.

A crawl budget a legtöbb kisebb weboldalnál nem olyan sürgős téma, amit napi szinten aggódni kellene; azonban ha az oldaladon több ezer termék, szűrő, kategória, címke, keresési eredmény, paraméteres URL vagy gyakran frissülő tartalom található, akkor az, hogy a Google milyen gyakran és mely oldalakat térképezi fel, meghatározhatja a rangsorolási potenciált. Ha azt tapasztalod, hogy a Google lassan fedezi fel a jó oldalakat, az új tartalmak késve kerülnek indexelésre, a Search Console "Felfedezett – egyelőre nincs indexelve" figyelmeztetések száma nő, vagy a szerver logokban azt látod, hogy a Googlebot fölösleges URL-eken tölti az időt, akkor a crawl budget optimalizálás technikai SEO prioritás kell legyen.

Ebben a cikkben egyszerűen elmagyarázzuk a crawl budget fogalmát, majd a 2026-os SEO szabványoknak megfelelően lépésről lépésre bemutatjuk a Google oldalad hatékonyabb feltérképezéséhez alkalmazható 7 módszert. Példákat, ellenőrzési listákat, döntési táblázatokat és a Hostragons infrastruktúrájára épülő teljesítményjavító ötleteket, valamint gyakori hibákat is megosztunk.

Mi az a crawl budget és miért fontos?

A crawl budget azt jelenti, hogy egy adott időszak alatt a Googlebot hány URL-t akar és tud feltérképezni a weboldaladon. Ezt alapvetően két tényező befolyásolja: a Google feltérképezési szándéka és a szervered kapacitása, hogy ezt kiszolgálja. A Google hajlamos gyakrabban feltérképezni az értékes és gyakran frissülő oldalakat; ha azonban a szerver lassú, sok hibát ad vagy túl sok alacsony minőségű URL van, a feltérképezés hatékonysága csökken.

Például egy 500 oldalas vállalati weboldalnál néhány fölösleges URL feltérképezése nem okoz komoly problémát. Ugyanakkor egy 80 000 termékes, 400 kategóriával, 20 szűrővel és felhasználóspecifikus paraméterekkel működő e-kereskedelmi oldalon más a helyzet. Ha a Googlebot naponta 20 000 URL-t térképez fel, és ezekből 12 000 készlethiányos termékek, végtelen szűrőkombinációk vagy fölösleges keresési eredmények, akkor a fontos termékoldalak felfedezése és frissítése késik.

A crawl budget optimalizáció nem csupán több feltérképezést jelent. A cél az, hogy a megfelelő URL-eket a megfelelő gyakorisággal térképezze fel a Google. A Google idejét nem az alacsony minőségű vagy ismétlődő oldalak, hanem a bevételt hozó kategóriák, friss blogbejegyzések, fontos termékoldalak és konverzióra fókuszáló landing page-ek feltérképezésére szeretnéd fordítani.

Mire figyelj a crawl budget optimalizálás megkezdése előtt?

Mielőtt nekilátnál robots.txt vagy noindex módosításoknak, fontos felmérni a jelenlegi helyzetet. Ellenkező esetben véletlenül blokkolhatod azokat az oldalakat, amelyeket a Google feltérképeznie kell, indexvesztést okozhatsz, vagy bonyolultabbá teheted a weboldalad struktúráját.

Első ellenőrzési lista

• Nézd meg a Google Search Console "Feltérképezési statisztikák" riportját.
• Hasonlítsd össze az elmúlt 30 és 90 nap Googlebot kéréseinek számát.
• Elemezd a szerver válaszkódjait: különítsd el a 200, 301, 302, 404, 410 és 5xx hibákat.
• Hasonlítsd össze az XML oldaltérképed URL számait a tényleges indexelhető URL-ekkel.
• Győződj meg róla, hogy a robots.txt nem blokkol fontos oldalakat.
• Ellenőrizd, hogy a canonical tagek saját magukra vagy más URL-ekre mutatnak-e.
• Derítsd ki, hogyan generálódnak az paraméteres URL-ek, szűrők, címkék, keresési eredmények és lapozás.

Ebben a szakaszban a technikai infrastruktúra is kulcsfontosságú. Ha megosztott tárhelyen fut egy nagy forgalmú és sok URL-t tartalmazó oldal, a Googlebot kérések a forgalmas időszakokban megnövelhetik a szerver válaszidejét. Stabilabb forrásokért érdemes megnézni a Hostragons web hosting csomagok, vagy ha növekvő projekted van, a Hostragons VPS szerver megoldások.

1. Csökkentsd az alacsony értékű és ismétlődő URL-ek számát

Az optimalizálás első és leghatékonyabb lépése, hogy csökkentsd a Googlebot által fölöslegesen feltérképezett URL-ek számát. Az alacsony értékű URL olyan oldal, amelynek indexelése sem forgalom, sem felhasználói élmény, sem üzleti cél szempontjából nem jelentős. Ezek általában szűrőkombinációk, rendezési paraméterek, belső keresési eredmények, üres kategóriaoldalak, címke archívumok, munkamenet paraméterek vagy duplikált tartalmak.

Egy e-kereskedelmi oldalon például az alábbi URL-eket képzeld el: /cipok?szin=fekete, /cipok?szin=fekete&meret=42, /cipok?szin=fekete&meret=42&rendezes=olcson-legtobb. Ha mindegyik indexelhető, a Google akár több ezer hasonló oldalt is feltérképezhet. Pedig a felhasználók számára az igazi érték a fő kategória és a stratégiailag fontos szűrőoldalak lehetnek.

Megvalósítási lépések

• Határozd meg a SEO szempontból értéktelen paramétereket: rendezés, megjelenítés, munkamenet, kampánykövető paraméterek.
• Azonos tartalmat megjelenítő oldalaknál canonical tagekkel jelöld meg az elsődleges URL-t.
• Belső keresési eredményeket általában noindex-cel láss el, szükség esetén a robots.txt-ben korlátozd a feltérképezést.
• Üres kategória- és készlethiányos termékoldalakra dolgozz ki tartós stratégiát.
• Címke archívumokat csak akkor engedélyezz indexelésre, ha valódi keresési igény és egyedi tartalom van.

Fontos tudni, hogy a noindex címke segít egy oldal idővel való indexből való eltávolításában, de nem állítja meg teljesen a Googlebot feltérképezését. A robots.txt viszont blokkolja a feltérképezést, de ha rosszul használod, akkor a Google nem látja a noindex taget. Ezért először az indexelési célokat határozd meg, majd jöhet a feltérképezési szabályozás.

2. Tartsd tisztán és naprakészen az XML oldaltérképet

Az XML oldaltérkép erős jelzés a Google számára arról, mely URL-ek a fontosak. Sok weboldalon azonban az oldaltérkép idővel szemétté válik: 404-es hibás régi cikkek, átirányított termékek, canonical máshová mutató URL-ek, noindex-es oldalak és teszt környezet linkjei kerülnek ugyanabba a fájlba. Ez zavaró jelzést küld a Google-nak.

Jól optimalizált XML oldaltérkép csak indexelhető, 200-as státuszkódot visszaadó, canonical magára mutató és SEO szempontból értékes URL-eket tartalmazzon. Nagyobb oldalak esetén érdemes kategóriák szerint külön sitemapokat használni, pl. termékek, kategóriák, blogbejegyzések, statikus oldalak és képek külön fájlban.

Példa az oldaltérkép minőségi kritériumaira

• Minden URL 200 OK választ adjon.
• Noindex-es oldalak ne szerepeljenek a sitemapban.
• 301 vagy 302-es átirányításokat tartalmazó URL-eket távolíts el.
• Canonical más URL-re mutató oldalakat ne vegyél fel.
• A lastmod mező a tényleges frissítés dátumát tükrözze, ne változzon naponta automatikusan.
• Ne lépd túl az 50 000 URL vagy 50 MB-os korlátot; szükség esetén használj sitemap index fájlt.

Például egy blogbejegyzésben egy apró helyesírási hibát javítottál, de nem érdemes naponta frissíteni a lastmod dátumot, mert ez hamis frissességi jelet küld a Googlebotnak. Ha viszont ár, készlet, technikai adat, cím vagy fontos kép változik, akkor a lastmod frissítése logikus. Ha WordPress-t használsz, rendszeresen ellenőrizd az SEO bővítményed sitemap beállításait. A WordPress teljesítményoptimalizálás és bővítménykezelés kapcsán ajánljuk a WordPress tárhely útmutató.

3. Használd tudatosan a robots.txt és Meta Robots szabályokat

A robots.txt megmondja a Googlebotnak, mely területeket ne térképezzen fel. A meta robots címke pedig azt szabályozza, hogy az adott oldal indexelhető-e vagy sem. Ezek nem ugyanazok, és helytelen kombinációikkal komoly SEO problémákat okozhatsz.

Például ha egy oldalra noindex taget teszel, de ugyanazt az oldalt a robots.txt-vel blokkolod, akkor a Googlebot nem fér hozzá az oldalhoz, így nem látja a noindex taget, és az URL tartalom nélkül maradhat az indexben. Ezért az olyan oldalak esetén, amelyeket el akarsz távolítani az indexből, de elérhetőnek kell maradniuk, előbb noindexet használj, míg azokat a területeket, amelyeket egyáltalán nem akarod feltérképezni, robots.txt-vel tiltsd le.

Összehasonlító táblázat: robots.txt, noindex és canonical

Ne tiltsd le feleslegesen a robots.txt-ben a CSS és JavaScript fájlokat. A Google modern böngészőként rendereli az oldalt, és ha nem fér hozzá ezekhez, rosszul értékelheti a felhasználói élményt. A robots.txt módosítás után mindig teszteld a Search Console-ban.

4. Javítsd a szerver teljesítményét és válaszidejét

A Googlebot figyelembe veszi a szerver kapacitását a feltérképezés során. Ha a kérések lassan érkeznek, nőnek az 5xx hibák, vagy a forgalmas időszakokban a szerver túlterhelt, a Google csökkentheti a feltérképezési sebességet. Ezért a crawl budget optimalizáció nem csak SEO bővítményekről szól, hanem a hosting infrastruktúra fejlesztéséről is.

Ideális célként az HTML válaszidőt 200-500 ms között érdemes tartani. Ez az érték persze függ az oldal felépítésétől, földrajzi elhelyezkedéstől, cache beállításoktól és dinamikus lekérdezésektől, de az 1,5-2 másodpercnél hosszabb válaszidők rontják a felhasználói élményt és a feltérképezési hatékonyságot. Különösen WordPress, WooCommerce vagy egyedi fejlesztésű oldalaknál figyelni kell az adatbázis-lekérdezésekre, a pluginok számára és a képek optimalizálására.

Javasolt teljesítményjavító lépések

• Alkalmazz szerveroldali cache-t.
• Távolítsd el a fölösleges pluginokat és egyszerűsítsd a sablonkódot.
• Tömörítsd a képeket WebP vagy AVIF formátumba.
• Használj CDN-t, hogy a statikus fájlok gyorsabban jussanak el a felhasználókhoz és a Googlebothoz.
• Rendszeresen optimalizáld az adatbázis táblákat.
• Futtass friss, támogatott PHP verziót.
• Válassz HTTP/2 vagy HTTP/3 protokollt támogató szerver infrastruktúrát.

A Hostragonsnál a megfelelő csomag kiválasztása kulcsfontosságú. Kezdő, kevés URL-es projektekhez a Hostragons megfizethető hosting jó választás lehet, míg nagy forgalmú e-kereskedelmi oldalaknak a Magas teljesítményű tárhely megoldások vagy dedikált, elkülönített erőforrású VPS szerverek stabilabb működést biztosítanak. A biztonságos kapcsolat érdekében érdemes ellátogatni a SSL tanúsítvány vásárlás oldalra; a HTTPS mind a felhasználói bizalom, mind a modern webes szabványok szempontjából elengedhetetlen.

5. Tisztítsd meg az átirányítási láncokat, 404 és 5xx hibákat

Egyik leggyakoribb technikai probléma, amely pazarlóan használja a Googlebot feltérképezési keretét, a hibás állapotkódok kezelése. Egyetlen 301 átirányítás normális, de ha az A URL átirányít a B-re, ami tovább megy a C-re, majd D-re, akkor átirányítási lánc jön létre. Ez lassítja a feltérképezést és gyengíti a linkek erejét.

A 404 hibák nem feltétlenül rosszak. Ha egy oldal véglegesen eltávolításra került, a 404 vagy még jobb a 410 státuszkód jelzi ezt. A probléma akkor van, ha belső linkek vagy az oldaltérkép 404-es oldalakat céloz, vagy a 5xx hibák megjelennek, amelyek a szerver problémáira utalnak. Ha a Googlebot sok 5xx hibát lát, óvatosabban fogja feltérképezni az oldalt.

Hibatisztítás 5 lépése

• Használj Screaming Frog, Sitebulb vagy hasonló eszközöket a teljes oldal feltérképezésére.
• Egyszerűsítsd az átirányítási láncokat egy lépéses végső URL-re.
• Belső linkekben a végső URL-eket használd átirányított helyett.
• Távolítsd el az oldaltérképből a 404, 410 és 5xx hibás URL-eket.
• Az értékes backlinkkel rendelkező törölt oldalakat releváns oldalakra irányítsd 301-gyel.

Például ha a régi szolgáltatásoldalad az /web-hosting-regi URL-en volt, az új pedig /web-hosting, akkor frissítsd az összes menü, blog és lábléc linket az új URL-re. Csak 301 átirányításra hagyatkozni rövid távon működik, de hosszú távon rontja a feltérképezési hatékonyságot.

6. Tegyél rendet a weboldal struktúrában és belső linkelésben a Googlebot számára

A Googlebot a weboldaladon belüli linkeket követi. Ezért fontos, hogy a fontos oldalak hány kattintással érhetők el a kezdőlapról vagy a kategória struktúrából, mert ez a crawl budget szempontjából döntő jelentőségű. Ha egy értékes termék vagy útmutató oldal 6-7 kattintásra van a főoldaltól, a Google alacsonyabb prioritásúnak tekintheti vagy később fedezheti fel.

Jó weboldal struktúrában a főoldal a főbb kategóriákhoz, a kategóriák az alkategóriákhoz, az alkategóriák pedig a termékekhez vagy tartalmi oldalakhoz vezetnek rendezett módon. A blogbejegyzések is természetes belső linkekkel támogatják a kapcsolódó termékeket, szolgáltatásokat vagy kategóriákat. A Hostragons blogján például a cikkből Mi az a domain és hogyan kell megszerezni?, Mi az a hosting és Weboldal gyorsítási módszerek kapcsolódó tartalmak érhetők el, amelyek javítják a felhasználói élményt és a Googlebot feltérképezést.

Gyakorlati szabályok belső linkeléshez

• Tedd elérhetővé a fontos oldalakat maximum 3 kattintásra a főoldaltól.
• Azonosítsd a "árva" oldalakat, amelyeket semmilyen belső link nem ér el, és illeszd be a struktúrába.
• Használj egyértelmű, leíró linkszövegeket; kerüld a "kattints ide" kifejezéseket, inkább "webhosting csomagok" típusú kifejezéseket alkalmazz.
• Ne adj véletlenszerű linkeket nagyon hasonló oldalakra, inkább építs témaköröket.
• Kerüld a több száz linket tartalmazó lábléceket, inkább stratégiai és korlátozott linkeket alkalmazz.

A témakörök (topic clusters) 2026-ban is hatékony SEO eszközök. Például a technikai SEO főbb témái alatt összekapcsolhatók a crawl budget, robots.txt, sitemap, oldalsebesség, strukturált adatok és indexelési problémák tartalmai. Ez segít az E-E-A-T jelzések erősítésében és a Google számára egyértelműbbé teszi az oldal szakmai fókuszát.

7. Mérd a Googlebot viselkedését log elemzéssel

A Search Console hasznos, de az igazi feltérképezési viselkedést a szerver logok mutatják meg legpontosabban. A logfájlokból kiderül, hogy mely bot mikor, milyen URL-t, milyen státusszal és adatforgalommal kért le. Nagyobb oldalak crawl budget optimalizálásához nélkülözhetetlen a log elemzés a találgatás helyett.

Egy log elemzés során az alábbi kérdésekre keresünk válaszokat: Mely könyvtárakat térképezi fel leggyakrabban a Googlebot? Milyen gyakran látogatja a fontos oldalakat? A 404 és 301 kérések mekkora arányt tesznek ki a teljes feltérképezésből? A paraméteres URL-ek lefedik-e a Googlebot kérések nagy részét? Van különbség a mobil és asztali Googlebot viselkedése között?

Egyszerű log elemzési példa

Tegyük fel, hogy az elmúlt 7 napban a Googlebot 50 000 kérést indított. Ebből 18 000 paraméteres URL-ekre, 9 000 301-es átirányításokra, 4 000 404-es oldalakra, és csak 12 000 termék- és kategóriaoldalra ment. Ebben a helyzetben az értékes oldalak aránya csak 24%. Az első cél a szűrők és átirányítások terhelésének csökkentése, hogy a termék- és kategóriaoldalak aránya meghaladja az 50%-ot.

A log elemzés alapján priorizáld a teendőket: először a legtöbb crawl budget-et elhasználó, de kevés értéket hozó könyvtárakat kezeld, majd sitemap tisztítással, canonical beállításokkal, robots.txt szabályozással és belső linkek javításával figyeld a Googlebot viselkedését néhány hétig. A crawl budget optimalizáció nem egyszeri feladat, hanem folyamatos mérés és fejlesztés.

Gyakori hibák a crawl budget optimalizáció során

A technikai SEO területén jó szándékú, de hibás megoldások súlyos következményekkel járhatnak. Az egyik leggyakoribb hiba, hogy az összes alacsony minőségű oldalt egyszerre blokkolják robots.txt-vel. Ha ezek az oldalak már indexeltek, a Google nem láthatja a noindex taget, így az eltávolítás lassú lesz. Egy másik gyakori probléma, hogy az összes készlethiányos terméket automatikusan a főoldalra irányítják. Ez gyenge felhasználói élményt és irreleváns átirányítási jelet eredményez.

Az is hibás megközelítés, ha minden paraméteres URL-t canonical taggel az alap kategóriára irányítanak. Egyes szűrőoldalak, például a fekete futócipő, egyedi leírással, termékválasztékkal és keresleti adatokkal SEO szempontból értékes landing page-k lehetnek. Tehát nem az összes variáció eltüntetése a cél, hanem a valóban értékes oldalak kiválasztása és erősítése.

Összefoglaló ellenőrző táblázat

Összegzés: Tegyél a Googlebot számára egyértelműbb, gyorsabb és minőségibb weboldalt

A Google crawl budget optimalizálása a fölösleges URL-ek csökkentését, tiszta sitemap használatát, helyes robots.txt és noindex döntéseket, szerver teljesítményének növelését, hibás státuszkódok javítását, belső linkstruktúra pontosítását és log elemzésen alapuló mérési folyamatokat foglalja magában. Kisoldalakon ezek az alapvető higiéniai lépések, nagyobb oldalakon pedig jelentős különbséget tesznek az indexelési sebesség, az organikus láthatóság és a konverziós potenciál terén.

A technikai SEO hatékonyságához stabil infrastruktúra szükséges. Gyors, biztonságos és folyamatosan működő weboldal támogatja a crawl budget hatékonyságát. Ha szeretnéd a projekted méretéhez igazítani a hostingot, domaint és SSL megoldásokat, érdemes megismerni a Hostragons termékeit, és a meglévő oldalon először sitemap, sebesség és log elemzés segítségével kis, de hatékony fejlesztéseket végezni.

Gyakran ismételt kérdések

Fontos-e a crawl budget a kis weboldalaknak?

Kis, kevés URL-es oldalak esetében a crawl budget általában nem kritikus probléma. Azonban ha az oldal lassú, sok 404-es hibát generál vagy fölösleges paraméteres URL-eket hoz létre, akkor a feltérképezési hatékonyság csökkenhet még kisebb oldalak esetén is.

Hogyan növelhetem a Google crawl budgetemet?

A crawl budget növelésének legegészségesebb módja a szerver teljesítményének javítása, minőségi és friss tartalom előállítása, hibás URL-ek csökkentése és a Googlebot irányítása a fontos oldalakra. A cél nem csupán a több feltérképezés, hanem a helyes oldalakon történő feltérképezés.

Megakadályozza-e a robots.txt az indexelést?

A robots.txt a feltérképezést tiltja meg, de önmagában nem garantálja az indexelés megszüntetését. Ha egy URL kívülről linkelve van és a robots.txt-vel blokkolt, a Google korlátozott információval is megőrizheti az indexben az URL-t. Az indexből való eltávolításhoz többnyire a noindex címke a megfelelőbb megoldás.

Milyen oldalakat tartalmazzon az XML oldaltérkép?

Az XML oldaltérképben csak olyan oldalak szerepeljenek, amelyek 200 OK státuszt adnak, indexelhetőek, canonical magukra mutat, és SEO értékkel bírnak. A noindex-es, átirányított, 404-es vagy alacsony minőségű oldalak ne legyenek benne.

Lehet-e crawl budgetet optimalizálni log elemzés nélkül?

Alapvető fejlesztések elvégezhetők log elemzés nélkül is, de nagyobb oldalak esetében a valódi Googlebot viselkedés megértéséhez a log elemzés nélkülözhetetlen. A logok mutatják meg a crawl budget legnagyobb fogyasztóit a legpontosabban.