Hakukonebottien seuranta palvelimen lokitiedostoja analysoimalla – näin valvot Googlebotin ja Bingbotin toimintaa

Hakukonebottien seuranta palvelimen lokitiedostoja analysoimalla on luotettavin tapa nähdä, mitä URL-osoitteita Googlebot, Bingbot ja muut hakukoneiden indeksoijat sivustollasi vierailevat, kuinka usein, millä tilakoodeilla ja millä resurssien kulutuksella. Siinä missä SEO-työkalut tarjoavat arvioita, palvelimen lokit näyttävät suoraan palvelimesi kirjaamat todelliset pyynnöt. Näin voit mitata tarkasti indeksointibudjetin hukkaa, 404/500-virheitä, uudelleenohjausketjuja, turhia parametrillisia URL-osoitteita ja sitä, indeksoivatko botit tärkeimpiä sivujasi riittävästi.

Tekninen SEO keskittyy usein näkyviin osa-alueisiin, kuten sivun sisäiseen optimointiin, nopeuteen, rakenteiseen dataan ja backlinkkeihin. Ymmärtääkseen, miten hakukone näkee sivustosi, on kuitenkin tutkittava botin käyttäytymistä. Botin käyttäytymisen raain ja luotettavin lähde on access log -tiedosto. Erityisesti suurille verkkokauppasivustoille, uutisportaaleille, SaaS-projekteille, monikielisille verkkosivustoille ja ahkerasti sisältöä tuottaville blogeille lokianalyysi on kriittinen työkalu indeksointiongelmien ratkaisemisessa.

Tässä oppaassa käymme Hostragons-blogille ominaisella käytännönläheisellä otteella askel askeleelta läpi, mistä palvelimen lokitiedostot löytyvät, mitä kenttiä tulee lukea, miten aidot hakukonebotit erotetaan väärennetyistä, mitä mittareita SEO:n kannalta tulee seurata ja miten analyysin tulokset muutetaan toimenpiteiksi. Jos tarvitset luotettavan hosting-alustan säännölliseen lokianalyysiin omalla sivustollasi, voit harkita Hostragonsin verkkopalvelut ja runsaasti liikennettä saaville projekteille Hostragons VPS Server vaihtoehtoja.

Mikä on palvelimen lokitiedosto ja miksi se on tärkeä SEO:lle?

Palvelimen lokitiedosto on päiväkirjatiedosto, johon jokainen verkkopalvelimellesi tuleva pyyntö kirjataan. Kun käyttäjä avaa etusivusi, Googlebot indeksoi tuoteryhmäsivusi tai tietoturvaskanneri lähettää pyynnön sivustollesi, tämä tapahtuma kirjoitetaan lokitiedostoon. Se sisältää yleensä päivämäärän, kellonajan, IP-osoitteen, pyydetyn URL-osoitteen, HTTP-metodin, tilakoodin, vastauksen koon, user-agentin ja joskus vasteajan.

SEO:n kannalta lokitiedostot ovat tärkeitä, koska ne näyttävät suoraan, miten hakukoneet indeksoivat sivustoasi. Google Search Console tarjoaa indeksointitilastoja, mutta se ei aina anna URL-tason tarkkuudella jokaista pyyntöä, kaikkia botteja tai palvelimesi reaaliaikaisia virheitä. Lokianalyysin avulla voit esimerkiksi nähdä, että Googlebot teki viimeisen 7 päivän aikana 12 400 pyyntöä, joista 18 prosenttia päätyi 301-uudelleenohjaukseen, 6 prosenttia 404-virheeseen, 2 prosenttia 500-virheeseen ja vain 9 prosenttia tärkeimmistä tuotesivuistasi indeksoitiin.

Nämä tiedot ovat erityisen arvokkaita indeksointibudjetin hallinnassa. Indeksointibudjetti voidaan ajatella hakukonebottien tietyssä ajassa indeksoimien URL-osoitteiden määränä. Jos sivustolla on paljon turhia suodattimia, sivutuksia, hakutuloksia, parametrillisia URL-osoitteita tai virheellisiä uudelleenohjauksia, botit käyttävät vähemmän aikaa arvokkaisiin sivuihisi. Lokitiedostot paljastavat tämän haaskauksen todisteineen.

Mihin kysymyksiin haetaan vastauksia hakukonebotteja seurattaessa?

Onnistunut lokianalyysi ei ole pelkkää tiedoston avaamista ja rivien lukemista. Ensin on kysyttävä oikeat kysymykset. Tekniset SEO-tiimit etsivät yleensä vastauksia seuraaviin kysymyksiin:

• Mitä URL-ryhmiä Googlebot indeksoi eniten?
• Vieraillaanko tärkeillä sivuilla riittävästi?
• Kuinka suuri osa indeksointipyynnöistä saa tilakoodin 200, 301, 302, 404, 410 tai 5xx?
• Lähettävätkö botit edelleen pyyntöjä robots.txt:llä estetyille alueille?
• Kuluttavatko parametrilliset, duplikaatit tai vähäarvoiset URL-osoitteet indeksointibudjettia?
• Onko mobiili-Googlebotin ja työpöytä-Googlebotin käyttäytymisessä eroa?
• Hidastavatko palvelimen vasteajat bottien indeksointia?
• Kuluttavatko väärennetyt botit resursseja esiintyen Googlebotina?

Jokainen näistä kysymyksistä voi johtaa suoraan toimenpiteisiin. Jos esimerkiksi huomaat Googlebotin indeksoivan suuren määrän vanhoja kampanja-URL-osoitteita 404-tilakoodilla, voit ohjata nämä URL-osoitteet 301:llä sopivaan kategoriaan tai, jos ne on poistettu pysyvästi, käyttää 410-tilakoodia. Jos 30 prosenttia bottien pyynnöistä kohdistuu sivuston sisäisiin hakutuloksiin, robots.txt, canonical, noindex tai URL-parametrien hallinta on ehkä suunniteltava uudelleen.

Mistä lokitiedostot löytyvät?

Lokitiedostojen sijainti vaihtelee käyttämäsi hosting-tyypin, hallintapaneelin ja verkkopalvelimen mukaan. Jaettua hostingia käyttävillä sivustoilla pääsyraportteja löytyy yleensä cPanelista, Pleskistä tai hosting-paneelin tilastot- ja raw access logs -osioista. VPS- tai dedikoitua palvelinta käyttävissä projekteissa lokeihin päästään SSH:n kautta.

Yleisimmät Apache- ja Nginx-lokien sijainnit

Linux-pohjaisilla palvelimilla Apachen yleinen access log -polku on /var/log/apache2/access.log tai /var/log/httpd/access_log. Nginxiä käyttävillä palvelimilla tiedosto /var/log/nginx/access.log on yleinen. Verkkotunnuskohtaisissa virtuaalipalvelinmäärityksissä jokaiselle sivustolle voidaan pitää erillistä lokitiedostoa. Tämä parantaa analyysin tarkkuutta monisivustoisissa ympäristöissä.

Esimerkkirivi lokista voi sisältää seuraavat tiedot: 66.249.66.1 - - [12/Mar/2026:10:15:22 +0300] GET /blog/tekninen-seo HTTP/2.0 200 18432 Googlebot/2.1. Tältä riviltä voit lukea IP-osoitteen, pyynnön ajankohdan, URL-osoitteen, tilakoodin, vastauksen koon ja user-agent-tiedon. Jos lokimuotosi sisältää myös vasteajan, sinulla on tehokkaampi tietoaineisto suorituskykyanalyysiin.

Lokin lataaminen hosting-paneelista

Käyttäjille, joilla on rajallinen tekninen osaaminen, lokin lataaminen hosting-paneelista on käytännöllisin tapa. Paneelista voit etsiä osioita, kuten access logs, raw logs, visitors tai web statistics. Suurilla sivustoilla päivittäiset lokitiedostot voivat sisältää satoja tuhansia rivejä, minkä vuoksi tiedostojen lataaminen pakattuna ja analysointi on tehokkaampaa. Säännöllinen pääsy, turvallinen varmuuskopiointi ja suorituskyvyn seuranta helpottuvat helposti hallittavilla ratkaisuilla, kuten Hostragons cPanel hosting.

Lokirivin SEO:n kannalta tärkeät kentät

Kaikki lokirivit eivät ole samanarvoisia. SEO:ta varten on keskityttävä ensisijaisesti tiettyihin kenttiin. IP-osoitetta käytetään botin aitouden varmistamiseen. Päivämäärä ja kellonaika mahdollistavat indeksointitiheyden mittaamisen päivä- ja tuntitasolla. HTTP-metodin tulisi yleensä olla GET; epätavalliset POST-pyynnöt voidaan tutkia tietoturvan kannalta. Pyydetty URL kertoo, mikä sivu indeksoitiin. Tilakoodi ilmaisee sivun saavutettavuuden. User-agent auttaa ymmärtämään pyynnön tehneen botin henkilöllisyyden. Jos vasteaika tai time taken -kenttä on olemassa, se on erittäin arvokas botin kokemuksen ja palvelimen kuormituksen kannalta.

Oletetaan esimerkiksi, että viimeisen 30 päivän lokissa on 50 000 Googlebot-pyyntöä. Jos näistä pyynnöistä 38 000 on 200, 7 500 on 301, 2 000 on 404, 1 200 on 304, 800 on 5xx ja 500 on 302, ongelma on selvä: uudelleenohjausten ja virheiden osuus on yhteensä yli 20 prosenttia. Teknisen SEO:n tavoite on saada 5xx-virheet lähelle nollaa, vähentää 404:t järkevälle tasolle ja karsia turhia uudelleenohjauksia.

Miten erottaa aito Googlebot väärennetystä botista?

Pelkkä user-agent ei ole luotettava. Haitalliset indeksoijat voivat esiintyä Googlebotina. Siksi aidot hakukonebotit on varmennettava käänteis-DNS- ja edelleen-DNS-tarkistuksella. Googlen suosittelema menetelmä on muuntaa IP-osoite isäntänimeksi käänteisellä DNS:llä, tarkistaa, että tuloksena oleva isäntänimi päättyy googlebot.comiin tai google.comiin, ja ratkaista tämä isäntänimi uudelleen samaksi IP-osoitteeksi.

Esimerkkiprosessi on seuraava: Ota lokista IP-osoite, joka tuli Googlebot user-agent -tiedolla. Tee käänteinen DNS-kysely päätteessä komennolla host 66.249.66.1 tai nslookup 66.249.66.1. Jos tuloksena oleva verkkotunnus kuuluu luotettavaan Google-verkkotunnukseen, kuten crawl-66-249-66-1.googlebot.com, siirry toiseen vaiheeseen. Ratkaise tämä verkkotunnus uudelleen IP-osoitteeksi. Jos tulos vastaa alkuperäistä IP-osoitetta, botti on todennäköisesti aito. Jos se ei täsmää tai tuloksena on asiaankuulumaton verkkotunnus, sitä on pidettävä väärennettynä bottina.

Tämä varmennus on tärkeä erityisesti runsaasti resursseja kuluttavien bottien erottamiseksi. Väärennetyt Googlebotit voivat kuluttaa palvelimen resursseja, skannata haavoittuvuuksia tai pyrkiä kopioimaan sisältöä. Kun havaitset tällaista liikennettä, voit ottaa käyttöön WAF:n, nopeusrajoituksen, IP-eston tai palomuurisäännöt. HTTPS- ja suojatun yhteyden määritykseen voit tutustua Hostragons SSL-sertifika -sivulla.

Työkaluja lokianalyysiin

Lokianalyysiin ei ole yhtä ainoaa oikeaa työkalua. Sivuston koon, teknisen tiimin kokemuksen ja budjetin mukaan voidaan valita erilaisia menetelmiä. Pienillä sivustoilla Excel, Google Sheets tai yksinkertaiset komentorivisuodattimet voivat riittää. Keskikokoisilla sivustoilla Screaming Frog Log File Analyser, GoAccess tai Python-skriptit ovat tehokkaampia. Yritysratkaisuissa voidaan käyttää Elasticsearchia, Logstashia, Kibanaa, BigQuerya tai SIEM-ratkaisuja.

Käytännöllinen aloitus on ladata viimeisen 7 tai 14 päivän lokit ja suodattaa vain Googlebotin, Bingbotin, YandexBotin ja muiden tärkeiden bottien user-agentit. Tämän jälkeen voit luoda pivot-taulukoita URL-osoitteen, tilakoodin ja päivämäärän mukaan. Tavoitteena ei ole rakentaa täydellistä tietovarastoa ensimmäisessä analyysissä, vaan nähdä nopeasti suurimmat SEO-menetykset.

Palvelimen lokitiedoston analyysi askel askeleelta

1. Määritä analyysin tavoite

Selvennä ensin, mitä haluat oppia. Eivätkö uudet julkaistut sisällöt indeksoidu? Eivätkö tuoteryhmäsivut tule riittävästi indeksoiduiksi? Vaikuttavatko palvelinvirheet orgaaniseen näkyvyyteen? Kun tavoitteesi on selkeä, myös lokitiedostosta etsimäsi signaalit selkiytyvät. Esimerkiksi indeksointiongelmassa tarkastellaan, milloin Googlebot on viimeksi indeksoinut tärkeät URL-osoitteet; suorituskykyongelmassa tutkitaan 5xx-koodeja ja vasteaikoja.

2. Valitse oikea aikaväli

Liian lyhyet aikavälit voivat olla harhaanjohtavia, kun taas liian pitkät kasvattavat tiedostokokoa tarpeettomasti. Pienillä ja keskisuurilla sivustoilla 14–30 päivää on hyvä aloitus. Nopeasti päivittyvillä sivustoilla, kuten uutissivustoilla, jopa 3–7 päivän jaksot ovat merkityksellisiä. Suurilla verkkokauppasivustoilla sesonki, kampanja ja kategoriapäivitykset tulisi lisäksi merkitä erikseen.

3. Suodata bottiliikenne

Erottele user-agent-kentästä botit, kuten Googlebot, Googlebot-Image, Googlebot-News, Bingbot, YandexBot, DuckDuckBot, Applebot. Muista kuitenkin tehdä aitojen bottien varmennus kriittisissä raporteissa. Mobile-first-indeksoinnin vuoksi Googlebot Smartphone -pyyntöjä on seurattava erikseen. Jos työpöytäbotti vaikuttaa erittäin aktiiviselta ja mobiilibotti passiiviselta, kyseessä voi olla määritys- tai pääsyongelmia.

4. Luo URL-ryhmiä

Yksittäisten URL-osoitteiden analysointi on tehotonta suurilla sivustoilla. Jaa URL-osoitteet malleihin: etusivu, kategoria, tuote, blogi, tagi, suodatin, haku, sivutus, kuva, API, staattinen tiedosto jne. Näin näet, mihin sivuston osiin botit keskittyvät. Jos esimerkiksi verkkokauppasivustolla Googlebotin pyynnöistä 42 prosenttia kohdistuu suodatettuihin URL-osoitteisiin ja 18 prosenttia tuotesivuihin, priorisointiongelma voi olla olemassa.

5. Arvioi tilakoodit

SEO-lokianalyysissä tilakoodit ovat yksi tärkeimmistä mittareista. Koodi 200 tarkoittaa onnistunutta pääsyä, 301 pysyvää uudelleenohjausta, 302 väliaikaista uudelleenohjausta, 304 ei muuttunut -vastausta, 404 ei löytynyt -virhettä, 410 pysyvää poistoa, 429 liian monta pyyntöä -tilaa ja 5xx palvelinvirheitä. Tavoitteena on, että tärkeät sivut palauttavat mahdollisimman suoraan 200:n ja etteivät botit tuhlaa aikaa virheisiin tai turhiin uudelleenohjausketjuihin.

6. Mittaa vasteaika ja palvelimen kuormitus

Jos lokimuotosi sisältää vasteajan, tutki bottipyyntöjen keskimääräistä ja 95. persentiilin aikoja. Keskiarvo 180 ms voi näyttää hyvältä, mutta jos 95. persentiilin arvo on 2 800 ms, jotkin URL-tyypit saattavat hidastaa botteja. Erityisesti suodatetut kategoriat, sivuston sisäinen haku, dynaamiset raportit ja raskaita tietokantakyselyitä suorittavat sivut on tutkittava huolellisesti. Jos kohtaat suorituskykyongelmia, tehokkaampia resursseja varten voidaan harkita Hostragons pilvipalvelin -vaihtoehtoja.

SEO:n kannalta kriittisimmät lokianalyysin löydökset

Indeksointibudjetin tuhlaus

Indeksointibudjetin tuhlaus tarkoittaa, että botit käyttävät liikaa aikaa epäolennaisiin URL-osoitteisiin. Parametrilliset URL-osoitteet, lajittelusuodattimet, istuntotunnisteet, tulostussivut, loputtomat kalenteriarkistot ja sivuston sisäiset hakutulokset ovat yleisimpiä lähteitä. Jos lokianalyysissä huomaat näiden URL-osoitteiden muodostavan suuren osuuden, arvioi yhdessä canonical-, robots.txt-, noindex-, parametrien yksinkertaistamis- ja sisäisten linkkien uudelleenjärjestelyvaihtoehdot.

Tärkeiden sivujen vähäinen indeksointi

Joskus ongelma ei ole se, että botit indeksoivat liikaa, vaan se, että ne indeksoivat vääriä paikkoja. Uusilla tuotesivuilla, korkean konversion laskeutumissivuilla tai päivitetyillä opassisällöillä ei välttämättä vierailla riittävästi. Syynä voi olla heikko sisäinen linkitys, sivustokartan vanhentuneisuus, alhainen sivuston nopeus tai URL-osoitteen liian syvä sijainti arkkitehtuurissa. Tällöin päivitä XML-sivustokartta, lisää sisäisiä linkkejä pääkategoriasta ja asiaankuuluvista sisällöistä, tunnista orvot sivut ja vähennä URL-syvyyttä. Jos olet verkkotunnuksen ja projektirakenteen suunnitteluvaiheessa, voit aloittaa brändiin sopivasti Verkkotunnuskysely -palvelun avulla.

Uudelleenohjausketjut

Lokeissa on yleistä nähdä bottien ohjautuvan osoitteesta /vanha-url osoitteeseen /vali-url ja sieltä osoitteeseen /uusi-url. Nämä ketjut heikentävät käyttökokemusta ja botin tehokkuutta. Ihanteellinen rakenne on, että vanha URL ohjaa 301:llä suoraan lopulliseen URL-osoitteeseen. Suurissa sivustomuuttoprojekteissa vanhat uudelleenohjaussäännöt voivat kasaantua ja muodostaa ketjuja. Kuukausittainen lokitarkistus havaitsee nämä ketjut ajoissa.

5xx-virheet ja aaltoileva saavutettavuus

Jos hakukonebotit kohtaavat sivustollasi usein 500-, 502-, 503- tai 504-virheitä, ne voivat vähentää indeksointitiheyttä. Tämä voi vaikuttaa orgaaniseen suorituskykyyn erityisesti kampanja-aikoina. Tutki lokeista 5xx-virheiden ajankohtaa, URL-tyyppiä ja bottityyppiä. Jos esimerkiksi joka yö klo 02:00 varmuuskopioinnin aikana 503-virheet lisääntyvät, huoltoikkunaa, resurssisuunnittelua tai välimuististrategiaa on muokattava.

Robots.txt:n, sivustokartan ja lokidatan yhteisluku

Lokianalyysi on yksinäänkin tehokas, mutta siitä tulee paljon merkityksellisempi, kun sitä luetaan yhdessä robots.txt:n, XML-sivustokartan ja Google Search Console -datan kanssa. Vertaa, indeksoivatko botit sivustokartassa olevia URL-osoitteita. Löydä URL-osoitteet, jotka eivät ole sivustokartassa, mutta joita indeksoidaan usein. Tarkista, tuleeko robots.txt:llä estämillesi alueille bottipyyntöjä. Jos estetyt URL-osoitteet näkyvät edelleen hakutuloksissa, pelkkä robots.txt ei välttämättä riitä; saatetaan tarvita noindex- tai poistostrategiaa.

Hyvä käytäntö on luoda joka kuukausi kolme listaa: tärkeät URL-osoitteet, jotka ovat sivustokartassa mutta joita ei indeksoida; vähäarvoiset URL-osoitteet, jotka eivät ole sivustokartassa mutta joita indeksoidaan usein; sekä virhekoodin palauttavat bottipyynnöt. Nämä kolme listaa muodostavat teknisen SEO:n tiekarttasi perustan.

Mitä mittareita lokianalyysiraportin tulisi sisältää?

Hallittavaa raporttia varten on valittava toimenpiteitä tuottavia indikaattoreita liiallisen mittarimäärän sijaan. Seuraavat mittarit ovat riittävä aloitussarja useimmille sivustoille:

• Bottipyyntöjen kokonaismäärä ja jakauma boteittain
• Googlebot Smartphone- ja Desktop-suhde
• Tilakoodien jakauma: 200, 3xx, 4xx, 5xx
• Indeksointisuhde URL-tyypeittäin
• Eniten indeksoidut 100 URL-osoitetta
• Tärkeät URL-osoitteet, joita ei indeksoida lainkaan tai vain vähän
• Keskimääräinen ja 95. persentiilin vasteaika
• Yleisimmät 404- ja 5xx-virheitä antavat URL-osoitteet
• Parametrillisten URL-pyyntöjen osuus
• Luettelo väärennetyistä tai epäilyttävistä user-agenteista

Valmistele raportti viikoittain tai kuukausittain vertailukelpoisena. Jos esimerkiksi tammikuussa 5xx-osuus oli 1,8 prosenttia ja helmikuussa se laski 0,2 prosenttiin, olet todistanut tehdyn infrastruktuuriparannuksen vaikutuksen. Vastaavasti, jos blogisisältöihin kohdistuvat Googlebot-pyynnöt kasvoivat 35 prosenttia uuden sisäisen linkityksen jälkeen, sisältöarkkitehtuuripäätöksesi saa tukea datasta.

Sovellettava esimerkki: 30 päivän lokianalyysiskenaario

Kuvitellaan, että teknologia-blogin viimeisen 30 päivän access log analysoidaan. Yhteensä 320 000 pyynnön joukosta tunnistettiin 48 000 hakukonebotin pyyntöä. Googlebot-pyyntöjä oli 39 500, Bingbot-pyyntöjä 5 200 ja muita botteja 3 300. Tilakoodijakaumassa 200-vastauksen osuus oli 78 prosenttia, 301:n osuus 11 prosenttia, 404:n osuus 7 prosenttia, 5xx:n osuus 1,5 prosenttia ja muiden vastausten osuus 2,5 prosenttia.

URL-ryhmittelyä tehtäessä havaittiin, että Googlebotin pyynnöistä 28 prosenttia kohdistui tagisivuille, 22 prosenttia vanhoihin arkistoihin, 19 prosenttia blogikirjoituksiin, 8 prosenttia kategoriasivuille ja loput kuviin ja staattisiin tiedostoihin. Sivuston orgaanisen liikenteen tavoite oli kuitenkin ajankohtaisissa opaskirjoituksissa ja kategoriaryhmissä. Toimenpiteinä vähäarvoiset tagisivut merkittiin noindexillä, arkistosivuille annettuja sisäisiä linkkejä vähennettiin, ajankohtaiset opassisällöt linkitettiin etusivulta ja asiaankuuluvista kategorioista, ja sivustokartta yksinkertaistettiin sisältämään vain indeksoitaviksi halutut URL-osoitteet.

Seuraavan 30 päivän aikana Googlebotin blogikirjoituksiin kohdistamien pyyntöjen osuus nousi 19 prosentista 34 prosenttiin ja kategoriasivuihin kohdistamien pyyntöjen osuus 8 prosentista 14 prosenttiin. 404-osuus laski vanhojen URL-uudelleenohjausten ansiosta 7 prosentista 2,1 prosenttiin. Tämä esimerkki osoittaa, että lokianalyysi ei ole vain tekninen raportti, vaan päätöksentekomekanismi, joka tukee suoraan orgaanista kasvustrategiaa.

Yleisimmät virheet

Yleisin virhe lokianalyysissä on user-agent-tietoon sokeasti luottaminen. Jos väärennettyjä botteja ei oteta huomioon, raportit ovat harhaanjohtavia. Toinen virhe on kaikkien URL-osoitteiden arvottaminen samanarvoisiksi. Tietosuojasivun vähäinen indeksointi ei vaikuta samalla tavalla kuin pääkategoriasivun vähäinen indeksointi. Kolmas virhe on suurten johtopäätösten tekeminen yhden päivän datasta. Botin käyttäytyminen voi vaihdella päivittäin, minkä vuoksi on valittava merkityksellisiä ajanjaksoja.

Neljäs virhe on ajatella, että robots.txt ratkaisee kaikki ongelmat. Robots.txt voi rajoittaa indeksointia, mutta se ei aina riitä indeksin hallintaan. Viides virhe on se, ettei löydöksiä muuteta toimenpiteiksi. Jos lokianalyysin tuloksena ei tehdä päätöksiä uudelleenohjauksista, sisäisestä linkityksestä, sivustokartasta, canonicalista, suorituskyvystä ja tietoturvasta, raportti jää pelkäksi tiedostotarkasteluksi.

Tietoturva- ja tietosuojahuomiot

Lokitiedostot sisältävät IP-osoitteita ja pyyntötietoja, joten ne on säilytettävä huolellisesti. Niitä ei tule jakaa valtuuttamattomille henkilöille, analyysia varten ladattuja tiedostoja ei tule säilyttää tarpeettoman pitkään henkilökohtaisilla tietokoneilla, ja mahdollisuuksien mukaan on käytettävä maskausta. Yritysprojekteissa lokien säilytysajan on oltava tietosuoja-asetusten ja yrityksen käytäntöjen mukainen. Lisäksi, jos lokitiedostoissa näkyy tokeneita, istuntoparametreja tai arkaluonteisia kyselymerkkijonotietoja, sovelluspuolen kirjauskäytäntö on tarkistettava.

Tietoturvan kannalta lokit eivät ole arvokkaita vain SEO:lle, vaan myös hyökkäysten havaitsemiseen. Äkillisesti lisääntyvät 404-yritykset, hallintapaneelin skannaukset, epätavalliset POST-pyynnöt tai tietystä IP-lohkosta tuleva runsas liikenne voivat olla tietoturvahälytys. Siksi SEO- ja järjestelmänhallintatiimien on hyödyllistä arvioida lokidataa yhdessä.

Johtopäätös: Lokianalyysi on SEO:n todellinen datakerros

Hakukonebottien seuranta palvelimen lokitiedostoja analysoimalla vähentää teknisessä SEO:ssa arvauksiin perustuvia päätöksiä ja tekee todellisen indeksointikäyttäytymisen näkyväksi. Lokien ansiosta voit mitata, mitkä URL-osoitteet saavat arvoa, mitkä virheet uuvuttavat botteja, milloin palvelin on kuormittunut ja missä indeksointibudjetti tuhlataan. Säännöllinen analyysi on tehokas tapa ylläpitää indeksoinnin laatua ja orgaanista näkyvyyttä erityisesti kasvavilla sivustoilla.

Nopeaa aloitusta varten lataa viimeisen 14 päivän access log -tiedostosi, suodata aidot Googlebot-pyynnöt, erittele tilakoodit ja URL-ryhmät. Jos löydöksesi viittaavat suorituskyvyn, tietoturvan tai resurssien tarpeeseen, infrastruktuurisi tarkistaminen voi olla hyvä askel. Hostragonsin hosting-, VPS-, pilvipalvelin-, verkkotunnus- ja SSL-ratkaisuilla voit vahvistaa sivustosi teknistä perustaa ja toteuttaa lokianalyysistä nousevia parannuksia terveemmässä ympäristössä.

Usein kysytyt kysymykset

Miksi palvelimen lokitiedosto on SEO:lle erilainen kuin Google Search Console?

Google Search Console tarjoaa yhteenveto- ja Google-keskeistä dataa, kun taas palvelimen lokitiedosto näyttää palvelimellesi tulleet todelliset pyynnöt URL-, aika-, IP-, user-agent- ja tilakooditasolla. Siksi lokianalyysi on raaempi, yksityiskohtaisempi ja todennettavampi tietolähde.

Kuinka monen päivän data riittää lokianalyysiin?

Useimmille verkkosivustoille 14–30 päivän lokidata on hyvä aloitus. Uutissivustoilla tai hyvin usein päivittyvissä projekteissa myös 3–7 päivän analyysi voi olla merkityksellinen. Kausiluonteista liikennettä saavilla sivustoilla kampanja-ajat on tutkittava erikseen.

Miten ymmärrän, onko Googlebot aito?

Älä luota pelkkään user-agent-tietoon. Tee IP-osoitteelle käänteinen DNS-tarkistus, varmista, että tuloksena oleva verkkotunnus päättyy googlebot.comiin tai google.comiin, ja ratkaise tämä verkkotunnus uudelleen samaksi IP-osoitteeksi. Jos vastaavuus löytyy, botti on suurella todennäköisyydellä aito.

Ovatko 404-virheet aina SEO-ongelma?

Jokainen 404 ei ole virhe; se voi olla luonnollista poistetuille tai koskaan olemassa olleille sivuille. Kuitenkin tärkeistä sisäisistä linkeistä tulevat, backlinkkejä saavat tai Googlebotin usein indeksoimat 404-URL-osoitteet voivat tuhlata indeksointibudjettia. Näille URL-osoitteille tulisi harkita asianmukaista uudelleenohjaus- tai 410-strategiaa.

Kuinka usein lokianalyysi tulisi tehdä?

Pienillä sivustoilla kuukausittainen analyysi voi riittää. Suurissa verkkokaupoissa, uutissivustoissa ja runsasliikenteisissä projekteissa suositellaan viikoittaista, jopa kriittisinä aikoina päivittäistä seurantaa. Sivustomuuton, infrastruktuurimuutoksen tai suurten sisältöpäivitysten jälkeen on ehdottomasti suoritettava lokitarkistus.