Analisi dei log del server: come monitorare i bot dei motori di ricerca

Analizzare i log del server per monitorare i bot dei motori di ricerca è il modo più affidabile per capire quali URL del tuo sito vengono visitati da Googlebot, Bingbot e dagli altri crawler, con quale frequenza, con quali codici di stato e con quale impatto sulle risorse del server. Gli strumenti SEO forniscono stime e interpretazioni utili, ma i log del server mostrano le richieste reali registrate dalla tua infrastruttura: per questo permettono di misurare con precisione sprechi di crawl budget, errori 404 e 500, catene di redirect, scansioni inutili di URL con parametri e pagine strategiche che non vengono visitate abbastanza dai bot.

Le attività di SEO tecnica si concentrano spesso su aspetti visibili come ottimizzazione on-page, velocità, dati strutturati e backlink. Tuttavia, per comprendere davvero come un motore di ricerca “vede” il tuo sito, è necessario studiare il comportamento dei bot. La fonte più grezza e attendibile di questo comportamento sono gli access log, cioè i registri di accesso del server. Per grandi e-commerce, portali editoriali, progetti SaaS, siti multilingua e blog che pubblicano contenuti con frequenza, l’analisi dei log svolge un ruolo decisivo nella diagnosi e nella risoluzione dei problemi di indicizzazione.

In questa guida per il blog Hostragons vedremo, con un approccio pratico e applicabile, dove trovare i file di log del server, quali campi leggere, come distinguere i veri bot dei motori di ricerca dai bot falsi, quali metriche SEO monitorare e come trasformare i risultati dell’analisi in azioni concrete. Se vuoi eseguire regolarmente l’analisi dei log sul tuo sito, hai bisogno di un’infrastruttura hosting solida: puoi valutare Web hosting Hostragons oppure, per progetti con traffico elevato, le soluzioni Hostragons VPS Server.

Che cos’è un file di log del server e perché è importante per la SEO?

Un file di log del server è un registro in cui vengono salvate le richieste ricevute dal tuo web server. Quando un utente apre la home page, quando Googlebot scansiona una pagina di categoria o quando uno scanner di sicurezza invia una richiesta al sito, l’evento viene scritto nel file di log. Di solito queste righe includono data, ora, indirizzo IP, URL richiesto, metodo HTTP, codice di stato, dimensione della risposta, user-agent e, in alcuni casi, tempo di risposta.

Dal punto di vista SEO, i log sono importanti perché mostrano direttamente come i motori di ricerca effettuano il crawling del sito. Google Search Console offre statistiche di scansione molto utili, ma non sempre mostra ogni richiesta a livello di URL, tutti i bot e gli errori istantanei del server in modo dettagliato. Con l’analisi dei log puoi scoprire, ad esempio, che negli ultimi 7 giorni Googlebot ha effettuato 12.400 richieste, che il 18% di queste è finito su redirect 301, il 6% su errori 404, il 2% su errori 500 e che le tue pagine prodotto più importanti sono state scansionate solo nel 9% dei casi.

Questi dati sono particolarmente preziosi per la gestione del crawl budget. Il crawl budget può essere visto come la quantità di URL che i bot dei motori di ricerca riescono a scansionare sul tuo sito in un determinato periodo di tempo. Se esistono troppi filtri inutili, paginazioni, risultati di ricerca interna, URL con parametri o redirect configurati male, i bot potrebbero dedicare meno tempo alle pagine davvero importanti. I file di log rendono questo spreco visibile e dimostrabile con dati concreti.

Quali domande bisogna porsi quando si monitorano i bot dei motori di ricerca?

Una buona analisi dei log non consiste semplicemente nell’aprire un file e leggere righe una dopo l’altra. Prima di tutto bisogna formulare le domande giuste. I team di SEO tecnica cercano spesso risposta a questi punti:

• Quali gruppi di URL vengono scansionati più spesso da Googlebot?
• Le pagine importanti vengono visitate con una frequenza adeguata?
• Quale percentuale delle richieste dei bot riceve codici 200, 301, 302, 404, 410 o 5xx?
• I bot continuano a inviare richieste verso aree bloccate da robots.txt?
• URL con parametri, duplicati o a basso valore stanno consumando crawl budget?
• Ci sono differenze tra il comportamento di Googlebot mobile e quello desktop?
• I tempi di risposta del server rallentano la scansione dei bot?
• Bot falsi si stanno spacciando per Googlebot e consumano risorse?

Ognuna di queste domande può trasformarsi in un’azione SEO concreta. Se scopri che Googlebot scansiona molti vecchi URL di campagne ormai scadute e riceve 404, puoi reindirizzarli con un 301 verso una categoria pertinente oppure usare un codice 410 se la rimozione è definitiva. Se il 30% delle visite dei bot finisce sui risultati della ricerca interna, potrebbe essere necessario ripensare robots.txt, canonical, noindex o la gestione dei parametri URL.

Dove si trovano i file di log?

La posizione dei file di log dipende dal tipo di hosting, dal pannello di controllo e dal web server utilizzato. Nei siti su hosting condiviso, i registri di accesso sono in genere disponibili da cPanel, Plesk o dalle sezioni del pannello hosting dedicate a statistiche, visitatori e raw access logs. Nei progetti su VPS o server dedicato, invece, i log vengono consultati normalmente tramite SSH.

Percorsi comuni dei log Apache e Nginx

Sui server Linux, per Apache i percorsi più frequenti dei log di accesso sono /var/log/apache2/access.log oppure /var/log/httpd/access_log. Per i server Nginx, il file più comune è /var/log/nginx/access.log. Nelle configurazioni con virtual host specifici per dominio, ogni sito può avere un file di log separato. Questa separazione migliora l’accuratezza dell’analisi, soprattutto quando sulla stessa infrastruttura sono ospitati più siti.

Una riga di log di esempio può contenere informazioni come: 66.249.66.1 - - [12/Mar/2026:10:15:22 +0300] GET /blog/seo-tecnica HTTP/2.0 200 18432 Googlebot/2.1. Da questa riga puoi leggere l’indirizzo IP, l’orario della richiesta, l’URL, il codice di stato, la dimensione della risposta e lo user-agent. Se il tuo formato di log include anche il tempo di risposta, avrai un set di dati ancora più utile per l’analisi delle performance.

Scaricare i log dal pannello hosting

Per chi ha competenze tecniche limitate, scaricare i log dal pannello hosting è spesso la strada più semplice. Nel pannello puoi cercare sezioni chiamate access logs, raw logs, visitors o web statistics. Nei siti di grandi dimensioni, i file giornalieri possono contenere centinaia di migliaia di righe; per questo conviene scaricarli in formato compresso e analizzarli in modo organizzato. Per avere accesso regolare ai log, backup sicuri e gestione più semplice delle performance, soluzioni facili da amministrare come Hosting cPanel Hostragons possono velocizzare molto il lavoro.

I campi più importanti di una riga di log per la SEO

Non tutti i campi di una riga di log hanno lo stesso valore. In ottica SEO conviene concentrarsi prima sugli elementi più utili. L’indirizzo IP serve a verificare se il bot è reale. Data e ora consentono di misurare l’intensità della scansione per giorno e fascia oraria. Il metodo HTTP dovrebbe essere normalmente GET; richieste POST insolite possono meritare un controllo di sicurezza. L’URL richiesto mostra quale pagina è stata scansionata. Il codice di stato indica se la pagina è accessibile. Lo user-agent aiuta a capire l’identità del bot che ha effettuato la richiesta. Il tempo di risposta, se presente, è molto prezioso per valutare sia l’esperienza del bot sia il carico sul server.

Immaginiamo, ad esempio, che negli ultimi 30 giorni siano presenti 50.000 richieste di Googlebot. Se 38.000 hanno restituito 200, 7.500 hanno restituito 301, 2.000 hanno restituito 404, 1.200 hanno restituito 304, 800 hanno restituito 5xx e 500 hanno restituito 302, il problema è evidente: redirect ed errori superano complessivamente il 20%. L’obiettivo della SEO tecnica dovrebbe essere avvicinare a zero gli errori 5xx, ridurre i 404 a un livello fisiologico e tagliare i redirect non necessari.

Come distinguere Googlebot reale da un bot falso?

Lo user-agent da solo non è affidabile. Crawler malevoli possono dichiararsi Googlebot anche se non hanno nulla a che vedere con Google. Per verificare i bot dei motori di ricerca reali bisogna quindi eseguire controlli DNS inversi e diretti. Il metodo consigliato da Google consiste nel convertire l’indirizzo IP in un hostname tramite reverse DNS, verificare che l’hostname termini con googlebot.com o google.com e poi risolvere nuovamente quell’hostname nello stesso indirizzo IP.

Il processo può essere questo: prendi dal log l’indirizzo IP associato a uno user-agent Googlebot. Nel terminale esegui una query DNS inversa con host 66.249.66.1 oppure nslookup 66.249.66.1. Se il dominio risultante appartiene a un host Google affidabile, ad esempio crawl-66-249-66-1.googlebot.com, passa al secondo controllo. Risolvi di nuovo quel dominio in un indirizzo IP. Se il risultato coincide con l’IP iniziale, è molto probabile che il bot sia autentico. Se non coincide o se appare un dominio non pertinente, la richiesta va considerata sospetta o proveniente da un falso bot.

Questa verifica è particolarmente importante per separare i bot che consumano molte risorse. I falsi Googlebot possono sovraccaricare il server, cercare vulnerabilità o copiare contenuti. Quando individui questo tipo di traffico, puoi intervenire con WAF, rate limit, blocchi IP o regole firewall. Per configurazioni HTTPS e connessioni sicure, puoi consultare anche la pagina Certificati SSL Hostragons.

Strumenti utili per l’analisi dei log

Non esiste un unico strumento giusto per analizzare i log. La scelta dipende dalla dimensione del sito, dall’esperienza del team tecnico e dal budget disponibile. Per siti piccoli possono bastare Excel, Google Sheets o semplici filtri da riga di comando. Per siti di medie dimensioni, Screaming Frog Log File Analyser, GoAccess o script Python sono spesso più efficienti. In contesti enterprise si possono usare Elasticsearch, Logstash, Kibana, BigQuery o soluzioni SIEM.

Per iniziare in modo pratico, è sufficiente scaricare i log degli ultimi 7 o 14 giorni e filtrare solo gli user-agent di Googlebot, Bingbot, YandexBot e degli altri bot rilevanti. Poi puoi creare tabelle pivot per URL, codice di stato e data. Lo scopo della prima analisi non è costruire un data warehouse perfetto, ma individuare rapidamente le principali perdite SEO.

Analisi dei file di log del server passo dopo passo

1. Definisci l’obiettivo dell’analisi

Prima di tutto chiarisci che cosa vuoi scoprire. I nuovi contenuti non vengono indicizzati? Le pagine di categoria non sono scansionate abbastanza? Gli errori del server stanno influenzando la visibilità organica? Se l’obiettivo è chiaro, anche i segnali da cercare nei log saranno più facili da individuare. Per un problema di indicizzazione controllerai quando Googlebot ha visitato per l’ultima volta gli URL importanti; per un problema di performance analizzerai codici 5xx e tempi di risposta.

2. Scegli il periodo giusto

Intervalli troppo brevi possono essere fuorvianti, mentre intervalli troppo lunghi aumentano inutilmente la dimensione dei file. Per siti piccoli e medi, 14-30 giorni rappresentano un buon punto di partenza. Per portali news e siti aggiornati continuamente, anche finestre di 3-7 giorni possono essere significative. Nei grandi e-commerce conviene inoltre etichettare separatamente stagionalità, campagne promozionali e aggiornamenti di categoria.

3. Filtra il traffico dei bot

Nel campo user-agent separa bot come Googlebot, Googlebot-Image, Googlebot-News, Bingbot, YandexBot, DuckDuckBot e Applebot. Tuttavia, nei report più importanti non dimenticare di verificare che i bot siano reali. A causa dell’indicizzazione mobile-first, le richieste di Googlebot Smartphone vanno monitorate a parte. Se il bot desktop risulta molto attivo mentre quello mobile appare quasi assente, potrebbero esserci problemi di configurazione o accessibilità.

4. Crea gruppi di URL

Analizzare ogni URL uno per uno è poco efficiente nei siti grandi. Raggruppa gli URL per template: home page, categorie, prodotti, blog, tag, filtri, ricerca interna, paginazione, immagini, API, file statici. In questo modo puoi capire a quali sezioni del sito i bot dedicano più attenzione. Ad esempio, se in un e-commerce il 42% delle richieste di Googlebot va a URL filtrati e solo il 18% a pagine prodotto, potrebbe esserci un problema di priorità nella scansione.

5. Valuta i codici di stato

Nell’analisi SEO dei log, i codici di stato sono uno degli indicatori principali. Il codice 200 indica accesso riuscito, 301 redirect permanente, 302 redirect temporaneo, 304 risorsa non modificata, 404 pagina non trovata, 410 rimozione permanente, 429 troppe richieste e 5xx errori del server. L’obiettivo è far sì che le pagine importanti restituiscano il più possibile un 200 diretto e che i bot non sprechino tempo tra errori o catene di redirect inutili.

6. Misura tempi di risposta e carico del server

Se il formato dei tuoi log include il tempo di risposta, analizza la media e il 95° percentile per le richieste dei bot. Una media di 180 ms può sembrare ottima, ma se il 95° percentile è 2.800 ms significa che alcuni tipi di URL stanno rallentando i crawler. Bisogna osservare con attenzione soprattutto categorie filtrate, ricerca interna, report dinamici e pagine che eseguono query pesanti sul database. Se stai affrontando problemi di performance, puoi valutare risorse più potenti con Server cloud Hostragons.

I risultati più critici dell’analisi dei log in ottica SEO

Spreco di crawl budget

Lo spreco di crawl budget si verifica quando i bot dedicano troppo tempo a URL non importanti. URL con parametri, filtri di ordinamento, ID di sessione, versioni stampabili, archivi calendario infiniti e risultati della ricerca interna sono tra le cause più comuni. Se l’analisi dei log mostra che questi URL rappresentano una quota elevata delle scansioni, valuta insieme canonical, robots.txt, noindex, semplificazione dei parametri e revisione dei link interni.

Pagine importanti scansionate troppo poco

A volte il problema non è che i bot scansionano troppo, ma che scansionano le aree sbagliate. Nuove pagine prodotto, landing page ad alto potenziale di conversione o guide aggiornate potrebbero ricevere poche visite. Le cause possono essere link interni deboli, sitemap non aggiornata, sito lento o URL troppo profondi nell’architettura. In questi casi aggiorna la sitemap XML, aggiungi link interni da categorie principali e contenuti correlati, individua le pagine orfane e riduci la profondità degli URL. Se sei ancora nella fase di pianificazione del dominio e della struttura del progetto, puoi iniziare con una scelta coerente con il brand tramite Query di dominio.

Catene di redirect

Nei log è frequente vedere bot che passano da /vecchio-url a /url-intermedio e poi a /nuovo-url. Queste catene peggiorano l’esperienza utente e riducono l’efficienza dei crawler. La configurazione ideale è che il vecchio URL restituisca un 301 direttamente verso l’URL finale. Nei grandi progetti di migrazione, le vecchie regole di redirect possono accumularsi e creare catene non desiderate. Un controllo mensile dei log permette di intercettarle in anticipo.

Errori 5xx e accessibilità instabile

Se i bot dei motori di ricerca incontrano spesso errori 500, 502, 503 o 504 sul tuo sito, possono ridurre la frequenza di scansione. Questo può incidere sulle performance organiche soprattutto durante campagne, lanci e picchi stagionali. Nei log analizza l’orario degli errori 5xx, il tipo di URL coinvolto e il bot interessato. Se, ad esempio, ogni notte alle 02:00 aumentano i 503 durante il backup, bisogna rivedere la finestra di manutenzione, la pianificazione delle risorse o la strategia di cache.

Leggere insieme robots.txt, sitemap e dati di log

L’analisi dei log è potente anche da sola, ma diventa molto più significativa quando viene letta insieme a robots.txt, sitemap XML e dati di Google Search Console. Confronta gli URL presenti in sitemap con quelli effettivamente scansionati dai bot. Trova gli URL non presenti in sitemap ma scansionati spesso. Controlla se i bot continuano a inviare richieste alle aree bloccate da robots.txt. Se URL bloccati continuano a comparire nei risultati di ricerca, robots.txt da solo potrebbe non bastare: può servire una strategia di noindex o rimozione.

Una buona pratica consiste nel creare ogni mese tre liste: URL importanti presenti in sitemap ma non scansionati, URL a basso valore non presenti in sitemap ma scansionati frequentemente e richieste dei bot che restituiscono codici di errore. Queste tre liste possono diventare la base della tua roadmap di SEO tecnica.

Quali metriche includere in un report di log analysis?

Per un report davvero gestibile, è meglio non annegare nei dati e scegliere indicatori che portino ad azioni concrete. Le metriche seguenti sono un buon set iniziale per la maggior parte dei siti:

• Richieste totali dei bot e distribuzione per bot
• Rapporto tra Googlebot Smartphone e Desktop
• Distribuzione dei codici di stato: 200, 3xx, 4xx, 5xx
• Percentuale di scansione per tipo di URL
• Primi 100 URL più scansionati
• URL importanti mai scansionati o scansionati raramente
• Tempo di risposta medio e 95° percentile
• URL che generano più spesso 404 e 5xx
• Quota di richieste verso URL con parametri
• Lista di bot falsi o user-agent sospetti

Prepara il report con cadenza settimanale o mensile e confronta i periodi. Se a gennaio il tasso di errori 5xx era dell’1,8% e a febbraio scende allo 0,2%, puoi dimostrare l’impatto positivo delle ottimizzazioni infrastrutturali. Allo stesso modo, se dopo una nuova strategia di link interni le richieste di Googlebot verso i contenuti del blog aumentano del 35%, la decisione sull’architettura dei contenuti sarà supportata dai dati.

Esempio pratico: scenario di analisi log su 30 giorni

Immaginiamo di analizzare gli access log degli ultimi 30 giorni di un blog tecnologico. Su un totale di 320.000 richieste, vengono individuate 48.000 richieste provenienti da bot dei motori di ricerca. Le richieste di Googlebot sono 39.500, quelle di Bingbot 5.200 e quelle degli altri bot 3.300. La distribuzione dei codici di stato mostra il 78% di risposte 200, l’11% di 301, il 7% di 404, l’1,5% di 5xx e il 2,5% di altre risposte.

Dopo aver raggruppato gli URL, emerge che il 28% delle richieste di Googlebot va alle pagine tag, il 22% agli archivi datati, il 19% agli articoli del blog, l’8% alle pagine di categoria e il resto a immagini e file statici. Tuttavia, l’obiettivo organico del sito è far crescere le guide aggiornate e i cluster di categoria. Come azione, le pagine tag a basso valore vengono impostate su noindex, i link interni agli archivi vengono ridotti, le guide aggiornate vengono linkate dalla home page e dalle categorie pertinenti, e la sitemap viene semplificata includendo solo gli URL che si desidera indicizzare.

Nei 30 giorni successivi, la quota di richieste di Googlebot verso gli articoli del blog passa dal 19% al 34%, mentre quella verso le categorie cresce dall’8% al 14%. Il tasso di 404 scende dal 7% al 2,1% grazie ai redirect dei vecchi URL. Questo esempio mostra che l’analisi dei log non è solo un report tecnico, ma un meccanismo decisionale capace di supportare direttamente la crescita organica.

Errori frequenti

L’errore più comune nell’analisi dei log è fidarsi ciecamente dello user-agent. Se i bot falsi non vengono filtrati, i report possono diventare fuorvianti. Il secondo errore è trattare tutti gli URL come se avessero lo stesso valore. Una pagina privacy scansionata poco non ha lo stesso impatto di una pagina di categoria principale scansionata poco. Il terzo errore è trarre conclusioni importanti da un solo giorno di dati. Il comportamento dei bot può cambiare da un giorno all’altro, quindi bisogna scegliere finestre temporali significative.

Il quarto errore è pensare che robots.txt risolva ogni problema. Robots.txt può limitare la scansione, ma non è sempre sufficiente per gestire l’indicizzazione. Il quinto errore è non trasformare i risultati in azioni. Se dall’analisi dei log non derivano decisioni su redirect, link interni, sitemap, canonical, performance e sicurezza, il report resta solo un esercizio di lettura file.

Sicurezza e privacy: aspetti da non trascurare

I file di log contengono indirizzi IP e informazioni sulle richieste, quindi devono essere conservati con attenzione. Non vanno condivisi con persone non autorizzate, i file scaricati per l’analisi non dovrebbero rimanere inutilmente a lungo sui computer personali e, quando possibile, andrebbe applicata una forma di mascheramento. Nei progetti aziendali, il periodo di conservazione dei log deve essere coerente con il GDPR e con le policy interne. Inoltre, se nei log compaiono token, parametri di sessione o query string sensibili, è opportuno rivedere la policy di registrazione lato applicazione.

Dal punto di vista della sicurezza, i log non sono utili solo per la SEO, ma anche per individuare attacchi. Aumenti improvvisi di tentativi 404, scansioni del pannello admin, richieste POST insolite o traffico intenso da specifici blocchi IP possono essere segnali di allarme. Per questo è utile che team SEO e amministratori di sistema analizzino i dati di log in modo coordinato.

Conclusione: l’analisi dei log è il livello di dati reali della SEO

Analizzare i file di log del server per monitorare i bot dei motori di ricerca riduce le decisioni basate su ipotesi e rende visibile il comportamento reale dei crawler. Grazie ai log puoi misurare quali URL ricevono attenzione, quali errori rallentano i bot, quando il server va sotto pressione e dove viene sprecato il crawl budget. Un’analisi regolare è un’abitudine particolarmente utile per mantenere qualità di indicizzazione e visibilità organica nei siti in crescita.

Per iniziare in modo semplice, scarica gli access log degli ultimi 14 giorni, filtra le richieste del vero Googlebot, estrai codici di stato e gruppi di URL. Se i risultati indicano problemi di performance, sicurezza o risorse, può essere il momento giusto per rivedere la tua infrastruttura. Con le soluzioni hosting, VPS, cloud server, dominio e SSL di Hostragons puoi rafforzare le basi tecniche del sito e applicare in un ambiente più stabile le ottimizzazioni emerse dall’analisi dei log.

Domande frequenti

Perché i file di log del server sono diversi da Google Search Console per la SEO?

Google Search Console fornisce dati riepilogativi e focalizzati su Google; il file di log del server mostra invece le richieste reali arrivate al server a livello di URL, orario, IP, user-agent e codice di stato. Per questo l’analisi dei log è una fonte dati più grezza, dettagliata e verificabile.

Quanti giorni di dati servono per un’analisi dei log?

Per la maggior parte dei siti, 14-30 giorni di log sono un buon punto di partenza. Per siti news o progetti aggiornati molto spesso, anche 3-7 giorni possono essere sufficienti. Nei siti con traffico stagionale, i periodi di campagna vanno analizzati separatamente.

Come faccio a capire se Googlebot è reale?

Non fidarti solo dello user-agent. Esegui un controllo DNS inverso sull’indirizzo IP, verifica che il dominio risultante termini con googlebot.com o google.com e poi risolvi nuovamente quel dominio nello stesso IP. Se c’è corrispondenza, il bot è molto probabilmente autentico.

Gli errori 404 sono sempre un problema SEO?

Non tutti i 404 sono un problema: possono essere normali per pagine rimosse o mai esistite. Tuttavia, URL 404 che ricevono link interni importanti, backlink o molte visite di Googlebot possono sprecare crawl budget. Per questi URL conviene valutare redirect appropriati o una strategia con codice 410.

Ogni quanto bisogna fare l’analisi dei log?

Per siti piccoli può bastare un’analisi mensile. Per grandi e-commerce, portali news e progetti ad alto traffico è consigliato un controllo settimanale, e nei periodi critici anche giornaliero. Dopo migrazioni, cambi infrastrutturali o grandi aggiornamenti di contenuto, l’analisi dei log dovrebbe essere sempre eseguita.