Che cos’è il Crawl Budget
Avere una buona struttura di link interno è fondamentale ai fini dell’indicizzazione e del posizionamento. Tra un po’ capiremo il perché.
Lo spider tende a dare maggiore rilevanza ai link più vicini alla home page, se pagine importanti del sito vengono esplorate dopo 4-5 livelli, dobbiamo migliorare la costruzione dei link interni oppure del menu, rendendo più rilevante il linking alle pagine desiderate.
Conoscere il percorso dello spider è essenziale per migliorare il crawl budget.
Il crawl budget è un parametro che riguarda il comportamento del bot sul nostro sito e che ci dice quante pagine, immagini oppure file vengono scansionati ogni giorno, quanti kilobyte vengono scaricati e il tempo trascorso per il download di una pagina.
Questi dati sono visibili nella vecchia search console di google, in
scansioni –> Statistiche di scansione
Lo spider deve scansionare milioni di siti al giorno, per fare questo assegna per ogni sito un budget. Noi dobbiamo massimizzare questo budget, facendo scansionare quante più pagine possibili.
Se gli spider di google ritengono un sito rilevante, può tornarlo a scansionare più volte al giorno ed assegnargli un valore maggiore del suo crawl budget.
Quindi ottimizzare il crawl budget è un attività fondamentale per migliorare il posizionamento del sito, per siti web con molti contenuti è meglio rivolgersi ad un consulente seo esperto.
Indice
Come Ottimizzare il Crawl Budget
- Migliorare la velocità caricamento delle pagine
- Migliorare la struttura dei link del sito. Quindi, dobbiamo verificare la profondità di crowling. Per questo ci può essere di aiuto screaming forg (software che simula il comportamento dei vari spider), oppure visual seo studio.
In pratica dobbiamo capire se lo spider perde tempo nello scansionare link rotti oppure pagine non rilevanti.
Avere una struttura di link ottimizzata, permette di ottimizzare il crawl budget e quindi velocizzare anche il lavoro di indicizzazione delle pagine.
Perchè il numero di pagine indicizzare è inferiore al numero di url fornite tramite sitemap?
Non ottimizzazione i fattori appena descritti può essere una causa.
Quindi il link può essere collegato male, oppure andare oltre il quinto livello di esplorazione, impedendo agli spider di raggiungere la pagina.
Anche questo aspetto può essere valutato con screaming forg.
Altre causa?
- Divieto di accesso nel file robots.txt
- Inserimento tag noindex nella pagina
- Utilizzo del tag rel canonical.
Se stai leggendo i miei articoli ti starai rendendo conto del perchè realizzare un sito web che raggiunga gli obiettivi prefissati sia molto difficile e che occorrono tantissime competenze, ed ecco spiego il perchè il preventivo di un professionista è differente dal cugino di turno.
Alcune curiosità sulla struttura degli URL
Secondo alcuni casi studi seo, i motori di ricerca prenderebbero in considerazione fino a 16 parole dentro l’url, quindi se un url è composto da troppe parole, le altre parole non verrebbero lette, perdendo un ottima occasione per sfruttare nel migliore dei modi un fattore di ottimizzazione.
Quindi è consigliabile scrivere url più brevi (massimo di 90 caratteri) in modo da mettere in risalto la rilevanza delle parole chiave all’interno di essi.
Anche perchè nella serp viene visualizzata l’url della pagina e se è troppo lunga, e non è sostituita dai breadcrumbs, verrà visualizzata troncata.
Ecco una risposta di John Mueller ad una domanda di un utente:
