meta tag x-robots-tag

Meta Tag: X-Robots-Tag

Abbiamo già parlato in un articolo precedente dei meta tag robots,non possiamo non citare l’istruzione X-Robots-Tag

Vi è mai capitato che alcune pagine, nonostante non avessero il meta tag robots noindex, oppure non essendo bloccate dal file robots.txt, non vengano ugualmente indicizzate?

Bene una prima verifica che dovete fare è verificare la risposta contenuta nell’HEADER HTTP, ovvero la parte nascosta della comunicazione che il server restituisce quando viene richiesta una pagina web.

dove vedere meta tag robots restituiti server

Nonostante questa verifica, (come nell’immagine sopra), potrebbe capitare che nella risposta non viene restituita nessuna istruzione che blocchi l’indicizzazione della pagina.

Ma allora perché la pagina non viene indicizzata da google?

La risposta è semplice. Con una semplice riga di codice, si potrebbero far restituire questi tag header(“X-Robots-Tag: noindex”, true); “, solo quando la pagina viene scansionata dagli spider di google (ne ho parlato, quando ho pubblicato l’articoli relativo al clocking).

In questo caso per accorgervi se questo tag è stato inserito avete varie possibilità. Una di queste è di utilizzare la funzione visualizza come google (webmaster di google)

E se la pagina non è vostra?

Potete ugualmente utilizzare la funzione visualizza come google della search console, basta inserire la pagina in un iframe, caricarla sul vostro server per effettuare la scansione

<iframe src=”https://pagina-da-scansionare-html/” width=”300″ height=”300″> </iframe>ù

Inserire X-Robots-Tag sezione Header

Per inserire questi tag, basta inserire una semplice riga di codice nella sezione header del file .php di un sito web.

header(“X-Robots-Tag: noindex”, true);

header(“X-Robots-Tag: noindex, nofollow”, true)

Se invece si sono file .doc, per i quali non è richiesta l’indicizzazione, sul server Apache si potrebbe aggiungere la seguente riga nel file .htaccess:

<FilesMatch “.doc$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

<FilesMatch”>

Mentre se non si voglio far indicizzare i file .doc e .pdf, basterebbe scrivere la seguente regola.

<FilesMatch “.(doc|pdf)$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>