Puoi evitare che una pagina appaia in Google Search includendo un noindex meta tag nel codice HTML della pagina, o restituendo un’intestazione noindex nella richiesta HTTP. Quando Googlebot scansiona la pagina e vede il tag o l’intestazione, Googlebot eliminerà completamente la pagina dai risultati di ricerca di Google, indipendentemente dal fatto che altri siti la linkino.
Utilizzare noindex è utile se non avete accesso root al vostro server, in quanto vi permette di controllare l’accesso al vostro sito pagina per pagina.
Implementare noindex
Ci sono due modi per implementare noindex: come meta tag e come intestazione di risposta HTTP. Hanno lo stesso effetto; scegliete il metodo che è più conveniente per il vostro sito.
<meta> tag
Per impedire alla maggior parte dei web crawler dei motori di ricerca di indicizzare una pagina del vostro sito, inserite il seguente meta tag nella sezione <head> della vostra pagina:
<meta name="robots" content="noindex">Per evitare che solo i web crawler di Google indicizzino una pagina:
<meta name="googlebot" content="noindex">Si deve essere consapevoli che alcuni web crawler dei motori di ricerca potrebbero interpretare la direttiva noindex in modo diverso. Di conseguenza, è possibile che la tua pagina appaia ancora nei risultati di altri motori di ricerca.
Leggi di più sul noindex meta tag.
Aiutateci a individuare i vostri meta tag
Dobbiamo scansionare la tua pagina per vedere i tuoi meta tag. Se la tua pagina appare ancora nei risultati, probabilmente è perché non abbiamo scansionato il tuo sito da quando hai aggiunto il tag. Puoi chiedere a Google di eseguire nuovamente la scansione della tua pagina utilizzando lo strumento di ispezione dell’URL. Un’altra ragione potrebbe essere che il tuo file robots.txt sta bloccando questo URL dai web crawler di Google, quindi non possiamo vedere il tag. Per sbloccare la tua pagina da Google, devi modificare il tuo file robots.txt. Puoi modificare e testare il tuo robots.txt usando lo strumento robots.txt Tester.
intestazione della risposta HTTP
Invece di un meta tag, puoi anche restituire un’intestazione X-Robots-Tag con un valore di noindex o none nella tua risposta. Ecco un esempio di una risposta HTTP con un X-Robots-Tag che indica ai crawler di non indicizzare una pagina:
HTTP/1.1 200 OK(…)X-Robots-Tag: noindex(…)
Leggi di più sull’intestazione noindex della risposta.