U kunt voorkomen dat een pagina wordt weergegeven in Google Search door een noindex meta-tag op te nemen in de HTML-code van de pagina, of door een noindex header terug te sturen in het HTTP-verzoek. Wanneer Googlebot de volgende keer de pagina crawlt en de tag of header ziet, zal Googlebot de pagina volledig uit de Google-zoekresultaten verwijderen, ongeacht of andere sites naar de pagina linken.
Het gebruik van noindex is handig als je geen root-toegang tot je server hebt, omdat je daarmee de toegang tot je site per pagina kunt regelen.
Het implementeren van noindex
Er zijn twee manieren om noindex te implementeren: als een meta-tag en als een HTTP response header. Ze hebben hetzelfde effect; kies de methode die voor uw site het handigst is.
<meta> tag
Om te voorkomen dat de meeste webcrawlers van zoekmachines een pagina op uw site indexeren, plaatst u de volgende metatag in het <head>-gedeelte van uw pagina:
<meta name="robots" content="noindex">Om te voorkomen dat alleen de webcrawlers van Google een pagina indexeren:
<meta name="googlebot" content="noindex">U dient zich ervan bewust te zijn dat sommige zoekmachine webcrawlers de noindex richtlijn anders kunnen interpreteren. Daardoor is het mogelijk dat uw pagina nog steeds in de resultaten van andere zoekmachines verschijnt.
Lees meer over de noindex meta tag.
Help ons uw meta tags te vinden
We moeten uw pagina crawlen om uw meta tags te kunnen zien. Als uw pagina nog steeds in de resultaten wordt weergegeven, komt dat waarschijnlijk omdat we uw site niet hebben gecrawld sinds u de tag hebt toegevoegd. U kunt Google vragen uw pagina opnieuw te crawlen met het hulpprogramma URL-inspectie. Een andere reden kan zijn dat uw robots.txt-bestand deze URL blokkeert voor webcrawlers van Google, zodat we de tag niet kunnen zien. Om de blokkering van uw pagina door Google op te heffen, moet u uw robots.txt-bestand bewerken. U kunt uw robots.txt-bestand bewerken en testen met de robots.txt Tester tool.
HTTP response header
In plaats van een meta-tag kunt u ook een X-Robots-Tag header met de waarde noindex of none in uw reactie terugsturen. Hier is een voorbeeld van een HTTP-antwoord met een X-Robots-Tag die crawlers instrueert een pagina niet te indexeren:
HTTP/1.1 200 OK(…)X-Robots-Tag: noindex(…)
Lees meer over de noindex response header.