Sie können verhindern, dass eine Seite in der Google-Suche erscheint, indem Sie ein noindex-Meta-Tag in den HTML-Code der Seite einfügen oder indem Sie einen noindex-Header in der HTTP-Anfrage zurückgeben. Wenn Googlebot diese Seite das nächste Mal crawlt und das Tag oder den Header sieht, wird Googlebot diese Seite komplett aus den Google-Suchergebnissen entfernen, unabhängig davon, ob andere Websites auf sie verlinken.
Die Verwendung von noindex ist nützlich, wenn Sie keinen Root-Zugriff auf Ihren Server haben, da es Ihnen erlaubt, den Zugriff auf Ihre Website auf einer Seite-zu-Seite-Basis zu kontrollieren.
Implementieren von noindex
Es gibt zwei Möglichkeiten, noindex zu implementieren: als Meta-Tag und als HTTP-Antwort-Header. Sie haben den gleichen Effekt; wählen Sie die Methode, die für Ihre Site bequemer ist.
<meta> tag
Um zu verhindern, dass die meisten Web-Crawler von Suchmaschinen eine Seite auf Ihrer Website indizieren, platzieren Sie den folgenden Meta-Tag in den <head>-Abschnitt Ihrer Seite:
<meta name="robots" content="noindex">Um zu verhindern, dass nur Google-Webcrawler eine Seite indizieren:
<meta name="googlebot" content="noindex">Sie sollten sich darüber im Klaren sein, dass einige Suchmaschinen-Webcrawler die noindex-Anweisung anders interpretieren könnten. Daher ist es möglich, dass Ihre Seite noch in den Ergebnissen anderer Suchmaschinen erscheint.
Lesen Sie mehr über das noindex Meta-Tag.
Helfen Sie uns, Ihre Meta-Tags zu erkennen
Wir müssen Ihre Seite crawlen, um Ihre Meta-Tags zu sehen. Wenn Ihre Seite immer noch in den Ergebnissen angezeigt wird, liegt das wahrscheinlich daran, dass wir Ihre Website nicht gecrawlt haben, seit Sie das Tag hinzugefügt haben. Sie können Google auffordern, Ihre Seite mithilfe des Tools zur URL-Überprüfung erneut zu crawlen. Ein anderer Grund könnte auch sein, dass Ihre robots.txt-Datei diese URL für Google-Webcrawler blockiert, sodass wir das Tag nicht sehen können. Um die Blockierung Ihrer Seite für Google aufzuheben, müssen Sie Ihre robots.txt-Datei bearbeiten. Sie können Ihre robots.txt-Datei mit dem robots.txt-Tester-Tool bearbeiten und testen.
HTTP-Antwort-Header
Anstatt eines Meta-Tags können Sie auch einen X-Robots-Tag-Header mit einem Wert von entweder noindex oder none in Ihrer Antwort zurückgeben. Hier ist ein Beispiel für eine HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indizieren:
HTTP/1.1 200 OK(…)X-Robots-Tag: noindex(…)
Lesen Sie mehr über den noindex Antwort-Header.