ページの HTML コードに noindex メタ タグを含めるか、HTTP リクエストに noindex ヘッダーを返すことで、ページが Google 検索に表示されないようにすることができます。 Googlebotが次にそのページをクロールしてタグやヘッダーを見たとき、他のサイトからリンクされているかどうかにかかわらず、GooglebotはそのページをGoogle検索結果から完全に削除します。
noindexを使用することで、ページごとにサイトへのアクセスを制御できるため、サーバーへのルートアクセス権がない場合に便利です。
noindexの実装
noindexを実装するには、metaタグとして実装する方法と、HTTPレスポンスヘッダーとして実装する方法の2つがあります。 どちらも効果は同じなので、自分のサイトにとって便利な方法を選んでください。
<meta> tag
ほとんどの検索エンジンのウェブクローラーがあなたのサイトのページをインデックスしないようにするには、次のmetaタグをページの<head>セクションに入れます。
<meta name="robots" content="noindex">Google の Web クローラーだけがページをインデックスしないようにするには：
<meta name="googlebot" content="noindex">検索エンジンの Web クローラーによっては、noindex ディレクティブを異なる方法で解釈する可能性があることを認識しておく必要があるでしょう。
noindex meta タグについての詳細はこちら
Help us spot your meta tags
meta タグを見るためには、あなたのページをクロールする必要があります。 もしあなたのページがまだ結果に表示されているなら、タグを追加してからサイトをクロールしていないことが原因でしょう。 URL検査ツールを使って、Googleにページの再クロールを依頼することができます。 また、robots.txtファイルがこのURLをGoogleのクローラーからブロックしているため、タグが表示されていないということも考えられます。 Googleからページのブロックを解除するには、robots.txtファイルを編集する必要があります。
HTTP レスポンス ヘッダー
meta タグの代わりに、X-Robots-Tagnoindexnone の値でレスポンスに返すこともできます。
X-Robots-Tagでクローラーにページをインデックスさせないように指示したHTTPレスポンスの例を示します。