Googleはnoindex robots.txtディレクティブのサポート終了|2019年9月1日から

更新日:2019/07/03

noindex

Googleはnoindex robots.txtディレクティブ2019年9月1日以降、
サポート終了
をすることを発表しました。

サポートされていない未公開のルール(noindexなど)を
処理するすべてのコードを2019年9月1日で廃止するとのことです。

※ディレクティブとは:プログラム上の命令をする「指示文」のようなもの

「we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.」
(2019年9月1日に、サポートされていない未公開のルール(noindexなど)を処理するすべてのコードを廃止します。)

※引用 Googleの公式発表:Googleウェブマスターセントラルブログ
「A note on unsupported rules in robots.txt」

noindex robots.txtディレクティブのサポート終了に関するTwitterでの公式発表

noindex robots.txtディレクティブとは

ちょっと、難しいかもしれませんが、
闇雲に慌てないためにも、大事なことなので、
よく理解しておいてくださいね。

noindexタグは検索結果に表示したくない時に使用するタグです。

どうして、検索結果に表示したくないかというと、
そのページがデザインを考えるために仮に作ったものである場合や、
同じ内容のページを複数公開する必要がある時に作る”ミラーページ”の場合などです。

検索結果に表示するためにGoogleは我々のサイトのページを
「index(インデックス)」といって、
まず、Googleのサーバの中に登録します。

その登録(=index)されなくするのが、
「noindex」タグというわけです。

そして、noindexタグで登録されないように指示する方法として、
「robots.txt」と「robotsメタタグ」があると思って下さい。

今まで、noindex robots.txtディレクティブを使用することによって、
Googleの検索結果に設定したページを表示しないようにすることは可能でした。

しかし、noindex robots.txtディレクティブは
元々は公式のディレクティブではありません。

ですので、
Googleはrobots.txtのnoindexディレクティブにほぼ従って、
有効に機能させてくれていましたが、

それをやめたからと言って、
文句は言えない的な感じですね。

好意で有効にしてくれていたというところでしょうか。

以前から、いつサポートを終了するかもしれないし、
インデックスを削除する方法としては、noindex robots.txtディレクティブは
推奨しないと言っていました。

「robots.txt でファイルをブロックしてはいけないのはなぜですか?」

「ウェブサイトで robots.txt ファイルを使用すると、そのページは Google によってクロールされなくなります。しかし、別のサイトでそのページへのリンクと説明が見つかると、それに基づいて検索結果が生成される場合があります。ページに noindex タグが含まれている場合、Google がそれを見ることはありません。noindex タグを検出するためには、ページをクロール(取得)する必要があるためです。しかし、robots.txt ファイルでブロックしている場合、Google はページを取得しません。つまり、Google にページをクロールさせて、noindex タグ(またはヘッダー)を見せる必要があるのです。直感的に理解しづらいかもしれませんが、(たとえばパスワード保護を利用して)Google にページを取得させて失敗させるか、noindex タグを検出させて検索結果から除外させる必要があるということです。

ただし、この方法は画像には適用されません。画像の場合は、robots.txt を使用して検索結果から除外してください。」

※引用:Search Consoleヘルプ「Google から情報を削除する」

インデックスされなくする(Googleの検索結果にページを表示されなくする)方法は?

ここで間違えないでほしいのは、
インデックスされなくする方法がなくなるわけではありません。

また、修正する必要があるのは、

「noindex robots.txtディレクティブ」
を使用していた場合だけです。

「robotsメタタグ」を使用している場合は、
そのままで大丈夫です。

  • robots.text
  • robotsメタタグ

これらは別物なので注意が必要です。

9/1からサポートが中止されるのは
「Robots.txt Noindex」の方。

「robotsメタタグ」は
代替手段として推奨されています。

「For those of you who relied on the noindex indexing directive in the robots.txt file, which controls crawling, there are a number of alternative options:(クロールを制御するrobots.txtファイルのディレクティブには、多数の代替オプションがあります。)」

「Noindex in robots meta tags: Supported both in the HTTP response headers and in HTML, the noindex directive is the most effective way to remove URLs from the index when crawling is allowed.(robotsメタタグ内のNoindex: HTTP応答ヘッダーとHTMLの両方でサポートされているため、クロールが許可されている場合にインデックスからURLを削除する最も効果的な方法はnoindexディレクティブです。)」

引用:Googleの公式発表:Googleウェブマスターセントラルブログ
「A note on unsupported rules in robots.txt」

SIRIUSで入力する「noindex」タグは大丈夫?

例えば、アフィリエイターには定番のサイト作成ツールである
「SIRIUS」で、検索結果に表示したくない場合に使用する
ワンボタンで自動的に表示され、
<head>タグ内に記載する以下のタグ。

<meta name="robots" content="noindex,nofollow,noarchive">

これは大丈夫ですので安心して下さい。

また、このタグそのものは、
SIRIUS以外のサイトに設置しても問題ありません。
その場合、<head>~</head>タグの間に設置して下さい。

SIRIUSの場合、
エントリーページやカテゴリページから以下の設定ですね。
「ページ設定」>上級者向け設定タブ>定型文ボタン>検索エンジン拒否(Noindex)

SIRIUSでのnoindex設定

「noindex」だけ指示したい場合は、以下のタグになります。

<meta name=”robots” content=”noindex”>

<head>タグ内に記載します。

Googleが推奨する、その他のインデックスさせない方法は?

Googleはインデックスさせない方法を
いくつか推奨しています。

  • noindex メタタグ
  • 404 または 410 の HTTP ステータスコード
  • パスワード保護
  • robots.txt の Disallow
  • Search Console の URL 削除ツール

ですが、クロールさせつつ、
インデックスさせないという意味では、

一番一般的なのは、ひとつめの
「noindex メタタグ」だと思います。

クロールって何?:GoogleはGooglebot(グーグルボット)という、クローラ(Webロボット)=ソフトウェアによって、世界中のWebサイトをクロール(登録するために巡回)して、Webサイトをインデックス(登録)していくのです。
※参考:Google検索の仕組み|Googleのクロールやインデックスの仕組みを動画でわかりやすく解説

nofollowとは?

よく似ているタグに「nofollow」タグがあります。

上記のSIRIUSのタグにも含まれていましたよね。
「noindex」だけでイイはずなのに、これなに?
って感じですよね。

<meta name="robots" content="noindex,nofollow,noarchive">

「nofollow」とは、
noindexを設置したページにあるリンクから、
クローラーに、その先のページに移動させたくない場合に使用します。

一般的には、自分のWebサイトの評価を他のサイトに渡したくない場合に
使用することが多いです。

「nofollow」だけ指示したい場合は、以下のタグになります。

<meta name=”robots” content=”nofollow”>

<head>タグ内に記載します。

noarchiveとは?

これまたよく似たタグで「noarchive」があります。

Googleはインデックスする際に、
キャッシュといって、対象のページのコピーのようなものを作成します。

このキャッシュは普通に検索結果画面から見ることが出来ますので、
このようにコピーであるキャッシュページも見られたくない場合に
noarchiveタグを設置します。

「noarchive」だけ指示したい場合は、以下のタグになります。

<meta name=”robots” content=”noarchive”>

<head>タグ内に記載します。

ご参考になれば幸いです。

参考記事

SERCH ENGINE ROUNDTABLE「Google To Drop Any Support For crawl-delay, nofollow, and noindex in robots.txt」
https://www.seroundtable.com/google-noindex-in-robots-txt-dead-27824.html

Search Engine Journal「Google Cancels Support for Robots.txt Noindex」
https://www.searchenginejournal.com/google-robots-txt-noindex/314961/

Search Consoleヘルプ「Google から情報を削除する」
https://support.google.com/webmasters/answer/6332384?ref_topic=1724262

Google Webmaster Central Blog「A note on unsupported rules in robots.txt」
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

ウェブ・カルチャー・サービスのオリジナル ソフトウェア・ツール

User Contents Search(ユーザー・コンテンツ・サーチ)

Blog Semiauto Launcher

a-hachi-search

メルマガ登録

『プロのマーケッターによる「戦略的アフィリエイト通信講座」』

  プロのマーケッターとして、コンサルティングも行なっている、 私の観点から、マーケティング戦略の基本に基いて「本質的に」大事だと考えることをお伝えしていきます。 ※下記のフォームにお名前(HN可)、メールアドレスをご記入の上、「この内容でメルマガに登録する!」のボタンをクリックして下さい。
*メールアドレス
*お名前

最新情報

2019年7月4日
SEO対策
Googleはnoindex robots.txtディレクティブのサポート終了|2019年9月1日から
更新日:2019/07/03 Googleはnoindex robots.txtディレクティブを2019年9月1日以降、 サポート終了をすることを発表しました。 サポートされていない未公開のルール(noindexなど)を・・・
2019年7月2日
サイトアフィリエイト
Twitter(ツイッター)でアフィリエイトをする方法
「IR-SEO」2019年最新のSEO対策 Webセミナーを インフォトップさん経由で オープン販売を開始して約1ヶ月になります。 そして、 成約率が上がっているのと同時に、、、 販売数自体も増加しています。 インフォト・・・
2019年1月25日
プラグイン
ワードプレスで予約投稿に失敗するときの対処法|プラグインで一瞬で解決!|WP Missed Schedule Posts
特別なことを何もしていないのに、ワードプレスで予約投稿が失敗するということはありませんか?原因は色々あります。 キャッシュ系プラグインが原因の場合 ベーシック認証を利用している場合 WordPressをアップデートしてい・・・
2018年11月9日
サイトアフィリエイト
【SEO対策情報】読者のためになるコンテンツとは?|その2:検索結果に戻さない、サイトから逃さない
昨日の下記の記事の続きとなります。 ⇒ 読者のためになるコンテンツとは?|その1:一次情報、体験記事 よくある、 「読者のためになるコンテンツとは?」 という問いに対する、 具体的な解答その2です。 コンテンツ1 あなた・・・
2018年11月8日
サイトアフィリエイト
【SEO対策情報】読者のためになるコンテンツとは?|その1:一次情報、体験記事
コンテンツ1 読者のためになるコンテンツとは?2 その1:徹底したユーザーの理解 読者のためになるコンテンツとは? SEO対策の方向性として コンテンツが重視されるようになって、 久しいですが、 よく言われる、 「読者の・・・

このページの先頭へ