インデックスされない・削除された時の原因と解決方法を紹介します!

インデックスされない・消えたことへの下人と対処法を解説してみました

登場人物

  • 解説猫(仮)
    解説猫(仮)
    自社サイトマーケティング担当
    SEO解説担当の猫さんです
    元SEOディレクターで、現在は自社マーケティングやってるみたいです

    ・趣味:昼寝
    ・どんな人でもわかる優しい説明をこころがけているが、そんなにうまくはない
    ・冷静な判断で仲間からの信頼も厚い(自称)
  • 竹内
    竹内
    SEOディレクター
    現役SEOディレクターのおじさんです
    顔は怖いけど美しく清らかな心の持ち主です

    ・顔は怖いが、丁寧な対応でクライアントからの信頼も厚い
    ・顔は怖いが、空気を読むスキルが高く冗談も通じる
    ・顔は怖いが、笑顔も結構怖い

※こちらの記事は「トップページがインデックスから削除された!?」を2019年11月8日に更新した記事になります。

Webサイトは、Googleに見つけてもらわなければ検索結果に表示されません。
見つけてもらうだけでは不十分で、インデックスしてもらって初めて評価対象となります
今回はそんな「インデックス」について、起こりうる問題と解決方法をお伝えします!

解説猫(仮)
こんにちは、こんばんは、解説の猫(仮)と申します。
この記事では、インデックス問題の原因と対策について解説します。
よろしくお願いしますね。
竹内
こんにちは!竹内と申します。
インデックスはSEOにおける前提条件!
不備があってはいけませんので、丁寧に解説します。

インデックスとは

インデックスを説明するにあたり、Googleがどんな方法で検索結果を作っているか説明します。
また、インデックスの「確認方法」と「申請方法」も先に説明しておきます。

クロールとインデックスの仕組み

クロールとインデックスの仕組み

Googleは下記の手順で検索結果を作成します。

1.Googleがクローラーというプログラムで全世界のサイトを巡回
2.巡回したページのデータを(整理整頓しながら)データベースに格納
3.検索ワード(クエリ)とマッチしたページをデータベースから選んで表示

この2番目がインデックスです。
インデックスされていないページは、検索結果に表示されません。

順位が上がらないどころか、検索結果に表示されませんので「前提条件」になりますね。

インデックスの申請方法

インデックスは、基本的には自動で行われます
ですが、Googleに対してインデックスを促す方法が用意されています。
詳細はここでは説明しませんが、下記2点の方法があります。

  • GoogleSearchConsoleでindex申請
  • sitemap.xmlを作成し、アップロードする

インデックスされているかの確認方法

以下の記述を検索窓に入力し、検索してみてください。

①:site:https://www.gc-seo.jp/journal/
②:site:https://www.gc-seo.jp/journal/basic/searchconsole/

①はディレクトリ単位での検索で、下層にあるページも表示できます。
②はURL単位での検索なので、該当ページのみが表示されます。

※以下のような結果が表示されるはずですね。

site:の検索結果

検索窓に「site:確認したいURL」を入力すると、インデックスされているページを検索結果に表示できます。
知らなかった方は、試しにURLの部分をご自身のサイトのURLに変えて検索してみてください。

もし下記のように「一致する情報は見つかりませんでした」と表示されたら要注意です。
インデックスに何らかの問題が発生している可能性があります。

※画像は説明のために存在しないURLで検索しています。

「一致する情報は見つかりませんでした」の検索結果
解説猫(仮)
インデックスされないと検索結果には表示されません。
SEOにおいて、影響が大きいことは明白です。
竹内
起きている問題の内容次第で多少は左右されますが、Googleのページ検出周りの課題は優先順位が高くなりますね。
解説猫(仮)
次のセクションで主な原因と対処法を解説します。
インデックス周りでお困りの方は、参考にしてみてくださいね。

インデックス問題の原因と対処法

インデックスの問題は「インデックスされない」「インデックス削除」の2つが考えられます。
それぞれ、主な原因と対処法を解説します。

「インデックスされない」原因と対処法

インデックスされない主な原因は、「クロールの設定」か「サイトの構造」にあります。

robots.txtの設定(クロール拒否/アクセス制限)

■問題となる原因
誤った設定により、クローラーがページを巡回できなくなってしまう

■対処法・解決策
robots.txtの記述を見直し、誤りがあれば修正する


robots.txtはクローラーに指示を出すファイルです。
クローラーがサイトを訪れた際、最初にこのファイルを読み込みます。
「disallow」という記述で、「クロールしない」指示をクローラーに与えられます。

簡単に記述の説明をしておきます。
下記はrobots.txtの記述の一例です。

User-agent: *   …これは気にしないで大丈夫です

Disallow: /     …全ページを巡回しなくなります

Disallow: /abc/   …「http://〇〇.jp/abc/」以下のページを巡回しなくなります

Disallow: /abc/def.html   …「http://〇〇.jp/abc/def.html」を巡回しなくなります

記述の右側に書いてあるページやディレクトリへのアクセスを禁止できるわけですね。
クロールして、ページに辿り着けなければ、当然インデックスもできません。
設定する際は、誤りがないか注意が必要です。

noindexの設定

■問題となる原因
誤った設定により、ページをインデックスしないように指示してしまう

■対処法・解決策
記述を削除する


<head>タグ内に「noindex」を指定することで、該当ページをインデックスさせない設定が可能です。
記述は下記になります。

<meta name=”robots” content=”noindex”>

上記の「noindex」を記述したページは、インデックスされなくなります
意図的に制御しているなら問題ないですが、そうでないなら記述を削除しましょう。

※noindexはこちらの記事で解説していますので、よろしければご覧ください!

SEOで重要なnoindexとは?活用してインデックスを制御しよう

canonicalの設定

■問題となる原因
誤った設定により、評価してほしいページを評価対象から外してしまう

■対処法・解決策
canonicalの記述を修正 or 削除する


canonicalは、評価対象URLを指定・統一(正規化と言います)するタグです。
一般的にはコンテンツ内容が類似・重複しているページに対して使用します。

※こんな感じのイメージです

URL正規化とは

canonicalは、<head>タグ内に以下の記述をすることで設定できます。

< link rel=”canonical” href=”http://www.〇〇.com/” />

「href=””」に書かれているURLが評価対象のURLになります。
URLを間違えると、「別のURLを評価して下さい!」とGoogleに伝えることになります

URLを正しい内容に修正するか、指定が不要なら削除しましょう。

対象ページへのリンクの設定

■問題となる原因
クローラーがページを発見するための条件が整っていない

■対処法・解決策
リンクの追加・xmlサイトマップへのURL追加


インデックスしてもらうためには、クローラーが該当ページを発見しなくてはなりません。
クローラーが発見する主な手段は、リンクを辿る・xmlサイトマップを読むの2つになります。

リンクもなく、xmlサイトマップにも情報がないと、発見できずインデックスもされません。

重複ページが存在する

■問題となる原因
意図しない重複ページが生成されてしまっている

■対処法・解決策
重複ページの削除、重複ページの正規化、重複ページの転送設定

例えば、コンテンツが全く同じ下記3URLがあったとします。

①:site:https://〇〇.jp/index.html
②:site:https://〇〇.jp/index2.html
③:site:https://〇〇.jp/index3.html

評価してほしいURLは①なのに、②がインデックスされてしまう可能性があります。
※結果①はインデックスされない

CMS(システム)によるページの自動生成など、重複が発生している場合は注意しましょう。
評価してほしいページがクロール/インデックスされるよう処理が必要です。

重複ページが生成されないようにするのがベストですが、難しい場合は前述の「canonicalによる正規化」などで対処しましょう。

「インデックス削除」の原因と対処法

Googleが定めたガイドラインに違反すると、ペナルティを受ける可能性があります。
ペナルティーを受けると、大幅な評価下落や、インデックス削除もありえます。

Googleからのペナルティー

■問題となる原因
Googleが定めたガイドライン違反を違反している

■対処法・解決策
原因を究明し、改善する


Googleのペナルティーには「手動」と「自動」の2種類があります。

●「手動」のペルティ
Google社員の目視によるペナルティで、多くの場合は重いマイナスが発生します。


●「自動」のペナルティ
プログラムによるペナルティで、「手動」と比較すれば影響は弱い傾向にあります。

ペナルティーを受けてしまった場合、原因の確認と改善が必要です。
「手動」の場合はSearchConsoleに通知が届くので、確認することができます。
「自動」の場合は通知がありませんので、考えられる可能性を修正していきましょう。

ペナルティーを受けないためには、Googleガイドラインに沿ったサイト運営が必要です。
ペナルティを受け、知識を持った人がいない場合は、専門家に頼ることをオススメします。
課題の早期発見や運用方針を相談できますし、ノウハウの吸収もできます。

※一例ですが、品質に関するガイドラインでは以下の項目が紹介されています。

・コンテンツの自動生成
・リンク プログラムへの参加
・オリジナルのコンテンツがほとんどまたはまったく存在しないページの作成
・クローキング
・不正なリダイレクト
・隠しテキストや隠しリンク
・誘導ページ
・無断複製されたコンテンツ
・十分な付加価値のないアフィリエイト プログラムへの参加
・ページへのコンテンツに関係のないキーワードの詰め込み
・フィッシングや、ウィルス、トロイの木馬、その他のマルウェアのインストールといった悪意のある動作を伴うページの作成
・構造化データのマークアップの悪用
・Google への自動化されたクエリの送信
・次のような望ましい行動を習慣付けます。
・サイトがハッキングされていないかどうかを監視し、ハッキングされたコンテンツを見つけたときはすぐに削除する
・サイトにユーザー生成スパムが掲載されないようにし、見つけたら削除する

引用: Google 品質に関するガイドライン

ペナルティーを受けている中古ドメインの使用

■問題となる原因
過去にマイナス評価を受けた中古ドメインを使用している

■対処法・解決策
中古ドメインを使わないようにする、使ってしまった場合はペナルティを解除する


誰かが使用しているドメインは、期限が切れれば購入できます。
前の人が使っていた訳なので、大抵の場合Googleからいくらかの評価があります。

ですが、中古ドメインの使用は推奨しません

中古ドメインは、過去にペナルティーを受けている可能性があります。
場合によっては「スタートと同時にマイナス評価」になりますし、リカバリーが効く保証がありません。

また、掲載するコンテンツが変われば、いずれ評価は更新されます。
想定されるリスクと得られるリターンを考えると、推奨することはできません。

竹内
要するに「ズル」と「ミス」がなければ、基本的にはインデックスは心配いらない訳ですね。
解説猫(仮)
その通りです。
もしかしたら、取得した中古ドメインで過去に竹内が怪しげな壺を販売していた、なんてことがあるかもしれません。(怖い怖い…)
竹内
ちょ、それはやってないですってw
ちなみに、他にも要因ってあるんですよね?
解説猫(仮)
(「それは」やってない…??)
・サーバー側のエラー
・Basic認証をかけていて、クロールできない
・SearchConsoleの「URL削除ツール」でインデックスを削除
…etc
竹内
おおう、考えられる要素は結構ありますね…
でも僕もSEOをやってて、そのケースはあまり見ないように思います。
解説猫(仮)
なので主な項目には載せていません。
主な項目は一覧表にしたので、次のセクションに置いておきますね。

インデックスの確認事項(チェックリスト)

インデックスさせるための確認事項をおさらいしておきます。
考えられる主な原因を一覧にしてありますので、確認にお役立てください。
※もちろん「原因のすべて」ではないので、予めご了承ください。

●「インデックスされない」問題のチェックリスト

項目 原因 対処法
robots.txtの設定 disallowにより、クローラーのアクセスをミス制御してしまっている。 不要ならdisallowの記述を削除、必要ならクロール制限対象ページを正しく指定しなおす。
noindexの設定 評価してほしいページの<head>内にnoindexを記述している。 noindexの記述を削除する。
canonicalの設定 意図とは違うページを評価対象に指定(正規化)している。 canonicalで指定しているURLを修正するか、不要ならcanonicalを記述ごと削除する。
該当ページ発見経路 評価対象ページへのリンクやsitemap.xmlの記述がなく、クローラーが発見できない。 リンクを追加する。
sitemap.xmlを作成、すでにある場合は対象のページを追記する。
重複ページ 重複ページが生成されている。
システム(CMS)が原因の可能性もある。
可能なら重複ページを削除し、生成されないように処理する。できない場合はcanonical等で、評価対象を明確にする。

●「インデックス削除」問題のチェックリスト

項目 原因 対処法
Google
ペナルティー
Googleのガイドライン違反をしている。 手動の警告の場合は、違反している内容を確認して修正。
自動の警告の場合は、原因を調べて修正。
ペナルティー対象の
中古ドメインの使用
過去運用内容が不明な中古ドメインの購入・使用。 最初から中古ドメインは使用しない。
既にペナルティを受けている場合、対処法は「Googleペナルティ」と同じ。

まとめ

インデックスの問題は影響が大きく、大抵のケースで修正の優先度が高くなります。
また、原因不明のペナルティーといった項目を除けば、比較的修正難易度は低いことが多いです。
ご自身のサイトにSEOを実施する際は、真っ先に確認・修正するようにしましょう。

クロールとインデックスは、基本的には何もしなくても行われます。
(後ろめたいことに心当たりがなければ)設定ミスが考えられますので、こちらの記事で紹介した内容を確認してみてください。
※それでもわからなければ、是非ご相談ください。

インデックスを削除されてしまった場合は、削除された日を起点に「実施した施策」と「実施日」を確認してみましょう。
解決の糸口が見つかるかもしれません。