Search consoleの検出-インデックス未登録の対処法

2021年8月31日2024年7月2日

1 検出-インデックス未登録が発生する原因
2 まとめ

検出-インデックス未登録が発生する原因

Search consoleのカバレッジの除外に「検出-インデックス未登録」大量に表示されることがあります。そもそも検出-インデックス未登録が発生する原因は、どのページからもリンクされていない孤立したページか、重複しているコンテンツのリンクパターンが一定では無く、一部だけリンクが設置されているページ。クロールすることによってサイトに過負荷を与えてしまうと判断して、クロールを中止した。又は、コンテンツが低品質でインデックスする必要が無いと判断しているページです。検出-インデックス未登録のページが本来Googleに登録すべきページなのか確認しましょう。本来登録すべきページが「検出-インデックス未登録」になっている場合は修正する必要があります。

「検出-インデックス未登録」は除外に分類されていて、「エラー」では無いので、あまり重大には感じないこともあるかと思いますが、低品質と判断されている場合は問題があります。

毎日更新しているブログが極めて短文のページが大量にあると、「検出-インデックス未登録」にページが登録されることもあります。このような低品質なページを発見した場合は「クロール済み-インデックス未登録」と対応は同じです。低品質なページをリライトして良質なコンテンツにすれば、有効に移動します。

「検出-インデックス未登録」に表示されるページの数が大量にある場合は、Googleから低評価を受ける可能性が高いので、ランキングにも影響が出ることもありますので、注意する必要があります。大量に表示される場合は解決するようにしましょう。「検出-インデックス未登録」のページを1ページ1ページ見て原因を確認しましょう。

「検出-インデックス未登録」の多くは、本来インデックスするべきでは無いページをsitemap.xmlで送信していることが原因である場合が多いです。正しいsitemap.xmlを送信したり、送信そのものを停止することによって、「検出-インデックス未登録」を大幅に減らすことが可能です。

sitemap.xmlを送信すると言うことは、サイト内のページをGoogleに「見に来てください」と要請するものです。コンクールに作品を出品して審査員に見てもらう場合、美しい作品だけを見てもらうはずです。作品と一緒に試作品やアトリエの散らかった様子は見せないはずです。sitemap.xmlを送信する以上、Googleに本当に見て欲しいページだけを送信するのが大原則で、もし、それが出来ないのなら、サイトマップは送信せずに、Googleにリンクを辿ってサイトを巡回してもらう方が良い結果になります。

All in One SEOのsitemap.xmlでメディアが選択されていると大量発生する

All in One SEOのsitemapを利用して、メディアにチェックが入っていると、画像だけのページを投稿した記憶も無いのに、画像だけのページが大量に送信され、検出-インデックス未登録に大量にURLが掲載されます。そもそもなぜ、画像だけのページを送信できるような選択肢があるのかが疑問ですが、このページが大量に検出されると、Googleから低評価になるので、注意が必要です。この問題の解決策はAll in One SEOのサイトマップの設定でメディアのチェックを外すか、サイトマップそのものを停止するかの対処が必要です。sitemap.xmlを送信した後、画像だけのページが送信されていないかは、必ず調査しましょう。

検出-インデックス未登録の内容を調べて、画像だけのページが大量に表示されている場合は、All in One SEOのサイトマップを疑って見ましょう。

このサイトでは、All in One SEOのサイトマップを停止して、WP Disable Sitemapのプラグインを有効化して、デフォルトで搭載されているWordPressのサイトマップの送信も完全に停止を完了しました。

All in One SEOのsitemap.xmlを停止した結果が上のグラフです。2022年1月18日に停止していて、停止直後から検索流入が大きく上昇しています。sitemap.xmlの停止以外は何もしておらず、sitemap.xmlが悪影響だったことは明らかです。元々の検索流入数が少ないですが、sitemap.xmlの送信を停止してから検索流入は倍増しています。このグラフからも、本来送信すべきではないページを送信することが検索流入にいかに悪影響があるか分かる結果です。sitemapの送信は必須と考えていて、盲目的に送信していることもありますが、送信している内容を良く確認して、本当に送信するべきページを送信しているのか、そうで無い場合は、sitemapの内容を修正するか、送信を停止しましょう。

画像だけのページは存在しますが、sitemap.xmlで送信しなければ、これらのページはどこからもリンクが設置されていないので、Googlebotは巡回しません。

サイトマップを送信することがSEOに効果があると思って、盲目的に送信している人もいますが、サイトマップで送信している中身が本当に送信すべきページかどうかを確認しましょう。sitemap.xmlを送信しないことがアクセスアップの解決方法になることもあります。登録すべきでは無いページを大量に記載してsitemap.xmlを送信することは無駄でしかありません。

個人的には、不完全なsitemap.xmlを送信することのデメリットがsitemap.xmlを送信しないことを上回ると思います。sitemap.xmlはSEOに影響を与えるものです。設定を間違えれば悪影響も出ることを理解しておきましょう。

どうしてもsitemap.xmlを送信する場合は、定期的にカバレッジを確認して、送信すべきでは無いページが表示される場合は、sitemap.xmlをメンテナンスして、インデックスしてもらうべきページのみを送信するようにしましょう。

登録すべきページはリライトする

新規のコンテンツは「検出-インデックス未登録」に分類されることが多く、「検出-インデックス未登録」の中に正規ページでGoogleにインデックスさせるべきページがある場合は、そのページがクロールする価値も無いと判断されている低品質なページの可能性があるので、詳細な内容にリライトしてコンテンツの内容を変更して価値を高めましょう。さらに関連しているページからの内部リンクも設置して、そのページが重要なページであることをGoogleに知らせるようにしましょう。

訪問するユーザーがページのターゲットキーワードでユーザーが解決したい問題や疑問を考えて、より有効な回答を記載するようにしましょう。

こうすることによって、正規ページの場合は、「検出-インデックス未登録」は解消します。

内部リンクを設置する

「検出-インデックス未登録」は内部リンクが少なく、重要なページであることをGoogleに知らせていないことが原因であることも考えられます。関連の無いページからリンクすることはかえって評価を落とす可能性がありますが、関連の高いページからは、ページ内の関連したキーワードで出来るだけリンクを設置しましょう。Googleは内部リンクが集中するページを重要なページと判断しますので、インデックスされないページの中でも特に重要なページには複数の内部リンクを設置しましょう。

内部リンクを張り巡らすことで、検出したページをGooglebotがクロールしやすくなるので、インデックスが進む可能性があります。

検出-インデックス未登録が大量に表示される原因は、正規化されていないsitemap.xml

大量に「検出-インデックス未登録」が発生する原因として可能性があるのが、自動生成されたsitemap.xmlを送信していることです。自動生成されたsitemap.xmlは、ほとんどの場合、サーバー内にあるページを全て記載して送信してしまいます。

サーバー内には、どのページからもリンクされていない孤立したページやパラメータによって生成された重複コンテンツも大量に存在していることがあります。これらのページを精査せずに無差別に送信してしまうと、本来Googleにインデックスさせる必要の無いページまで送信してしまい、大量の「検出-インデックス未登録」が発生するのです。

自動生成するサイトマップはとても便利ですが、正規化されたサイトマップを作成するにはメンテナンスが必要で、自動生成したサイトマップを送信しただけでは、かなり不完全なサイトマップなので、クロール対象にするべきでは無いページも送信してしまうので、Googleから適正な評価を受けることが出来ない可能性が高いことを認識しましょう。

また、自動生成するサイトマップの中には詳細な設定をする機能が無いものもあり、そのようなサイトマップでは、「検出-インデックス未登録」を防ぐことは出来ません。

本来、送信すべきでは無いページも無差別に送信してしまうsitemap.xmlは問題があり、サイトの評価を下げる可能性があるので、思い切って削除して見ることも考えましょう。

sitemap.xmlのプラグインを停止したり、削除する

sitemap.xmlの送信はSEOには必須と考えている方も多いと思いますが、不完全なsitemap.xmlを送信することは、低品質なページをGoogleに認識させたり、一部のページだけをクロールさせたりして、本来インデックスされて適正に評価されるページの一部だけに限定してしまったりする悪影響があります。完全に正規化した内容のsitemap.xmlを作成して送信することは、かなり大変な作業で、現実的ではありません。正規化されたsitemap.xmlの送信が出来ないのであれば、sitemap.xmlの送信を停止してしまうことです。

sitemap.xmlの送信を停止すれば、Googlebotはリンクを辿って、高度な巡回スケジュールに従って、サイト内を巡回してくれて、サイトの評価を適切にしてくれます。

sitemap.xmlの送信を停止した結果

sitemap.xmlの送信を停止した結果が以下の画像のような状況です。

「検出-インデックス未登録」が210ページもあったサイトのsitemap.xmlの送信を停止したところ、「検出-インデックス未登録」はsitemap.htmlの1ページだけになりました。sitemap.xmlによって孤立していたページを大量に送信していたのです。

sitemap.xmlを送信することが正しいことだと妄信せずに、sitemap.xmlを停止してみることも考えましょう。

サイトマップについてで次の場合は、サイトマップの送信は必要ありません。とGoogleが情報を公開しています。「サイトはサイト内で完全にリンクされている」場合は、sitemap.xmlの送信は必要ありません。このGoogleの記載を参考にして、本当に自分のサイトにサイトマップが必要なのかは良く考えるようにしましょう。sitemap.xmlが詳細な設定が出来て、しっかりとメンテナンス出来ないのなら、sitemap.xmlを送信することはおすすめしません。

普通のサイトの場合は、サイト内は完全にリンクされているはずなので、ほとんどのサイトはsitemap.xmlの送信は必要ありません。クローラーの性能が低かったインターネット初期であれば、sitemap.xmlの効果もありましたが、クローラーの性能も向上した現在では、サイトマップの送信は諸刃の剣で、一つ間違えると大きな問題が発生します。

本来、Googlebotにサイトの巡回を促し、迅速にサイトをインデックスしてもらう目的があるsitemap.xmlですが、正規化されていないページを送信してしまうと、本来クロールするべきでは無いページをクロールしてしまい、sitemap.xmlを送信したことが原因で、サイトが低評価を受けてはsitemap.xmlを送信することが逆効果になってしまいます。自動生成してくれるsitemap.xmlはとても便利ですが、送信すべきでは無いページも送信していることに気を付けましょう。最も良い対処法は、完全に正規化されたサイトマップの送信を行い、サイトを適正に評価してもらうことですが、完全に正規化されたサイトマップを作成するには、常日頃のメンテナンスが必要でかなり大変な作業になりますので、サイトマップの送信を停止すると言う選択は、簡単に問題を解決出来る方法として有効です。

sitemap.xmlが正しいページを送信している場合は、インデックスするように対策する

sitemap.xmlが本来送信すべきでは無いページを送信していて、検出-インデックス未登録に登録されている場合は、sitemap.xmlを無効化すれば問題は解消しますが、本来インデックスすべきページが検出-インデックス未登録に登録されている場合は、リライトしたりリンクを設置したりしてインデックスを進める必要があります。

検出-インデックス未登録に登録されているページの内容を確認して、インデックスすべきページなのか、インデックスすべきでは無いページなのかを判断して下さい。

sitemap.xmlを送信していなかったサイトでサイトマップを送信すると大量に「検出-インデックス未登録」が表示される

サイトを公開して長期間sitemap.xmlの送信を行っていなかったサイトでsitemap.xmlの送信を行うと大量に「検出-インデックス未登録」が表示される現象が起こります。これは、Googlebotがリンクを辿ってページを収集しても、どれだけのページがあるのか分からず、認識していなかったページを認識したことが理由です。これは、正常なことで、特に悪いことではありません。認識したページは時間を掛けてクロールされるはずなので、特に低品質なページで無ければインデックスされるので、気長に待ちましょう。

スパムポリシー違反が原因の場合も

Googleのスパムポリシーに違反していることが原因で「検出-インデックス未登録」が発生することがあります。

これは、スパムポリシーに違反しているので、ペナルティを受けている状態で、圏外に飛ばされていると感じる症状です。

実際に経験した事例としては、パンくずリストが隠しテキストになっていたサイトのパンくずリストを表示するようにしたところ、インデックスされるようになった事例があります。

隠しテキストを修正したその日から、未登録が減少し始めました。

新規のページがインデックスされにくくなっている

2021年の10月頃から新規のページを公開してもなかなかGoogleにインデックスされない状況が発生しています。

Googleがインデックスするページの基準を厳しくしたと言う情報もありますが、新規に公開されるページ数に対して、Googleのページを格納するデータベースの増設が追い付いていないのでは無いかと感じています。

実際に、新規サイトに公開されたページで内容が空のカテゴリーページがインデックスされていて、情報の多いコンテンツページがインデックスされないと言う状況も把握しています。Googleがインデックスする基準を厳しくしたのであれば、内容が空のカテゴリーページがインデックスされているのは説明が付かないと思います。

単純にインデックスのスピードが遅くなっているものと思います。検出-インデックス未登録には、新規ページのクローラーの巡回待ちのページも多くありますので、特に低品質なページでは無い場合は、しばらく様子を見ましょう。

新規サイトの場合、検出-インデックス未登録にある程度ページが表示されることは悪いことでは無く、Googleがページがあることを認識しているので、今後クロールされる可能性が高いです。sitemap.xmlを送信していないと、Googleはどれだけのページがアップロードされているのか分からず、クロールにさらに時間を要する可能性があります。

正しいsitemap.xmlを送信していれば時間を掛けてインデックスされる

Googleのインデックスのペースは非常に遅くなってはいますが、sitemap.xmlを送信していないと、検出-インデックス未登録も表示されませんが、sitemap.xmlを送信していないと、ページを検出されていない可能性もあります。

正しいsitemap.xmlを送信していて、検出-インデックス未登録のページの内容も良質な場合は、時間が経過すれば少しずつインデックスされるようになります。特に新規サイトの場合は、検出-インデックス未登録が大量に表示されることがありますが、検出-インデックス未登録はGoogleもクロールが必要と把握しているページだと考えて良質なコンテンツにリライトを続けて、関連ページからのリンクも設置して、クロールを待ちましょう。

かなり待ってもクロールされない場合はSearch consoleのURLを検査でインデックスリクエストを送信する方法もありますが、現状では、送信してもなかなかクロールされない状態が続いています。

まとめ

検出-インデックス未登録について説明いたしました。検出-インデックス未登録は、新規サイトの場合、なかなかクロールされないので、良質なコンテンツのページでもインデックスされない場合があります。良質なコンテンツの場合は、インデックスされるのを待ちましょう。

多くの問題はsitemap.xmlで本来送信すべきでは無いページを送信していることです。特に画像だけのページを大量に送信していると、Googleから低品質と判断されて、アクセスが減少することがあります。

sitemap.xmlの設定で正しいページのみを送信できる場合は設定で調整しましょう。詳細な設定が出来ない場合や分からない場合は、sitemap.xmlの送信を停止しましょう。完全に送信停止が正しい判断か分からないこともあると思いますので、その場合は、テスト的に一定期間、送信を停止して、カバレッジや検索パフォーマンスの推移を確認しましょう。

送信を停止して検出-インデックス未登録が大幅に減少したり、検索パフォーマンスが大幅に改善する場合は、送信は行わない方が良いでしょう。

この記事を書いた人
最新の記事

清水　康次

過去にインターネット受注で100%稼動する縫製工場を経営しており、平成17年度に経済産業省「IT経営百選」で優秀賞を受賞、翌18年には、最優秀賞を受賞するまでになりましたが、その後縫製工場の経営を止め、飲食店のインターネット担当として勤務いたしました。平成28年11月より独立してSEO対策とWEBコンサルタントとして多くのサイトの検索流入やコンバージョンの改善実績があります。