Search consoleのクロール済み-インデックス未登録の対処法


クロール済み-インデックス未登録は低品質なコンテンツ

Search consoleの「カバレッジ」→「除外」→「クロール済み-インデックス未登録」とクリックすると、大量のページが出現する場合があります。「クロール済み-インデックス未登録」の表示は旧Search consoleには無かった新機能で、2019年12月から表示されるようになった新しい機能で、サイトの問題を報告してくれます。「クロール済み-インデックス未登録」になる理由は、Googlebotがクロールしたけれど、インデックスする価値は無いと判断され現在はデータベースに登録されないページと考えてほぼ間違いありません。「クロール済み-インデックス未登録」はエラーではありませんが、インデックスされていないので、Google検索には表示されません。「クロール済み-インデックス未登録」が大量に発生すると、サイト全体の価値が低いとGoogleに判断される可能性があり、ランキングに悪影響が出る可能性がありますので、早急に対応が必要です。

また、「クロール済み-インデックス未登録」は他のサイトからコピーしたコンテンツを使っている場合もインデックス未登録になります。同じ内容を伝えたいのであれば、そのページからコンテンツをコピーするのでは無く、自分自身でオリジナルのコンテンツを掲載するようにしましょう。

「クロール済み-インデックス未登録」が大量に検出されると、通常ならインデックスされて、多様なキーワードで検索にヒットするはずのキーワードにヒットせず、本来得られるアクセスが得られない現象が発生しサイトのパフォーマンスが大きく低下します。

サイトを更新して新たなブログを投稿しても、新規に投稿したページの中の多くのページが「クロール済み-インデックス未登録」となって増えていく場合は、コンテンツの投稿のパターンが同じになっていないか確認しましょう。WEBサイトを長期間運営していると、何も考えずに、毎日更新することが目的になってしまって、ユーザーにとっての価値を考えず、新しい記事を投稿することだけが目的になり、サイトを見に来るユーザーにとって必要な情報では無い記事を作成してしまったりしていないか、良く考えましょう。

また、重要なコンテンツがこのステータスになっている場合は、ユーザーの検索意図に合ったコンテンツになるように、価値や意味のあるコンテンツに改善しましょう。

ユーザーが検索窓に入れるキーワードはユーザーの質問です。ホームページに記載するコンテンツはユーザーの質問に対する答えです。ユーザーが期待する以上でユーザーにとって役立つコンテンツを掲載するように心がけることをおすすめします。

Google 検索は基本的に次の 3 段階で行われます。

「クロール済み-インデックス未登録」はページの価値が低く、検索結果に表示する程の情報が記載されていないページです。また、サイト内に類似ページがあるか、別のサイトに先に公開された類似でより価値のあるページが存在すると言う可能性もあります。

インデックス未登録のページが大量に出ると、サイト全体が低品質なサイトと評価されて、インデックスされているページも検索結果の上位に表示されない可能性もありますので、インデックス未登録を発見したら、出来るだけ早く対応したいところです。

過去のSearch consoleでは、「クロール済み-インデックス未登録」は表示されなかったので、今のSearch consoleは新しいツールが追加されてとても便利になりました。

Search consoleのカバレッジで「クロール済み-インデックス未登録」を常にチェックして、「クロール済-インデックス未登録」が増えないように常に管理しましょう。

2019年12月5日にSearch consoleのレポートが改善されてレポートの更新が早くなり最新のデータを反映するようになっています。これまで、「クロール済み-インデックス未登録」だったページが「登録済み」に移動しているページもあります。

インデックス

クロール済み-インデックス未登録の件数は様々

クロール済み-インデックス未登録の件数の実際にあった私が経験した例では、sitemap送信件数が、150ページのサイトで3件だけ指摘されているケースもあれば、sitemap送信件数が、998ページのサイトで1,182件指摘されていたり、sitemapの送信件数が、13,101ページのサイトで4,286件指摘されているサイトもあります。

クロール済み-インデックス未登録が3件だけのサイトは、どのページもとても詳しい説明を記載した記事が多いページで、かなり専門的な情報が満載のサイトです。1,182件のサイトはECサイトですが、商品の説明がメーカーのサイトのコピペで、まったくオリジナルな情報が記載されていないのが原因です。4,286件のサイトは不動産のポータルサイトですが、物件の説明が自動生成される設定で、さらに説明が少な過ぎるのが原因で、インデックス未登録となっています。

この3サイトはどれも不自然な外部リンクでペナルティを受けていますが、インデックス未登録が3件だけのサイトは一日250件程度のアクセスがあり長期的にはアクセスが増えています。残りの2つのサイトは一日10件前後のアクセスしかありません。
不自然なリンクがあって、ペナルティを受けていても、良質なコンテンツを掲載し続けていれば、本来のアクセスでは無いにしろ、コンテンツが充実している分だけアクセスはありますが、インデックス未登録が大量にあると、良質なコンテンツがほとんど無いので、全くアクセスが期待でない状況になります。

インデックス未登録のページが少ないサイトは、ペナルティを受けていて、メインキーワードでは、ほぼ圏外になっていても、良質なコンテンツが多様なスモールキーワードでアクセスを稼いでくれるので、小さいアクセスの積み重ねで、それなりのアクセスを稼ぎ出すことが出来るのです。ペナルティを受けていない正常なサイトの場合は、様々なキーワードで上位に表示する事ができるので、インデックス未登録を最小限に抑える必要があります。

どんな状態であっても、良質なコンテンツの掲載を継続して、インデッス未登録を最小限にすることがアクセスアップにはとても有効だと言うことです。

まずは、リライトして、ページの情報をさらに深堀して価値ある情報にする

「クロール済-インデックス未登録」が発生する一番多い原因は、文字数が少ないページが多いことです。文字数が極端に少なく、100~200文字程度の文章しか書いていないページでユーザーの疑問や問題の解決策をメッセージとして示すことは出来ません。「クロール済-インデックス未登録」になるかどうかの違いは、ユーザーのためになるコンテンツであるかどうかの違いです。大量にインデックス未登録のページが発見された場合の解決方法は、インデックス未登録に該当するページのそれぞれの情報の追記をして、より詳しくユーザーの質問に対して親切で丁寧な情報の記載を行うように改善することです。

ユーザーは長文を読まないと思い込んでいる人も多いですが、それは、企業側から一方的に送り付けられるコマーシャルをイメージしているからです。コマーシャルはユーザーが読みたい(見たい)と思っている情報では無いので、短いキャッチコピーと簡潔な説明でけに限られますが、ユーザーが検索エンジンを利用して求めているのは、何かしらの疑問や問題を解決したいと思っているからで、ユーザーは自分自身が納得できる詳しい情報を期待しています。

検索して見つけた情報には、出来る限り詳しく、疑問を全て解決できる情報を求めているので、長文でも読んでもらえます。

ページのインデックスを早めるために、ページの作成途中のコンテンツでも公開すると言う人もいますが、未完成なコンテンツを公開しても「クロール済-インデックス未登録」が増えるだけなので、ある程度完成した状態で公開して、公開後の追記は簡単に出来る範囲になるようにとどめておきましょう。

また、ページの誤字脱字なども修正します。リライトする時には、専門家である自分の立場では理解できるけれど、専門家では無い、一般のユーザーにとっては分かり難い説明などが無いか確認して、専門家でないとわからない部分は、より分かりやすい説明へリライトします。記載されているページが自己満足では無く、ユーザー目線で、ユーザーに分かり易く、ユーザーの疑問や問題を解決できる情報を書くことに徹しましょう、それでいて、専門家としての高い専門性や専門家としての高い知識を伝える内容になるようにしましょう。また、文字数が少ないページの特徴として、画像がふんだんに配置されていて、イメージでユーザーにメッセージを伝えようとしているケースがあります。コンテンツはユーザーが検索窓に入れた疑問や質問に対する具体的な回答の詳細を可能な限り詳しく記載しないと、Googleから評価されません。コンテンツは十分なテキストが必要です。自分が出せる情報は出し惜しみせずに、どんどん追記して、「クロール済-インデックス未登録」が解消するか検証しましょう。

場合によっては記載されている項目などの変更も試して経過を観察しましょう。思い切って掲載している内容を変更することで、評価が変わってインデックスされる場合もあります。

未登録のページをリライトしたらインデックスリクエストを送信する

「クロール済み-インデックス未登録」の対象ページをリライトして、良いコンテンツになったら、サーチ・コンソールのURL検査にリライトしたページのURLを入力して、Enterを押すと「インデックス登録をリクエスト」が表示されるので、登録申請しましょう。更新日から数日しても「クロール済み-インデックス未登録」が解消しない場合は、再度リライトしてコンテンツを充実させましょう。以前のSearch consoleにあった、Fetch as Googleは2019年3月にツールの提供は終了しました。
インデックス登録をリクエストして数日すれば更新が反映されますが、数日しても、クロール済み-インデックス未登録のまま変化が無い場合は、まだコンテンツが十分では無いと判断できます。さらに追記、修正を行って、登録リクエストを繰り返し、登録されるまで、リライトを続けましょう。

どれだけリライトしてもインデックス登録されない場合は、noindexにするか、ページを削除するなどの対応を取る必要があります。

「クロール済み-インデックス未登録」を大幅に減らすことが出来れば、サイトの評価を高め大きなアクセスアップに繋がる効果が期待出来ます。

クロール済-インデックス未登録が少ないサイトはペナルティにも強い

クロール済-インデックス未登録がほとんど無く、文字数も多い良質なコンテンツを大量にも持っているサイトは、外部リンクでペナルティを受けていても、リンクを否認して、不自然なリンクが減るに従って順位やアクセス数が改善します。これに対して、クロール済-インデックス未登録が多いサイトは、リンクを否認しても、不自然なリンクが一定数まで減らないと、順位もアクセスも改善しません。これからもクロール済-インデックス未登録が大量にあるサイトをGoogleが評価していないことが分かります。

リクエスト

feedやtagがインデックス未登録になる場合はRobots.txtで解決

WordPressの場合、インデックス未登録にfeedやtagページが表示される場合があります。これらのページはAll in One SEO PackYoast SEOをインストールすれば、feedは自動的にnoindexになると記載さされているページもありますが、SEOプラグインではnoindexにはなりません。

この場合は、robots.txtに以下の記載をすれば大丈夫です。

User-Agent: *
Disallow: /feed/
Disallow: /*/feed/
これで解決できます。

robots.txtを修正したら、robot.txtテスターでブロック済みとなれば今後feedがインデックス未登録にはならないのでOKです。

ただ、XMLサイトマップとRSSフィードの両方を送信することをGoogleが公式に推奨とあり、feedがインデックス未登録に大量に記載されても特に悪い影響が出ることは無いので、気にする必要はありません。

まとめ

「クロール済み-インデックス未登録」と通知されているページは、Googlebotがクロールしたけれど、データベースにindexする程の価値は無いと判断されたページで、低品質なページです。「クロール済み-インデックス未登録」が大量にある場合は、サイト全体が低品質と判断される可能性があるので、インデックス未登録のページをリライトして、ユーザーの検索意図である疑問や質問への回答を含む情報を記載して、ユーザーにとって価値のある情報にすることを強くおすすめします。

新しい機能を備えたSearch consoleはドメイン毎の色んな問題を知らせてくれるので、定期的に使うことを習慣にして、サイトの改善に繋げて欲しいです。

SEO無料サイト診断