Search consoleのクロール済み-インデックス未登録の対処法


クロール済み-インデックス未登録は低品質なコンテンツ

Search consoleの「カバレッジ」→「除外」→「クロール済み-インデックス未登録」とクリックすると、大量のURLが出現する場合があります。「クロール済み-インデックス未登録」の表示は前のSearch consoleでは、見ることが出来なかった新機能で、2019年12月から表示されるようになった新しい機能で、サイトの問題を報告してくれます。「クロール済み-インデックス未登録」になる理由は、取得したURLをGooglebotがクロールしたけれど、インデックスする価値は無いと判断され現在はデータベースに登録されないページと考えてほぼ間違いありません。「クロール済み-インデックス未登録」はエラーではありませんので警告もありませんが、インデックスされていないので、そのページはGoogle検索には表示されませんので、web上に存在しないのと同じになります。「クロール済み-インデックス未登録」のページが大量に発生すると、サイト全体の価値が低いとGoogleに判断される可能性があり、ランキングに悪影響が出る可能性がありますので、早急に対応が必要です。

Search consoleの「カバレッジ」→「除外」→「クロール済み-インデックス未登録」で表示されたURLを選択して、「URL検査」をクリックすると、Google が選択した正規 URLが表示されます。これがインデックスされたページです。

また、「クロール済み-インデックス未登録」のページは他のサイトからコピーしたコンテンツを使っている場合もインデックス未登録になります。同じ内容を伝えたいのであれば、そのページからコンテンツをコピーするのでは無く、自分自身でオリジナルのコンテンツを掲載するようにしましょう。

さらにサイト内に類似コンテンツがある場合も「クロール済-インデックス未登録」になる場合がありますので、例えば対象の市町村別のページを作ると、市町村名以外の部分は同じ内容になりますので、類似コンテンツです。他にも、無料相談会などを行う場合、開催日別にページを作ると類似コンテンツになりますので注意しましょう。

「クロール済み-インデックス未登録」のページが大量に検出されると、通常ならインデックスされて、多様なキーワードで検索にヒットするはずのキーワードにヒットせず、本来得られるアクセスが得られない現象が発生しサイトのパフォーマンスが大きく低下します。

サイトを更新して新たなブログを投稿しても、新規に投稿したページの中の多くのページが「クロール済み-インデックス未登録」となって増加していく場合は、コンテンツの投稿のパターンが同じになっていないか確認しましょう。webサイトを長期間運営していると、何も考えずに、毎日更新することが目的になってしまって、ユーザーにとっての価値を考えず、新しい記事を投稿することだけが目的になり、サイトを見に来るユーザーにとって必要な情報では無い記事を作成してしまったりしていないか、企業内部でも良く考えましょう。

また、重要なコンテンツがこのステータスになっている場合は、ユーザーの検索意図に合ったコンテンツになるように、価値や意味のあるコンテンツに改善しましょう。

ユーザーが検索窓に入れるキーワードはユーザーの質問です。ホームページに記載するコンテンツはユーザーの質問に対する答えです。ユーザーが期待する以上でユーザーにとって役立つコンテンツを掲載するように心がけることをおすすめします。

Google 検索は基本的に次の 3 段階で行われます。

「クロール済み-インデックス未登録」のページはページの価値が低く、検索結果に表示する程の情報が記載されていないページです。また、サイト内に類似ページがあるか、別のサイトに先に公開された類似でより価値のあるページが存在すると言う可能性もあります。

インデックス未登録のページが大量に出ると、サイト全体が低品質なサイトと評価されて、インデックスされているページも検索結果の上位に表示されない可能性もありますので、インデックス未登録を発見したら、出来るだけ早く対応したいところです。

過去のSearch consoleでは、「クロール済み-インデックス未登録」は表示されなかったので、今のSearch consoleは新しいツールが追加されてとても便利になりました。

Search consoleのカバレッジで「クロール済み-インデックス未登録」のページを常にチェックして、「クロール済-インデックス未登録」のページが増えないように常に管理しましょう。

2019年12月5日にSearch consoleのレポートが改善されてレポートの更新が早くなり最新のデータを反映するようになっています。これまで、「クロール済み-インデックス未登録」だったページが「登録済み」に移動しているページもあります。

インデックス

クロール済み-インデックス未登録の件数は様々

クロール済み-インデックス未登録の件数の実際にあった私が経験した例では、sitemap送信件数が、150ページのサイトで3件だけ指摘されているケースもあれば、sitemap送信件数が、998ページのサイトで1,182件指摘されていたり、sitemapの送信件数が、13,101ページのサイトで4,286件指摘されているサイトもあります。

クロール済み-インデックス未登録が3件だけのサイトは、どのページもとても詳しい説明を記載した記事が多いページで、かなり専門的な情報が満載のサイトです。1,182件のサイトはECサイトですが、商品の説明がメーカーのサイトのコピペで、まったくオリジナルな情報が記載されていないのが原因です。4,286件のサイトは不動産のポータルサイトですが、物件の説明が自動生成される設定で、さらに説明が少な過ぎるのが原因で、インデックス未登録となっています。

この3サイトはどれも不自然な外部リンクでペナルティを受けていますが、インデックス未登録が3件だけのサイトは一日250件程度のアクセスがあり長期的にはアクセスが増えています。残りの2つのサイトは一日10件前後のアクセスしかありません。
不自然なリンクがあって、ペナルティを受けていても、良質なコンテンツを掲載し続けていれば、Googleから評価され、本来のアクセスでは無いにしろ、コンテンツが充実している分だけアクセスはありますが、インデックス未登録が大量にあると、良質なコンテンツがほとんど無いので、全くアクセスが期待でない状況になります。

インデックス未登録のページが少ないサイトは、ペナルティを受けていて、メインキーワードでは、ほぼ圏外になっていても、良質なコンテンツが多様なスモールキーワードでアクセスを稼いでくれるので、小さいアクセスの積み重ねで、それなりのアクセスを稼ぎ出すことが出来るのです。ペナルティを受けていない正常なサイトの場合は、様々なキーワードで上位に表示する事ができるので、インデックス未登録を最小限に抑える必要があります。

どんな状態であっても、良質なコンテンツの掲載を継続して、インデッス未登録を最小限にすることがアクセスアップにはとても有効だと言うことです。

sitemapに記載されているページだが、どこからもリンクされていないページ

クロール済-インデックス未登録となる要因は複数ありますが、その中の一つとして、sitemap.xmlに記載されていて、Googleはクロールしたが、どこからもリンクされていないページでGoogleが価値の無いページと判断している場合もあります。

リンクの無いページはCMSなどで生成されるページの中に存在することが多くあります。このような生成されたページでクロール済-インデックス未登録が大量に発生する場合は、sitemap.xmlを削除して、その後もsitemapの送信をしないようにすることで解決します。

そもそも、数千ページ以上の大規模サイトでは無く、必要なページが完全にリンクされている場合は、sitemapの送信の必要は無く、sitemap.xmlを送信することで弊害が起こることも多いのです。

まずは、リライトして、ページの情報をさらに深堀して価値ある情報にする

「クロール済-インデックス未登録」のページが発生する一番多い原因は、文字数が少ないページが多いことです。文字数が極端に少なく、100~200文字程度の文章しか書いていないページでユーザーの疑問や問題の解決策をメッセージとして示すことは出来ません。「クロール済-インデックス未登録」のページになるかどうかの違いは、ユーザーのためになるコンテンツであるかどうかの違いです。大量にインデックス未登録のページが発見された場合の解決方法は、インデックス未登録に該当するページのそれぞれの情報の追記の対処をして、より詳しくユーザーの質問に対して親切で丁寧な情報の記載を行うように改善する方法が最善です。

ユーザーは長文を読まないと思い込んでいる人も多いですが、それは、企業側から一方的に送り付けられるコマーシャルをイメージしているからです。コマーシャルはユーザーが読みたい(見たい)と思っている情報では無いので、短いキャッチコピーと簡潔な説明でけに限られますが、ユーザーが検索エンジンを利用して求めているのは、何かしらの疑問や問題を解決したいと思っているからで、ユーザーは自分自身が納得できる詳しい情報を期待しています。

検索して見つけた情報には、出来る限り詳しく、疑問を全て解決できる情報を求めているので、長文でも読んでもらえます。

ページのインデックスを早めるために、ページの作成途中のコンテンツでも公開すると言う人もいますが、未完成なコンテンツを公開しても「クロール済-インデックス未登録」のページが増えるだけなので、ある程度完成した状態で公開して、公開後の追記は簡単に出来る範囲になるようにとどめておきましょう。

また、ページの誤字脱字なども修正します。リライトする時には、専門家である自分の立場では理解できるけれど、専門家では無い、一般のユーザーにとっては分かり難い説明などが無いか確認して、専門家でないとわからない部分は、より分かりやすい説明へリライトします。記載されているページが自己満足では無く、ユーザー目線で、ユーザーに分かり易く、ユーザーの疑問や問題を解決できる情報を書くことに徹しましょう、それでいて、専門家としての高い専門性や専門家としての高い知識を伝える内容になるようにしましょう。また、文字数が少ないページの特徴として、画像がふんだんに配置されていて、イメージでユーザーにメッセージを伝えようとしているケースがあります。コンテンツはユーザーが検索窓に入れた疑問や質問に対する具体的な回答の詳細を可能な限り詳しく記載しないと、Googleから評価されません。コンテンツは十分なテキストが必要です。自分が出せる情報は出し惜しみせずに、どんどん追記して、「クロール済-インデックス未登録」が解消するか検証しましょう。

場合によっては記載されている項目などの変更も試して経過を観察しましょう。思い切って掲載している内容を変更することで、評価が変わってインデックスされる場合もあります。

未登録のページをリライトしたらインデックスリクエストを送信する

「クロール済み-インデックス未登録」の対象ページをリライトして、良いコンテンツになったら、サーチ・コンソールのURL検査にリライトしたページのURLを入力して、Enterを押すと「インデックス登録をリクエスト」が表示されるので、登録申請しましょう。更新日から数日しても「クロール済み-インデックス未登録」が解消しない場合は、再度リライトしてコンテンツを充実させましょう。以前のSearch consoleにあった、Fetch as Googleは2019年3月にツールの提供は終了しました。
インデックス登録をリクエストして数日すれば更新が反映されますが、数日しても、クロール済み-インデックス未登録のまま変化が無い場合は、まだコンテンツが十分では無いと判断できます。さらに追記、修正を行って、登録リクエストを繰り返し、登録されるまで、リライトを続る努力をましょう。

「クロール済み-インデックス未登録」に記載されているURLをクリックして、「URLを検査」で「URL が Google に登録されていません」と表示される場合は「公開URLをテスト」でGoogleに登録可能かどうかが、表示されます。登録が可能と表示された場合は、インデックス登録をリクエストします。

どれだけリライトしてもインデックス登録されない場合は、noindexにするか、ページを削除するなどの対応を取る必要があります。

「クロール済み-インデックス未登録」を大幅に減らすことが出来れば、サイトの評価を高め大きなアクセスアップに繋がる効果が期待出来ます。

クロール済-インデックス未登録が少ないサイトはペナルティにも強い

クロール済-インデックス未登録がほとんど無く、文字数も多い良質なコンテンツを大量にも持っているサイトは、外部リンクでペナルティを受けていても、リンクを否認して、不自然なリンクが減るに従って順位やアクセス数が改善します。これに対して、クロール済-インデックス未登録が多いサイトは、リンクを否認しても、不自然なリンクが一定数まで減らないと、順位もアクセスも改善しません。これからもクロール済-インデックス未登録が大量にあるサイトをGoogleが評価していないことが分かります。

リクエスト

feedやtagがクロール済-インデックス未登録になる場合はRobots.txtで解決

WordPressの場合、インデックス未登録にfeedやtagページが表示される場合があります。これらのページはAll in One SEO PackYoast SEOをインストールすれば、feedは自動的にnoindexになると記載さされているページもありますが、SEOプラグインではnoindexにはなりません。

この場合は、robots.txtに以下の記載をすれば大丈夫です。

User-Agent: *
Disallow: /feed/
Disallow: /*/feed/
と指定すれば解決できます。

robots.txtを修正したら、robot.txtテスターでブロック済みとなれば今後feedがインデックス未登録にはならないのでOKです。

ただ、XMLサイトマップとRSSフィードの両方を送信することをGoogleが公式に推奨と公開している通り、feedがインデックス未登録に大量に記載されても特に悪い影響が出ることは無いので、気にする必要はありません。

大規模なサイトで無い場合はsitemap.xmlを送信しなくても良い

Search consoleのヘルプでサイトマップについての記載がありますが、大規模では無く、全てのページからリンクされているサイトの場合は、サイトマップを送信する必要は無いと記載されています。

他にもサイトマップのリスクについて記載されているページもあります。完全なサイトマップが送信されないと、高度なアルゴリズムで巡回を決定するGooglebotの動きを制御してしまい、必要なページがクロールされないリスクがあるとのことです。また、重複の問題も、誤って重複しているページをサイトマップに記載してしまうと、大きなリスクがあるのです。

クロール済み-インデックス未登録とは直接関係ありませんが、サイトのインデックスをより良くするためにsitemap.xmlのインデックス未登録のページを削除してみることも検討するのも一案です。インデックス未登録のページが減ったら、サイトマップを削除します。サイトマップを削除することによって、リンクされていないページをクロールするのを防ぐことが出来るので、クロール済-インデックス未登録を減らすことが可能になります。

低品質なページを作って公開してしまえば、リンクが設置されていれば、サイトマップを送信してもしなくても、クロール済み-インデックス未登録は表示されてしまいます。

まとめ

カバレッジの除外の中の「クロール済み-インデックス未登録」と通知されているページは、Googlebotがクロールしたけれど、データベースにindexする程の価値は無いと判断されたページで、低品質なページです。「クロール済み-インデックス未登録」が大量にある場合は、サイト全体が低品質と判断される可能性があるので、インデックス未登録のページをリライトして、ユーザーの検索意図である疑問や質問への回答を含む情報を記載して、ユーザーにとって価値のある情報にすることを強くおすすめします。ただ、Search consoleのデータの更新にはかなり長い時間を要しますので、行った施策が正しかったかどうかの判断は急がず、ゆっくり行いましょう。

新しい機能を備えたSearch consoleが提供しているサービスではドメイン毎の色んなアクセスアップに関する問題を知らせてくれるので、定期的に使うことを習慣にして、サイトの改善に繋げて欲しいです。