Search consoleのクロール済み-インデックス未登録の対処法

2019年10月13日2024年6月25日

1 クロール済み-インデックス未登録は低品質なコンテンツ
2 まとめ

クロール済み-インデックス未登録は低品質なコンテンツ

Search consoleの「ページ」→「未登録」→「クロール済み-インデックス未登録」とクリックすると、大量のURLが出現する場合があります。「クロール済み-インデックス未登録」の表示は前のSearch consoleでは、見ることが出来なかった新機能で、2019年12月から表示されるようになった新しい機能で、サイトの問題を報告してくれます。「クロール済み-インデックス未登録」は、URLをGooglebotがクロールしたけれど、インデックスする価値は無いと判断され現在はデータベースに登録されないページと考えてほぼ間違いありません。「クロール済み-インデックス未登録」はエラーではありませんので警告もありませんが、インデックスされていないので、そのページはGoogleの検索には表示されませんので、web上に存在しないのと同じになります。「クロール済み-インデックス未登録」のページが大量に発生すると、サイト全体の価値が低いとGoogleに判断される可能性があり、ランキングに悪影響が出る可能性がありますので、早急に対応が必要です。

Googleは「質の高いサイト作成方法についてのガイダンス」の中で「ウェブサイトの一部に質の低いコンテンツが掲載されている場合に、サイト全体のランキングに影響が及ぶ可能性があります。」と記載していますので、「クロール済み-インデックス未登録」を放置すると、サイト全体の評価が低下します。

Search consoleの「ページ」→「未登録」→「クロール済み-インデックス未登録」で表示されたURLを選択して、「URL検査」をクリックすると、Google が選択した正規 URLが表示されます。これがインデックスされたページです。

また、「クロール済み-インデックス未登録」のページは他のサイトからコピーしたコンテンツを使っている場合も「重複しています」か「インデックス未登録」になります。同じ内容を伝えたいのであれば、そのページからコンテンツをコピーするのでは無く、自分自身でオリジナルのコンテンツを掲載し、高い品質を保つようにしましょう。

さらにサイト内に類似コンテンツがある場合も「クロール済-インデックス未登録」になる場合がありますので、例えば対象の市町村別のページを作ると、市町村名以外の部分は同じ内容になりますので、類似コンテンツで誘導ページです。他にも、無料相談会などを行う場合、開催日別にページを作ると類似コンテンツになりますので注意しましょう。

「クロール済み-インデックス未登録」のページが大量に検出されると、通常ならインデックスされて、多様なキーワードで検索にヒットするはずのキーワードにヒットせず、本来得られるアクセスが得られない現象が発生しサイトのパフォーマンスが大きく低下します。

サイトを更新して新たなブログを投稿しても、新規に投稿したページの中の多くのページが「クロール済み-インデックス未登録」となって増加していく場合は、コンテンツの投稿のパターンが同じになっていないか確認しましょう。webサイトを長期間運営していると、何も考えずに、毎日更新することが目的になってしまって、ユーザーにとっての価値を考えず、新しい記事を投稿することだけが目的になり、サイトを見に来るユーザーにとって必要な情報では無い記事を作成してしまったりしていないか、企業内部でも良く考えましょう。

また、ユーザーの検索意図に合ったコンテンツになるように、価値や意味のあるコンテンツに改善しましょう。

ユーザーが検索窓に入れるキーワードはユーザーの質問です。ホームページに記載するコンテンツはユーザーの質問に対する答えです。ユーザーが期待する以上でユーザーにとって役立つコンテンツを掲載するように心がけることをおすすめします。

Google 検索は基本的に次の 3 段階で行われます。

過去のSearch consoleでは、「クロール済み-インデックス未登録」は表示されなかったので、今のSearch consoleは新しいツールが追加されてとても便利になりました。

Search consoleのページで「クロール済み-インデックス未登録」のページを常にチェックして、「クロール済-インデックス未登録」のページが増えないように常に管理しましょう。

2019年12月5日にSearch consoleのレポートが改善されてレポートの更新が早くなり最新のデータを反映するようになっています。これまで、「クロール済み-インデックス未登録」だったページが「登録済み」に移動しているページもあります。

クロール済み-インデックス未登録の件数は様々

クロール済み-インデックス未登録の件数の実際にあった私が経験した例では、sitemap送信件数が、150ページのサイトで3件だけ指摘されているケースもあれば、sitemap送信件数が、998ページのサイトで1,182件指摘されていたり、sitemapの送信件数が、13,101ページのサイトで4,286件指摘されているサイトもあります。極端な例では100万ページもクロール済み-インデックス未登録にURLが記載されていたサイトもありました。

クロール済み-インデックス未登録が3件だけのサイトは、どのページもとても詳しい説明を記載した記事が多いページで、かなり専門的な情報が満載のサイトです。1,182件のサイトはECサイトですが、商品の説明がメーカーのサイトのコピペで、まったくオリジナルな情報が記載されていないのが原因です。4,286件のサイトは不動産のポータルサイトですが、物件の説明が自動生成される設定で、さらに説明が少な過ぎるのが原因で、インデックス未登録となっています。

この3サイトはどれも不自然な被リンクで自動ペナルティを受けていますが、インデックス未登録が3件だけのサイトは一日250件程度のアクセスがあり長期的にはアクセスが増えています。残りの2つのサイトは一日10件前後のアクセスしかありません。
不自然なリンクがあって、ペナルティを受けていても、良質なコンテンツを掲載し続けていれば、Googleから評価され、本来のアクセスでは無いにしろ、コンテンツが充実している分だけアクセスはありますが、インデックス未登録が大量にあると、良質なコンテンツがほとんど無いので、全くアクセスが期待でない状況になります。

インデックス未登録のページが少ないサイトは、自動ペナルティを受けていて、メインキーワードでは、ほぼ圏外になっていても、良質なコンテンツが多様なスモールキーワードでアクセスを稼いでくれるので、小さいアクセスの積み重ねで、それなりのアクセスを稼ぎ出すことが出来るのです。ペナルティを受けていない正常なサイトの場合は、様々なキーワードで上位に表示する事ができるので、未登録の原因を調査して、インデックス未登録を最小限に抑える必要があります。

どんな状態であっても、良質なコンテンツの掲載を継続して、インデッス未登録を最小限にすることがアクセスアップにはとても有効だと言うことです。

sitemapに記載されているページだが、どこからもリンクされていないページ

クロール済-インデックス未登録となる要因は複数ありますが、その中の一つとして、sitemap.xmlに記載されていて、Googleはクロールしたが、どこからもリンクされていないページでGoogleが価値の無いページと判断している場合もあります。

リンクの無いページはCMSなどで生成されるページの中に存在することが多くあります。このような生成されたページでクロール済-インデックス未登録が大量に発生する場合は、sitemap.xmlを削除して、その後もsitemapの送信をしないようにすることで解決します。

そもそも、数千ページ以上の大規模サイトでは無く、必要なページが完全にリンクされている場合は、sitemapの送信の必要は無く、sitemap.xmlを送信することで弊害が起こることも多いのです。

まずは、リライトして、ページの情報をさらに深堀りして価値ある情報にする

「クロール済-インデックス未登録」のページが発生する一番多い原因は、文字数が少ないページが多いことです。検索意図によっては、超短文でも高品質なコンテンツと言うことはあります。例えば、漢字の読みを調べているキーワードや「無料画像」などのキーワードの場合は、超短文のページでも検索意図を見たしているので問題ありませかんが、検索意図として詳しい解説を求めているキーワードの場合、短文のページだと、ほとんど検索意図を満たすコンテンツにならず、低品質と判断される場合があります。文字数が極端に少なく、100～200文字程度の文章しか書いていないページでユーザーの疑問や問題の解決策をメッセージとして示すことは出来ません。「クロール済-インデックス未登録」のページになるかどうかの違いは、ユーザーのためになるコンテンツであるかどうかの違いです。大量にインデックス未登録のページが発見された場合の解決方法は、インデックス未登録に該当するページのそれぞれの情報の追記をして、より詳しくユーザーの質問に対して親切で丁寧な情報の記載を行うように改善する方法が最善です。

ユーザーは長文を読まないと思い込んでいる人も多いですが、それは、コマーシャルをイメージしているからです。コマーシャルはユーザーが読みたい(見たい)と思っている情報では無いので、短いキャッチコピーと簡潔な説明だけに限られますが、ユーザーが検索エンジンを利用して求めているのは、何かしらの疑問や問題を解決したいと思っているからで、ユーザーは自分自身が納得できる詳しい情報を期待しています。

検索して見つけた情報には、出来る限り詳しく、疑問を全て解決できる情報を求めているので、長文でも読んでもらえます。

ページのインデックスを早めるために、ページの作成途中のコンテンツでも公開すると言う人もいますが、未完成なコンテンツを公開しても「クロール済-インデックス未登録」のページが増えるだけなので、ある程度完成した状態で公開して、公開後の追記は簡単に出来る範囲になるようにとどめておきましょう。

また、ページの誤字脱字なども修正します。リライトする時には、専門家である自分の立場では理解できるけれど、専門家では無い、一般のユーザーにとっては分かり難い説明などが無いか確認して、専門家でないとわからない部分は、より分かりやすい説明へリライトします。記載されているページが自己満足では無く、ユーザー目線で、ユーザーに分かり易く、ユーザーの疑問や問題を解決できる情報を書くことに徹しましょう、それでいて、専門家としての高い専門性や専門家としての高い知識を伝える内容になるようにしましょう。また、文字数が少ないページの特徴として、画像がふんだんに配置されていて、イメージでユーザーにメッセージを伝えようとしているケースがあります。コンテンツはユーザーが検索窓に入れた疑問や質問に対する具体的な回答の詳細を可能な限り詳しく記載しないと、Googleから評価されません。コンテンツは十分なテキストが必要です。自分が出せる情報は出し惜しみせずに、どんどん追記して、「クロール済-インデックス未登録」が解消するか検証しましょう。

場合によっては記載されている項目などの変更も試して経過を観察しましょう。思い切って掲載している内容を変更することで、評価が変わってインデックスされる場合もあります。

ページの有効が大きく減少して、その分がクロール済み-インデックス未登録になっている場合は、明らかに、これまでインデックスされていたたページが低品質の評価に変わって未登録になっているので、リライトして有効なページにしましょう。特にECサイトの場合、同じ商品の色違いなどのページはインデックス未登録になりやすいので、独自の情報を掲載するようにしましょう。

ヒットしている件数が極めて少ない検索結果のページ

「お探しの条件では見つかりませんでした」など、検索結果が0件のページをGoogleにインデックスさせようとしていることもあります。

検索結果が0件のページはユーザーにとって何の価値も無いページです。

このようなページを大量にGoogleに見せるのは、Googleからの評価を落とすためにしている行為と言われても仕方の無いものです。

検索結果のページをnoindexにするか、robots.txtでDisallowにしましょう。

これまでに対策したサイトの中には、検索結果のページが100万ページもインデックス未登録になっていたケースもありました。検索結果のページをDisallowにして、大幅にGoogleからのアクセスを改善した事例もあります。

真っ白なページ

「クロール済み-インデックス未登録」の中に、URLにアクセスすると真っ白なページが表示されることもあります。サーバーステータスを確認すると、200(成功)を返している場合があります。

200(成功)を返しているページはGoogleにインデックスして欲しいページなので、そのページが真っ白であれば、低品質なページと判断されるのは当然のことです。

このようなページもnoindexにするか、robots.txtでDisallowにしましょう。

未登録のページをリライトしたらインデックスリクエストを送信する

「クロール済み-インデックス未登録」の対象ページをリライトして、良いコンテンツになったら、サーチ・コンソールのURL検査にリライトしたページのURLを入力して、Enterを押すと「インデックス登録をリクエスト」が表示されるので、登録申請しましょう。更新日から数日しても「クロール済み-インデックス未登録」が解消しない場合は、再度リライトしてコンテンツを充実させましょう。
インデックス登録をリクエストして数日すれば更新が反映されますが、数日しても、クロール済み-インデックス未登録のまま変化が無い場合は、まだコンテンツが十分では無いと判断できます。さらに追記、修正を行って、登録リクエストを繰り返し、登録されるまで、リライトを続る努力をましょう。

「クロール済み-インデックス未登録」に記載されているURLをクリックして、「URLを検査」で「URL が Google に登録されていません」と表示される場合は「公開URLをテスト」でGoogleに登録可能かどうかが、表示されます。登録が可能と表示された場合は、インデックス登録をリクエストします。

どれだけリライトしてもインデックス登録されない場合は、noindexにするか、ページを削除するなどの対応を取る必要があります。

「クロール済み-インデックス未登録」を大幅に減らすことが出来れば、サイトの評価を高め大きなアクセスアップに繋がる効果が期待出来ます。

商品カテゴリーの2ページ目以降は対処の必要は無い

ECサイトの商品カテゴリーの2ページ目以降は、1ページ目と類似コンテンツになります。Googleは検索結果に同じような内容のページを表示しないので、ECサイトの商品カテゴリーの2ページ目以降はインデックスされないのが普通なので、対処の必要はありません。

ただ、商品が表示されないカテゴリーページが「クロール済み-インデックス未登録」にある場合は、noindexにするか、sitemap.xmlで商品が無いページを送信していないか確認しましょう。

クロール済-インデックス未登録が少ないサイトはペナルティにも強い

クロール済-インデックス未登録がほとんど無く、文字数も多い良質なコンテンツを大量にも持っているサイトは、外部リンクで自動ペナルティを受けていても、リンクを否認して、不自然なリンクが減るに従って順位やアクセス数が改善します。これに対して、クロール済-インデックス未登録が多いサイトは、リンクを否認しても、不自然なリンクが一定数まで減らないと、順位もアクセスも改善しません。これからもクロール済-インデックス未登録が大量にあるサイトをGoogleが評価していないことが分かります。

クロール済み-インデックス未登録の中に画像だけのページが有る場合はインデックスしないようにしましょう

クロール済-インデックス未登録に表示されるURLの中に画像だけのページがある場合は、本来インデックスすべきでは無いページをインデックスする設定になっています。これは、All in One SEOの設定でメディアをインデックスする設定になっている場合に起こる問題です。

画像だけのページは全くテキストが無いのでGoogleからは低品質なページと判断されるので、そのままにしておいても絶対にインデックスされることはありません。このようなページを大量に吐き出しているサイトはGoogleから低品質なサイトと判断されてアクセスが伸び悩みます。

All in One SEOのメディアをインデックスする設定をoffにすれば解消します。

そもそもGoogleから低品質なページと判断されるようなものをインデックスする設定があるのも疑問ですが、All in One SEOをインストールすればSEOに有利になるとは限らないので、参考にして下さい。

ドメインの弱いサイトは「クロール済み-インデックス未登録」が発生しやすい

運営を開始してから年数が経過していないサイトや、良質な被リンクがほとんど無いサイトは、良質なコンテンツを掲載していても「クロール済み-インデックス未登録」が多く掲載される傾向にあります。

これはドメイン自体がGoogleから評価されていてなので、Googlebotの巡回も少なくページの理解が進まないためだと考えられます。このようなサイトの場合は、リライトしなくてもURL検査からインデックスリクエストを送信しましょう。インデックスリクエストを送信すると数日でインデックスされて表示回数やクリックス数が増加する可能性があります。

まとめ

ページの除外の中の「クロール済み-インデックス未登録」と通知されているページは、Googlebotがクロールしたけれど、データベースにindexする程の価値は無いと判断されたページで、低品質なページで価値が低いページと認識することがポイントです。「クロール済み-インデックス未登録」が大量にある場合は、サイト全体が低品質と判断される可能性があるので、SEO対策上も注視する必要があり、インデックス未登録のページをリライトして、ユーザーの検索意図である疑問や質問への回答を含む情報を記載して、ユーザーにとって価値のある情報にすることを強くおすすめします。リライトしたページはURL検査からURLを再送信してインデックスリクエストを行いましょう。ただ、Search consoleのデータの更新にはかなり長い時間を要しますので、行った施策が正しかったかどうかの判断は急がず、ゆっくり行いましょう。

新しい機能を備えたSearch consoleが提供しているサービスではドメイン毎の色んなアクセスアップに関する問題を知らせてくれるので、定期的に確認することを習慣にして、サイトの改善に繋げて欲しいです。

この記事を書いた人
最新の記事

清水　康次

過去にインターネット受注で100%稼動する縫製工場を経営しており、平成17年度に経済産業省「IT経営百選」で優秀賞を受賞、翌18年には、最優秀賞を受賞するまでになりましたが、その後縫製工場の経営を止め、飲食店のインターネット担当として勤務いたしました。平成28年11月より独立してSEO対策とWEBコンサルタントとして多くのサイトの検索流入やコンバージョンの改善実績があります。