Googleにクロールされない理由とその対策

2024年7月18日

Webサイトを運営している多くの人々にとって、Googleにクロールされることは非常に重要です。クロールされないと、検索結果に表示されることもなく、結果としてアクセス数が増えない可能性が高くなるため、「なぜクロールされないんだろう。何をすれば良いのだろう」と悩み、原因について調べている方も多いのではないでしょうか。この記事では、現在の状態を理解し把握していただくために、Googleにクロールされない理由と、その対処法について詳しく解説します。企業のWeb担当者やマーケティング担当者はもちろん、個人でWeb運用されている皆様に向け、参考になればと思います。

1 Googleのクロールとは？
2 クロールされない理由
3 クロールを促進するための追加対策
4 まとめ

Googleのクロールとは？

Googleのクロールとは、Googleのクローラー（検索エンジンロボット）がウェブサイトのページを訪れて内容を読み取り、インデックスに登録するプロセスを指します。これにより、検索エンジンの結果にWebページが表示されるようになります。クロールとインデックスのプロセスは、ウェブサイトのSEO（検索エンジン最適化）において非常に重要です。

SEOとは、ウェブサイトやコンテンツを検索エンジンの検索結果ページで上位に表示させるための技術や方法、施策を指します。主な要素には、キーワード選定、内部リンクの最適化、高品質なコンテンツの作成、メタデータの設定、モバイルフレンドリーなデザイン、ページ速度の向上などがあります。SEOを適切に行い検索エンジンから評価されることで、特定のキーワードで検索をかけた時に上位へ表示され、ウェブサイトの訪問者数や認知度が向上し、集客へとつながります。

クロールされない理由

それでは、Googleからクロールされない時に考えられる主な理由と、どう対処すれば良いのか、具体的な対策についてそれぞれ紹介します。自分たちのサイトに該当する項目がないかチェックした上で、紹介している対策を講じてみて下さい。

Robots.txtによるブロック

ウェブサイトのルートディレクトリにあるrobots.txtファイルは、検索エンジンのクローラーに対してどのページをクロールすべきか、どのページをクロールしてはいけないかを指示するためのファイルです。このファイルの設定が間違っていると、重要なページがクロールされないことがあります。

・対策

robots.txtファイルを確認し、クロールを許可したいページやディレクトリが正しく設定されているかを確認しましょう。

noindexタグの使用

ウェブページにnoindexタグが含まれていると、そのページは検索エンジンのインデックスに登録されません。開発中のページや、公開したくないページにnoindexタグを使うことはありますが、これが意図せず重要なページに含まれているケースがあります。

・対策

ページのソースコードを確認し、noindexタグが誤って使用されていないかをチェックします。不要なnoindexタグを削除しましょう。

サイトマップの未登録

サイトマップは、ウェブサイトの構造を示すファイルで、検索エンジンにサイト内のページの情報を提供します。Google Search Console（グーグル　’サーチ　コンソール）にサイトマップを登録することで、クロールの効率が向上します。サイトマップが未登録だと、新しいページがクロールされるまで時間がかかることがあります。

・対策

XMLサイトマップを生成し、Google Search Consoleに登録しましょう。以下の手順で登録できます：

1.Google Search Consoleにログイン。

2.サイトを選択。

3.サイトマップセクションに移動。

4.「サイトマップの追加/テスト」をクリックし、サイトマップのURLを入力。

サーバーの問題

サーバーの応答が遅かったり、ダウンしている場合、Googleのクローラーがページにアクセスできないことがあります。また、サーバーがクロールの頻度を制限している場合も問題です。

・対策

サーバーのパフォーマンスを監視し、問題が発生した場合はホスティングプロバイダーに連絡して解決しましょう。また、Google Search Consoleの「クロールの統計情報」で、クロールエラーを確認できます。

ページの品質

自動で生成されたコンテンツや他のサイトをコピーしたテキストを掲載したコンテンツなど、低品質なコンテンツや重複コンテンツが多いサイトは、Googleのクローラーにとって価値が低いと判断され、クロールの頻度が下がることがあります。

・対策

高品質なコンテンツを作成し、重複コンテンツを避けることが重要です。ユーザーにとって有益で、オリジナルの情報を提供するページを増やしましょう。また、古いコンテンツを定期的に見直し、更新することも効果的です。

内部リンクの不足

内部リンクは、Googleのクローラーがサイト内を効率的に移動するための重要な手段です。内部リンクが少ないと、新しいページや深い階層にあるページがクロールされにくくなります。

・対策

サイト内の関連ページに適切な内部リンクを設定し、クローラーが容易にアクセスできるようにしましょう。ナビゲーションメニューやフッターに主要なページへのリンクを追加することも効果的です。

Googleからペナルティを受けている

Googleのガイドラインに違反する行為（例：キーワードスタッフィング、スパムリンク、不自然なリンクの購入など）を行っていると、検索順位が下がったりインデックスから除外される等のペナルティを受けることがあります。

Search consoleの「設定」→「クロールの統計情報」でクローラーが全く来ない日がある場合は、Googleからの評価が異常に低いと考えられるので、ペナルティを受けている可能性があります。

・対策

ガイドラインを遵守し、良質なコンテンツを提供することが大切です。ペナルティを受けた際には速やかに問題を見つけ修正し、再度審査してもらうためのリクエストを送信することで回復を図りましょう。

新規ドメインである

新規ドメインの場合、Googleのクローラーがまだ認識していないため、クロールやインデックスまでに時間がかかることがあります。そのため、新規ドメインを持つサイトは、特に最初に数週間から数か月の間クロールされにくいことが一般的です。

・対策

改善するためにはGoogle Search Consoleにサイトマップを登録し、クロールをリクエストしましょう。

canonicalタグで別のページを正規ページに指定している

canonicalタグとは、URLを正規化する場合に使うタグで、内容が重複しているページがある場合や、1つのページに複数のURLがある場合に使用します。

・対策

もし、URL検索の結果画面の「ユーザーが指定した正規URL」にインデックスさせたいページとは別のURLが表示されているなら、別のURLをcanonicalで正規指定しているため、設定を変更しましょう。

クロールを促進するための追加対策

次に、Googleからのクロールを促進するためにできる対策について記載します。

Google Search Consoleの使用

Google Search Consoleは、Googleから無料で提供されているサイトのクロール状況やエラーを確認するための強力なツールで、使い方も操作しやすく簡単です。クロールエラーを定期的にチェックし、修正することで、クロールの効率を向上させることが可能です。また、新しいページをGoogleに通知するために、URL検査ツールを使用することもできますので、サイトの運用をされている方は使用をおすすめします。

補足として、「クロール統計情報レポート」というものがありますが、このレポートにはクロール頻度に関連する情報は含まれません。

外部リンクの獲得

外部リンク（バックリンク）は、他のウェブサイトから自サイトへのリンクです。信頼性のあるサイトからの被リンクは、Googleのクローラーにとって重要な信号となり、クロールの巡回頻度を増やす助けとなります。

他のサイトと協力して、質の高いバックリンクを獲得しましょう。ゲスト投稿やパートナーシップを通じて、関連性の高いサイトからリンクを得ることが効果的です。

モバイルフレンドリーの確認

Googleはモバイルフレンドリーなサイトを優先的にクロールします。サイトがモバイルデバイスに対応しているかどうかを確認し、必要に応じて改善しましょう。

やり方としては、Googleのモバイルフレンドリーテストツールを使って、サイトのモバイル対応状況を確認します。レスポンシブデザインやモバイル用のスタイルシートを導入することで、モバイルフレンドリーなサイトを実現できます。

ページの速度向上

ページの読み込み速度は、ユーザーエクスペリエンスに大きな影響を与え、Googleのクロール効率にも影響します。ページが速く読み込まれるほど、クローラーがサイト内を効率的に移動できるようになります。

画像の最適化やキャッシュの利用、不要なプラグインの削除など、サイトの読み込み速度を向上させるための対策を講じましょう。GoogleのPageSpeed Insightsツールを使用して、具体的な改善点を確認できます。

まとめ

Googleにクロールされない原因は多岐にわたりますが、適切な対策を講じることで、クロールの効率を向上させ、検索エンジンの結果に表示される確率を高めることができます。上記で紹介した各項目のポイントを押さえ、徹底して対策を実施することで、Googleにクロールされやすいサイトを構築し、より多くのユーザーにアクセスしてもらえるようになるでしょう。サイトの運営において、クロールとインデックスのプロセスは非常に重要な要素です。そのため、継続的に見直しと改善を行うことが成功への鍵となります。

この記事を書いた人
最新の記事

清水　康次

過去にインターネット受注で100%稼動する縫製工場を経営しており、平成17年度に経済産業省「IT経営百選」で優秀賞を受賞、翌18年には、最優秀賞を受賞するまでになりましたが、その後縫製工場の経営を止め、飲食店のインターネット担当として勤務いたしました。平成28年11月より独立してSEO対策とWEBコンサルタントとして多くのサイトの検索流入やコンバージョンの改善実績があります。