「robots.txtによりブロックされました」はなぜ表示される？原因と対策を解説
「robots.txt によりブロックされました」というエラーメッセージが表示されて、何が起こっているのか、どうしたら良いのかお困りの方はいらっしゃいますか？
”robots.txt によりブロックされました”が出るとURLインデックス登録が行えていない場合があり、早急に適切な対処を行わなければなりません。
そこで今回の記事では、「robots.txt によりブロックされました」が表示される原因や対処法についての概要を解説いたします。
どうぞ最後までご覧いただき、参考にしていただければと思います。
目次
「robots.txt によりブロックされました」が表示される理由
「robots.txt によりブロックされました」
このメッセージは会社や個人で制作したサイトのサイトマップをGoogle Search Console（グーグル・サーチ・コンソール）に追加し、URL検査やインデックス登録のリクエストを送信した際に表示されることがあります。
その原因はrobots.txtによって該当のサイトのURLにGoogleのクローラーが正常に巡回できなかったことにあります。
robots.txtとは検索エンジンのクローラーに対し、サイトのどのファイルをインデックスさせるか、させないかを伝える役割のあるファイルで、重要なページを確実にクロールさせるために正しく設定することが必要です。
もし記述を失敗すると、SEOへ大きく影響する可能性が高いのです。
「robots.txtによりブロックされましたが、インデックスに登録しました」という警告が表示されるケースもあり、この場合はクローラーがページを見つけ認識したもののrobots.txtでブロックされているため、インデックスをするべきかどうか分からない状態という意味です。
robots.txtはクロールを禁止するものではないため、ブロックしても内部リンクや外部リンクからインデックス登録されることがあるのです。
すると検索結果にページには表示されても説明文や画像、PDF、非HTMLファイル等も除外されて表示されないため、いずれにしてもrobots.txtの修正が必要となります。
「robots.txtによりブロックされました」を解決する方法
それでは「robots.txtによりブロックされました」が表示された時の対処法について下記に紹介していきましょう。
インデックス登録をして良い場合の対処法
インデックス登録しても良い場合、「robots.txtテスター」という無料のツールを使ってrobots.txtの内容を確認し記述を変更し、SEOを改善させる方法を行います。
robots.txtテスターにアクセスしてチェックしたいドメインを選択すると、「User-agent」「Disallow」「Allow」「Sitemap」という項目が出てきますが、ここでは「Disallow（許可しない）」を選択し確認します。
Disallow:の後に「/」や特定のページのURLが記述されている場合、「/」ではサイト全体が、URLではそのページがrobots.txtによってブロックされているので記述を削除し「テスト」をクリックします。
robots.txtの検証が完了したら「送信」をクリックし「更新されたコードをダウンロード」→「アップロードされたバージョンを確認」→「Googleに更新をリクエスト]を順に実施します。これは編集したrobots.txtをサーバーにアップロードしGoogleに通知していく作業です。
問題なく完了すれば最新のrobots.txtの情報をGoogleに通知することが出来ます。
結果、インデックス登録が可能となり、「robots.txtによりブロックされました」というエラーメッセージも解消することが出来るでしょう。
インデックス登録されたくない場合の対処法
次にインデックス登録をされたくない場合。その場合はNoindexまたは対象のページをパスワードで保護する方法がおすすめです。
Noindexとは、クローラーに巡回されてもインデックス登録はされないため、検索結果にも表示されることはありません。
サイトの評価を落としたくない時にこの方法を使用すると有効です。
また、Googleは公開されているページをインデックス登録の対象にしていますので、パスワードで保護することでもインデックス登録を回避することが可能となります。
noindexとDisallowの違い
noindexもDisallowもGoogleがインデックスに登録しないことでは同じ処理ですが、厳密には違いがあります。
まず、noindexはGoogleに対して、インデックスを拒否する指示になりますので、確実にインデックスされなくなります。一方、robots.txtでのDisallowはクロールのブロックを要請するもので指示程強くありませんので、Googleの判断によってはインデックスされる可能性があります。
もう一つは、Googlebotがクロールするかしないかがあります。noindexはGooglebotがページをクロールしますが、Disallowはページをクロールしません。
評価して欲しく無いページをクロールさせるnoindexは、クロールバジェットの無駄遣いになってしまい、本来評価して欲しいページにリソースを振り向けることが出来なくなる可能性があり、サイトを適正に評価してもらえない可能性があります。
Disallowは見て欲しくないページをブロック出来ますので、評価して欲しいページのみクロールさせることが出来るので、適正に記載出来れば、サイトを確実に評価してもらえるメリットがあります。
まとめ
以上のように、「robots.txt によりブロックされました」というメッセージが表示された時、インデックス登録の可否に合わせた適切な対応を行わないとSEOに大きく影響し、順位を下げてしまう可能性があり注意が必要です。
もし方法が分からない、うまくエラーの解除が出来ないといった場合には、SEO対策専門会社である当社にご相談ください。
「robots.txt によりブロックされました」への対応の他、お客様のサイトをSEOに強いサイトにするためのさまざまな施策としてユーザーに有益な情報を提供しGoogleから評価されるブログ等のコンテンツの作成も強みとし、これまで多くの実績を重ねております。
他にも皆様に役立つSEOに関連したさまざまな情報を発信していますので、ぜひ合わせてご覧ください。
また、無料のWebサイト診断サービスも行っております。お気軽にご利用くださいませ。
清水 康次
最新記事 by 清水 康次 (全て見る)
- Webマーケティングスクールで学んでフリーランスを目指そう！ - 2024年4月23日
- 安いWebマーケティングスクールの選び方 - 2024年4月17日
- 低品質コンテンツの見つけ方と対処法を解説 - 2024年4月12日