「robots.txtによりブロックされました」はなぜ表示される？原因と対策を解説

2024年6月21日

「robots.txt によりブロックされました」というエラーメッセージが表示されて、何が起こっているのか、どうしたら良いのかお困りの方はいらっしゃいますか？

”robots.txt によりブロックされました”が出るとURLインデックス登録が行えていない場合があり、早急に適切な対処を行わなければなりません。

そこで今回の記事では、「robots.txt によりブロックされました」が表示される原因や対処法についての概要を解説いたします。

どうぞ最後までご覧いただき、参考にしていただければと思います。

「robots.txt によりブロックされました」が表示される理由

「robots.txt によりブロックされました」

このメッセージは会社や個人で制作したサイトのサイトマップをGoogle Search Console（グーグル・サーチ・コンソール）に追加し、URL検査やインデックス登録のリクエストを送信した際に表示されることがあります。

その原因はrobots.txtによって該当のサイトのURLにGoogleのクローラーが正常に巡回できなかったことにあります。

robots.txtとは検索エンジンのクローラーに対し、サイトのどのファイルをインデックスさせるか、させないかを伝える役割のあるファイルで、重要なページを確実にクロールさせるために正しく設定することが必要です。

もし記述を失敗すると、SEOへ大きく影響する可能性が高いのです。

「robots.txtによりブロックされましたが、インデックスに登録しました」という警告が表示されるケースもあり、この場合はクローラーがページを見つけ認識したもののrobots.txtでブロックされているため、インデックスをするべきかどうか分からない状態という意味です。

robots.txtはクロールを禁止するものではないため、ブロックしても内部リンクや外部リンクからインデックス登録されることがあるのです。

すると検索結果にページには表示されても説明文や画像、PDF、非HTMLファイル等も除外されて表示されないため、いずれにしてもrobots.txtの修正が必要となります。

「robots.txtによりブロックされました」を解決する方法

それでは「robots.txtによりブロックされました」が表示された時の対処法について下記に紹介していきましょう。

インデックス登録をして良い場合の対処法

インデックス登録しても良い場合、「robots.txtテスター」という無料のツールを使ってrobots.txtの内容を確認し記述を変更し、SEOを改善させる方法を行います。

robots.txtテスターにアクセスしてチェックしたいドメインを選択すると、「User-agent」「Disallow」「Allow」「Sitemap」という項目が出てきますが、ここでは「Disallow（許可しない）」を選択し確認します。

Disallow:の後に「/」や特定のページのURLが記述されている場合、「/」ではサイト全体が、URLではそのページがrobots.txtによってブロックされているので記述を削除し「テスト」をクリックします。

robots.txtの検証が完了したら「送信」をクリックし「更新されたコードをダウンロード」→「アップロードされたバージョンを確認」→「Googleに更新をリクエスト]を順に実施します。これは編集したrobots.txtをサーバーにアップロードしGoogleに通知していく作業です。

問題なく完了すれば最新のrobots.txtの情報をGoogleに通知することが出来ます。

結果、インデックス登録が可能となり、「robots.txtによりブロックされました」というエラーメッセージも解消することが出来るでしょう。

インデックス登録されたくない場合の対処法

次にインデックス登録をされたくない場合。その場合はNoindexまたは対象のページをパスワードで保護する方法がおすすめです。

Noindexとは、クローラーに巡回されてもインデックス登録はされないため、検索結果にも表示されることはありません。

サイトの評価を落としたくない時にこの方法を使用すると有効です。

また、Googleは公開されているページをインデックス登録の対象にしていますので、パスワードで保護することでもインデックス登録を回避することが可能となります。

noindexとDisallowの違い

noindexもDisallowもGoogleがインデックスに登録しないことでは同じ処理ですが、厳密には違いがあります。

まず、noindexはGoogleに対して、インデックスを拒否する指示になりますので、確実にインデックスされなくなります。一方、robots.txtでのDisallowはクロールのブロックを要請するもので指示程強くありませんので、Googleの判断によってはインデックスされる可能性があります。

もう一つは、Googlebotがクロールするかしないかがあります。noindexはGooglebotがページをクロールしますが、Disallowはページをクロールしません。

評価して欲しく無いページをクロールさせるnoindexは、クロールバジェットの無駄遣いになってしまい、本来評価して欲しいページにリソースを振り向けることが出来なくなる可能性があり、サイトを適正に評価してもらえない可能性があります。

Disallowは見て欲しくないページをブロック出来ますので、評価して欲しいページのみクロールさせることが出来るので、適正に記載出来れば、サイトを確実に評価してもらえるメリットがあります。

まとめ

以上のように、「robots.txt によりブロックされました」というメッセージが表示された時、インデックス登録の可否に合わせた適切な対応を行わないとSEOに大きく影響し、順位を下げてしまう可能性があり注意が必要です。

もし方法が分からない、うまくエラーの解除が出来ないといった場合には、SEO対策専門会社である当社にご相談ください。

「robots.txt によりブロックされました」への対応の他、お客様のサイトをSEOに強いサイトにするためのさまざまな施策としてユーザーに有益な情報を提供しGoogleから評価されるブログ等のコンテンツの作成も強みとし、これまで多くの実績を重ねております。

他にも皆様に役立つSEOに関連したさまざまな情報を発信していますので、ぜひ合わせてご覧ください。

また、無料のWebサイト診断サービスも行っております。お気軽にご利用くださいませ。

The following two tabs change content below.

清水　康次

過去にインターネット受注で100%稼動する縫製工場を経営しており、平成17年度に経済産業省「IT経営百選」で優秀賞を受賞、翌18年には、最優秀賞を受賞するまでになりましたが、その後縫製工場の経営を止め、飲食店のインターネット担当として勤務いたしました。平成28年11月より独立してSEO対策とWEBコンサルタントとして多くのサイトの検索流入やコンバージョンの改善実績があります。

SEOとは?,テクニカルSEO

Posted by 清水　康次