クロールバジェットとは？SEOへの影響と最適化する6つの方法を解説
「なぜか新しく追加したページが検索結果に出てこない」
「インデックス登録のスピードが遅く感じる」
「クロールエラーが多いけど、何を改善すればいいのかわからない」
こんな悩みを感じたことはありませんか？
クロールバジェットとは、Googleなどの検索エンジンが1つのWebサイトをクロールする際に使えるリソースの配分のことです。検索エンジンは、すべてのページを無制限にクロールできるわけではなく、限られた回数や頻度の中で情報を取得しています。
本記事では、クロールバジェットについて以下の内容をわかりやすく解説します。
- クロールバジェットの概要
- クロールバジェットが足りないとどうなるか
- 改善するための具体的な方法
クロールバジェットの基本と最適化方法を理解しすることで、検索に強いWebサイト運用に活かせるようになります。検索エンジンにしっかりクロールされる仕組みを知りたい方は、ぜひ参考にしてください。
- 目次
クロールバジェットとは？
クロールバジェットとは何ですか？
簡単にいえば「検索エンジンが1日にどれくらい巡回してくれるかの枠」みたいなものです。
クロールバジェットとは、Googleなどの検索エンジンが特定のWebサイトに対してクロールできる回数や頻度の上限のことです。
検索エンジンのクローラーは世界中のWebサイトを巡回していますが、すべてのページを毎日クロールできるわけではありません。Webサイトの規模やサーバーの負荷状況、更新頻度などをもとに、どのページをいつどれだけクロールするかを判断し、その範囲内で情報を収集しています。
Google では、Googlebot によってご利用のサーバーに負担をかけることなく、Webサイトをクロールしたいと考えています。Googlebot では、負担をかけないためのクロール能力の上限を計算します。計算では、GooglebotでWebサイトのクロール時に使用可能な同時並行接続の最大数と、次回の取得までに必要な待ち時間が考慮されます。また、サーバーに過負荷をかけずに重要なコンテンツ全体をカバーするように配慮されます。
引用：Google Search Central｜大規模なサイト所有者向けのクロール バジェット管理ガイド
クロールバジェットが重要な理由
クロールバジェットが重要な理由は、クロールされなければ検索結果に表示されないからです。
SEO対策では「良質なコンテンツを作る」「適切なキーワードを配置する」といった施策が注目されがちですが、その前提として「検索エンジンにページの存在を認識してもらう」必要があります。
どれだけ優れたコンテンツを作っても、クロールバジェットが足りずにクロールされなければ、検索結果に表示されることはありません。
特に以下のような状況では、クロールバジェットの影響が顕著に現れます。
- 新規ページの公開時
- コンテンツの更新時
- Webサイトのリニューアル時
適切にクロールされれば、検索エンジンは最新の情報を素早くインデックスできるため、SEOやWebサイト運用においてクロールバジェットは見過ごせない要素といえます。
クロールバジェットの影響を受けやすいWebサイトの特徴
クロールバジェットの影響は、すべてのWebサイトに同じようにあるわけではありません。Googleも公式に更新頻度が少ない場合や小規模サイトでは、クロールバジェットを心配する必要はないと述べています。
Webサイト内で頻繁に更新されるページがそれほど多くない場合や、ページが公開日と同じ日にクロールされると考えられる場合は、このガイドを読む必要はありません。Webサイトマップを最新の状態に保ち、定期的にインデックス カバレッジを確認するだけで十分です。
クロールバジェットの影響を受けやすいWebサイトの特徴は以下の通りです。
- 数千ページ以上の大規模なECサイトやメディアサイト
- 頻繁にコンテンツが追加・更新されるWebサイト
- URLの重複や無限パラメータが多いWebサイト
- 404エラーやリダイレクトが大量に発生しているWebサイト
- サーバーの応答速度が遅いWebサイト
反対に、数百ページ程度の中小規模のコーポレートサイトや個人ブログであれば、クロールバジェットを過度に気にする必要はありません。
クロールバジェットの上限で起きる問題とは？
クロールバジェットが原因で起きる問題にはどのようなものがありますか？
クロールバジェットの上限によって、新規ページのインデックス遅延や更新内容の未反映など、SEOに影響する問題が起きることがあります。
クロールバジェットの上限によって、主に次の4つの問題が発生します。
新規ページがインデックスされない、または遅れる
クロールバジェットの上限が影響すると、新しく公開したページがすぐにクロールされず、インデックスされるまでに時間がかかることがあります。
大規模なECサイトで新商品ページを追加したり、ニュースサイトで速報記事を公開したりした際に、タイムリーに検索結果に表示されないのです。
特にトレンド性の高いコンテンツや季節商品を扱うWebサイトでは、インデックスの遅れが致命的です。ユーザーが検索している時期に検索結果に表示されなければ、競合サイトに流入を奪われてしまいます。
場合によっては数週間から数ヶ月経ってもインデックスされないこともあります。このような状態では、どれだけ良質なコンテンツを作成してもSEO効果を得ることができません。
ページの更新内容が検索結果に反映されない
既存ページの内容を更新してもクローラーが巡回しなければ、検索エンジンは古い情報のままです。
商品の価格や在庫情報を更新したのに検索結果に古い情報が表示されたり、SEOを意識して記事を大幅に改善したのに検索順位が変わらなかったりといった状況が発生します。
特に問題となるのは、誤った情報や古くなった情報を修正した場合です。修正したにもかかわらず検索結果には修正前の内容が残り続けてしまい、ユーザーに誤解を与えてしまいます。Webサイトの信頼性にも関わるでしょう。
また、コンテンツの品質向上やリライトに時間をかけても、それがクロールされなければSEO評価に反映されません。
優先度の高いページがクロールされず、検索流入を逃す
検索エンジンからの流入を増やすには、まず重要なページがクロールされインデックスされることが前提です。クロールバジェットの使われ方によっては、優先的に見てもらいたいページが後回しになったり、そもそもクロールされなかったりするという状況が発生します。
特に影響を受けやすいのは、以下のようなページです。
- Webサイト構造上、階層が深い位置にあるページ
- 内部リンクがほとんど設置されていないページ
- 新しく追加されたカテゴリやセクションのページ
検索エンジンに巡回されないまま放置されてしまうと、検索結果に表示されず、本来得られるはずだった検索流入を逃してしまいます。
不要なページにクロールリソースを奪われる
クロールバジェットは限られているため、Webサイト内に不要なページが大量にあると、そうしたページのクロールにリソースが消費され、本当に見てもらいたい重要なページまでクロールが回りません。
不要なページとは、以下のようなものを指します。
- 重複した内容を含むページ
- 不要なパラメータが付いたURL
- 自動生成された薄いコンテンツページ
- 404エラーやリダイレクトが繰り返されるページ
このようなページにクローラーが何度もアクセスしていると、不要なページにリソースを使いすぎて本来優先すべきページのクロールが遅れる、あるいはまったくクロールされないという問題が起こります。
クロールバジェットを最適化する6つの方法
クロールバジェットって、こちらでコントロールできるものなんですか？
いいえ、直接操作はできませんが、Webサイトの構造や設定を見直すことで、重要なページが効率よくクロールされやすくすることは可能です。
クロールバジェットは、ユーザー側でコントロールすることはできません。Web運用においては、重要なページのクロールが後回しにならないよう、クロールの効率を高める工夫が必要です。
クロールバジェットを最適化する方法は、主に以下の6つです。
それぞれの方法について、詳しく見ていきましょう。
不要ページの除外
重複コンテンツや自動生成ページ、パラメータ付きURLなどにクローラーがアクセスしていると、クロールバジェットが無駄に消費されてしまいます。こういったページを除外し、重要なページを優先的にクロールしてもらえるように調整します。
除外対象となるのは、たとえば次のようなページです。
- 同一内容を含む重複コンテンツ
- フィルタや並び替えによって生成されたパラメータ付きURL
- テスト用やログイン必須の内部ページ
- ユーザーにほとんど見られていない古いキャンペーンページ
これらのページには、robots.txtやnoindexタグを使用してクロールを制限したり、canonicalタグで正規URLを指定したりすることで対策します。
サイト構造の見直し
Webサイトの階層が深すぎたり、内部リンクが不十分だったりすると、クロールの効率が悪くなります。重要なページに辿りつけないということも少なくありません。
3クリック以上しないと辿りつけないような深い階層のページや、他のページからまったくリンクされていない孤立ページは、クロールの優先度が下がりやすいです。
こうした状態を改善するには、以下のような対策が有効です。
- 階層構造をシンプルにする
- 重要なページへは内部リンクを集中させる
- グローバルナビやパンくずリストでページ間の関連性をわかりやすくする
- 関連記事やおすすめリンクで回遊性を高める
サーバー応答速度やエラーページの対策
クローラーがWebサイトを巡回する際のサーバーへの負荷状況によってクロールバジェットは変動するため、サーバーの応答速度が遅いとクロール頻度が制限されることがあります。
また、404エラーや500エラーが頻発していると、クローラーは存在しないページや正常に表示されないページに何度もアクセスすることになり、不要なクロールでリソースが浪費されてしまいます。本来クロールすべき重要なページの巡回が後回しになるということです。
これを防ぐ対策として、以下のような対策があります。
- サーバーの応答速度を改善する
- 定期的にエラーページをチェックし、URLの整理と修正を行う
- 存在しないページへのリンクは極力避け、必要に応じてリダイレクトを適切に設定する
- Google Search Consoleで「クロールの統計情報」や「カバレッジレポート」を活用し、クロール状況をモニタリングする
サイトマップの活用と更新頻度の工夫
検索エンジンに対して「どのページを優先的にクロールしてほしいか」を適切に伝えるために、XMLサイトマップを活用します。新規ページや深い階層にあるページは自然には見つけにくいため、サイトマップに含めてクロールされる可能性を高くします。
コンテンツの追加や更新があった際は、その都度更新するのが基本です。
XMLサイトマップには、各ページの更新頻度や最終更新日を記載できます。
よく更新されるページには適切な更新頻度を設定しておくと、クローラーが定期的に巡回してくれるようになります。
サイトマップを更新した際は、Google Search Consoleを使って検索エンジンに再送信することを忘れずに行いましょう。
重複コンテンツの整理
重複コンテンツとは、Webサイト内にほぼ同じ内容を持つページが複数存在する状態を指します。
重複コンテンツが生まれる原因はさまざまです。意図的でなくても発生することがあり、次のようなケースが多いです。
- 同じ商品ページがURLの違いだけで複数存在する
- 印刷用ページやスマートフォン向けページなどで内容が重複している
- CMSの設定により、カテゴリページと個別記事ページの一部が重複している
こうした重複を放置すると、クローラーがそれぞれのページを個別に巡回しようとしてリソースが使われてしまい、本来優先すべきページのクロールが後回しになりかねません。
このような事態を避けるためには、以下のような対策が有効です。
- canonicalタグを使って検索エンジンに「正規のページ」を明示する
- 不要な重複ページにはnoindexを設定し、インデックス対象から除外する
- コンテンツのテンプレートや自動生成の仕組みを見直し、重複が起きないよう設計する
- ページ構成が似ている場合でも、タイトル・見出し・本文内容に差をつける
そもそも重複させる必要がないページは、統合したり削除したりするのが根本的な解決策です。
パラメータ付きURLの制御
パラメータ付きURLとは、URLの末尾に「?」や「&」が付いて、追加の情報が付与されたURLのことです。
ECサイトや検索機能を持つWebサイトでは、フィルタや並び替え機能によって、このようなURLパターンが自動的に多数生成されます。
パラメータ付きURLの例
- example.com/products?sort=price
- example.com/products?sort=name&color=red
- example.com/products?color=red&sort=name
これらは表示される内容がほぼ同じでも、URLが違うため検索エンジンからは別々のページとして認識されます。クローラーがこれらすべてをクロールしようとすると、クロールバジェットが大量に消費されてしまうわけです。
このようなパラメータ付きURLによるリソース消費を抑えるには、以下のような対策が有効です。
- robots.txtで不要なパラメータを含むURLのクロールをブロックする
- canonicalタグを使って、正規のURLを指定する
- できる限り静的なURL構造にし、パラメータの使用を最小限に抑える
- URLパラメータの設計を見直し、同じコンテンツが複数のURLで生成されないようにする
クロールバジェットに関するよくある質問
小規模サイトでもクロールバジェットを気にすべきですか？
数百ページ程度の小規模サイトであれば、基本的にクロールバジェットを心配する必要はありません。Googleも、小規模かつ更新頻度の低いWebサイトでは、クロールに問題は起きにくいと明言しています。
クロールバジェットを増やす方法はありますか？
クロールバジェットはGoogleが自動的に決定するものなので、直接増やすことはできません。ただし、サーバーの応答速度を改善したり、不要なURLを除外したりすることで、実質的に使えるクロールリソースを最適化することは可能です。
Googlebot以外のクローラーにもクロールバジェットはありますか？
クロールバジェットという用語自体はGoogleの考え方ですが、Bingや他の検索エンジンでも同様に「クローラーのリソース配分」が存在します。対策の基本はGoogleと大きく変わらないと考えて問題ありません。
404エラーが多いと、クロールバジェットに悪影響がありますか？
はい、404エラーが大量にあると、クローラーが存在しないページに何度もアクセスしてしまい、クロールバジェットを無駄に消費します。Google Search Consoleでエラーが発生しているページを確認し、早めに対処しましょう。
まとめ
クロールバジェットは従来のSEO対策では見落とされがちですが、検索エンジンのクローラーが効率的に巡回できるかどうかは、インデックスの速度や範囲に大きく影響する重要な要素です。
特に大規模サイトや更新頻度の高いWebメディアでは、どのページがクロールされるかが検索流入の成否を左右することも珍しくありません。数百ページ程度の小規模サイトであれば過度に心配する必要はありませんが、Webサイトが成長しページ数が増えてきた段階で対策を始めることをおすすめします。
まずはGoogle Search Consoleでクロール状況を確認し、自社Webサイトの課題を把握することから始めてみましょう。
