Googleがクロールバジェットの新基準を発表｜「処理速度」がより重要になる？

そもそもGoogleの検索エンジンが、どれだけの頻度でWebサイトを巡回するかに影響する重要な指標の「クロールバジェット」ですが、一般的にはWebサイトのページ数が多ければ注意するべき、という認識でした。（クロールバジェットとは？最適化する方法やクロール頻度の確認方法を解説｜SEOタイムズ）

しかし、Googleからこの認識について、新たな視点が発表されました。（How Googlebot Crawls the Web｜Google Search Central）

海外SEOニュースメディア「Search Engine Journal」によると、Googleのゲイリー・イリェーシュ氏は、「ページ数よりも、データベースの処理速度の方がクロールに大きく影響する」と述べています。

つまり、小規模なWebサイトであっても、処理が重い構成であればクロール効率が悪化する可能性があるということです。

本記事ではこの新しい基準の背景と、SEO担当者が注目すべきポイントを解説します。

「クロールバジェット」とは？

クロールバジェットとは、Googleの検索エンジンがWebサイトをどれくらい頻繁に訪れ、どのくらいのページをチェックするか、という上限みたいなものです。

Googleの検索エンジンは、クローラーというロボットを使って、Webサイトをクロール（情報を収集）し、検索結果に表示するページを決定します。

しかし、クローラーはすべてのWebサイトを無限にクロールするわけではありません。

膨大なWebサイトを効率的にクロールするため、各Webサイトに巡回する頻度やクロールの量に予算（上限）を割り当てています。

クロールバジェットの「100万ページ基準」は今も変わらず

Googleは以前から「Webサイトのページ数が100万未満なら、クロールバジェットはあまり気にしなくてよい」と伝えてきました。

今回の発表でもその方針は変わらず、ゲイリー・イリェーシュ氏は「100万ページはおそらく大丈夫」と述べています。

ここ5年でWeb技術は大きく進化しましたが、それでもこの基準が変わらないのは、Googleのシステムが拡張し続けているからです。

今はWebサイトのページ数よりも、その裏側の処理の速さや設計が重視される時代になってきています。

データベースの処理速度がSEOに与える影響

今回の発表で、新たに注目されたのが「データベースの処理速度」です。

ゲイリー・イリェーシュ氏は「重いデータベースはクロールの妨げになる」と述べています。

たとえば、動的コンテンツ（ECサイトの商品検索結果ページなど）が多く、毎回複雑なクエリで情報を引き出して表示するようなWebサイトでは、ページ数が少なくてもクロールが滞る可能性があります。

逆に、静的コンテンツ（ブログの固定ページなど）で構成されたWebサイトであれば、数100万ページあってもスムーズにクロールされる可能性があります。

重要なのは「どれだけ早く・軽くページを表示できるか」です。

実は重いのは「クロール」よりも「インデックス登録」

多くのSEO担当者は「クロールがサーバーに負担をかけている」と考えがちですが、ゲイリー・イリェーシュ氏は、実際に重いのは「インデックス登録やGoogle側の内部処理」の部分だと述べています。

つまり、クローラーのアクセスを制限するよりも、取得したデータをいかにスムーズに処理できるかを考える方が重要です。

robots.txtやnoindexの細かい設定より、Googleが扱いやすいWebサイトの構成が、結果的にSEOに良い影響を与えます。

SEOタイムズの見解

今回のニュースを見て、「自分たちは中小規模のサイトだから」と安心してはいけません。

CMS（Content Management System）を使って、ページ表示のたびにリアルタイムでデータベースにアクセスしている構成であれば、ページ数が少なくても処理が重くなる場合があります。

昨今は「コンテンツが良ければOK」という時代ではなく、裏側のシステムや処理の効率も検索パフォーマンスに大きく関わってきます。

Webサイトやシステムの技術面を担当するエンジニアと連携し、クエリの見直しやキャッシュの導入など、技術面での改善もSEO担当者の仕事になりつつあります。

WordPressのテーマの中にはキャッシュのクリアが元々備わっているものもありますし、プラグインで導入することも可能です。

私たちは、2022年ごろの「PageSpeed Insights」が重要だと判明してからこの努力を続けています。

コンテンツの質と、Webサイトの内部施策を両立しないとSEOで結果を出すことは難しいと私たちは考えています。

まとめ

今回のGoogleの発表から読み取れるのは、「クロールバジェットはページ数よりも処理速度で決まる」ということです。

特にデータベースの速度やサイト全体の構成が、クロールやインデックスの効率に直結します。

今後のSEO対策では、表に見えるコンテンツだけでなく、裏側のパフォーマンスにも目を向けることが求められます。