クロールバジェット

クロールバジェットは、Google が公式に2017年のブログ投稿で説明した概念で、Googlebot が1サイトに対して使うクロールリソースの総量を指します。決定要因は、1) Crawl Rate Limit (サーバー応答速度・エラー率からの上限)、2) Crawl Demand (コンテンツの新鮮さ・人気度・更新頻度)、です。Google は「数千 URL 以下のサイトは気にしなくてよい、100万 URL 超の大規模サイトのみ最適化が必要」としています。最適化手法は、a) robots.txt で重複/低価値 URL をブロック、b) パラメータ付き URL をカノニカル統合、c) サイトマップで重要 URL を明示、d) 410 Gone で削除済みページを早期インデックス削除、e) サーバー応答速度を200ms 以下に維持、です。Search Console の「クロールの統計情報」で日次クロール数とレスポンスを監視できます。