robots.txt

robots.txt は1994年に提案され2022年に IETF RFC 9309 として正式標準化された、Web サイトとクローラーの取り決めを記述するテキストファイルです。サイトのルートディレクトリ (https://example.com/robots.txt) に配置し、User-agent (対象ボット) と Allow/Disallow (許可/拒否パス) を記述します。代表的な指示は、Sitemap: https://... (サイトマップ場所通知)、User-agent: GPTBot Disallow: / (OpenAI クローラー全拒否)、User-agent: * Disallow: /admin/ (管理画面の全ボット拒否) などです。注意点として、1) Disallow はクロールを拒否するだけでインデックス削除にはならない (noindex メタタグが必要)、2) 機密ファイルの隠蔽には不向き (robots.txt 自体が公開ファイル)、3) Google・Bing は遵守するが悪意のスクレイパーは無視する、点を理解する必要があります。