HyDE(仮想文書埋め込み)HyDE

HyDE(Hypothetical Document Embeddings、仮想文書埋め込み、ハイディ)は、Gao ら(Carnegie Mellon University)が2022年12月に提案したゼロショット密検索手法で、ユーザーの短い質問をそのまま埋め込みで検索する代わりに、まず LLM に「この質問への仮想的な回答文書」を1つ生成させ、その仮想文書の埋め込みを使って実際の文書コーパスを検索する2段階プロセスを取ります。背景にある洞察は、「短く曖昧な質問」と「長く具体的な回答文書」では文体・語彙・情報密度が異なるため、両者の埋め込みベクトルが意味は近くても embedding 空間では離れていることが多い、というミスマッチ問題です。LLM にいったん「ありそうな答え」をシミュレートさせれば、生成文書と正解文書は文体・語彙が近くなり、コサイン類似度ベースの検索精度が大幅に向上します。BEIR ベンチマークなどで教師なしのデンスリトリーバル(Contriever 等)の検索性能を10-20%向上させ、ファインチューニング済みのデンスリトリーバルに匹敵する結果を出しました。実装は単純で、LangChain・LlamaIndex・Haystack などの主要 RAG フレームワークに組み込み済みで、HypotheticalDocumentEmbedder のような数行で利用できます。デメリットは LLM 呼び出しコストとレイテンシ追加で、リランカーや GraphRAG・BM25 ハイブリッド検索と組み合わせるのが実用上の標準パターンです。