Re-ranker(リランカー)Re-ranker
Re-ranker は、初段の検索で取得した上位候補(数十-数百件)を、より高精度なクロスエンコーダや LLM で再採点する仕組みです。RAGの回答品質を大きく改善する事実上必須のコンポーネントです。
詳細解説
Re-ranker(リランカー、再順位付けモデル)は、検索パイプラインの2段階構成における後段で動く高精度モデルで、初段の高速検索(BM25、ベクトル類似度、ハイブリッド)が返した上位 N 件(典型 50-200件)に対して、質問と各候補文書のペアを直接スコアリングし関連度順に並び替えるコンポーネントです。アーキテクチャ的には、(1) クロスエンコーダ(質問と文書を連結して BERT 系モデルに入力し relevance スコアを回帰)、(2) LLM-as-a-judge(GPT-4・Claude 等にプロンプトで点数を付けさせる)、(3) ColBERT のレイトインタラクション、などのバリエーションがあります。クロスエンコーダは Bi-encoder(ベクトル検索)と異なり質問と文書を相互作用させて評価するため精度が大幅に高い反面、ペアごとに推論する必要があり計算コストが線形にかかります。そのため初段で粗く絞ってからリランクする2段階アーキテクチャが標準です。商用 API では Cohere Rerank(rerank-3.5・rerank-multilingual)、Voyage AI(rerank-2)、Jina AI(jina-reranker-v2)、Mixedbread が代表的で、OSS では BGE Reranker(BAAI、bge-reranker-v2-m3 など多言語対応)、ms-marco MiniLM、Jina Reranker、Stella Reranker が広く使われます。RAG の回答品質を10-30%改善することが実証されており、現代の RAG パイプラインでは事実上必須コンポーネントです。
実装例 / 使い方
- 01Cohere Rerank・Voyage Reranker・Jina Reranker などの API が広く使われます
- 02BGE Reranker など OSS のクロスエンコーダ・モデルも豊富です
- 03BM25・ベクトル検索でTop100→リランカーでTop5まで絞り込む2段階構成が標準です
関連する用語
RAG
Retrieval-Augmented GenerationRAG (Retrieval-Augmented Generation) とは、LLM の回答生成時に外部知識ベース(社内ドキュメント、商品DB、マニュアル等)...
Retrieval
Retrieval (リトリーバル) は、RAG パイプラインの検索フェーズで、クエリに最も関連する文書を Vector DB / 全文検索から取得する処理です...
HyDE(仮想文書埋め込み)
HyDEHyDE(Hypothetical Document Embeddings)は、ユーザー質問から LLM に「仮想の回答文書」を生成させその埋め込みで検索する手...
GraphRAG(知識グラフRAG)
GraphRAGGraphRAG は、文書からエンティティ・関係を抽出して知識グラフを構築し、グラフ構造をたどって回答するRAGの拡張手法です。「全体の主題」「複数文書をまたぐ...
セマンティック検索
セマンティック検索 (Semantic Search) は、キーワードの一致だけでなく、検索クエリの意味・文脈・意図を理解して関連性の高い結果を返す検索技術のこ...
Re-ranker(リランカー)を、実際に活用する
用語の意味は分かった。次は実装。EXBANK の無料診断で、貴社で具体的にどう活用できるかをご提案します。
営業時間 平日10-18時 / 通常24時間以内に返信
