メインコンテンツへスキップ
EXBANK
用語集一覧へ
— Glossary

PEFTParameter-Efficient Fine-Tuning

読み: ペフト
短い定義

PEFT (Parameter-Efficient Fine-Tuning) は、LLM の全パラメータを更新せずに少数のパラメータだけ学習する手法群の総称です。LoRA・Prefix Tuning・QLoRA などが含まれます。

詳細解説

PEFT は Hugging Face が提供する OSS ライブラリ名でもあり、複数の効率的 fine-tuning 手法を統合実装しています。LoRA (低ランク行列追加)、QLoRA (量子化 + LoRA)、Prefix Tuning (前置きトークン学習)、Adapter (層間にアダプタ追加) などが選択可能。フル fine-tuning と比べて GPU メモリ 1/10 以下、学習時間 1/3 以下、配布サイズも数 MB と小さくなります。

実装例 / 使い方

  • 01Hugging Face peft ライブラリで実装
  • 02QLoRA で 65B モデルを 48GB GPU 1 枚で fine-tune
  • 03用途別アダプタを切替えて 1 ベースモデルで多目的運用

関連する用語

LoRA

Low-Rank Adaptation

LoRA (Low-Rank Adaptation) は、LLM の全パラメータを更新せず、小さな低ランク行列のみを学習する効率的な fine-tuning 手...

詳細

Fine-tuning

Fine-tuning (ファインチューニング) は、事前学習済み LLM に独自データセットを追加学習させて挙動を調整する手法です。プロンプトでは制御できない...

詳細
— IMPLEMENT

PEFTを、実際に活用する

用語の意味は分かった。次は実装。EXBANK の無料診断で、貴社で具体的にどう活用できるかをご提案します。

細マッチョ企業診断 (3分・無料)個別に相談する

営業時間 平日10-18時 / 通常24時間以内に返信