用語集一覧へ
— Glossary
LoRALow-Rank Adaptation
読み: ローラ
短い定義
LoRA (Low-Rank Adaptation) は、LLM の全パラメータを更新せず、小さな低ランク行列のみを学習する効率的な fine-tuning 手法です。GPU メモリ要件が大幅に下がります。
詳細解説
LoRA は 2021 年 Microsoft 発の論文で提案され、現在 Stable Diffusion / Llama / Mistral 等の OSS モデルの fine-tuning では事実上のスタンダードです。元モデルの重みを凍結し、特定層に低ランクのアダプタ行列 (r=8〜64) を追加して学習します。学習パラメータが本体の 0.1% 程度になり、コンシューマ GPU (RTX 3090 等) でも数億パラメータモデルの fine-tune が可能。LoRA で作ったアダプタは数 MB と軽く、配布も容易です。
実装例 / 使い方
- 01Stable Diffusion の画風 LoRA (Civitai 等で配布)
- 02Llama 3 70B を 1 GPU で日本語 fine-tune
- 03Hugging Face PEFT ライブラリで実装
参考・出典
— IMPLEMENT
LoRAを、実際に活用する
用語の意味は分かった。次は実装。EXBANK の無料診断で、貴社で具体的にどう活用できるかをご提案します。
営業時間 平日10-18時 / 通常24時間以内に返信