用語集一覧へ
— Glossary
Transformer
読み: トランスフォーマー
短い定義
Transformer (トランスフォーマー) は 2017 年 Google 論文で発表された深層学習アーキテクチャで、Self-Attention 機構を核に持ちます。GPT・BERT・Claude・Gemini など全ての近代 LLM の基盤です。
詳細解説
Transformer は 'Attention is All You Need' (Vaswani et al., 2017) で発表され、それまでの RNN / LSTM を駆逐しました。Self-Attention 機構により、文中の任意の単語ペア間の関係を並列計算できるため、長文処理と GPU 並列化に圧倒的に強い。Encoder-only (BERT)、Decoder-only (GPT 系)、Encoder-Decoder (T5) のバリエーションがあり、現代 LLM はほぼ全て Decoder-only Transformer。
実装例 / 使い方
- 01GPT 系 = Decoder-only Transformer
- 02BERT = Encoder-only Transformer
- 03Vision Transformer (ViT) で画像認識
参考・出典
関連する用語
Attention
Attention (アテンション) は、入力の中で'どこに注目すべきか'を学習する機構です。Transformer の核心で、Self-Attention に...
詳細
BERT
Bidirectional Encoder Representations from TransformersBERT (Bidirectional Encoder Representations from Transformers) は 2018 年 Google が...
詳細
GPT-4
GPT-4 は OpenAI が 2023 年 3 月に公開した第 4 世代の大規模言語モデルです。GPT-3.5 から大幅な性能向上を遂げ、その後 GPT-4...
詳細
— IMPLEMENT
Transformerを、実際に活用する
用語の意味は分かった。次は実装。EXBANK の無料診断で、貴社で具体的にどう活用できるかをご提案します。
営業時間 平日10-18時 / 通常24時間以内に返信