用語集一覧へ
— Glossary
BERTBidirectional Encoder Representations from Transformers
読み: バート
短い定義
BERT (Bidirectional Encoder Representations from Transformers) は 2018 年 Google が発表した Transformer ベースの自然言語処理モデルで、双方向の文脈理解で各種タスクの精度を一新しました。
詳細解説
BERT は GPT が登場する前に NLP の SOTA を席巻したモデルで、現在も Embedding 生成 / 検索 / 分類タスクで広く使われています。Encoder-only Transformer で双方向 (左右両側) の文脈を考慮できる点が GPT と異なります。日本語向け bert-base-japanese / cl-tohoku-bert / 多言語 mBERT 等があり、Sentence-BERT (SBERT) は文章 Embedding の定番ライブラリ。
実装例 / 使い方
- 01Sentence-BERT (SBERT) で日本語文 Embedding
- 02Hugging Face Transformers で fine-tuning
- 03Google 検索の Featured Snippet 抽出にも内部利用
参考・出典
— IMPLEMENT
BERTを、実際に活用する
用語の意味は分かった。次は実装。EXBANK の無料診断で、貴社で具体的にどう活用できるかをご提案します。
営業時間 平日10-18時 / 通常24時間以内に返信