ELMoとは
ELMoとは、双方向LSTMを用いた事前学習型の単語表現モデルで、文脈に応じて単語ベクトルが動的に変化する点が特徴です。文脈非依存だったword2vecやGloVeとの決定的な違いになります。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
同じ単語でも文脈によってベクトルが変わる、文脈依存の単語表現モデルです。
文脈依存という転換
word2vecでは「bank」に1つのベクトルしかありませんでした。銀行でも川岸でも同じです。
ELMoは双方向LSTMで文全体を読み、その文脈における「bank」のベクトルを生成します。同じ単語でも文脈が違えば別のベクトルになる——これが大きな転換点でした。
BERTへの流れ
ELMoの成功により、「大規模データで事前学習し、各タスクへ転用する」という進め方が自然言語処理の主流になりました。
その後、LSTMではなくTransformerを用いたBERTが登場し、さらに性能が向上します。ELMo → BERT という流れで押さえておきましょう。
名前の由来
ELMoはEmbeddings from Language Modelsの略で、「言語モデルから得た埋め込み」を意味します。
次の単語を予測する言語モデルを学習し、その途中の内部表現を単語ベクトルとして使います。言語モデルを特徴抽出器として使うという発想が、その後の主流になりました。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| ELMo | 双方向LSTM。文脈依存の表現 |
| word2vec | 文脈非依存。単語に固定のベクトル |
| BERT | Transformer。文脈依存でさらに高性能 |
🎯 G検定での押さえどころ
- 双方向LSTMによる事前学習
- 文脈依存の単語表現を実現した
- word2vec（文脈非依存）との対比
⚠️ よくある誤りの選択肢
- 「ELMoはTransformerを用いたモデルである」→ 誤り。双方向LSTMです
- 「ELMoの単語ベクトルは文脈によらず固定である」→ 誤り。文脈で変化します
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「BERT」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。