⑤ ディープラーニングの応用例 ／ 27. 自然言語処理
BERTとは
BERTとは、Transformerのエンコーダのみを用いた事前学習モデルで、文脈を双方向から同時に学習する点が最大の特徴です。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
Transformerのエンコーダを使い、前後両方の文脈から言葉を理解するモデルです。
2つの事前学習タスク
- MLM（Masked Language Model）：文中の単語を隠して当てさせる。前後両方を見られるため双方向の学習が成立する
- NSP（Next Sentence Prediction）：2つの文が連続しているかを判定させ、文間の関係を学ぶ
正解ラベルを人が付ける必要がなく、大量のテキストをそのまま学習に使える点が重要です。
GPTとの違い
| モデル | 使う部分 | 文脈 |
|---|---|---|
| BERT | エンコーダ | 双方向／理解が得意 |
| GPT-n | デコーダ | 単方向／生成が得意 |
この対応は入れ替えて覚えてしまいやすいので、正確に押さえてください。
ファインチューニングの手軽さ
BERTの実用上の価値は「事前学習済みモデルに層を1つ足して少し学習するだけ」で多くのタスクに対応できる点にあります。
分類・固有表現抽出・質問応答などが同じ手順で扱えるため、自然言語処理の開発方法を一変させました。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| BERT | エンコーダ。双方向。文の理解が得意 |
| GPT-n | デコーダ。単方向。文の生成が得意 |
🎯 G検定での押さえどころ
- Transformerのエンコーダを使う
- 双方向から文脈を学習する
- 事前学習はMLMとNSP
⚠️ よくある誤りの選択肢
- 「BERTはTransformerのデコーダを用いる」→ 誤り。エンコーダです
- 「BERTは単方向に文脈を読む」→ 誤り。双方向です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「BERT」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。