Transformerとは
Transformerとは、RNNやCNNを用いず、Self-Attentionを中心に構成されたモデルです。並列計算が可能で学習効率が非常に高く、BERT・GPT・T5など現代の大規模言語モデルの基盤となっています。
この用語はG検定シラバスの「23. Attention」に含まれます。 章全体の用語は用語解説④（全60語）にまとまっています。
一言でいうと
Self-Attentionを中心に作られたモデル。今の大規模言語モデルの土台です。
RNNの何を解決したのか
RNNには2つの弱点がありました。
- 並列化できない：前の時刻の計算を待つ必要がある
- 長期依存が苦手：勾配消失問題
Self-Attentionにより、系列内の離れた位置同士を直接参照でき、長距離依存を扱いやすくなりました。また、RNNのような逐次処理を必要とせず、学習時の並列化が可能になりました。
構成要素
- Self-Attention（Multi-Headで実行）
- 位置エンコーディング：並列処理で失われる語順を補う
- Feed Forward層：各位置で独立に変換する
- スキップ結合とレイヤー正規化
位置エンコーディングが必須である点は重要です。並列に処理すると語順が失われるためです。
BERTとGPT
TransformerはEncoderとDecoderから構成されます。ここから派生したのが次の2つです。
- BERT：Encoder側を使う
- GPT：Decoder側を使う
この対応は選択肢で入れ替えられやすいので必ず押さえてください。
その後の広がり
Transformerは自然言語処理のために作られましたが、現在は画像・音声・動画にも広がっています。
画像を小さなパッチに区切って単語のように扱うVision Transformer（ViT）はその代表例で、CNNに匹敵する性能を示しました。
分野を越えて共通の基盤になりつつある点が、この技術の影響力の大きさを表しています。
🎯 G検定での押さえどころ
- RNNもCNNも使わず、Self-Attentionを中心に構成される
- 並列計算が可能で学習効率が高い
- BERT＝Encoder、GPT＝Decoder
⚠️ よくある誤りの選択肢
- 「TransformerはRNNを改良したモデルである」→ 誤り。RNNの構造は用いません
- 「BERTはTransformerのDecoderを使う」→ 誤り。Encoderです
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「Transformer」（E資格向け）
- 手を動かして確かめる → Attention可視化シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。