④ ディープラーニングの要素技術 ／ 23. Attention
Source-Target Attentionとは
Source-Target Attentionとは、Seq2Seqモデルにおいて、DecoderがEncoderの出力系列（Source）を参照して出力系列（Target）を生成するAttention機構です。Cross-Attentionとも呼ばれ、翻訳精度を大きく向上させました。
この用語はG検定シラバスの「23. Attention」に含まれます。 章全体の用語は用語解説④（全60語）にまとまっています。
一言でいうと
出力側が入力側を参照するタイプのAttention。翻訳などで使われます。
どの系列を見るのか
名前のとおり、Source（入力側）とTarget（出力側）という2つの異なる系列の間で計算します。
翻訳であれば、訳文の1語を出すたびに原文のどの単語を見るべきかを選び直します。これによって長文でも対応関係を保てるようになりました。
Self-Attentionとの違い
| 種類 | Q・K・Vの出どころ |
|---|---|
| Self-Attention | すべて同じ系列から作る |
| Source-Target Attention | QはTarget側、K・VはSource側から作る |
「同じ系列か、異なる系列か」が区別の決め手です。Transformerでは両方が使われます。
Transformerでの使われ方
Transformerでは2種類のAttentionが役割分担しています。
- Encoder内：Self-Attention（入力文の中の関係を捉える）
- Decoder→Encoder：Source-Target Attention（原文を参照する）
両方が使われている点は見落としやすいので注意してください。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| Source-Target Attention | 入力側と出力側という異なる系列の間で計算 |
| Self-Attention | 同じ系列の中で計算 |
🎯 G検定での押さえどころ
- 異なる系列の間（Source と Target）で計算
- Cross-Attentionとも呼ばれる
- Self-Attention（同じ系列内）との対比
⚠️ よくある誤りの選択肢
- 「Source-Target Attentionは同じ系列の中で計算する」→ 誤り。それはSelf-Attentionです
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「Transformer」（E資格向け）
- 手を動かして確かめる → Attention可視化シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。