G検定対策
④ ディープラーニングの要素技術 / 23. Attention

Seq2Seqとは

Seq2Seqとは、Encoderが入力系列を固定長ベクトルに変換し、Decoderがそれを用いて出力系列を生成するEncoder-Decoder構造のモデルです。固定長ベクトルへの圧縮による情報損失という弱点を抱えていました。

この用語はG検定シラバスの「23. Attention」に含まれます。 章全体の用語は用語解説④(全60語)にまとまっています。

一言でいうと

入力系列を1本のベクトルに変換し、そこから出力系列を作るモデルです。

2つの部品

入力と出力で長さが違ってよいため、機械翻訳・要約・音声認識などに広く使われました。

Seq2Seqの仕組み。Encoderが入力を固定長ベクトルに圧縮し、Decoderがそこから出力を作る
Encoderが入力系列を1本の固定長ベクトルに圧縮し、Decoderがそこから出力系列を作る。入力と出力の長さが違ってよい一方、長文ではこのベクトルがボトルネックになる。

固定長ベクトルという限界

問題は、どんなに長い入力でも同じ長さのベクトル1本に押し込む点にあります。

短い文なら足りますが、長文では情報が入りきらず長くなるほど性能が落ちました

これを解決したのがAttentionです。圧縮せず、必要なときに必要な箇所を参照できるようにしました。さらにRNNを完全に置き換えたのがTransformerです。

入出力の長さが違ってよい

Seq2Seqの重要な性質は、入力と出力の長さが一致しなくてよいことです。

日本語10語の文が英語15語になっても構いません。この柔軟さが翻訳・要約・音声認識といった幅広い応用を可能にしました。Encoder-Decoderという枠組み自体はTransformerにも受け継がれています。

🎯 G検定での押さえどころ

  • Encoder-Decoder構造
  • 入力を固定長ベクトルに圧縮する
  • 長文で性能が落ちる→ Attentionで解決

⚠️ よくある誤りの選択肢

  • 「Seq2Seqは入力と出力の長さが同じでなければならない」→ 誤り。異なってよいのが利点です
  • 「Seq2Seqは長文ほど精度が高くなる」→ 誤り。長文ほど性能が落ちます

📘 もっと深く学ぶ

関連する用語

スポンサーリンク

ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。

\ 公式LINE・登録無料 /

友だち追加で4大特典をプレゼント中🎁

E資格ミニ模試(全15問)/覚えておくべき数式チェック49本
医療現場の生成AI安全活用ガイド/医療AI用語事典100

📱 友だち追加して特典を受け取る

▶ 特典のくわしい内容を見る