④ ディープラーニングの要素技術／ 23. Attention

位置エンコーディングとは

位置エンコーディングとは、Transformerで単語の順序情報を明示的に付与する仕組みです。サイン・コサイン関数などで位置情報ベクトルを生成し、単語埋め込みに加算することで語順を保持します。

この用語はG検定シラバスの「23. Attention」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

「何番目の単語か」という情報を足し込んで、並列処理でも語順を保つ仕組みです。

なぜ必要なのか

RNNは前から順に処理するので、語順が自然に保たれます。

しかしTransformerは系列全体を同時に処理します。そのままでは「犬が猫を追う」と「猫が犬を追う」を区別できません。

そこで各単語の埋め込みに「何番目か」を表すベクトルを加算します。省略できる処理ではありません。

単純に1、2、3…と足すと、系列が長いほど値が大きくなり学習が不安定になります。

サイン・コサイン関数なら値が一定範囲に収まり、かつ位置ごとに異なるパターンを作れます。また相対的な位置関係も表現しやすいという利点があります。

サイン・コサインを使う方式のほかに、位置ベクトル自体を学習で獲得する方式もあります。BERTなどで採用されています。

固定の関数を使うか学習させるかは設計の選択であり、どちらでも「語順を明示的に与える」という目的は同じです。