④ ディープラーニングの要素技術／ 23. Attention

Multi-Head Attentionとは

Multi-Head Attentionとは、Self-Attentionを複数のヘッドで並列実行し、異なる観点から情報を捉える仕組みです。表現力を大幅に向上させます。

この用語はG検定シラバスの「23. Attention」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

複数の「視点」で同時にAttentionを計算し、結果をまとめる仕組みです。

なぜ複数に分けるのか

1つのAttentionでは、単語の関係を1通りの見方でしか捉えられません。

しかし言語の関係は多面的です。構文的なつながり、意味的な近さ、位置関係——これらを同時に捉えたい場面があります。

Multi-Head Attentionは複数のヘッドがそれぞれ異なる観点を担当し、結果を連結して最終出力にします。

各ヘッドは異なる線形変換を通したQ・K・Vを使います。変換が違うので、注目する関係も自然に変わります。

得られた各ヘッドの出力を連結し、もう一度線形変換して最終出力を作ります。ヘッドは並列に計算できるため速度を落とさずに表現力だけを上げられるのが優れた点です。

ヘッド数は8や12といった値がよく使われます。全体の次元数をヘッド数で割って各ヘッドに割り当てるため、ヘッドを増やしても総計算量はあまり変わりません。

「増やしてもコストが増えない」という性質が、複数の観点を持たせる工夫を現実的にしています。