⑤ ディープラーニングの応用例／ 27. 自然言語処理

分散表現とは

分散表現とは、単語や文を数百次元程度の密な実数ベクトルとして表現する手法です。意味的な類似性を距離として表現できる点がワンホット表現との決定的な違いです。

この用語はG検定シラバスの「27. 自然言語処理」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

意味の近さを距離で表せるように、単語や文を数値ベクトルで表す考え方です。

「分散」の意味

1つの次元が1つの単語に対応するワンホットベクトルと違い、分散表現では意味が多数の次元に分散して表されます。

そのため次元数を語彙数よりはるかに小さくでき、似た意味の語は近い位置に配置されます。「王様−男性＋女性＝女王」のような演算が成り立つのもこの性質によります。

単語に限定した分散表現が単語埋め込みです。分散表現はより広い概念で、文や文書のベクトル表現も含みます。

代表例はword2vecやBERTの埋め込み表現で、深層学習による自然言語処理の性能向上を支える基盤的な概念です。

単語だけでなく文や文書全体をベクトルにすることもできます。BERTなどが用いられます。

これにより文書の類似度計算や意味ベース検索が可能になりました。「意味を距離で測る」という発想が応用の幅を大きく広げています。