① 人工知能の基礎と動向／ 5. 機械学習

統計的自然言語処理とは

統計的自然言語処理とは、大量のテキストから単語の出現頻度や共起関係を統計的に学習し、意味や用法を推定する手法です。周囲にどんな語が現れるかを手がかりにする点が核心になります。

この用語はG検定シラバスの「5. 機械学習」に含まれます。章全体の用語は用語解説①（全54語）にまとまっています。

大量の文章から「どの語がどの語と一緒に出やすいか」を学び、意味や使い方を推定する手法です。

共起から意味を絞り込む

英語の「bank」には「銀行」と「川岸」という複数の意味があります。この語だけを見ても、どちらの意味かは決められません。

しかし近くに「money」や「account」といった語があれば「銀行」の意味である確率が高いと判断できます。このように、単語が一緒に現れる関係（共起）を統計的に扱うのが基本的な考え方です。

出現頻度や共起にもとづく方法は、語の並び方が変わると対応しにくいという弱点があります。同じ意味でも表現が違えば別物として扱われてしまいます。

この課題に対し、単語の意味をベクトルとして表現する手法が発展し、現在の自然言語処理につながっていきます。