⑤ ディープラーニングの応用例／ 27. 自然言語処理

BoW (Bag-of-Words)とは

BoWとは、文章を単語の集合（袋）として扱い、出現順序を無視して単語頻度のみでベクトル化する特徴表現です。実装が容易で計算効率が高い一方、語順や文脈情報を失う限界があります。

この用語はG検定シラバスの「27. 自然言語処理」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

文章を「どの単語が何回出たか」だけで表す、語順を無視した表現方法です。

袋に入れるイメージ

文章中の単語をすべて袋に放り込み、何が何個入っているかだけを数えます。順番の情報は捨てられます。

そのため「犬が猫を追う」と「猫が犬を追う」はまったく同じベクトルになります。これがBoW最大の弱点です。

単純で計算が速く、文書分類のように「どんな語が使われているか」が効く課題では十分な性能が出ます。

単語の重要度で重みづけするTF-IDFと組み合わせて使われることが多く、SVMなどと合わせて長く実用されてきました。語順を扱いたい場合はn-gramを用います。

単純な手法ですが、トピックの判別のように「どんな語が使われているか」が決定的な課題では今でも十分な性能を出します。

複雑な手法が常に優れるわけではないという点は、実務では重要な感覚です。