⑤ ディープラーニングの応用例 ／ 27. 自然言語処理
TF-IDFとは
TF-IDFとは、単語の文書内頻度TFと、文書集合全体での希少性IDFを掛け合わせ、文書における単語の重要度を算出する指標です。検索エンジンや文書分類の前処理として広く利用されます。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
「その文書によく出る」かつ「他の文書にはあまり出ない」語を重要とみなす指標です。
2つの要素
- TF（Term Frequency）：その文書内での出現頻度。よく出る語ほど大きい
- IDF（Inverse Document Frequency）：文書集合全体での希少性。どの文書にも出る語ほど小さい
この2つを掛け合わせます。
なぜIDFが必要なのか
「の」「する」といった語はどの文書にも大量に出現します。TFだけではこれらが最重要になってしまいます。
IDFはこうしたありふれた語の重みを下げます。結果としてその文書を特徴づける語だけが高く評価されるようになります。
BoWの重みづけとして使われ、現在も検索や分類の基本手法として現役です。
検索での使われ方
検索エンジンでは、クエリと文書のTF-IDFベクトルの近さで関連度を測る方法が長く使われてきました。
改良版のBM25は文書の長さも考慮します。単純な手法でも改良を重ねて実用に耐えるものになる好例です。
🎯 G検定での押さえどころ
- TF（文書内頻度）× IDF（希少性）
- どの文書にも出る語は重みが下がる
- 検索エンジン・文書分類で利用される
⚠️ よくある誤りの選択肢
- 「TF-IDFではどの文書にも頻出する語ほど重要度が高くなる」→ 誤り。低くなります
- 「TF-IDFは単語の意味的な近さを表す」→ 誤り。重要度を測る指標です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「Word Embedding」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。