⑤ ディープラーニングの応用例 ／ 27. 自然言語処理
n-gramとは
n-gramとは、隣接する \( n \) 個の単語または文字を1単位として扱う言語モデルです。\( n=1 \) はユニグラム、\( n=2 \) はバイグラムと呼ばれ、確率的言語モデルや特徴抽出の基本手法として広く利用されます。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
単語や文字を n 個ずつまとめて扱うことで、並びの情報を取り込む手法です。
呼び方と例
- \( n=1 \)：ユニグラム（1語ずつ）
- \( n=2 \)：バイグラム（2語ずつ）
- \( n=3 \)：トライグラム（3語ずつ）
「今日は良い天気」をバイグラムにすると「今日は／は良い／良い天気」となります。
BoWの弱点を部分的に補う
BoWは語順を完全に無視しますが、n-gramなら隣接する語のつながりを保持できます。「良い」と「良くない」の違いも捉えられます。
ただし \( n \) を大きくすると組み合わせが爆発的に増え、データが不足します。離れた語の関係も扱えません。この限界を越えたのがSelf-Attentionを用いる手法です。
文字n-gramの利点
単語ではなく文字でn-gramを取る方法もあります。この場合、単語の区切りが不要になります。
日本語のように形態素解析が必要な言語では、解析器なしで扱えるという利点があります。fastTextもこの考え方を使っています。
🎯 G検定での押さえどころ
- 隣接するn個を1単位として扱う
- ユニグラム・バイグラム・トライグラム
- nを大きくすると組み合わせが爆発する
⚠️ よくある誤りの選択肢
- 「n-gramでは離れた位置にある単語の関係も扱える」→ 誤り。隣接するn個に限られます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「Word Embedding」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。