⑤ ディープラーニングの応用例 ／ 27. 自然言語処理
形態素解析とは
形態素解析とは、文を意味を持つ最小単位である形態素に分割し、品詞や活用形を付与する自然言語処理の基本処理です。日本語では単語境界が明示されていないため特に重要になります。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
文を意味の最小単位に区切り、品詞を判定する処理です。日本語処理の出発点になります。
日本語で特に重要な理由
英語は単語がスペースで区切られています。しかし日本語は「東京都に住む」のように区切りがありません。
「東京都／に／住む」なのか「東京／都に／住む」なのか、機械が自動で判断する必要があります。これが形態素解析です。MeCabやSudachiといった解析器が代表例です。
構文解析との違い
| 処理 | やること |
|---|---|
| 形態素解析 | 文を単語に区切り、品詞を付ける |
| 構文解析 | 単語間の係り受け関係を解析する |
一般的には形態素解析が先、構文解析が後という流れになります。情報検索や感情分析など多くのタスクの前処理として使われます。
辞書への依存
形態素解析器は辞書に依存します。新語や固有名詞が辞書になければ正しく区切れません。
そのため辞書の更新や分野ごとの専門辞書の追加が実務では重要になります。fastTextのように文字単位で扱う手法はこの問題を回避できます。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 形態素解析 | 単語への分割と品詞付与 |
| 構文解析 | 単語間の係り受け関係の解析 |
🎯 G検定での押さえどころ
- 文を形態素に分割し品詞を付与する
- 日本語では単語境界がないため特に重要
- 一般的には構文解析の前段階にあたる
⚠️ よくある誤りの選択肢
- 「形態素解析は単語間の係り受け関係を解析する」→ 誤り。それは構文解析です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「自然言語処理の概要」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。