⑥ AIの社会実装と数理・統計 ／ 37. 数理・統計
相互情報量とは
相互情報量とは、2つの確率変数がどれだけ互いに情報を共有しているか（依存しているか）を表す尺度です。線形関係だけでなく非線形な関係も捉えられるため、特徴量選択で重要になります。
この用語はG検定シラバスの「37. 数理・統計」に含まれます。 章全体の用語は用語解説⑥（全52語）にまとまっています。
一言でいうと
片方を知ることで、もう片方についてどれだけ分かるかを表す尺度です。
値の意味
- 大きい：強い依存関係がある。片方を知ると他方の不確実性が大きく減る
- 0に近い：独立に近い。片方を知っても他方について何も分からない
情報理論にもとづく指標で、KL情報量とも関係しています。
相関係数との決定的な違い
| 指標 | 捉えられる関係 |
|---|---|
| 相関係数 | 線形のみ |
| 相互情報量 | 非線形も含む |
U字型のような明確な関係があっても相関係数は0に近くなります。相互情報量ならこれを検出できます。特徴量選択で有用とされる理由です。
決定木の情報利得と同じ発想
決定木が分岐に使う特徴量を選ぶとき、情報利得という基準を用います。
これは「その特徴量で分けるとどれだけ不確実性が減るか」を測るもので、相互情報量と同じ考え方にもとづいています。
エントロピーで不確実性を測り、その減少量を評価する——情報理論の道具が機械学習の各所で使われている例です。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 相互情報量 | 非線形な依存も捉えられる |
| 相関係数 | 線形関係の強さのみ |
🎯 G検定での押さえどころ
- 2変数が共有する情報量
- 非線形な関係も捉えられる
- 相関係数（線形のみ）との違いが重要
⚠️ よくある誤りの選択肢
- 「相互情報量は線形関係しか捉えられない」→ 誤り。非線形も捉えられます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「情報理論」（E資格向け）
- 手を動かして確かめる → エントロピー・KL情報量シミュレータ
この用語を覚えたら
チェックは章ページと「試験内容解説」TOPの進捗にも反映されます
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。