情報量・エントロピー可視化ツール
— 確率から「驚きの大きさ」を測る
情報理論の出発点はシンプルです——「珍しい出来事ほど、知らせの価値（情報量）が大きい」。 スライダーで確率を動かして、情報量 \(-\log_2 p\) と、その平均であるエントロピーを体感してください。
② 下の2値エントロピーで p を動かす → p=0.5 のとき山の頂上（1 bit）、p=0や1では0になる
③ 天気予報の例で3つのカードを見比べる → 「必ず晴れ」の予報は聞く価値ゼロ（H=0）
① 自己情報量 — 1つの出来事の「驚きの大きさ」
\(I(x) = -\log_2 P(x)\)（単位: bit）。確率が低いほど、起きたときの情報量は大きくなります。
例で試す：
I(p) = −log₂p の曲線。●＝いまの確率。左（珍しい）へ行くほど情報量が急増する
② エントロピー — 情報量の「平均」＝予測のしにくさ
表が出る確率 p のコインを1回投げるときのエントロピー \(H(p) = -p\log_2 p - (1-p)\log_2(1-p)\)
山形の曲線が H(p)。p=0.5（五分五分）で最大の1 bit、p=0・1（結果が確定）で0になる
③ 分布のエントロピー — 天気予報で比べる
明日の天気の確率分布が違うと、「予報を聞く価値」＝エントロピーはどう変わる？（カードをタップ）
なぜ log なのか — 定義の気持ち
$$I(x) = -\log_b P(x) \qquad H(X) = -\sum_i P(x_i)\, \log_b P(x_i)$$
- 珍しいほど大きく……確率が小さいほど \(-\log P\) は大きくなる（Part 1 の曲線の形）
- 足し算になる……独立な出来事が続けて起きたとき、確率は掛け算（\(\frac{1}{6}\times\frac{1}{6}\)）でも情報量は足し算（2.585 + 2.585 = 5.17 bit）になる。これを実現できるのが log
- エントロピーは情報量の期待値……起こりうる結果すべての情報量を、確率で重みづけ平均したもの。「その分布の予測しにくさ」を1つの数字で表す
- 単位は底で決まる：\(b=2\) なら bit、\(b=e\) なら nat（機械学習の損失関数では自然対数＝natが主流）
E資格 練習問題
公正なコイン（表と裏が確率1/2ずつ）を1回投げるときのエントロピーとして正しいものはどれか。
- 0.5 bit
- 1 bit
- 2 bit
- log₂ e bit
解答と解説を見る
正解：B
\(H = -\frac{1}{2}\log_2\frac{1}{2} - \frac{1}{2}\log_2\frac{1}{2} = \frac{1}{2} + \frac{1}{2} = 1\) bit。
Part 2 の山形グラフで p=0.5 の頂上がちょうど 1 bit であることと対応します。
「公正なコイン1回＝1 bit」は情報量の単位の原点なので、そのまま覚えてしまいましょう。
＼ 公式LINE・登録無料 ／
友だち追加で4大特典をプレゼント中🎁
E資格ミニ模試（全15問）／覚えておくべき数式チェック49本
医療現場の生成AI安全活用ガイド／医療AI用語事典100