⑥ AIの社会実装と数理・統計／ 37. 数理・統計

最尤法とは

最尤法とは、観測データが得られる確率（尤度）を最大にするようにモデルのパラメータを推定する方法です。統計モデル・深層学習の損失最小化と数学的に対応します。

この用語はG検定シラバスの「37. 数理・統計」に含まれます。章全体の用語は用語解説⑥（全52語）にまとまっています。

「このデータが出てくる確率が最も高くなる」ようにパラメータを決める方法です。

発想を逆転させる

コインを10回投げて7回表が出たとしましょう。このコインの「表が出る確率」はいくつだと考えるのが自然でしょうか。

もし0.1なら、7回も表が出るのは相当めずらしい話です。0.9でも今度は表が多すぎます。0.7だとすれば、いま起きたことが最も自然に説明できます。

このように「手元のデータがいちばん出やすくなる値」を答えとするのが最尤法です。この「出やすさ」のことを尤度（ゆうど）と呼びます。

通常は「確率が分かっているとき、どんなデータが出るか」を考えます。最尤法はその向きを逆にして、データから確率を決めているわけです。

実際の計算では、尤度の対数を取って符号を反転させ、最小化問題に変えます。

この形は交差エントロピーと一致します。つまり分類モデルの学習は最尤推定を行っているのです。誤差が正規分布だと仮定すれば最小二乗法とも一致します。

尤度は各データの確率を掛け合わせた値です。データが1万件あれば1万個の掛け算になります。

1未満の数を大量に掛けると値が極端に小さくなり、計算機では0と区別できなくなります。

対数を取れば掛け算が足し算に変わり、この問題を回避できます。対数は単調増加なので、最大になる位置は変わりません。実務で対数尤度が使われる理由です。