過学習シミュレータ
— 多項式の次数と正則化の効果を確認する

過学習とは — 訓練誤差とテスト誤差の乖離

モデルの目的は、訓練データへの当てはまりではなく未知のデータへの予測（汎化）です。 次数の大きい多項式は表現力が高く、訓練データのノイズまで完璧に拾えてしまうため、 訓練誤差は下がり続けるのに、テスト誤差はある点から悪化に転じます。 誤差カーブのグラフで、青（訓練）と赤（テスト）が乖離していくのがまさに過学習のサインです。

• 次数が低すぎる（M=0〜1）……単純すぎてデータの構造を捉えられない＝未学習（高バイアス）
• ちょうどよい（M=3前後）……真の構造を捉え、テスト誤差が最小
• 次数が高すぎる（M=10〜）……ノイズまで学習＝過学習（高バリアンス）。データを作り直すたびに曲線が大きく変わる（＝分散が大きい）ことも確認できます

L2正則化（Ridge）— 大きな係数に罰金を科す

正則化つきの損失関数は次の形です。

$$E(\mathbf{w}) = \frac{1}{2}\sum_{i=1}^{N}\bigl(y_i - f(x_i;\mathbf{w})\bigr)^2 + \frac{\lambda}{2}\lVert \mathbf{w} \rVert^2$$

第2項が係数の大きさへの罰金です。暴れた曲線は巨大な係数の打ち消し合いでできているため、 λを上げて係数を抑えると曲線が滑らかになります。 λを上げすぎると今度は単純化しすぎて未学習側に戻る—— λにも「ちょうどよさ」があることを、シミュレータで確認してください。 なお本ツールの解は正規方程式 \((X^{\top}X + \lambda I)^{-1} X^{\top} \mathbf{y}\) をブラウザ内で解いて求めています。

※ 正則化項を \(\lambda \lVert \mathbf{w} \rVert^2\) と書く流儀（正則化の解説ページの表記）と、 本ツールの \(\frac{\lambda}{2}\lVert \mathbf{w} \rVert^2\) は係数の置き方が違うだけで同じものです（½を付けると微分したとき勾配がちょうど \(\lambda \mathbf{w}\) になります）。 また、係数の絶対値の和を罰するL1正則化（Lasso）にすると、不要な係数がちょうど0になる（スパース化）という別の性質が現れます——L1とL2の違いも試験の定番です。

E資格 練習問題

正則化の理論（L1とL2の定義・使い分け）は 正則化の解説ページで、 early stoppingやドロップアウトなどの過学習対策は 汎化性能向上テクニックの解説ページで、 scikit-learnでの体験は 機械学習入門コース・レッスン11で深められます。