L0 正則化とは
L0正則化とは、0でないパラメータの個数にペナルティを課し、変数選択を直接行う正則化です。理屈のうえでは最も直接的ですが、最適化が困難なため実用ではあまり使われません。
この用語はG検定シラバスの「14. 正則化」に含まれます。 章全体の用語は用語解説③(全52語)にまとまっています。
一言でいうと
「使っている重みの個数」そのものに罰を与える正則化。理想的ですが計算が困難です。
定義
\( \| \mathbf{w} \|_0 \)
\( \mathbf{w} \) はモデルの重みベクトル、\( \| \mathbf{w} \|_0 \) は0でない重みの個数を表します。
つまり「何個の特徴量を使っているか」にそのまま罰を与える形です。
なぜ実用が難しいのか
個数は連続的に変化しない値なので、微分できません。勾配を使った最適化が使えないのです。
厳密に解こうとすると「どの特徴量を使うか」の全組み合わせを試すことになり、組合せ最適化として計算量が爆発します。
そこで実用上は、微分できる形に緩めたL1正則化が代替として使われます。L1が「特徴量選択の効果を持つ」と言われるのは、このL0の近似になっているためです。
なぜ試験で扱われるのか
実用されないL0がG検定で登場するのは、L1・L2との対比で正則化の考え方を整理させるためです。
- L0:使う個数そのものに罰(理想的だが計算困難)
- L1:絶対値の和(0にできる実用的な近似)
- L2:2乗和(0にはせず小さくする)
この3つの並びで覚えるのが効率的です。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| L0正則化 | 0でない重みの個数。最適化が困難で実用は稀 |
| L1正則化 | 絶対値の和。L0の実用的な近似 |
| L2正則化 | 2乗和。重みを小さく抑える |
🎯 G検定での押さえどころ
- 0でない重みの個数にペナルティを課す
- 組合せ最適化となり実用は困難
- 実務ではL1正則化が代替として使われる
⚠️ よくある誤りの選択肢
- 「L0正則化は実務で最も広く使われる」→ 誤り。最適化が困難でほとんど使われません
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「パラメータノルムペナルティー」(E資格向け)
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。