② 機械学習の概要／ 10. モデルの選択・評価

赤池情報量規準 (AIC)とは

AICとは、モデルの当てはまりの良さと複雑さを同時に評価する指標です。値が小さいほど良いモデルとされ、過学習を防ぐという考え方と結びついています。

この用語はG検定シラバスの「10. モデルの選択・評価」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

「よく当たるか」と「複雑すぎないか」を同時に見て、モデルを選ぶための指標です。

定義

\( \mathrm{AIC} = -2\log L + 2k \)

\(L\) は尤度（データへの当てはまりの良さ）、\(k\) はモデルのパラメータ数です。

第1項は当てはまりが良いほど小さくなり、第2項はパラメータが多いほど大きくなります。つまり複雑なモデルにはペナルティがかかります。

パラメータを増やせば、当てはまりはいくらでも良くできます。しかしそれは過学習にほかなりません。

AICは複雑さに罰則を与えることで、当てはまりと単純さのバランスが取れたモデルを選べるようにします。この発想はオッカムの剃刀と同じ方向を向いています。

BICも同じ目的の指標ですが、ペナルティ項にデータ数が入るためデータが多いほど複雑なモデルに厳しくなります。一般にBICのほうがより単純なモデルを選ぶ傾向があります。

AICは同じデータに対して複数のモデルを比較するための指標です。データが違えば値を比べても意味がありません。

また、AICの値そのものに「良い・悪い」の絶対的な基準はありません。あくまで候補どうしの相対比較に使う点を押さえておきましょう。

用語	ポイント
AIC	ペナルティは 2k。BICより緩い
BIC	ペナルティは k log n。データ数が多いほど厳しい