② 機械学習の概要／ 7. 教師あり学習

ランダムフォレストとは

ランダムフォレストとは、バギングと決定木を組み合わせたアンサンブル学習手法です。特徴量の一部をランダムに選んで分岐することで木どうしの相関を下げる工夫がされています。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

少しずつ違う決定木をたくさん作り、多数決で予測する手法です。

2段階のランダム性

ランダムフォレストには、ランダム性が2か所あります。ここがG検定対策の重要なポイントです。

特に2つ目が重要です。データだけ変えても、強い特徴量があるとどの木も似た形になってしまいます。特徴量を絞ることで木どうしの相関が下がり、統合したときの効果が高まります。

単体の決定木は過学習しやすい手法です。ランダムフォレストは多数の木の予測を平均・多数決することで、過学習を抑えつつ高い精度を得ます。分類・回帰の両方に対応でき、実務でも広く使われています。

ランダムフォレストは、どの特徴量が予測に効いていたかを数値として出力できます。

多数の木で「その特徴量による分岐がどれだけ不純度を下げたか」を集計するためです。予測精度が高いだけでなく要因の当たりをつけられる点が、実務で重宝される理由の1つです。