② 機械学習の概要／ 7. 教師あり学習

勾配ブースティングとは

勾配ブースティングとは、前のモデルの誤差を次のモデルが補正するように逐次学習を行う手法です。高精度なモデルを構築できる一方、計算コストが高くなりやすい点が注意点です。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

前のモデルの「誤差」を次のモデルが学習して、少しずつ精度を上げていく手法です。

何を学習しているのか

通常のモデルは正解そのものを学習しますが、勾配ブースティングでは2つ目以降のモデルが「前のモデルがどれだけ外したか」（誤差）を学習します。

その予測を足し合わせることで、段階的に誤差が小さくなっていきます。ブースティングの一種であり、逐次処理である点は共通です。

XGBoostやLightGBMは、勾配ブースティングを基盤とした代表的な手法です。表形式のデータを扱うコンペや実務で広く使われています。

ただし木を1本ずつ順番に足していくため学習に時間がかかりやすく、ノイズに引きずられると過学習しやすい面もあります。

誤差を追いかける性質上、木を増やしすぎると過学習します。そのため次のような調整が重要になります。

学習率を小さくするほど木を多く必要とするため、精度と計算時間のトレードオフになります。