② 機械学習の概要／ 7. 教師あり学習

ブートストラップサンプリングとは

ブートストラップサンプリングとは、同じデータを重複して抽出することを許したランダムサンプリング（復元抽出）です。限られたデータから複数の学習用データ集合を作れる点が重要です。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

同じデータを何度選んでもよいルールでランダムに取り出す抽出方法です。

「重複を許す」ことの意味

袋から玉を取り出したあと、その玉を袋に戻してから次を引く方式です。そのため同じデータが複数回選ばれることもあれば、一度も選ばれないデータも出てきます。

結果として、元のデータと少しずつ違うデータ集合をいくつも作れます。この「少しずつ違う」ことが、バギングで多様なモデルを育てるための前提になります。

バギングの前提であり、ランダムフォレストでも各決定木を学習させる際に用いられます。

元データと同じ件数だけ復元抽出すると、およそ3分の1のデータは一度も選ばれません。

この選ばれなかったデータがOOBデータとしてバギングやランダムフォレストの性能推定に活用されます。重複を許すからこそ生まれる副産物です。