② 機械学習の概要／ 7. 教師あり学習

サポートベクターマシン (SVM)とは

SVMとは、マージンを最大化する決定境界を求めることで高い汎化性能を実現する分類手法です。カーネル法と組み合わせて非線形な問題にも対応できる点がG検定の重要ポイントです。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

境界とデータの余白（マージン）が最大になる線を引いて分類する手法です。

マージン最大化という考え方

2つのクラスを分ける線は無数に引けますが、SVMは境界と最も近いデータ点との距離（マージン）が最大になる線を選びます。

境界がどちらのクラスからも十分に離れていれば、多少ずれた未知のデータでも正しく分類できます。これが汎化性能が高くなる理由です。

このとき境界の位置を決めている、最も近い位置にあるデータ点をサポートベクトルと呼びます。それ以外のデータは境界の決定に影響しません。

直線では分けられないデータには、カーネルを用いて高次元空間で線形分離できるようにします。実際に高次元へ写像せずに計算する工夫がカーネルトリックです。

実際のデータには、どうやってもきれいに分けられない例外が混ざります。すべてを完全に分離しようとすると、かえって過学習になります。

そこで多少の誤分類を許容するのがソフトマージンです。一切の誤りを許さないハードマージンに対し、誤りの許容度を調整できるため実用的です。