② 機械学習の概要／ 7. 教師あり学習

カーネルトリックとは

カーネルトリックとは、実際に高次元空間へ写像することなく非線形分離を実現する技術です。計算量の増大を防ぎつつ複雑な境界を扱えるため、SVMの性能を支える中核的な考え方です。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

高次元に変換したフリをして計算を済ませ、非線形なデータを分離する技術です。

「トリック」と呼ばれる理由

非線形なデータを分けるには高次元へ写像すればよい、というのは分かっていました。問題は次元を上げるほど計算量が爆発することです。

ところがSVMの計算では、高次元での座標そのものは必要なく、内積の値さえ分かればよいのです。その内積をカーネルで低次元のまま求めてしまう——これが「トリック」と呼ばれる所以です。

曲線状に分布したデータや、同心円のように入り組んだ分布を分離したい場面で用いられます。写像しないのに写像した効果が得られる点を押さえておけば、選択肢の判断に困りません。

カーネルトリックの考え方はSVM専用ではありません。内積さえ使えれば適用できるため、主成分分析を非線形に拡張したカーネルPCAなどにも応用されています。

「非線形にしたいが計算量は抑えたい」という場面で広く使われる汎用的な発想だと理解しておくとよいでしょう。