② 機械学習の概要／ 7. 教師あり学習

線形回帰とは

線形回帰とは、入力と出力の関係を一次関数で表現する回帰手法です。モデルが単純で結果を解釈しやすいため、回帰分析の最も基本的な手法として位置づけられます。

この用語はG検定シラバスの「7. 教師あり学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

入力と出力の関係を直線（一次関数）で表して数値を予測する、最も基本的な回帰手法です。

どういう仕組みか

「広告費を増やすと売上が伸びる」といった関係を、直線の式で近似します。データ点との誤差ができるだけ小さくなるように、直線の傾きと切片を決めるのが学習にあたります。

各説明変数にかかる係数を見れば「どの要因がどれだけ効いているか」が読み取れるため、説明のしやすさが大きな利点です。

説明変数が多いと、手元のデータに合わせすぎる過学習が起きやすくなります。これを抑えるために、係数が大きくなりすぎないよう制約をかける正則化が使われます。Lasso回帰とRidge回帰が代表例です。

直線をどう決めるかというと、実測値と予測値の差（残差）の二乗和が最小になるように係数を求めます。これを最小二乗法といいます。

二乗するのは、プラスの誤差とマイナスの誤差が打ち消し合わないようにするためです。この考え方は平均二乗誤差（MSE）と同じ発想です。