最小二乗法とは
最小二乗法とは、観測値と予測値の誤差二乗和を最小化することで、回帰モデルの最適パラメータを求める方法です。線形回帰・重回帰の基礎理論としてG検定対策として重要です。
この用語はG検定シラバスの「37. 数理・統計」に含まれます。 章全体の用語は用語解説⑥（全52語）にまとまっています。
一言でいうと
予測のズレを二乗して合計し、それが最小になるようにモデルを決める方法です。
なぜ二乗するのか
誤差をそのまま足すとプラスとマイナスが打ち消し合います。二乗すれば符号が消え、大きな誤差ほど重く扱われます。
この発想は分散やMSEとまったく同じです。実際、最小二乗法はMSEを最小化していることにほかなりません。
弱点と発展
二乗するため外れ値に引きずられやすいという弱点があります。1つの極端な点が結果を大きく変えることがあります。
また説明変数が多いと過学習します。そこで正則化を加えたラッソ回帰やリッジ回帰が用いられます。
解き方は2通りある
- 解析的に解く：線形回帰なら数式を変形して一度に最適解を求められる
- 反復的に解く：勾配降下法で少しずつ誤差を減らしていく
線形回帰のように解析的に解ける場合でも、データや特徴量が非常に多いと行列計算の負荷が大きくなり、反復的に解くほうが現実的になることがあります。
一方、深層学習が勾配降下法を使う理由はこれとは別です。多層の非線形なニューラルネットワークでは、そもそも最適解を数式で求めることができません。そのため反復的な最適化に頼ります。
「計算量の問題」と「そもそも解析的に解けない」は別の話である点に注意してください。
🎯 G検定での押さえどころ
- 誤差の二乗和を最小化する
- 線形回帰・重回帰の基礎理論
- 外れ値に弱い／正則化で拡張される
⚠️ よくある誤りの選択肢
- 「最小二乗法は外れ値の影響を受けにくい」→ 誤り。受けやすい手法です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「教師あり学習① 線形回帰」（E資格向け）
- 手を動かして確かめる → 勾配降下法シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。