② 機械学習の概要

アンサンブル学習

アンサンブル学習は、複数の弱学習器を組み合わせて、より性能の高いモデルを構築する手法である。個々のモデルの誤りを補い合うことで、汎化性能が向上しやすい点が重要で、G検定では考え方そのものが頻出である。

※代表例として、決定木を多数組み合わせたランダムフォレストが挙げられる。

カーネル

カーネルは、高次元空間での内積を、元の低次元空間で効率的に計算するための関数である。これにより、非線形なデータ構造を線形分離問題として扱える点が重要である。

※多項式カーネルやガウスカーネル（RBFカーネル）が代表的である。

カーネルトリック

カーネルトリックは、実際に高次元空間へ写像することなく非線形分離を実現する技術である。計算量の増大を防ぎつつ複雑な境界を扱えるため、SVMの性能を支える中核的概念である。

※曲線状に分布したデータを直線で分離できるようにする場面で用いられる。

回帰問題

回帰問題は、連続した数値を予測する教師あり学習タスクである。出力が数値である点が分類問題との最も重要な違いであり、G検定では比較対象として頻繁に出題される。

※気温や売上高、株価などを予測する問題が代表例である。

決定木

決定木は、特徴量に基づく条件分岐を繰り返して分類や回帰を行う手法である。構造が直感的で理解しやすい一方、過学習を起こしやすい点が欠点として重要である。

※「年収が〇円以上か？」などの条件を順に判定して意思決定を行うモデルが例である。

勾配ブースティング

勾配ブースティングは、前のモデルの誤差を次のモデルが補正するように逐次学習を行う手法である。高精度なモデルを構築できる一方、計算コストが高くなりやすい点が注意点である。

※XGBoostやLightGBMは勾配ブースティングを基盤とした代表的手法である。

サポートベクターマシン (SVM)

SVMは、マージンを最大化する決定境界を求めることで高い汎化性能を実現する手法である。カーネル法と組み合わせて非線形問題に対応できる点がG検定の重要ポイントである。

※手書き文字認識やテキスト分類などで利用されてきた。

線形回帰

線形回帰は、入力と出力の関係を一次関数で表現する回帰手法である。モデルが単純で解釈しやすく、回帰分析の最も基本的な手法として位置づけられる。

※広告費から売上を予測するような単純な関係の分析に用いられる。

自己回帰モデル (ARモデル)

ARモデルは、過去の自分自身の値を説明変数として将来を予測する時系列モデルである。単一の時系列を扱う点がVARモデルとの重要な違いである。

※過去の売上データから翌月の売上を予測するようなケースで用いられる。

単回帰分析

単回帰分析は、1つの説明変数のみを用いて目的変数を予測する回帰手法である。重回帰分析との違い（説明変数の数）はG検定で定番の出題ポイントである。

※気温からアイスクリームの売上を予測するような単純な関係が例である。

重回帰分析

重回帰分析は、複数の説明変数を用いて1つの目的変数を予測する回帰手法である。年齢や身長、体重など複数要因が結果に影響する現実的な問題を扱える点が特徴で、単回帰分析との違い（説明変数の数）はG検定で頻出である。

※具体例として、不動産価格を「面積・築年数・駅からの距離」など複数の変数から予測するケースが挙げられる。

多クラス分類

多クラス分類は、3つ以上のカテゴリのいずれかに分類する教師あり学習タスクである。二値分類と異なり、クラス数の増加により問題が複雑になる点が特徴で、分類タスクの基本的な拡張形として理解が求められる。

※例えば、手書き数字を「0〜9」の10クラスに分類する問題は多クラス分類の代表例である。

バギング

バギングは、ブートストラップサンプリングによって作成した複数のデータ集合でモデルを並列学習するアンサンブル手法である。モデルのばらつきを抑え、分散を低減して過学習を防ぐ効果がある。

※決定木を多数並列に学習させ、それらの予測結果を多数決で統合する方法が典型例である。

※バギングは、アンサンブル学習を実現するための具体的なテクニックのひとつ。（アンサンブル学習→全体の考え方、バギング→具体的な手法 のようなイメージ）

ブースティング

ブースティングは、前のモデルが誤ったデータを次のモデルが重点的に学習する逐次型のアンサンブル手法である。弱学習器を積み重ねることで高精度を実現するが、過学習や計算コストに注意が必要である。

※AdaBoostや勾配ブースティングは代表的なブースティング手法として知られている。

ブートストラップサンプリング

ブートストラップサンプリングは、同じデータを重複して抽出することを許したランダムサンプリング手法である。限られたデータから複数の学習用データセットを作成できる点が重要である。

※この手法はバギングの前提となり、ランダムフォレストでも利用されている。

分類問題

分類問題は、入力データがどのカテゴリに属するかを予測する教師あり学習タスクである。出力がカテゴリである点が回帰問題との本質的な違いである。

※スパムメール判定や画像中の物体認識などが代表的な分類問題の例である。

ベクトル自己回帰モデル (VARモデル)

VARモデルは、複数の時系列変数が互いに影響を与え合う関係を同時に表現するモデルである。ARモデルが単一系列のみを扱うのに対し、多変量時系列を扱える点が重要である。

※経済学において、金利・物価・GDPの相互関係を分析する際によく用いられる。

マージン最大化

マージン最大化とは、決定境界と最も近いデータ点との距離を最大にする考え方である。この考え方により、未知データに対しても高い汎化性能が期待できる。

※SVMでは、このマージンを最大化する境界線を数学的に求める。

ランダムフォレスト

ランダムフォレストは、バギングと決定木を組み合わせたアンサンブル学習手法である。特徴量の一部をランダムに選択して分岐することで、決定木同士の相関を下げる工夫がなされている。

※分類・回帰の両方に対応でき、実務でも広く利用されている。

ロジスティック回帰

ロジスティック回帰は、入力からある事象が起こる確率を推定し、それに基づいて分類を行う手法である。名称に「回帰」とあるが、分類問題に用いられる点がG検定の定番出題ポイントである。

※例えば、ある顧客が商品を購入するか否かを確率として予測する場面で用いられる。

k-means 法

k-means法は、データをあらかじめ指定したk個のクラスタに分割する代表的なクラスタリング手法である。各データ点を最も近い重心に割り当て、重心を更新する操作を繰り返すことでクラスタを形成する。

クラスタ数kを事前に決める必要がある点や、初期値により結果が変わる点はG検定でよく問われる。

t-SNE

t-SNEは、高次元データの局所的な類似関係を保ったまま、2次元や3次元に可視化する手法である。非線形な構造を捉える能力が高く、可視化専用手法として位置づけられる。

次元削減後の軸には明確な意味がなく、解釈より可視化が目的である点が重要である。

※ 単語埋め込みや画像特徴量を2次元に可視化して分布を確認する際に用いられる。

ウォード法

ウォード法は、階層的クラスタリングにおいて、クラスタ内分散の増加が最小となるようにクラスタを結合する手法である。結果として、サイズのバランスが取れたクラスタが得られやすい。

距離の定義と結合基準の違いは、他の階層的手法との比較ポイントとなる。

協調フィルタリング

協調フィルタリングは、ユーザー同士、あるいはアイテム同士の類似性に基づいて推薦を行う手法である。個人の属性情報を明示的に使わず、行動履歴のみを利用する点が特徴である。

教師なし学習として扱われることが多く、レコメンデーション分野の中心技術である。

※ 映画配信サービスで「この映画を見た人はこれも見ています」と表示する仕組み。

クラスタリング

クラスタリングは、正解ラベルの存在しないデータを、類似度に基づいてグループ化する教師なし学習手法の総称である。k-meansや階層的クラスタリングなど、多様なアルゴリズムが含まれる。

分類問題との違い（ラベルの有無）はG検定で頻出である。

コールドスタート問題

コールドスタート問題とは、新規ユーザーや新規アイテムに関する履歴データが不足しているため、適切な推薦が困難になる問題である。

協調フィルタリングに特有の課題としてよく知られている。

コンテンツベースフィルタリング

コンテンツベースフィルタリングは、アイテムの属性情報とユーザーの過去の嗜好をもとに推薦を行う手法である。他ユーザーの情報に依存しないため、コールドスタート問題に比較的強い。

協調フィルタリングとの対比はG検定の定番テーマである。

※ 「過去にSF映画を多く視聴したユーザーにSF映画を推薦する」方式。

次元削減

次元削減は、情報の本質を保ったまま変数の数を減らす処理であり、計算量削減や可視化を目的として用いられる。

PCAやt-SNEなどが代表例であり、用途の違いを理解することが重要である。

主成分分析 (PCA)

PCAは、データの分散が最大となる直交方向（主成分）を見つけて次元を削減する線形手法である。統計的手法に基づいており、解釈性が比較的高い。

教師あり学習の前処理として使われる点も重要である。

※ 多数の相関した特徴量を少数の主成分にまとめる前処理。

潜在的ディリクレ配分法 (LDA)

潜在的ディリクレ配分法（LDA）は、 文書が複数のトピック（話題）の確率的な混合によって生成される と仮定する代表的な教師なし学習の確率モデルである。

各文書はトピックの確率分布、各トピックは単語の確率分布として表現され、 正解ラベルなしで文書集合の話題構造を推定できる。

※ ニュース記事から「政治」「経済」などの話題を自動抽出する。

多次元尺度構成法 (MDS)

多次元尺度構成法（MDS）とは、データ間の距離（類似度）の情報をできるだけ保ったまま、低次元空間に配置し直す次元削減・可視化手法である。個体どうしの「近さ」の情報だけから2次元の配置図を作れる点が特徴で、t-SNEと並ぶ可視化目的の代表手法としてG検定で問われる。

デンドログラム (樹形図)

デンドログラムは、階層的クラスタリングの結合過程を木構造で表現した図である。どの水準でクラスタを切るかにより、クラスタ数を調整できる。

特異値分解 (SVD)

SVDは、行列を特異値と直交行列に分解し、重要な成分を抽出する数学的手法である。次元削減やノイズ除去の基礎技術として用いられる。

※ レコメンデーションにおけるユーザー×アイテム行列の分解。

トピックモデル

トピックモデルは、大量の文書集合から潜在的な話題構造を推定する教師なし学習モデルの総称である。LDAはその代表例である。

Actor-Critic

行動を決定する「Actor（方策）」と、その行動の良さを評価する「Critic（価値関数）」を 同時に学習させる強化学習アルゴリズム。 Actorは「どの行動を選ぶか」を学び、Criticは「その行動はどれくらい良かったか」を評価し、 その評価結果をActorにフィードバックする。 これにより、学習の安定性と収束速度が大幅に向上する。 例えばロボット制御では、Actorが動作を決め、Criticが転倒しにくさや移動効率を評価する。 G検定では方策勾配法＋価値関数の融合モデルとしての理解が重要。

ε-greedy方策

通常は最も良いと推定される行動を選ぶ（活用）が、確率εでランダムな行動を選択する（探索）方策。 探索と活用のトレードオフを単純に実装できる。 例えばゲームAIにおいて、基本は勝率が最も高い手を打つが、5%の確率で別の手を試すことで、 より良い戦略を発見できる。 εを徐々に小さくすることで、初期は探索重視、後半は活用重視の学習が可能。 G検定では探索と活用のバランス制御の代表例として頻出。

REINFORCE

方策を直接パラメータ化し、得られた報酬を最大化するように勾配を計算して更新する 方策勾配法の基本アルゴリズム。 行動の確率分布を直接最適化するため、連続行動空間にも適用可能。 ただし分散が大きく、学習が不安定になりやすいため、ベースライン（状態価値関数など）を導入して 分散低減を行うことが多い。 G検定では「価値関数を使わず、方策を直接最適化」する点が問われる。

Q 学習

状態sで行動aを選んだときの価値を表す行動価値関数 Q(s,a) を学習し、 最適な行動方策を求める代表的な強化学習手法。 次状態で最大のQ値をとる行動を仮定して更新するため、 実際に選択した行動に依存しない「方策外学習（off-policy）」である。 ゲームAI、ロボット制御、推薦システムなど幅広く応用される。 G検定ではSARSAとの違い（on-policy / off-policy）が頻出。

UCB 方策（Upper Confidence Bound）

現在の平均報酬に加えて「不確実性（探索の必要性）」を考慮して行動を選択するバンディットアルゴリズム。 試行回数が少ない行動ほど探索価値が高く評価される。 G検定ではε-greedyとの比較が頻出。

※広告配信や推薦システムにおいて、未知の商品を適度に試しながら、 クリック率最大化を狙う場面で活用される。

行動価値関数

状態sで行動aを選択した場合に、将来的に得られる報酬の期待値を表す関数 Q(s,a)。 行動の良し悪しを数値化するため、強化学習の中心概念となる。 G検定では状態価値関数との違いが頻出。

状態価値関数

ある状態sにいること自体が、どれくらい将来の報酬につながるかを表す関数 V(s)。 行動選択に直接依存しないため、方策評価やActor-Critic法のCriticで利用される。 行動価値関数との違いを明確に区別できることが重要。

バンディットアルゴリズム

複数の選択肢から、限られた試行回数で報酬を最大化する問題設定。 各選択肢の報酬分布が未知であり、探索と活用のバランスが重要となる。 G検定ではMDPとの違い（状態遷移が存在しない）が狙われやすい。

※広告配信、A/Bテスト、推薦システムなどで実用化されている。

方策勾配法

行動の選択確率を直接最適化することで、最適な方策を学習する強化学習手法。 Q学習などの価値ベース手法では、まず行動価値関数 Q(s,a) を学習し、 そこから最適な行動を導くという間接的な方法をとるが、 方策勾配法では最適な方策そのものを直接学習する点が大きな特徴である。
これにより、「どの状態で、どの行動を、どの確率で選ぶべきか」を直接学習できる。 G検定では、「価値関数を介さず方策を直接最適化」という特徴と、 連続行動空間への適性が頻出ポイントとなる。

マルコフ決定過程（MDP）

状態、行動、報酬、遷移確率から構成される強化学習の数学的枠組み。 「次の状態は現在の状態と行動のみで決定される」というマルコフ性を仮定する。 ほぼすべての強化学習アルゴリズムの理論的基盤。

割引率

将来報酬を現在価値に換算する係数γ。 γが大きいほど将来を重視し、小さいほど短期利益を重視する。 ロボット制御や金融取引では設定次第で挙動が大きく変わる。

SARSA

現在の方策に従って実際に選択した行動に基づいてQ値を更新する 方策内学習（on-policy）アルゴリズム。 安定性は高いが、学習速度はQ学習より遅い傾向。 G検定ではQ学習との違いが最重要。

k-分割交差検証

データをk個に分割し、1つをテスト用、残りを学習用として学習・評価をk回繰り返す手法である。データが少ない場合でも評価の安定性を高められる点がG検定で重要である。

平均二乗誤差 (MSE)

平均二乗誤差は、予測値と実測値の差を二乗して平均した回帰評価指標である。大きな誤差を強く罰する性質を持つ。

二乗平均平方根誤差 (RMSE)

RMSEはMSEの平方根を取った指標で、誤差の単位が元データと一致する点が特徴である。回帰モデルの直感的な誤差把握に用いられる。

平均絶対値誤差 (MAE)

MAEは、予測誤差の絶対値を平均した回帰評価指標である。外れ値の影響を受けにくい点がMSEとの違いとして問われやすい。

ROC 曲線・AUC

ROC曲線は、偽陽性率と真陽性率の関係を表す分類性能曲線である。AUCはその下面積を表し、しきい値に依存しない性能評価指標として頻出である。

赤池情報量規準 (AIC)

AICは、モデルの当てはまりの良さと複雑さを同時に評価する指標である。値が小さいほど良いモデルとされ、過学習防止の考え方と結びつく。

\(L\) は尤度、\(k\) はモデルのパラメータ数を表し、複雑なモデルほどペナルティが大きくなる。

オッカムの剃刀

オッカムの剃刀とは、同等の性能ならより単純なモデルを選ぶべきという考え方である。モデル選択や過学習対策の思想的背景としてG検定で問われる。

過学習

過学習とは、訓練データに過度に適合し、未知データで性能が低下する現象である。汎化性能の低下とセットで理解することが重要である。

交差検証

交差検証は、データ分割を工夫してモデル性能を安定的に評価する手法の総称である。k分割交差検証はその代表例として頻出である。

偽陽性・偽陰性

偽陽性は実際は陰性なのに陽性と判定する誤り、偽陰性は実際は陽性なのに陰性と判定する誤りである。医療や異常検知の文脈で特に重要である。

真陽性・真陰性

真陽性は正しく陽性と判定したケース、真陰性は正しく陰性と判定したケースである。分類性能指標の基礎要素として必須である。

混同行列

混同行列は、分類結果を4つの要素で整理した表である。TP（真陽性）、FP（偽陽性）、TN（真陰性）、FN（偽陰性）から構成され、分類性能指標の基盤となる。

正解率・適合率・再現率・F 値

正解率は全体の正答割合、適合率は陽性と予測した中の正解率、再現率は本来陽性の検出率である。F値は適合率と再現率の調和平均である。

汎化性能

汎化性能とは、未知データに対しても高い性能を保つ能力を指す。過学習の有無を判断する中心概念として重要である。

ベイズ情報量規準 (BIC)

BICはAICと同様にモデルの適合度と複雑さを評価する指標である。データ数が多いほど複雑なモデルに厳しい点が特徴である。

\(L\) は尤度、\(k\) はパラメータ数、\(n\) はデータ数を表し、AICより強いペナルティを与える。

ホールドアウト検証

ホールドアウト検証は、データを学習用とテスト用に一度だけ分割する評価手法である。簡便だが評価のばらつきに注意が必要である。