③ ディープラーニングの概要

CPU

CPUは、汎用的な逐次処理を得意とするプロセッサである。制御処理や軽量な計算に向くが、大量の並列演算には不向きな点がG検定で押さえるポイントである。

GPU

GPUは、多数の演算を同時に処理できる並列計算向けプロセッサである。行列演算が中心のディープラーニングに適している点がCPUとの違いとして頻出である。

TPU

TPUは、Googleが開発したディープラーニング専用の演算チップである。TensorFlow向けに最適化され、高速かつ省電力である点が特徴である。

隠れ層・入力層・出力層

ニューラルネットワークは、入力層・隠れ層・出力層から構成される。隠れ層が特徴表現を学習する役割を担い、層を深くすることで表現力が高まる。

多層パーセプトロン

多層パーセプトロンは、隠れ層を1層以上持つ全結合型ニューラルネットワークである。非線形活性化関数の導入により非線形問題を扱える点が重要である。

単純パーセプトロン

単純パーセプトロンは、入力層と出力層のみからなる最も基本的なモデルである。線形分離可能な問題しか解けないという制約がG検定で頻出である。

Leaky ReLU 関数

Leaky ReLUは、負の入力に対しても小さな傾きを持たせたReLUの改良版である。ReLUの「死んだニューロン問題」を緩和できる点が重要である。

ReLU 関数

ReLUは、負の値を0、正の値をそのまま出力する活性化関数である。計算が高速で勾配消失が起きにくいため、現在の深層学習で最も広く使われている。

tanh 関数

tanh関数は、出力を −1 から 1 の範囲に正規化する活性化関数である。シグモイド関数より勾配消失が起きにくいが、深い層では問題が残る。

シグモイド関数

シグモイド関数は、出力を 0 から 1 に収めるS字型の関数である。勾配消失が起きやすく、現在は中間層ではほとんど使われない。

ソフトマックス関数

ソフトマックス関数は、複数の出力を確率分布に変換し、合計を1にする関数である。多クラス分類の出力層で使用される点が試験で頻出である。

勾配消失問題

勾配消失問題とは、誤差逆伝播の過程で勾配が極端に小さくなり、学習が進まなくなる現象である。シグモイドやtanhで起きやすく、ReLU系で緩和される。

Contrastive Loss

Contrastive Lossは、似ているデータ同士の距離を小さくし、異なるデータ同士の距離を大きくするように学習させる損失関数である。対照学習（コントラスト学習）や、顔認識などの表現学習で用いられる。

ここで、\( y \) はペアが異なるクラスかどうかを示すラベル（\( y = 1 \) の場合、ペアは異なるクラス、\( y = 0 \) の場合、ペアは同じクラス）、\( m \) はマージン、\( d \) はペアの距離です。

Triplet Loss

Triplet Lossは、「基準（Anchor）」「正例（Positive）」「負例（Negative）」の3点を用いて、正例を近づけ、負例を遠ざけるように学習する損失関数である。顔認識や類似検索で頻出である。

• \( d_p \) ：AnchorとPositiveの距離（\( d_p = distance(f(x_a), f(x_p)) \)）
• \( d_n \) ：AnchorとNegativeの距離（\( d_n = distance(f(x_a), f(x_n)) \)）
• \( g \) ：ギャップパラメータ（マージン）
• \( f \) ：CNNを表し、特徴量を抽出する関数
• \( x_a, x_p, x_n \) ：Anchor、Positive、Negativeの各入力

カルバック・ライブラー情報量 (KL)

KLダイバージェンスは、2つの確率分布の「ずれ」を定量化する指標である。非対称であり距離ではない点が試験で狙われやすい。

\( P \)：真の分布、\( Q \)：近似分布。VAEなどで用いられる。

交差エントロピー

交差エントロピーは、分類問題において予測確率と正解ラベルの差を測る標準的な誤差関数である。ソフトマックス関数と組み合わせて使われる。

\( y \)：正解ラベル、\( \hat{y} \)：予測確率

平均二乗誤差関数 (MSE)

平均二乗誤差は、回帰問題で予測値と正解値の差の2乗の平均を最小化する誤差関数である。外れ値の影響を受けやすい点に注意する。

\( y \)：正解値、\( \hat{y} \)：予測値、\( N \)：データ数

L0 正則化

L0正則化は、0でないパラメータの個数にペナルティを課し、変数選択を直接行う正則化である。

\( \mathbf{w} \) はモデルの重みベクトル、 \( \| \mathbf{w} \|_0 \) は 0でない重みの個数を表す。

最適化が困難（組合せ最適化）なため、実用ではあまり使われない。

L1 正則化

L1正則化は、重みの絶対値の和をペナルティとする正則化である。一部の重みが完全に0になる性質を持つ。

\( w_i \) は各特徴量に対応する重み、 \( \lambda \) は 正則化の強さを制御するハイパーパラメータである。

特徴量選択の効果があり、ラッソ回帰で用いられる。

L2 正則化

L2正則化は、重みの2乗和をペナルティとする正則化である。重みを0にはしないが小さく抑える。

\( w_i \) はモデルの重み、 \( \lambda \) は ペナルティ項の影響度を調整する係数である。

学習を安定化させ、多重共線性に強い。リッジ回帰で用いられる。

正則化

正則化とは、モデルが訓練データに適合しすぎる（過学習）ことを防ぐため、損失関数にペナルティ項を追加する手法の総称である。

\( \lambda \) は正則化の強さを調整するハイパーパラメータ。

ドロップアウト

ドロップアウトは、学習時にランダムに一部のニューロンを無効化することで、特定の経路への依存を防ぐ正則化手法である。

推論時には全ニューロンを使用する点に注意。

ラッソ回帰

ラッソ回帰は、L1正則化を用いた回帰モデルである。不要な特徴量の係数を0にする効果がある。

リッジ回帰

リッジ回帰は、L2正則化を用いた回帰モデルである。係数を小さく保ち、学習の不安定さを抑える。

勾配消失問題

勾配消失問題とは、誤差逆伝播の過程で勾配が層を遡るごとに極端に小さくなる現象である。その結果、入力層付近の重みがほとんど更新されず学習が進まなくなる。シグモイド関数やtanh関数との関連が頻出である。

勾配爆発問題

勾配爆発問題とは、逆伝播中に勾配が過度に大きくなり、重み更新が発散する現象である。学習が不安定になり損失がNaNになるなどの問題を引き起こし、勾配クリッピングなどで対処される。

信用割当問題

信用割当問題とは、最終的な出力や報酬に対して、どの層・どの重みがどれだけ寄与したかを特定するのが困難である、という問題である。誤差逆伝播法はこの問題を解決するための仕組みとして位置づけられる。

連鎖律

連鎖律とは、合成関数の微分を各関数の微分の積として表す微分法則である。誤差逆伝播法は連鎖律を用いて各層の勾配を計算する点が試験で重要である。

AdaGrad

パラメータごとに過去の勾配の大きさを蓄積し、頻繁に更新される特徴量の学習率を小さくする最適化手法。疎な特徴量を扱う問題に強いが、学習が進むと更新が止まりやすい。

AdaDelta

AdaGradで問題となる学習率の過度な減衰を防ぐため、過去の勾配の二乗和ではなく指数移動平均を利用する手法。初期学習率を明示的に設定しなくてよい点が特徴。

RMSprop

AdaGradの学習率低下問題を、勾配の二乗の指数移動平均を用いて解決する最適化手法。AdaDeltaが更新量そのものを制御するのに対し、RMSpropは学習率の調整に重点を置く点が違い。

Adam

モーメンタムとRMSpropを組み合わせた最適化手法で、現在最も広く使われている。勾配の一次モーメントと二次モーメントを推定し、安定かつ高速な学習を実現する。

AdaBound

Adamの高速な初期収束とSGDの安定した最終収束を両立させる最適化手法。学習率に上下限（Bound）を設け、学習後半でSGDに近い挙動になる点が特徴。

AMSBound

Adamが持つ収束性の欠陥を修正したAMSGradと、学習率を一定範囲に制限するAdaBoundの考え方を組み合わせた最適化手法。学習初期はAdamのように高速に学習し、終盤はSGDのような安定した収束と高い汎化性能を目指す。

鞍点

ある次元から見ると極小だが、別の次元から見ると極大となる点を指す。勾配がほぼゼロになるため、勾配降下法で学習が停滞する原因として重要。

イテレーション

ミニバッチ1回分のデータを用いて重みを1回更新する単位。1エポックあたりのイテレーション数は「データ数 ÷ バッチサイズ」で与えられる。

エポック

訓練データ全体を1回すべて学習に使用する単位。エポック = 全データを1周であり、イテレーションとバッチサイズと密接に関係する。

オンライン学習

データが逐次到着する状況で、その都度モデルを更新する学習方式。ストリーミングデータやリアルタイム処理に適している。

学習率

1回の更新でパラメータをどれだけ動かすかを決める重要なハイパーパラメータ。大きすぎると発散し、小さすぎると学習が遅くなる。

確率的勾配降下法 (SGD)

ランダムに選んだ1サンプルまたはミニバッチの勾配を用いて更新する手法。確率的な揺らぎにより局所最適解や鞍点から抜けやすい特徴を持つ。

グリッドサーチ

あらかじめ定めたハイパーパラメータの候補を格子状にすべて試し、最適な組み合わせを探索する手法。計算コストが高く、次元が増えると非効率になりやすい。

勾配降下法

損失関数の勾配の逆方向にパラメータを更新し、値を最小化する基本的な最適化手法。多くの学習アルゴリズムの基礎となっている。

局所最適解

全体で最小ではないが、近傍では最小となる解を指す。勾配降下法ではここに捕まり、学習が進まなくなることがある。

早期終了

検証データの誤差が悪化し始めた時点で学習を止めることで、過学習を防ぐ正則化手法の一種。深層学習で頻繁に用いられる。

大域最適解

損失関数全体の範囲で最も小さい値を取る真の最適解。局所最適解と対比して理解することが重要。

二重降下現象

モデルの複雑さを増すと、誤差が一度増加した後、さらに増やすと再び低下する現象。過学習の常識に反する挙動として注目されている。

ノーフリーランチの定理

すべての問題に対して常に最良となる万能なアルゴリズムは存在しないことを示す定理。問題設定に応じた手法選択の重要性を示している。

ハイパーパラメータ

学習率や層の数など、学習前に人間が設定するパラメータ。グリッドサーチやランダムサーチで調整される。

バッチ学習

全訓練データを用いて一度に勾配を計算し、重みを更新する学習方式。計算は安定するが、計算コストが高い。

ミニバッチ学習

データを小さなミニバッチに分け、バッチごとに更新を行う学習方式。計算効率と安定性のバランスが良い。

モーメンタム

過去の更新方向を慣性として考慮し、更新を加速させる手法。振動を抑え、鞍点や局所解から抜けやすくする。

ランダムサーチ

ハイパーパラメータ空間からランダムに値を選び試行する手法。高次元空間ではグリッドサーチより効率的とされる。