④ ディープラーニングの要素技術

重み

各入力信号の重要度を表す学習可能なパラメータ。誤差逆伝播法によって更新され、モデルの性能を大きく左右する。

線形関数

入力の加重和として出力を計算する関数で、全結合層の基本構造を成す。線形変換のみでは表現力が不足するため、非線形活性化関数と組み合わせて用いられる。

Atrous Convolution

フィルタ要素の間に間隔を空けることで、解像度を維持したまま受容野を拡大する畳み込み手法。Dilated Convolutionと同義。

Depthwise Separable Convolution

チャンネル方向の畳み込み（Depthwise）と、チャンネル統合（Pointwise）を分離することで、計算量とパラメータ数を大幅に削減する手法。MobileNetなどで使用される。

Dilated Convolution

フィルタ内に間隔（dilation）を設け、パラメータ数を増やさずに広範囲の特徴を捉える畳み込み。Atrous Convolutionと同義。

カーネル

入力データに対して畳み込み演算を行う小さな重み行列。画像からエッジや模様などの特徴を抽出する役割を持つ。

ストライド

フィルタを移動させる画素間隔を表すパラメータ。値を大きくすると出力サイズは小さくなり、計算量が減少する。

畳み込み操作

フィルタを入力上でスライドさせ、積和演算により局所特徴を抽出する計算。CNNの基盤となる処理。

簡単な処理手順は必ず押さえましょう（計算問題対策）。

畳み込みニューラルネットワーク (CNN)

畳み込み層とプーリング層を組み合わせた深層学習モデル。局所特徴の階層的学習により、画像認識で高い性能を示す。

特徴マップ

畳み込み演算によって得られる出力データで、抽出された特徴の分布を表す。フィルタの数だけ生成される。

パディング

入力画像の周囲を0埋めなどで拡張し、出力サイズの縮小を防ぐ処理。特徴抽出位置の偏りを防ぐ効果もある。

フィルタ

カーネルと同義で、特定のパターンを検出するための重み行列。学習によって最適な値が自動調整される。

グループ正規化

チャンネルを複数グループに分割し、グループごとに正規化を行う手法。バッチサイズに依存しないため、ミニバッチが小さい場合に有効。

バッチ正規化

ミニバッチ単位で平均0・分散1に正規化し、学習の安定化と高速化を実現する手法。深層学習で最も広く用いられる正規化層。

レイヤー正規化

1サンプル内の全チャンネルを用いて正規化する手法。バッチサイズに依存しないため、RNNやTransformerなどでよく使用される。

インスタンス正規化

画像1枚・1チャンネルごとに正規化を行う手法。画風変換（スタイル変換）など、スタイルの正規化が重要なタスクで用いられる。

グローバルアベレージプーリング (GAP)

各特徴マップの空間方向の平均を取り、チャンネルごとに1値へ集約する手法。全結合層の代替としてパラメータ削減と過学習防止に有効で、CNNの分類層で頻出。

最大値プーリング

領域内の最大値のみを抽出するプーリング手法。位置ズレに強い不変性を獲得でき、CNNで最も一般的に用いられる。

不変性の獲得

対象物の位置や大きさが多少変化しても、同一の特徴として認識できる性質。プーリング層の主要な役割としてG検定で頻出。

平均値プーリング

領域内の平均値を出力し、特徴を滑らかに集約する手法。最大値プーリングとの違いが比較問題として頻出。

ResNet

スキップ結合（残差接続）を導入し、勾配消失問題を緩和することで、100層を超える非常に深いネットワークの学習を可能にしたモデル。残差学習という考え方がG検定で頻出。

BPTT

時系列方向にネットワークを展開し、過去へ遡って誤差を伝播するRNN専用の誤差逆伝播法。勾配消失・爆発問題と強く関係し、G検定で頻出。

GRU

LSTMを簡略化した構造で、リセットゲートと更新ゲートを持つ。計算量が少なく高速で、LSTMとの比較がG検定で頻出。

LSTM

長期依存関係を学習可能にするため、入力・出力・忘却の3つのゲートとセル状態を持つRNN。勾配消失問題の解決策として超頻出。

エルマンネットワーク

隠れ層の出力を次時刻の入力へ戻す基本的なRNN構造。RNNの原型モデルとしてG検定で用語理解が問われる。

勾配消失問題

誤差逆伝播を繰り返す過程で勾配が極端に小さくなり、長期依存を学習できなくなる現象。LSTM・GRU誕生の背景として超重要。

勾配爆発問題

誤差逆伝播時に勾配が指数関数的に増大し、学習が不安定になる現象。勾配クリッピングなどで対策される。

教師強制

学習時に、前時刻の予測値ではなく正解ラベルを次入力として使用する手法。収束を高速化するが推論時との差に注意である。

ゲート機構

情報を通す・遮断する制御構造で、LSTM・GRUの核心技術。シグモイド関数により0〜1の値で通過量を制御し、長期記憶保持を可能にする。

双方向 RNN (Bidirectional RNN)

過去→未来と未来→過去の双方向から時系列を処理するRNNで、文脈理解の向上が目的である。計算コストが通常のRNNに比べて2倍になる点には注意が必要だが、優れた性能を発揮する場面が多い。

時系列データ

時間順序に意味を持つデータで、RNNの主要対象。

※音声・文章・株価などが代表例。

ジョルダンネットワーク

出力層の値を次時刻の隠れ層へ戻すRNN構造。エルマンネットワークとの違いが比較問題として出題される。

リカレントニューラルネットワーク (RNN)

内部に再帰構造（ループ）を持ち、時系列や文章を扱えるニューラルネットワークの総称。LSTM・GRUはRNNの発展形。

Attention

入力系列の中から、現在の出力にとって重要な部分に重みを付けて集約する仕組み。 固定長ベクトルに圧縮せず、必要な情報を必要なタイミングで動的に参照できるため、 長文処理・翻訳・要約などで高性能を実現する。

基本構造は、Query・Key・Value（Q, K, V） の3つのベクトルを用い、 類似度(QKᵀ) → 正規化(Softmax) → 重み付き和 により出力を計算する。

Self-Attention

入力系列自身の内部で単語同士の関係性を計算し、文脈を考慮した表現を生成する仕組み。 各単語は、系列内のすべての単語との関連度を評価するため、 長距離依存関係を効率的に学習可能。

RNNのような逐次処理が不要であり、並列計算が可能な点が大きな利点。

Multi-Head Attention

Self-Attentionを複数のヘッドで並列実行し、 異なる観点（構文・意味・位置関係など）から情報を捉える仕組み。

各ヘッドは異なる線形変換を通したQ, K, Vを使用し、 得られた出力を連結して最終出力を形成することで、 表現力を大幅に向上させる。

Seq2Seq

Encoderが入力系列を固定長ベクトルに変換し、 Decoderがそれを用いて出力系列を生成する Encoder-Decoder構造のモデル。 機械翻訳・要約・音声認識などで利用される。

従来のSeq2Seqは固定長ベクトルへの圧縮による情報損失の問題を抱えており、 長文になるほど性能が低下しやすい。

Source-Target Attention

Seq2Seqモデルにおいて、 DecoderがEncoderの出力系列（Source）を参照して 出力系列（Target）を生成するためのAttention機構。 Cross-Attentionとも呼ばれ、 翻訳精度を大きく向上させた。

Transformer

RNNやCNNを一切用いず、Attention機構のみで構成されたモデル。 Self-AttentionとFeed Forward層を積み重ねた構造を持つ。

並列計算が可能で学習効率が非常に高く、 BERT・GPT・T5など現代の大規模言語モデルの基盤となっている。

位置エンコーディング

TransformerではRNNのような逐次処理を行わないため、 単語の順序情報を明示的に付与する必要がある。

サイン・コサイン関数などを用いて位置情報ベクトルを生成し、 単語埋め込みに加算することで語順情報を保持する。

クエリ（Query）

現在注目している単語が、 「何を探しているか」を表すベクトル。 Keyとの内積によって関連度を算出する。

キー（Key）

Queryと照合される検索対象のラベルの役割を持つベクトル。 類似度計算（QKᵀ）に利用される。

バリュー（Value）

Attention重みによって線形結合され、 最終的に取り出される情報本体を表すベクトル。

VQ-VAE / info VAE / β-VAE

・VQ-VAE：潜在変数を離散値で表現する変分オートエンコーダで、コードブックを用いた量子化により高品質な画像生成を実現する。
・info VAE：潜在変数と入力データの相互情報量を最大化することで、情報量の豊富な潜在表現を学習するモデルである。
・β-VAE：損失関数のKLダイバージェンス項に係数βを掛け、潜在変数の独立性（disentanglement）を強く促進する手法である。

次元削減

オートエンコーダの中間層である潜在空間により、入力データを低次元へ圧縮し、本質的な特徴のみを抽出する手法である。主成分分析（PCA）と異なり、非線形変換を用いることで複雑な構造も表現できる点が重要である。

事前学習

事前学習とは、大規模データを用いてモデルをあらかじめ学習させ、その重みを別のタスクに転用する手法である。転移学習などに応用され、学習の高速化や少量データでの精度向上に有効である。

積層オートエンコーダ

複数のオートエンコーダを層状に重ね、段階的に特徴を抽出する深層モデルである。各層を事前学習し、その後に全体を微調整することで、高精度な表現学習が可能となる。

変分オートエンコーダ (VAE)

潜在変数が確率分布に従うように学習する生成モデルであり、新しいデータを生成できる点が特徴である。損失関数は再構成誤差とKLダイバージェンスから構成され、潜在空間の正則化を行う。これにより、連続的で滑らかな潜在空間が形成され、サンプリングによる生成が可能となる。

Contrast

画像のコントラスト（明暗差）をランダムに変化させ、照明条件の違いに対する汎化性能を高める手法である。明るさや影の影響を受けにくいモデルの学習に有効である。

Brightness

画像全体の明るさをランダムに変更し、撮影環境の違いを模擬するデータ拡張である。過学習を抑え、照度変化に強いモデルの構築に寄与する。

Crop

画像の一部を切り抜くことで、位置ずれやスケール変化への耐性を高める手法である。ランダムクロップは局所特徴の学習促進に有効である。

CutMix

2枚の画像を部分的に切り貼りし、ラベルもその面積比で線形混合する強力なデータ拡張手法である。正則化効果が高く、分類精度の向上が期待できる。

Cutout

画像の一部を矩形領域で0（黒）などに置換して隠す手法である。局所的な特徴への依存を防ぎ、ロバスト性を高める効果がある。Random Erasingと異なり、置換する値は固定である点が特徴である。

Mixup

2枚の画像とそのラベルを線形補間して合成するデータ拡張手法である。決定境界の平滑化により、過学習の抑制と汎化性能の向上を実現する。

noising

入力データにランダムなノイズを付加し、外乱に強いモデルを学習させる手法である。画像認識や音声認識において、ロバスト性の向上に有効である。

paraphrasing

文の意味を保ったまま言い換えを行う自然言語処理のデータ拡張手法である。表現の多様性を増やし、汎化性能を向上させる。
例：
・「今日は雨が降っている」→「今日は雨が降っています」
・「彼は速く走った」→「彼は素早く走った」
・「その映画は面白かった」→「その映画は楽しかった」

RandAugument

複数のデータ拡張手法をランダムかつ自動的に組み合わせて適用する手法である。ハイパーパラメータ調整の手間を削減しつつ、高い性能を実現できる。

Random Erasing

画像の一部をランダムな矩形領域で消去またはノイズ置換する手法である。Cutoutに比べ、消去する値をランダムに変化させることが多く、より多様な表現でロバスト性を向上させる。

Random Flip

画像を左右または上下にランダム反転させ、姿勢変化への耐性を高める基本的な拡張手法である。特に物体認識タスクで広く用いられる。

Rotate

画像をランダムな角度で回転させ、傾きに対する不変性を学習させる手法である。撮影角度のばらつきを補正し、汎化性能を向上させる。