③ ディープラーニングの概要

用語ページ索引（全51ページ）

この章の用語を1語ずつ解説した個別ページの一覧です。

📖 各用語の解説と学習の進め方は用語解説③（全52語）にまとまっています。まずはそちらからご覧ください。

11. ニューラルネットワークとディープラーニング6語

CPUコンピュータの頭脳。複雑な処理を順番にこなすのが得意です。
GPUたくさんの計算を同時にこなせるプロセッサ。ディープラーニングの学習に…
TPUGoogleが作った、ディープラーニング専用の演算チップです。
隠れ層・入力層・出力層ニューラルネットワークを構成する3種類の層。特徴を学ぶのは隠れ層です…
多層パーセプトロン隠れ層を持つニューラルネットワーク。非線形な問題も扱えます。
単純パーセプトロン入力層と出力層だけでできた、最も単純なニューラルネットワークです。

12. 活性化関数6語

Leaky ReLU 関数ReLUの負の部分を完全に0にせず、わずかに傾きを残した関数です。
ReLU 関数マイナスは0、プラスはそのまま通す関数。今の深層学習の標準です。
tanh 関数出力を−1〜1に収める関数。シグモイドより少しましですが、勾配消失は…
シグモイド関数出力を0〜1に押し込めるS字型の関数。確率として扱いやすい反面、勾配…
ソフトマックス関数複数の出力を「合計1の確率」に変換する関数。多クラス分類の出力層で使…
勾配消失問題層をさかのぼるほど勾配が小さくなり、入力層側がほとんど学習されなくな…

13. 誤差関数5語

Contrastive Loss似たもの同士は近く、違うもの同士は遠くなるように学習させる損失関数で…
Triplet Loss基準・正例・負例の3つを使い、正例は近く負例は遠くなるように学習する…
カルバック・ライブラー情報量 (KL)2つの確率分布がどれだけ違うかを測る指標。ただし「距離」ではありませ…
交差エントロピー分類で使う標準的な誤差関数。予測した確率が正解からどれだけずれている…
平均二乗誤差関数 (MSE)回帰で使う標準的な誤差関数。予測と正解のズレを二乗して平均します。

14. 正則化7語

L0 正則化「使っている重みの個数」そのものに罰を与える正則化。理想的ですが計算…
L1 正則化重みの絶対値の合計に罰を与える正則化。不要な重みがきっちり0になりま…
L2 正則化重みの2乗の合計に罰を与える正則化。重みを全体的に小さく保ちます。
正則化過学習を防ぐために、モデルが複雑になりすぎないよう罰則をかける手法の…
ドロップアウト学習中だけニューロンをランダムに休ませ、特定の経路に頼りすぎないよう…
ラッソ回帰L1正則化を組み込んだ回帰。使わない特徴量の係数を0にしてくれます。
リッジ回帰L2正則化を組み込んだ回帰。係数を全体的に小さく保って安定させます。

15. 誤差逆伝播法3語

勾配爆発問題勾配が大きくなりすぎて、重みの更新が壊れてしまう現象です。
信用割当問題「結果の良し悪しは、どの重みのおかげ／せいなのか」を特定する難しさの…
連鎖律「関数の中に関数がある」ときの微分を、掛け算に分解して計算する法則で…

16. 最適化手法24語

AdaGradよく動くパラメータほど学習率を小さくして、動きを穏やかにする手法です…
AdaDeltaAdaGradの「学習が止まる」問題を直し、初期学習率の設定も不要に…
RMSprop直近の勾配だけを見て学習率を調整し、AdaGradの弱点を解消した手…
Adam「慣性」と「学習率の自動調整」を両立させた、現在の標準的な最適化手法…
AdaBound序盤はAdamのように速く、終盤はSGDのように安定して収束させる手…
AMSBoundAMSGradの収束性の改善と、学習率の上下限という工夫を組み合わせ…
鞍点馬の鞍のような形の点。方向によって上りにも下りにも見え、勾配が0にな…
イテレーション重みを1回更新することを1イテレーションといいます。
エポック訓練データを最初から最後まで1周することを1エポックといいます。
オンライン学習データが届くたびにその場でモデルを更新していく学習方式です。
学習率1歩の大きさを決める値。大きすぎても小さすぎてもうまくいきません。
確率的勾配降下法 (SGD)一部のデータだけを使って更新する勾配降下法。揺らぎがあることが逆に利…
グリッドサーチ候補の値をすべての組み合わせで試して、最も良かったものを選ぶ方法です…
勾配降下法坂道を下るように、損失が小さくなる方向へ少しずつパラメータを動かす手…
局所最適解まわりを見れば一番低いけれど、全体で見ればもっと低い場所がある——そ…
早期終了検証データの成績が悪くなり始めたら、そこで学習を打ち切る手法です。
大域最適解損失関数の中で、本当に一番低い場所のことです。
二重降下現象モデルを複雑にしていくと、誤差がいったん悪化してから、また良くなる現…
ノーフリーランチの定理「どんな問題でも一番強い手法」は存在しない、という定理です。
ハイパーパラメータ学習では決まらず、人間があらかじめ決めておく設定値のことです。
バッチ学習全データをまとめて使い、1回だけ重みを更新する学習方式です。
ミニバッチ学習データを小分けにして、そのかたまりごとに重みを更新していく学習方式で…
モーメンタムボールが坂を転がるように、これまでの勢いを次の更新に引き継ぐ手法です…
ランダムサーチ候補をランダムに選んで試す方法。項目が多いときはこちらが有利です。

ご利用にあたって　本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。