③ ディープラーニングの概要／ 15. 誤差逆伝播法

連鎖律とは

連鎖律とは、合成関数の微分を、各関数の微分の積として表す微分法則です。誤差逆伝播法は連鎖律を用いて各層の勾配を計算する点が試験で重要になります。

この用語はG検定シラバスの「15. 誤差逆伝播法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

「関数の中に関数がある」ときの微分を、掛け算に分解して計算する法則です。

ニューラルネットワークとの関係

ニューラルネットワークは、層を通すたびに変換を重ねる巨大な合成関数です。入力が第1層を通り、その結果が第2層を通り…と続きます。

「最終的な誤差が、ある層の重みによってどれだけ変わるか」を知りたいとき、連鎖律を使えば各層の微分を掛け合わせるだけで求まります。これが誤差逆伝播法の計算そのものです。

掛け算の順序をうまく取ると、出力層から入力層へ向かって順に計算していけることが分かります。これが「逆伝播」と呼ばれる理由です。

この仕組みによって、信用割当問題——どの重みがどれだけ誤差に寄与したか——を効率よく解けるようになりました。

微分を掛け合わせるということは、1より小さい値が続けば急速に0へ近づくことを意味します。これが勾配消失問題であり、逆に大きい値が続けば勾配爆発問題になります。

実装では、計算の流れを計算グラフという図として扱います。各ノードが1つの演算を表します。

順方向に計算して出力を求め、逆方向にたどって勾配を求める——連鎖律を機械的に適用できる形に整理したものです。この仕組みのおかげで、複雑なネットワークでも自動的に勾配を計算できます。