③ ディープラーニングの概要／ 15. 誤差逆伝播法

信用割当問題とは

信用割当問題とは、最終的な出力や報酬に対して、どの層・どの重みがどれだけ寄与したかを特定するのが困難だという問題です。誤差逆伝播法はこの問題を解決する仕組みとして位置づけられます。

この用語はG検定シラバスの「15. 誤差逆伝播法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

「結果の良し悪しは、どの重みのおかげ／せいなのか」を特定する難しさのことです。

なぜ難しいのか

ネットワークの出力は、無数の重みが複雑に絡み合った結果として生まれます。誤差が大きかったとき、どの重みをどちらへ動かせばよいのかは一見しただけでは分かりません。

層が深くなるほど、出力から遠い層の寄与を見積もることは難しくなります。これが多層化を阻んでいた大きな壁でした。

連鎖律を使えば、各重みが誤差にどれだけ影響したかを数学的に計算できます。

これによって信用割当問題は解決し、深いネットワークの学習が実用になりました。「信用割当問題＝課題、誤差逆伝播法＝その解決策」という対応で覚えておきましょう。

同じ言葉は強化学習でも使われます。ゲームに勝ったとき「どの一手が勝因だったのか」を特定するのが難しい、という文脈です。報酬が遅れて与えられるほど難易度が上がります。

出力から遠い層ほど、結果への寄与を見積もることが難しくなります。

誤差逆伝播法で計算自体はできるようになりましたが、勾配消失問題が起きると入力層側には情報が届かなくなり、実質的に信用割当ができない状態に戻ってしまいます。ReLUやスキップ結合が重要なのはこのためです。