⑤ ディープラーニングの応用例／ 29. 深層強化学習

ノイジーネットワークとは

ノイジーネットワークとは、ネットワークの重みに意図的にノイズを加えることで、探索行動を自動生成させる仕組みです。ε-greedyのような手動の探索制御を不要にします。

この用語はG検定シラバスの「29. 深層強化学習」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

重みにノイズを混ぜることで、探索そのものを学習に組み込む仕組みです。

ε-greedyの不便さ

ε-greedy方策では、人がεの値と減衰の仕方を決める必要がありました。また探索が完全にランダムなので効率もよくありません。

ノイジーネットワークは重みにノイズを加えます。そのため同じ状態でも出力が毎回わずかに変わり、自然に探索が起こります。

さらにノイズの大きさ自体も学習で調整されます。まだ不確かな部分は大きく探索し、確信が持てた部分は探索を減らす——という振る舞いが自動的に生まれます。Rainbowの構成要素の1つです。

学習が進んで確信が持てた部分ではノイズが小さくなり、自然に活用へ寄っていきます。

人が減衰スケジュールを決めるε-greedyと違い、調整が自動化される点が実務的な利点です。