⑤ ディープラーニングの応用例／ 29. 深層強化学習

ドメインランダマイゼーションとは

ドメインランダマイゼーションとは、シミュレーション環境の物理パラメータや見た目を学習時にランダムに変化させることで、現実環境のばらつきに強いモデルを作る技術です。sim2real問題の代表的な解決策です。

この用語はG検定シラバスの「29. 深層強化学習」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

仮想環境の条件をわざとバラバラに変えて学習し、現実のズレに強くする手法です。

わざとばらつかせる

1つの正確なシミュレーションを作り込むのではなく、摩擦・重さ・色・照明・カメラ位置などを毎回ランダムに変えます。

すると学習したモデルは「どんな条件でも通用する方策」を身につけます。現実の条件も、そのばらつきの範囲に含まれていれば対応できます。

画像認識のデータ拡張と本質的に同じ考え方です。変動をあらかじめ見せておくことで頑健にする——この発想は分野を越えて共通しています。

sim2realのReality Gapに対する現実的な対処として広く使われています。

ばらつきの範囲が狭すぎると現実をカバーできず、広すぎると学習が困難になります。

「現実が含まれる最小限の範囲」を見極めることが実務上の勘所で、データ拡張の強さの調整と同じ性質の問題です。