⑤ ディープラーニングの応用例／ 29. 深層強化学習

sim2realとは

sim2realとは、シミュレーション環境（sim）で学習したモデルを、現実環境（real）へ転移・適用する技術です。シミュレーションと現実の差（Reality Gap）が課題となります。

この用語はG検定シラバスの「29. 深層強化学習」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

仮想空間で大量に学習させ、その成果を現実の機械に持ち込む技術です。

なぜシミュレーションを使うのか

ロボット制御などでは、実環境での試行錯誤がコスト・危険・時間の面で困難です。失敗すれば機械が壊れます。

仮想空間なら何度失敗しても安全で、高速に大量の試行ができます。まず仮想で学習し、成果を現実へ持ち込むのがsim2realの発想です。

問題は、シミュレーションが現実と完全には一致しないことです。摩擦・重さ・光の当たり方など、わずかな差で動作が破綻します。

代表的な対処がドメインランダマイゼーションです。シミュレーション側の条件をあえてばらつかせて学習することで、現実の条件も「想定内」に含めてしまいます。

シミュレーションを精密にするほど差は縮まりますが、作り込みには限界とコストがあります。

そこで「精密に作る」のではなく「ばらつかせて頑健にする」というドメインランダマイゼーションの発想が有効になりました。