④ ディープラーニングの要素技術／ 22. 回帰結合層

教師強制とは

教師強制とは、学習時に、前時刻の予測値ではなく正解ラベルを次の入力として使用する手法です。収束を高速化しますが、推論時との差に注意が必要です。

この用語はG検定シラバスの「22. 回帰結合層」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

学習中だけ「正解」を次の入力に使うことで、学習を速く進める手法です。

なぜ速くなるのか

系列を生成するモデルでは、前時刻の出力を次の入力に使います。しかし学習の初期は予測が的外れなので、間違った入力から次を予測することになり、誤差が積み重なって学習が進みません。

教師強制では、学習中は常に正しい入力が与えられるため、各時刻の予測に集中でき、収束が速くなります。

問題は、実際に使うときには正解が与えられないことです。モデルは自分の予測を入力にする状況を学習していません。

そのため一度間違えると、経験のない状態に入ってしまい誤りが連鎖しやすくなります。この学習時と推論時の条件の食い違いが教師強制の弱点として押さえておきたいところです。

学習時と推論時のずれを緩和するため、正解を使う確率を学習の進行とともに下げていく方法が考案されています。

序盤は正解を多く与えて学習を進め、終盤は自分の予測を使わせて本番に近い条件に慣れさせるという考え方です。