G検定対策
④ ディープラーニングの要素技術 / 22. 回帰結合層

リカレントニューラルネットワーク (RNN)とは

RNNとは、内部に再帰構造(ループ)を持ち、時系列や文章を扱えるニューラルネットワークの総称です。LSTM・GRUはRNNの発展形にあたります。

この用語はG検定シラバスの「22. 回帰結合層」に含まれます。 章全体の用語は用語解説④(全60語)にまとまっています。

一言でいうと

前の時刻の状態を引き継ぎながら系列を処理していくニューラルネットワークです。

再帰構造とは

通常のニューラルネットワークは入力から出力へ一方向に流れます。RNNは自分の出力(隠れ状態)を次の時刻の入力に戻すループを持ちます。

これによって「それまでに何があったか」を状態として保持でき、時系列データや文章を扱えます。

RNNの再帰構造と時間方向への展開。前の時刻の出力を次の時刻の入力として受け取る
前の時刻の出力(隠れ状態)を次の時刻の入力として受け取る構造。時系列・文章など「順番に意味があるデータ」を扱えるようになる。ただし系列が長くなると勾配消失が起きやすく、LSTMやGRUで改善された。

苦手なこと

学習はBPTTで行いますが、同じ重みを何度も掛け合わせるため勾配消失問題が起きやすくなります。

結果として長期依存の学習が苦手で、これを克服するためにLSTMGRUが生まれました。

その後の流れ

RNNは逐次処理のため並列計算ができず、学習に時間がかかるという弱点もありました。

この2つの弱点をAttentionによって解決したのがTransformerです。RNN → Attention → Transformerという流れで理解しておくと、この章全体が整理できます。

何を入力できるか

RNNは入力と出力の長さの組み合わせで用途を整理できます。

長さが違ってよい点が固定長を前提とする全結合層との大きな違いです。

🎯 G検定での押さえどころ

  • 再帰構造(ループ)を持つ
  • 長期依存が苦手(勾配消失)→ LSTM・GRUへ
  • 並列計算ができない→ Transformerへ

⚠️ よくある誤りの選択肢

  • 「RNNは並列計算が得意である」→ 誤り。逐次処理のため並列化できません
  • 「LSTMはRNNとは別系統のモデルである」→ 誤り。RNNの発展形です

📘 もっと深く学ぶ

関連する用語

スポンサーリンク

ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。

\ 公式LINE・登録無料 /

友だち追加で4大特典をプレゼント中🎁

E資格ミニ模試(全15問)/覚えておくべき数式チェック49本
医療現場の生成AI安全活用ガイド/医療AI用語事典100

📱 友だち追加して特典を受け取る

▶ 特典のくわしい内容を見る