⑤ ディープラーニングの応用例 ／ 32. マルチモーダル
Image Captioningとは
Image Captioningとは、画像を入力として、その内容を説明する自然言語文を自動生成するタスクです。CNNとRNN／Transformerを組み合わせた構成が一般的です。
この用語はG検定シラバスの「32. マルチモーダル」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
画像を見て、その内容を説明する文章を自動で作るタスクです。
画像を読み、文を書く
典型的な構成は次のようになります。
- エンコーダ：CNNで画像から特徴を抽出する
- デコーダ：RNNやTransformerで文章を生成する
Seq2Seqと同じ枠組みで、入力が系列ではなく画像になったものと理解できます。
応用と課題
視覚障がいのある方への画像内容の伝達、画像検索の支援などに活用されます。アクセシビリティ向上に直接つながる技術です。
一方、写っていないものを説明文に含めてしまうことがあり、文章生成と同じハルシネーションの課題を抱えています。
評価の難しさ
同じ画像でも適切な説明は複数あります。「犬が走っている」も「白い犬が公園にいる」も正しい説明です。
そのため参照文との一致だけでは評価しきれず、生成系タスク共通の課題を抱えています。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| Image Captioning | 画像 → テキスト |
| Text-To-Image | テキスト → 画像 |
| VQA | 画像＋質問 → 回答 |
🎯 G検定での押さえどころ
- 画像 → 説明文を生成する
- CNN（エンコーダ）＋RNN/Transformer（デコーダ）
- Text-to-Image（テキスト→画像）とは逆向き
⚠️ よくある誤りの選択肢
- 「Image Captioningはテキストから画像を生成する」→ 誤り。逆向きです
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。