⑤ ディープラーニングの応用例 ／ 32. マルチモーダル
Visual Question Answering (VQA)とは
VQAとは、画像と質問文を入力し、画像内容にもとづいて正解を出力するマルチモーダル推論タスクです。視覚理解と言語理解の統合が求められます。
この用語はG検定シラバスの「32. マルチモーダル」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
画像について質問すると、その内容にもとづいて答えてくれるタスクです。
2つの理解が同時に必要
「この写真に写っている人は何人？」に答えるには——
- 質問の理解：何を聞かれているのか
- 画像の理解：どこに何が写っているか
- 統合と推論：2つを結びつけて答えを導く
単に画像を説明するImage Captioningより一段階高度な理解が求められます。
マルチモーダルの試金石
質問の内容によって画像のどこに注目すべきかが変わります。この柔軟さが技術的な難所です。
そのためAttentionが重要な役割を果たし、Flamingoのようなマルチモーダルモデルの能力を測る代表的な課題になっています。
言語の偏りに注意
「バナナの色は？」に対し、画像を見ずに「黄色」と答えても正解になってしまうことがあります。
これは言語側の偏りを学習しただけで、本当に画像を見ているとは限りません。評価データの設計が重要になります。
🎯 G検定での押さえどころ
- 画像＋質問 → 回答を出力する
- 視覚理解と言語理解の統合が必要
- Image Captioningより高度な推論を要する
⚠️ よくある誤りの選択肢
- 「VQAは画像のみを入力とするタスクである」→ 誤り。質問文も入力します
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。