⑤ ディープラーニングの応用例 ／ 32. マルチモーダル
Flamingoとは
Flamingoとは、視覚情報とテキスト情報を統合的に処理し、Few-shotで対話・推論を可能にするマルチモーダルモデルです。画像や動画に対する質問応答など、高度な理解能力を示します。
この用語はG検定シラバスの「32. マルチモーダル」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
画像や動画を見ながら、少数の例だけで対話や推論ができるモデルです。
少数の例で対応できる
特徴はFew-shotで動作する点です。タスクごとに学習し直す必要がありません。
「こういう質問にはこう答える」という例を数個示すだけで、新しい種類の課題にも対応できます。大規模言語モデルで見られた性質がマルチモーダルにも広がった形です。
画像と言語をつなぐ
視覚情報を言語モデルが扱える形に変換し、文章の流れの中に画像を差し込むように処理します。
これにより、複数の画像を含む会話や、動画に対する質問応答も可能になりました。基盤モデルのマルチモーダル版といえる位置づけです。
凍結して組み合わせる
学習済みの視覚モデルと言語モデルをそのまま固定し、つなぐ部分だけを学習する構成が取られています。
ゼロから作るより効率的で、既存の資産を組み合わせるという現実的な設計です。
🎯 G検定での押さえどころ
- 視覚情報とテキスト情報を統合処理する
- Few-shotで対話・推論ができる
- 画像・動画への質問応答が可能
⚠️ よくある誤りの選択肢
- 「Flamingoはテキストのみを扱う言語モデルである」→ 誤り。マルチモーダルモデルです
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。