⑤ ディープラーニングの応用例 ／ 32. マルチモーダル
CLIPとは
CLIPとは、画像とテキストを共通のベクトル空間に埋め込み、両者の類似度学習を行うモデルです。学習データに含まれないクラスに対しても推論可能なゼロショット学習を実現します。
この用語はG検定シラバスの「32. マルチモーダル」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
画像と文章を同じ空間の点として表し、対応するもの同士を近づけたモデルです。
同じ空間に置く
画像とテキストを別々に処理し、それぞれをベクトルに変換します。このとき対応するペア（画像とその説明文）が近い位置に来るよう学習します。
これは対照学習の考え方そのものです。「対応するものは近く、対応しないものは遠く」という原則で大量のペアから学習します。
ゼロショット分類ができる
分類したいとき、「犬の写真」「猫の写真」といったテキストをその場で用意し、画像のベクトルとの近さを比べるだけで判定できます。
学習時に存在しなかったカテゴリでもテキストで表現できれば分類できてしまいます。これがZero-shotの代表的な実現例です。
学習データの規模
CLIPはインターネット上の膨大な「画像とその説明文」のペアで学習されています。
人手でラベル付けせずに済むため大規模化できました。自己教師あり的な発想がここでも効いています。
🎯 G検定での押さえどころ
- 画像とテキストを共通のベクトル空間に埋め込む
- 対照学習で「対応するものを近づける」
- ゼロショット分類を実現する
⚠️ よくある誤りの選択肢
- 「CLIPは画像のみを扱うモデルである」→ 誤り。画像とテキストの両方を扱います
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「距離学習（Metric Learning）」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。