Vision Transformerとは
Vision Transformerとは、画像をパッチに分割して入力し、自然言語処理のTransformer構造を直接応用したモデルです。長距離依存関係を学習可能な画像認識モデルとして注目されています。
この用語はG検定シラバスの「26. 画像認識」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
画像を小さなタイルに切って単語のように扱い、Transformerで処理するモデルです。
画像を「単語の列」にする
画像を16×16などのパッチに分割し、それぞれを1つのトークン（単語のようなもの）として扱います。あとはTransformerにそのまま入力するだけです。
順序が失われるため、位置エンコーディングを加える点も自然言語処理と同じです。
CNNとの違い
CNNは近くの画素どうしの関係を前提に設計されています（局所受容野）。これは画像に対する強い仮定であり、有効に働きます。
ViTにはその仮定がありません。最初からすべてのパッチ同士の関係を見るため、離れた領域の関係も直接捉えられます。
ただし仮定が少ないぶん大量の学習データが必要です。データが少ない場合はCNNのほうが有利になることもあります。
CNNとの使い分け
ViTは大量データがあれば強力ですが、データが少ない場合はCNNが有利です。
そのため、事前学習済みのViTを転用する使い方が一般的です。最新モデルが常に最適とは限らないというノーフリーランチの定理の実例でもあります。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| Vision Transformer | パッチ単位。全体の関係を直接学習。大量データが必要 |
| CNN | 局所受容野を前提。少ないデータでも学習しやすい |
🎯 G検定での押さえどころ
- 画像をパッチに分割してTransformerに入力
- 長距離依存を直接扱える
- CNNより大量のデータが必要
⚠️ よくある誤りの選択肢
- 「Vision Transformerは少量のデータでもCNNより高精度である」→ 誤り。大量のデータを必要とします
- 「Vision Transformerは畳み込み層を中心に構成される」→ 誤り。Transformer構造です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「Vision Transformer」（E資格向け）
- 手を動かして確かめる → Attention可視化シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。