⑤ ディープラーニングの応用例／ 33. モデルの解釈性

Permutation Importanceとは

Permutation Importanceとは、特徴量をランダムにシャッフルした際の性能低下量から重要度を評価する手法です。モデル非依存で直感的な一方、特徴量間の相関が強い場合に重要度が過小評価されやすい欠点があります。

この用語はG検定シラバスの「33. モデルの解釈性」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

ある特徴量をわざと壊してみて、性能がどれだけ落ちるかで重要度を測る手法です。

壊してみて確かめる

ある特徴量の値をランダムに入れ替えてめちゃくちゃにします。その状態で性能を測り直します。

性能が大きく落ちればその特徴量は重要だったと分かります。ほとんど変わらなければ重要ではなかったということです。発想が単純で理解しやすい点が利点です。

身長と体重のように強く相関する特徴量が2つある場合を考えてください。

片方を壊しても、もう片方が同じような情報を持っているため性能はあまり落ちません。結果として、どちらも「重要でない」と判定されてしまいます。重回帰分析の多重共線性と似た構図です。

理論的にはSHAPのほうが厳密ですが、Permutation Importanceは説明が直感的で理解されやすいという強みがあります。

非専門家に説明する場面ではこの分かりやすさが大きな価値になります。