敵対的サンプル
Adversarial Example
AIにわざと誤った判断をさせるために特殊な加工を施したデータのこと。
簡単に説明すると
敵対的サンプルは、AIの判断をわざと狂わせるために作られた特殊なデータのことだよ。 人間の目には普通のパンダの写真に見えても、人間には見えない小さなノイズを混ぜることで、AIだけに別の動物だと勘違いさせることができるんだ。 自動運転の標識認識をわざと誤作動させる攻撃の防止や、AIのセキュリティ上の弱点を調べるテストなどで使われているんだよ。
名前のヒミツ
敵対的サンプルは、AIをだます目的を意味する「敵対的」と、入力データを意味する「サンプル」を合わせた言葉なんだ。 英語ではAdversarial Exampleと呼ばれるんだよ。
くわしく見てみよう！
敵対的サンプルとは、AIに間違った判断をさせる目的で特殊な加工を加えたデータのことだよ。
画像や音声、文章などのデータに特殊な変化を与えることで、AIの認識システムを意図的に誤作動させるんだ。
人間に見えない微小なノイズを加える手法が有名だけど、AIの計算処理の隙を突いて意図通りの誤判定を引き起こすデータ全般を指すんだよ。
AI（深層学習など）はデータの複雑な特徴を計算して判定を行っているため、その計算過程の判断境界を突くような特定のパターンが入力されると判断を大きく誤ってしまうんだ。
デジタルデータでは、画像全体に計算された極小の数値を加算してAIの認識を揺さぶる手法などが使われるよ。
また、デジタルデータの編集だけでなく、現実世界での攻撃手法（物理攻撃）もあるんだよ。
実物の道路標識に特殊な模様のステッカーを貼ることで、自動運転のカメラに標識を誤認させる手法などが知られているんだ。こちらは人の目にもステッカーが見えるけれど、カメラ撮影時の角度や明るさの変化に耐えてAIをだます、敵対的サンプルの一種なんだよ。
また、こうした攻撃が成立してしまうのは、AIが学習データにない未知のパターンに弱いから、というだけではないんだ。学習に使ったのと同じような普通のデータの中にも、判断境界のすぐ近くに位置するものが数多く存在していて、そこにほんのわずかな変化を加えるだけで判定が反対側にひっくり返ってしまう。これがAIの計算の仕組みに根ざした構造的な弱点なんだよ。
対策としては、敵対的サンプルをあらかじめ作ってAIに学習させることで、そうした入力への耐性を高める「敵対的学習」という手法があるよ。