データポイズニング
Data Poisoning
AIに間違ったデータを学習させて誤った判断をするように誘導するサイバー攻撃。
簡単に説明すると
データポイズニングは、AIへあらかじめ嘘のデータを学ばせ、後から思い通りに勘違いさせるサイバー攻撃の手口だよ。 AIがデータから判断基準を作る性質を悪用し、不正なデータを混ぜてAIの識別能力を麻痺させてしまうんだ。 迷惑メールの自動検知を回避させたり、セキュリティのチェックを無効化させたりする目的で使われているよ。
名前のヒミツ
データポイズニングは、データという言葉と、毒を入れるという意味のポイズニングを組み合わせた名前なんだよ。 AIの学習データに不正な情報を毒のように混ぜ込む攻撃手法であることから、この名前で呼ばれるようになったんだ。日本語ではデータ汚染とも表現されるんだよ。
くわしく見てみよう！
データポイズニングとは、AIの学習データに不正な情報を混ぜ込んで誤った挙動を引き起こすセキュリティ上の攻撃だよ。
AIは大量のデータを読み込んでルールやパターンを覚えるけれど、その前提となるデータ自体に罠を仕掛けるのがこの攻撃の特徴なんだ。
ざっくり言うと、AIのお勉強に使う教科書へこっそり間違った回答を書き加えておき、テストで誤った答えを出させるような仕組みなんだよ。
攻撃者はAIに学習させる前に、わざと間違ったラベルを貼ったデータや特殊なノイズを仕込んだデータを混ぜ合わせておくんだ。
その結果、完成したAIは特定の条件が揃ったときだけ意図的に誤作動を起こしたり、本来検出するべき危険なデータを見過ごしたりするようになるんだね。
この攻撃を防ぐためには、AIに学習させるデータの収集元を慎重に選んだり、異常なデータが含まれていないか事前に検査したりする対策が必要になるよ。
また、AIが予測を出したときの挙動を常に監視し、不自然な判定が増えていないか確かめることも安全を守る上で重要になるんだよ。