アメリカ国立標準技術研究所（NIST）の管理下にある脆弱性情報データベース（NIS）は昨年9月に世界で初めてAIアルゴリズムへのサイバー攻撃への警告を発表した。これはマシンラーニングを駆使して迷惑メールやメールセキュリティに取り組むサイバーセキュリティ会社Proofpointのシステムのクローンを作成することで迷惑メールなどのチェックポイントを把握しそれを回避した迷惑メールを作りだし企業などのITシステムに進入する仕組みだ。

　他にも様々な研究者たちが自動運転自動車の認識システムやテキストマイニングなどをはじめとしたAIシステムを騙す攻撃AIなるものの可能性を警告しておりそれらへの対策への取り組みが進められている。既にマシンラーニングを最大限に利用しているFacebookのシステムではサイバーセキュリティ対策として従来では企業内のレッドチーム（攻撃側ハッカー役）が企業のITシステムの脆弱性を試すという形だったのが近年ではこれらのレッドチームにAIを組み込んでいくことでAI同士の攻撃と防御のイタチごっこ状態となった。

　マイクロソフトのAIセキュリティのR am Shankar Siva Kumarの研究によると対象となった25の企業のうち22社がAIシステムの守備を全く行っていなかったと発表している。これらの攻撃方法には現在二つのタイプがあり、一つはホワイトボックスと言われ攻撃側が既にAIの情報を理解しているもの、もう一つはAIのアルゴリズムの中身がわからないまま多数の攻撃を仕掛け、それらの反応から学び脆弱性を見つけ攻撃するというものだ。後者の方がAIのシステムを利用した企業などへの攻撃として行われる可能性が高いと言われている。

ブラックボックス攻撃への反撃

　AIを利用したシステムを応用する企業が増えるのに応じてそれらをターゲットにしたサイバー攻撃が増える中、AIのシステムの構築の段階でそれらの攻撃を迂回するサービスを提供するテックスタートアップのニーズを生み出した。ハーバー大学教授のYaron Singerは教授として教鞭を持つ傍ら、サバティカルリーブ（特別研究期間）を利用してサンフランシスコでRobust IntelligenceというスタートアップのCEOを兼任している。これらのサイバー攻撃はAIの誤認識を利用して行われており、一番の原因として挙げられるのが敵対的事例（Adversarial Example）だ。

　これはデータに摂動（計算されたノイズ）を与えることでAIに誤認識のシステムを構築させるというものだ。主な例として挙げられるのがパンダの画像に摂動を加えたことのよってテナガザルとして誤認識してしまう研究がある。人間から見るとどちらも同じパンダの画像だがこれらの画像データをピクセルとして認識するAIにとってはノイズを与えることによって全く違うものとして認識させることが可能となる（参考：https://arxiv.org/abs/1412.6572）。