ページの先頭です

AIとセキュリティ―AIは安全か?―

2018年5月29日 情報通信研究部 吉永 成利

ビジネスや生活の中で様々な活用方法が注目されるAIだが、AIがヒトと違う振る舞いをすることに起因するセキュリティ面の懸念も指摘されている。本稿では、AIに対する攻撃とAIを用いた攻撃について紹介しつつ、AIとセキュリティの関係について考えてみたい。

AIの不可解な動作―パンダの画像―

ニューヨークタイムズ紙の記事(*1)により世の中で深層学習が認知され始めてまもなく、その翌年の2013年に、「敵対的サンプル(*2)」と名付けられた不思議な画像の作り方が発見された。その画像とは、ヒトにはわからない微小な加工をオリジナル画像に施すことで、画像認識用AIに誤った認識をさせてしまうものである。「敵対的サンプル画像 パンダ」というキーワードでイメージ検索をすることで具体例を見ることができる。その画像は、ヒトの目ではパンダにしか見えないが、AIには「テナガザル」だと認識される。「AI君、ダイジョウブか?」と言いたくなる現象である。

敵対的サンプルと自動運転システム

「敵対的サンプル」を応用してAIに誤動作をさせる研究も進んでいる。例えば、自動運転システムに使われる車外画像認識AIをだまして、画像からヒトの存在を消す手法についての研究である。その論文では、横断歩道を数人が渡っている画像が、AIによる認識では人間が全て消えているという恐ろしい事例が示されている。「AIに人がいないと思わせる方法」が存在するのである。しかも、この誤動作を引き起こすデータは汎用的なため、攻撃に用いられる可能性が無視できない。誤動作を引き起こす画像をプロジェクションマッピングの手法で道路に照射する、あるいは自動運転車のカメラに向けて照射する、などの攻撃によって現実画像と重ね合わせることで、AIがニセ画像とは気付かずに誤認識する可能性があり、とても怖い。

また、ヒトの目には悪戯のように見えるのだが、交通標識に小さな四角いシールを何枚か貼るだけでAIに標識を誤認識させることができるという研究もある。この研究では、「一時停止」の標識を「速度制限(45マイル)」と誤認識させている。この事例も非常に怖い。「AI君、本当にダイジョウブか?」

敵対的サンプルへの対策

「敵対的サンプル」は、AIの脆弱性として、あるいはAIの認識機能の本質近くに横たわる重要な課題として、近年最も注力される研究課題の1つとなっている。これは、AIは人間とは異なるかなり細かい情報に基づいて認識を行っていることを示唆する。現状のAIは「細部にこだわりすぎ」で、「神経質すぎる」のである。

対策は、AIがヒトと同じ程度に「鈍感になる」ことである。「AIの持つ高度な認識能力を損なわずに鈍感になる」という難しい課題なのだが、現在研究は盛んに行われており、この問題は遠からず解決されるであろう。

AIを用いた攻撃への防御

一方、自動車を用いたテロなどのニュースを見るにつけ、AIが普及した際の悪用には少なからず不安を感じる。技術が強力であればあるほど、ヒトに向けられたときの被害は増す。今後AIの普及に伴い悪用されることが増えるであろう。中でもネットワークに対する攻撃は、最も懸念される部分である。その際、防御に役に立つのは論理と経験である。いくらAIでも、数学的に証明されていることを覆すことはできないため、安全性が数学的に証明された暗号技術を可能なかぎり使いたい。もし数学的に証明できない場合には、多少泥臭いが、AIを使った攻撃にも耐えられることを充分な研究によって経験的・実証的に示す必要がある。

現在のネットワーク上のサービスが依存する暗号技術の中には安全性が証明されていないものもあり、そのいくつかには脆弱性が存在する可能性がある(*3)。もし、脆弱性が存在するなら、悪意を持った攻撃者より先に善意の研究者が発見し、対応のための時間を確保する必要がある。今後、AIを悪用した攻撃が増加する懸念もあるが、様々な情報科学的手法と共に強力なAIが活用されることで防御のための研究が加速される必要があるし、そうなることを期待したい。AIとAIの対決である。AIを敵に回すことは脅威であるが、味方につけることができればそれ以上に有用であろう。

  1. *1深層学習の認知:深層学習(Deep Learning)の紹介記事が2012年The New York Timesに取り上げられた。
    https://www.nytimes.com/2012/11/24/science/scientists-see-advances-in-deep-learning-a-part-of-artificial-intelligence.html
  2. *2敵対的サンプル:Adversarial Examples。
  3. *3なお期待を込めた予測だが、現在広く使われているAES暗号を破ることは、AIを使っても数年以内には困難だろう。
ページの先頭へ