久木田 水生 名古屋大学情報学研究科准教授

「AI兵器」とは何か

人工知能(AI)を使った「AI兵器」とは何でしょうか。

「AI兵器」を議論する際、論点となるのは、攻撃するかどうかの意思決定に人間が介在しているかどうかです。兵器の運用には通常、「認識する」→「意思決定する」→「攻撃する」という三つのステップがあります。このうち「意思決定」以外の場面では、AIはすでに広く使われるようになっています。例えば、AIの一種である「機械学習」は、画像を認識し、標的を設定する際など、すでにさまざまな場面で兵器システムに使われているそうです。ただし、現在のところほとんどの兵器システムの運用において、攻撃するかどうかの判断は人間が行っているといわれています。

一方、人間の関与なしに自律的に攻撃目標を設定し、攻撃する兵器は「自律型致死兵器システム」(LAWS：Lethal Autonomous Weapons Systems)と呼ばれます。アメリカやロシア、イスラエルなどで開発が進んでいます。例えば、空中で待機しながら、標的を認識すると自動的に体当たりして爆発するような兵器は、「自律型致死兵器システム」の一種だと言えます。

上記三つのステップのうち、どこかに人間による制御が介在している状態を、「ヒューマン・イン・ザ・ループ」と呼びます。一方、「意思決定」までを機械に任せ、人間は監督するだけの状態は、「ヒューマン・オン・ザ・ループ」と呼ばれます。このように、意思決定に人間がかかわっているかどうか、そこをAIに任せるかどうかが、「AI兵器」を議論する際の大きな論点となっています。

ドローン型兵器の倫理的問題

人間が意思決定を行う遠隔操作型のドローンにも、倫理的な問題が指摘されています。私がドローンの問題として最も懸念しているのは、戦争の範囲が拡大し、結果として民間人の犠牲が増えていることです。

ドローンを使えば、「戦争」の被害を最小限に食い止められるという意見もあります。しかし、現実に起きているのは、戦争の空間的時間的拡大であり、民間人の犠牲の拡大です。

なぜそうなってしまうのでしょうか。これまでなら街中に潜伏するテロリストを殺害するために、生身の人間が現地に潜入する必要がありました。しかし、ドローンを用いればそれをする必要がなくなります。その際、相手国の民間人が犠牲になるかもしれませんが、自国の兵士の犠牲は減らせます。

こうした状況がかえって戦争の拡大を招いているのかもしれません。つまり、「できるから、やってしまう」。ドローンによって、それまでの戦争のルールがゆがめられた結果、戦争は拡大し、民間人の犠牲が増えているのです。自国の兵士の命を守るために相手国の民間人を殺害していいのでしょうか。テロリストと同じ国に住んでいるというだけで、民間人が巻き添えにされていいのでしょうか。許されないはずです。「命の格差」が拡大しています。

しぼむ良心の呵責

『ブラックホーク・ダウン』という映画の題材になった「モガディシュの戦闘」は、アメリカ世論に強いインパクトを与えました。国外の紛争地で撃墜されたヘリコプターに搭乗していた兵士を救出するため、多数の犠牲者を出した作戦です。オバマ大統領はかつてある演説の中で、この事件を引き合いに出し、ドローンの使用を正当化しました。

ベトナム戦争に対して、大きな反戦運動が起きたのは、ベトナムから帰還した兵士たちが、それがいかに悲惨だったのかを強調し、それが反戦運動と強く結び付いたからでした。しかし、ドローンによって自国兵士の犠牲が減ると、反戦を求める声も小さくなります。相手国の民間人が犠牲になっても大きなニュースにはなりづらいのが実態です。

とはいえ、ドローンを題材にした映画も、製作されています。『アイ・イン・ザ・スカイ』では、ドローンのオペレーターが、遠く離れた国の子どもを標的の巻き添えにして殺害してしまい、良心の呵責にさいなまれます。

これが自律型致死兵器になったらどうなるでしょう。良心の呵責にさいなまれるオペレーターは存在しません。民間人の犠牲はますます見えづらいものになり、世論はますます無関心になり、その結果、戦争が拡大するのではないかと懸念しています。

使用禁止の議論

これまで自律型致死兵器システム(LAWS)への反対意見をけん引してきたのは、「Campaign to Stop Killer Robots」のようなNGOですが、国連の特定通常兵器使用禁止制限条約(CCW)の専門委員会の下でも、継続的に議論が行われています。

現時点では、30カ国がLAWSの使用禁止を求めています。ただし、先進国の多くは使用禁止を求めていません。

AI自体はさまざまな兵器システムに幅広く活用できるため、原子爆弾や生物・化学兵器、地雷などと違って、何を規制すべきかがあいまいです。また、「自律型」という点でも、どこからが「自律型」なのかの定義もあいまいです。

CCWは、「不必要な苦痛を与えない」「無差別の効果を与えない」ことなどを兵器の使用禁止の要件にしてきました。しかし、LAWSはそれらに当てはまるとは必ずしも言えません。こうした議論が、LAWSの規制を難しくしています。禁止のためには新しい根拠や規範をつくり出す必要があるでしょう。

使用禁止を求める人たちは、攻撃の意思決定に人間が必ずかかわるべきであると主張しています。その中でよく使われるのが、「meaningful human control」という言葉です。意味のある形で人間が兵器システムを制御できるという意味です。例えば、起動のスイッチを押せばあとは機械任せというのでは、人間が意味のある形で関与しているとは言えません。人間の関与を意味のある形でどう担保していくのかが問われています。

IT業界で働く人たちへ

AIは、状況判断や意思決定の補助にも活用されるようになっています。企業での人事や裁判、医療の現場などでも使われています。現在のAIは、個別の判断では誤ることはあっても、かなり高い精度で、トータルで見たときの利益を最大化してくれます。しかし、そうした状況判断を、戦争を始める際や戦場での攻撃の際に使うべきでしょうか。非常に難しい問題です。

また、自律型兵器があるからこそ、起きてしまう戦争があるかもしれません。AIの存在が戦争を拡大するリスクに注意を向ける必要があります。

IT業界で働く人たちには、自社の開発しているプロダクトが、何に使われ、社会にどのような影響を与えるのかを意識してほしいと思います。製作したプロダクトが悪用されても、私には関係がないと思うのではなく、どのように悪用される可能性があるのかを考え、その影響をできるだけ少なくすることまで考えてほしいと思います。

工学倫理においても、現場の人たちの声を尊重すべきだと強調されています。NASAのスペースシャトル「チャレンジャー号」の失敗も、現場の声を押し切って、組織のメンツを優先した結果でした。組織の中に多様な意見があり、議論する風土が大切です。現場から声を上げてほしいと思います。