TED日本語 - ダニエル・スアレース: 人殺しの決定をロボットに任せてはいけない

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - ダニエル・スアレース: 人殺しの決定をロボットに任せてはいけない

TED Talks

人殺しの決定をロボットに任せてはいけない
The kill decision shouldn't belong to a robot
ダニエル・スアレース
Daniel Suarez

内容

ダニエル・スアレースが普段小説家として描き出しているのは悲観的未来像ですが、TEDGlobalのステージで彼が語るのは私達がもっと知らなければならない現実のシナリオ、自律的ロボット兵器の台頭です。最新鋭のドローン、自動兵器、人工知能搭載の諜報ツールなどが、人の手を離れて自ら決断を下す可能性を彼は示しています。

Script

I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones.

Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy.

Now, lethally autonomous killer robots would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on, because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history.

For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that. Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form.

So again, the tools we use to resolve conflict shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy.

Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself.

The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around.

But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011 when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own.

Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons: plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon.

This raises the very real possibility of anonymous war. This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government, autonomous robotic weapons could undermine both.

Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data, transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons.

What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology, because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group, and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests. And this would put a chill on free speech and popular political action, the very heart of democracy.

And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions.

Now in November 2012 the U.S. Department of Defense issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power in too few hands, and they would imperil democracy itself.

Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons?

I think the secret will be transparency. No robot should have an expectation of privacy in a public place.

(Applause)

Each robot and drone should have a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence. And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility.

But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society.

We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them. Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction.

Thank you.

(Applause) Thank you. (Applause)

私はSFスリラーの小説家です その私が「殺人ロボット」と言ったら おそらく こんな感じのものを想像されるでしょう でも 今日はフィクションの話をしに来たのではありません まさに現実化している「殺人ロボット」― そう 完全自律型の戦闘ドローンのことを話しに来ました

ご存知のプレデター型やリーパー型のことではありません これらの無人機は 標的の決定を人間が行っています 私は完全自律型のロボット兵器のことを言っているんです このロボット兵器は人間殺害の決定を ロボット自体が行います 実は これを指す専門用語もあります「完全自律型殺傷機能」です

「完全自律型殺傷機能」を持つ殺人ロボットは 多様な姿で現れます飛行し 走行し あるいは 待ち伏せするようなものもあるでしょう 実は これらのロボットは急速に現実のものとなりつつあります この2種類の自動狙撃装置は 現在 北朝鮮との非武装地帯の韓国側に配備されています この機械はどちらも攻撃対象となる? 人間を自動的に特定し銃撃する機能があります 左側のものには1キロ以上の射程があります 現在のところは どちらの機械でも射殺決定の枠組みに 今のところは人間が介在しています しかし 技術的には人を要するわけではなくそこに人を介在させる選択をしたわけです この選択こそが今日 私が焦点を当てたいことです なぜなら この殺人の意思決定が 人間からソフトウェアに移行しつつあって それは 戦争から人間性を取り去ってしまうだけでなく 戦場から遠く隔たった社会の情勢をも 変えてしまう危険があるからです なぜなら人間が対立を解決する方法によって私たちを取り巻く社会情勢が 形成されるからです 歴史上ずっとそうやって形成されてきたのです

たとえば 西暦1400年にはこれが最先端の― 兵器システムでした 両方とも 作るのも維持するのもとても高く付きましたが これがあれば民衆を支配できました 封建社会の政治権力の分布は誰が武力を持つかを反映し 力は権力のトップにいる人に集中していたのです それから何が変わったのでしょう?技術革新です 火薬 大砲 すぐに 甲冑と城は時代遅れになりました 戦場に誰を連れて行くかは重要でなくなり 戦場にどれだけの人数を送り込めるかが重要になりました 軍隊の人数が増えるようになると防衛のための? 政治的 物流的な要請から国家が必要となりました 指導者は民衆に依存する必要が出てきて 力が共有されるようになりました そして代議制が形成されだします

ここでもまた対立解消にどんな手段を取るかが 私たちを取り巻く社会情勢を形作っています 自律ロボット兵器もそのような手段の1つです ただ戦争を始めるのに非常に少数の人間しか必要としないため ごく少数の人の手に力を再び集中させるリスクがあります 民主化の流れを 5世紀分ほど逆戻りさせてしまうかもしれません

でも 私たちが このリスクを理解していれば民主主義制度を守るための断固たる措置を取れます 人間が長けている能力によって?すなわち適応力です しかし タイミングが重要です 70の国が遠隔操縦可能な― 戦闘ドローンを独自に開発しています おわかりと思いますが遠隔操作戦闘ドローンは 自律ロボット兵器を作り始める前兆です なぜなら遠隔操作の無人機が 一旦配備されてしまうと意思決定を人の手から 兵器そのものへと押しやることになる大きな要因が3つあるからです

1つ目の要因は無人機が撮影するビデオが膨大になることです たとえば 2004 年に米国のドローン軍団が撮影した 分析が必要な偵察映像は総計71 時間でした それが2011 年には 30万時間へと増えたのです すべてを確認するのは人間の能力を超えてしまいました しかも この時間はまだまだ増加しそうです 米国防総省のゴルゴンステアやアーガスという計画では 最大65個の独立したカメラの目を 個々のドローンに付けるもので これは人間が確認できる量を大幅に上回るものとなります こうなると関心を引く対象を発見するために 視覚情報分析ソフトの力が必要になります これは じきにドローンが 注目すべき所を人間に指示するようになるということで 人間側からではありません

意思決定を人間から機械へと 強く推しやる2つ目の要因は 電磁波による妨害です 妨害されるとドローンと遠隔操作者の間の 通信が途切れてしまいます 2011年に これが起こった例がありました アメリカ軍の RQ-170 センチネル ドローンが イラン軍による GPS 信号のなりすまし攻撃で混乱させられたのです 遠隔操作型のドローンである限りこの種の攻撃には弱いものです つまりドローンは 意思決定の より多くの割合を背負わなければならなくなるのです ドローンは 作戦目的を把握し 人間の導きなしに新しい状況に対応するようになるでしょう ドローンは 外部からの無線信号を無視し 自分側からは ほとんど発信しなくなります

そして ここから? 3つ目の最も強力に意思決定を 人から兵器へ移すように促す要因が出てきます それは「まことしやかな関与否定」です 私たちは グローバル経済の時代にいます ハイテク製品の製造はほとんどの大陸で行われています サイバー諜報戦の一環で先進的設計を 様々な部品に隠しますが このような環境では ドローン設計が契約工場で模倣される可能性が非常に高いのです そして裏市場へと拡散します こんな状況では自爆攻撃ドローンの残骸を 調査したところで 兵器で攻撃を仕掛けたのが誰なのかわかりません

見えない敵との戦いが 非常に現実的な可能性として浮かび上がります 地政学的なバランスを180度変えてしまう可能性があり 国家が攻撃してきた相手へ反撃することを非常に困難にします これによって 21世紀において防衛中心の考えから 攻撃中心の考えへと重心が変わってしまうかもしれません 匿名での攻撃が可能になることで 小国家や 犯罪組織民間企業 さらには有力な個人にさえ 軍事行動が有効な手段となりえるのです これは 法の支配と市民社会の土台を壊してしまい 群雄割拠の情勢を作り出すかもしれません 責任と透明性は 代議制を支える土台と言えるかもしれませんが 自律ロボット兵器はその両方を弱体化させる可能性があります

みなさんは こう考えるかもしれません ハイテク諸国の市民なら ロボット戦争で優位に立っていて これらの国の市民は危険にさらされにくいと考えるかもしれません 特に途上国が相手ならなおさらです しかし 真実は全く逆だと思います ハイテク社会の市民は より大きく ロボット兵器の危険にさらされています この理由は 1語に要約できます「データ」です データは ハイテク社会を動かしています 携帯電話の位置情報電話の会話から集められるメタデータ ソーシャルメディア 電子メールSMS 金融取引のデータ 交通機関や移動のデータなどですこれらは人々の活動や 社会的な交流を表す膨大なリアルタイムデータの塊です だから 私たちは歴史上のどんな時代の人たちよりも 機械に行動が筒抜けになっているのです これは自律的兵器が標的を探すために絶好のものとなります

いま画面に映っているのは ある社会的集団がどうつながっているか分析した図です 線は個人間の社会的なつながりを示しています 現代人が日常的に残すデータの痕跡から このような図を自動的に生成することができます この技術は通常は人口動態で標的を割り出して 商品やサービスを販売するのに使われますが諸刃の技術でもあります 標的を割り出す技術が別の用途に使われるからです 赤色で表示されている人たちがいますが これは 社会的なネットワークのハブとなっている人たちです この人たちは 組織のまとめ役やオピニオンメーカーやリーダーです この人たちも通信のパターンを追跡することで 自動的に見つけ出すことが可能です マーケティング担当者なら 社会的グループにブランドを広めるために 製品サンプルを送る標的にするでしょう しかし もし抑圧的な政府で 政治上の敵となる相手を探しているなら彼らは排除する標的となるでしょう リーダーを抹殺し社会的グループを混乱させ そして 残されたグループの人たちは社会的つながりや 組織を失ってしまいます 安いロボット兵器が拡散するような世界になったら 遠くにいる政府反対派や 国際的犯罪組織に対し 国境はほとんど防衛線になりません 支持されて 変革を起こすような扇動活動があれば クリティカルマスに到達する前に早期に検出されてしまい 指導者は排除されるようになるでしょう アイデアがクリティカルマスに到達できる環境は 人民政府における政治運動の全てと言ってもいいでしょう 正体不明の殺戮兵器があることであらゆる利害の対立において 殺害という選択が簡単にできてしまうようになるでしょう そして このことは民主主義のまさに中核と言える 言論の自由や支持される政治的行動を縮み上がらせることになります

これが 私たちに ロボット兵器の国際条約が 必要な理由です特に世界全体での 殺人ロボットの開発と配備を禁止することが必要です 私たちにはすでに核兵器と生物兵器に関する 国際条約があります不完全ではありますが 条約は概ね効力を発揮してきました しかし ロボット兵器は 全ての点で同じくらい危険なもので ほぼ確実に使われるようになるでしょう そして 民主主義制度を蝕むものになるでしょう

2012年11月に米国防総省が すべての殺害に関する意思決定に 人間の介在を義務づける命令を出しました これによって ひとまずは米軍の自律的兵器を事実上禁止しました しかし その命令を恒久化する必要があります これが行われれば世界が同じように行動する基準となりえます ロボット兵器の国際的な法的枠組みは 必要なものなのです しかも 今必要なのです壊滅的な攻撃が起きたり テロ事件が起きたことが引き金となって世界の国々が ロボット兵器が招く帰結を熟慮せずに これらの兵器をこぞって採用するようになる前に必要なのです 自律ロボット兵器を使うと 少数の手に 余りに大きな力が集中することになり民主主義そのものを危うくしてしまうでしょう

でも 誤解しないでください民生の非武装無人ドローンには 優れた用途が沢山あると考えています 自然環境の観測や捜索と救難 輸送などです もし ロボット兵器の国際条約があるとして どのようにすれば自律無人機や自律走行車の利便を享受しつつ 違法なロボット兵器に対して 身を守ることができるでしょうか?

成功の秘密は透明性にあるはずです 公共の場所にいる限りロボットに? プライバシーがあるなどと思ってもらっては困ります

(拍手)

ロボットやドローンは1体1体 全てが 工場出荷時に個体番号を暗号技術で署名し 公共の場所での動きを追跡できるようにするべきです 既に車にはナンバー プレートがあり航空機には機体記号があります ロボットも例外ではありません 公共の空間を移動している― ドローンや自律走行車の所在を示すアプリを 誰でもダウンロードできてしかるべきです 現時点と過去の記録の両方を把握可能にすべきです 市民のリーダーは不正なドローンを探索する― 探知機や無人偵察機を展開すべきです そして 不正ドローンを撃墜する攻撃ドローンを送りこむ代わりに 人間に ドローンが居ることを知らせるべきです 高い安全性が求められる地域なら不正ドローンを 市民のためのドローンが捕獲して 爆弾処理施設へと引っ張って行くこともできるでしょう

これは兵器システムというより免疫システムということに 注意してください こうすれば 自律走行車両やドローンを 人間側が利用しつつ 開かれた市民社会を維持できます

私たちは 殺人ロボットの開発と配備を 禁止する必要があります 戦争を自動化する誘惑に負けないようにしましょう 独裁政府や犯罪組織は間違いなくその魅力に屈するでしょうが 私たちは その同類にならないようにしましょう 自律ロボット兵器は あまりにも強力な力を ごくわずかな人の手に集中させることになります そして 民主主義制度を蝕むものになるでしょう 民主主義のために殺人ロボットは フィクションだけのものにしておきましょう

ありがとう

(拍手) ありがとう(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画