TED日本語 - P・W・シンガー: ロボットと戦争の未来

TED日本語

プレゼンテーション動画

TED日本語 - P・W・シンガー: ロボットと戦争の未来

TED Talks

ロボットと戦争の未来
Military robots and the future of war
P・W・シンガー
P.W. Singer

内容

戦争でロボットが広範囲に使用されることにより、実際の戦闘がどのように変わっているのかを、 P・W・シンガーが語ります。S.F.にあるようなシナリオが、今ではもう現実になろうとしています。

Script

What we're going to do is actually just flash a series of photos behind me that show you the reality of robots used in war right now or already at the prototype stage. It's just to give you a taste. Another way of putting it is you're not going to see anything that's powered by Vulcan technology, or teenage wizard hormones or anything like that. This is all real. So why don't we go ahead and start those pictures.

Something big is going on in war today, and maybe even the history of humanity itself. The U.S. military went into Iraq with a handful of drones in the air. We now have 5,300. We went in with zero unmanned ground systems. We now have 12,000. And the tech term "killer application" takes on new meaning in this space.

And we need to remember that we're talking about the Model T Fords, the Wright Flyers, compared to what's coming soon. That's where we're at right now. One of the people that I recently met with was an Air Force three-star general, and he said basically, where we're headed very soon is tens of thousands of robots operating in our conflicts, and these numbers matter, because we're not just talking about tens of thousands of today's robots, but tens of thousands of these prototypes and tomorrow's robots, because of course,one of the things that's operating in technology is Moore's Law, that you can pack in more and more computing power into those robots, and so flash forward around 25 years, if Moore's Law holds true, those robots will be close to a billion times more powerful in their computing than today.

And so what that means is the kind of things that we used to only talk about at science fiction conventions like Comic-Con have to be talked about in the halls of power and places like the Pentagon. A robots revolution is upon us.

Now, I need to be clear here. I'm not talking about a revolution where you have to worry about the Governor of California showing up at your door, a la the Terminator. (Laughter)

When historians look at this period, they're going to conclude that we're in a different type of revolution: a revolution in war, like the invention of the atomic bomb. But it may be even bigger than that, because our unmanned systems don't just

affect the "how" of war-fighting, they affect the "who" of fighting at its most fundamental level. That is, every previous revolution in war, be it the machine gun, be it the atomic bomb, was about a system that either shot faster, went further, had a bigger boom. That's certainly the case with robotics, but they also change the experience of the warrior and even the very identity of the warrior.

Another way of putting this is that mankind's 5, 000-year-old monopoly on the fighting of war is breaking down in our very lifetime. I've spent the last several years going around meeting with all the players in this field, from the robot scientists to the science fiction authors who inspired them to the 19-year-old drone pilots who are fighting from Nevada, to the four-star generals who command them, to even the Iraqi insurgents who they are targeting and what they think about our systems, and what I found interesting is not just their stories, but how their experiences point to these ripple effects that are going outwards in our society, in our law and our ethics, etc. And so what I'd like to do with my remaining time is basically flesh out a couple of these.

So the first is that the future of war, even a robotics one, is not going to be purely an American one. The U.S. is currently ahead in military robotics right now, but we know that in technology there's no such thing as a permanent first move or advantage. In a quick show of hands, how many people in this room still use Wang Computers? (Laughter) It's the same thing in war. The British and the French invented the tank. The Germans figured out how to use it right, and so what we have to think about for the U.S. is that we are ahead right now, but you have 43 other countries out there working on military robotics, and they include all the interesting countries like Russia, China, Pakistan, Iran.

And this raises a bigger worry for me. How do we move forward in this revolution given the state of our manufacturing and the state of our science and mathematics training in our schools? Or another way of thinking about this is, what does it mean to go to war increasingly with soldiers whose hardware is made in China and software is written in India?

But just as software has gone open-source, so has warfare. Unlike an aircraft carrier or an atomic bomb, you don't need a massive manufacturing system to build robotics. A lot of it is off the shelf. A lot of it's even do-it-yourself. One of those things you just saw flashed before you was a raven drone, the handheld tossed one. For about a thousand dollars, you can build one yourself, equivalent to what the soldiers use in Iraq.

That raises another wrinkle when it comes to war and conflict. Good guys might play around and work on these as hobby kits, but so might bad guys. This cross between robotics and things like terrorism is going to be fascinating and even disturbing, and we've already seen it start.

During the war between Israel, a state, and Hezbollah, a non-state actor, the non-state actor flew four different drones against Israel. There's already a jihadi website that you can go on and remotely detonate an IED in Iraq while sitting at your home computer.

And so I think what we're going to see is two trends take place with this. First is, you're going to reinforce the power of individuals against governments, but then the second is that we are going to see an expansion in the realm of terrorism. The future of it may be a cross between al Qaeda 2.0 and the next generation of the Unabomber. And another way of thinking about this is the fact that, remember, you don't have to convince a robot that they're gonna receive 72 virgins after they die to convince them to blow themselves up.

But the ripple effects of this are going to go out into our politics. One of the people that I met with was a former Assistant Secretary of Defense for Ronald Reagan, and he put it this way: "I like these systems because they save American lives, but I worry about more marketization of wars, more shock-and-awe talk, to defray discussion of the costs. People are more likely to support the use of force if they view it as costless."

Robots for me take certain trends that are already in play in our body politic, and maybe take them to their logical ending point. We don't have a draft. We don't have declarations of war anymore. We don't buy war bonds anymore. And now we have the fact that we're converting more and more of our American soldiers that we would send into harm's way into machines, and so we may take those already lowering bars to war and drop them to the ground.

But the future of war is also going to be a YouTube war. That is, our new technologies don't merely remove humans from risk. They also record everything that they see. So they don't just delink the public: they reshape its relationship with war. There's already several thousand video clips of combat footage from Iraq on YouTube right now, most of it gathered by drones.

Now, this could be a good thing. It could be building connections between the home front and the war front as never before. But remember, this is taking place in our strange, weird world, and so inevitably the ability to download these video clips to, you know, your iPod or your Zune gives you the ability to turn it into entertainment.

Soldiers have a name for these clips. They call it war porn. The typical one that I was sent was an email that had an attachment of video of a Predator strike taking out an enemy site. Missile hits, bodies burst into the air with the explosion. It was set to music. It was set to the pop song "I Just Want To Fly" by Sugar Ray.

This ability to watch more but experience less creates a wrinkle in the public's relationship with war. I think about this with a sports parallel. It's like the difference between watching an NBA game, a professional basketball game on TV, where the athletes are tiny figures on the screen, and being at that basketball game in person and realizing what someone seven feet really does look like.

But we have to remember, these are just the clips. These are just the ESPN SportsCenter version of the game. They lose the context. They lose the strategy. They lose the humanity. War just becomes slam dunks and smart bombs.

Now the irony of all this is that while the future of war may involve more and more machines, it's our human psychology that's driving all of this, it's our human failings that are leading to these wars.

So one example of this that has big resonance in the policy realm is how this plays out on our very real war of ideas that we're fighting against radical groups. What is the message that we think we are sending with these machines versus what is being received in terms of the message.

So one of the people that I met was a senior Bush Administration official, who had this to say about our unmanning of war: "It plays to our strength. The thing that scares people is our technology." But when you go out and meet with people, for example in Lebanon, it's a very different story. One of the people I met with there was a news editor, and we're talking as a drone is flying above him, and this is what he had to say. "This is just another sign of the coldhearted cruel Israelis and Americans, who are cowards because they send out machines to fight us. They don't want to fight us like real men, but they're afraid to fight, so we just have to kill a few of their soldiers to defeat them."

The future of war also is featuring a new type of warrior, and it's actually redefining the experience of going to war. You can call this a cubicle warrior. This is what one Predator drone pilot described of his experience fighting in the Iraq War while never leaving Nevada. "You're going to war for 12 hours, shooting weapons at targets, directing kills on enemy combatants, and then you get in the car and you drive home and within 20 minutes, you're sitting at the dinner table talking to your kids about their homework."

Now, the psychological balancing of those experiences is incredibly tough, and in fact those drone pilots have higher rates of PTSD than many of the units physically in Iraq. But some have worries that this disconnection will lead to something else, that it might make the contemplation of war crimes a lot easier when you have this distance. "It's like a video game," is what one young pilot described to me of taking out enemy troops from afar. As anyone who's played Grand Theft Auto knows, we do things in the video world that we wouldn't do face to face.

So much of what you're hearing from me is that there's another side to technologic revolutions, and that it's shaping our present and maybe will shape our future of war. Moore's Law is operative, but so's Murphy's Law. The fog of war isn't being lifted. The enemy has a vote.

We're gaining incredible new capabilities, but we're also seeing and experiencing new human dilemmas. Now, sometimes these are just "oops" moments, which is what the head of a robotics company described it, you just have "oops" moments. Well, what are "oops" moments with robots in war? Well, sometimes they're funny. Sometimes, they're like that scene from the Eddie Murphy movie "Best Defense," playing out in reality, where they tested out a machine gun-armed robot, and during the demonstration it started spinning in a circle and pointed its machine gun at the reviewing stand of VIPs. Fortunately the weapon wasn't loaded and no one was hurt, but other times "oops" moments are tragic, such as last year in South Africa, where an anti-aircraft cannon had a "software glitch," and actually did turn on and fired, and nine soldiers were killed.

We have new wrinkles in the laws of war and accountability. What do we do with things like unmanned slaughter? What is unmanned slaughter? We've already had three instances of Predator drone strikes where we thought we got bin Laden, and it turned out not to be the case. And this is where we're at right now. This is not even talking about armed, autonomous systems with full authority to use force. And do not believe that that isn't coming. During my research I came across four different Pentagon projects on different aspects of that.

And so you have this question: what does this lead to issues like war crimes? Robots are emotionless, so they don't get upset if their buddy is killed. They don't commit crimes of rage and revenge. But robots are emotionless. They see an 80-year-old grandmother in a wheelchair the same way they see a T-80 tank: they're both just a series of zeroes and ones. And so we have this question to figure out: How do we catch up our 20th century laws of war, that are so old right now that they could qualify for Medicare, to these 21st century technologies?

And so, in conclusion, I've talked about what seems the future of war, but notice that I've only used real world examples and you've only seen real world pictures and videos. And so this sets a great challenge for all of us that we have to worry about well before you have to worry about your Roomba sucking the life away from you. Are we going to let the fact that what's unveiling itself right now in war sounds like science fiction and therefore keeps us in denial? Are we going to face the reality of 21st century war? Is our generation going to make the same mistake that a past generation did with atomic weaponry, and not deal with the issues that surround it until Pandora's box is already opened up?

Now, I could be wrong on this, and one Pentagon robot scientist told me that I was. He said, "There's no real social, ethical, moral issues when it comes to robots. That is," he added, "unless the machine kills the wrong people repeatedly. Then it's just a product recall issue."

And so the ending point for this is that actually, we can turn to Hollywood. A few years ago, Hollywood gathered all the top characters and created a list of the top 100 heroes and top 100 villains of all of Hollywood history, the characters that represented the best and worst of humanity. Only one character made it onto both lists: The Terminator, a robot killing machine. And so that points to the fact that our machines can be used for both good and evil, but for me it points to the fact that there's a duality of humans as well.

This week is a celebration of our creativity. Our creativity has taken our species to the stars. Our creativity has created works of arts and literature to express our love. And now, we're using our creativity in a certain direction, to build fantastic machines with incredible capabilities, maybe even one day an entirely new species. But one of the main reasons that we're doing that is because of our drive to destroy each other, and so the question we all should ask: is it our machines, or is it us that's wired for war?

Thank you. (Applause)

これから私の後ろに 写真を投影し 現実に使用されている あるいは試作品の 戦闘用ロボットの現実を見てもらいます ちょっとだけです 言い方を変えると ここでお見せするのは (スタートレックの)バルカン星人の技術や 十代の若者オタクなどではなく 全て本物です それでは 写真を見ていきましょう

今日の戦場では 人間の歴史始まって以来かもしれない 大きな変化が起こっています アメリカ軍は わずかばかりのドローンで イラク戦争に行きましたが 今では5300機あります 陸上用の無人システムは 一つもありませんでしたが 今では12000台あります 技術用語の「キラーアプリケーション」が ここでは新しい意味合いを持っているのです

私たちはT型フォードや ライト兄弟の飛行機と これから目にするものを 比べなくてはなりません 我々はそういう時代にいるのです 最近会った空軍の 中将が言うには 我々は もうすぐ 我々の戦場で 何万ものロボットを使用することになる というもので これらロボットは 単なる量産型のロボットではなく 将来使われる何万もの これら試作品 未来のロボットであるため この数は重要になります もちろん 技術分野のムーアの法則により これらのロボットの演算能力は どんどん増えて行きます だから25年後ぐらいを推測すると ムーアの法則がまだ正しければ これらのロボットは 現在より10億倍ほど強力な 演算能力を持つでしょう

それはつまり 我々がコミコンのような SF大会で話しているようなことが ペンタゴンのような 軍事力の中枢で 議論されるということです ロボットの革新がおきています

次のことも明らかにしておきます 実際に起こる革命は カリフォルニアの州知事が あなたの戸口にターミネーターとして現れる というものではありません

歴史家が振り返って今の時代を見た時 彼らは 我々がこれまでと違った革命、戦争の革命の 中にあったと言うでしょう ちょうど原子爆弾の発明の時のように しかし 事態はそれより重大かもしれません なぜなら無人システムは

単に戦闘を「どう」闘うかだけでなく とても根本的なレベルで 「誰が」闘うのかに影響するからです それは これまでの戦争の革命が マシンガンであれ 原子爆弾であれ より速く撃ち より遠くへ行き より大きな威力を持つかであって それはロボットの場合も当てはまりますが ロボットは 兵士の考え方や 根本的な兵士の定義も変えてしまいます

別の言い方をすれば 5000年の間 人類の専売特許であった 「戦場での戦闘」が我々の時代で 崩壊しつつあるのです 私はここ数年 あちこちで ロボット科学者から 彼らにひらめきを与えたSF作家まで この分野の役者たち皆に会いました ネバダから戦闘ロボットを操縦する19歳の 兵士から 彼らに命令を下す大将まで あるいはその標的になっているイラクの 反乱分子にまで会い 我々のシステムについてどう思うか尋ねました 興味深いのは 彼らの話そのものだけではなく 彼らの経験が 社会 法制度や 倫理観などに どのように影響を与えるかでした 残りの時間を使って それらを詳しく見て いくことにします

第一に 未来の戦争は ロボット兵士でさえ アメリカの独占物ではないということです アメリカは現在は軍事ロボットの分野で 先を走っていますが ご存知のようにテクノロジーの世界では 先行者の有利はいつまでも 続くものではありません お尋ねしますが ここにいる何名の人が Wangコンピュータを使っているでしょう? 戦争でも同じです イギリスとフランスが戦車を発明しましたが 正しい使い方を見つけたのはドイツで 我々が考えなくてはならないのは 今のところアメリカは先進的だが 他にも43カ国が軍事ロボットの 開発に着手しており その中にはロシア、中国 パキスタン、イランなどの 国も含まれていることです

ここからさらに大きな懸念が持ち上がります 現在のこの革命の中 この国の生産体制 科学や数学の教育体制を考えて どうやって前に進むのか? 別の言い方をするとこうです 中国製の武器やインド製の戦闘ソフトをもって 戦場に出て行く機会が増えているのは どういうことなのか?

ソフトウェアがオープンソース化したように 武器もそうなりつつあります 空母や原子爆弾と違って ロボットを作るのに巨大な生産システムは 必要ありません 既製品で いくつかは自作すらできます あなたが今見たものの一つは放り投げて使う Ravenドローンで 1000ドルも出せば イラクで兵士が使っているものと同じものを 自分で作ることができます

ここでは 善人が趣味として 色々いじることもできるが 悪人も同じことができるという 戦争や戦闘の新たな問題が持ち上がります ロボット工学とテロリズムが 交錯すると 魅惑的かつ 憂慮すべきことになるでしょう もうそれが始まっているのを見ました

政府側であるイスラエルと非政府側の ヒズボラの戦闘で 非政府側がイスラエルに向けて 4種類のドローンを飛ばしました ジハードのウェブサイトでは パソコンの前にいながら イラクの即席爆弾を遠隔から 起爆することができます

つまり 私たちはここから 二つの傾向を見て取ることができます 第一は 政府に対する個人の力が 強まっているということです 第二は テロリズムの領域が 拡大していくさまを 目撃するということです その未来はアルカイダ2.0と 次世代の ユナボマー(米国の爆弾魔)の 交点にあるのかもしれません 他にも忘れてはならないのは ロボットが自爆するのに 死後に72人の処女を得られると 説得する必要はない ということです

この連鎖反応は 我々の政策にも影響します 私が会った一人は レーガン政権の 元国防長官補佐官でした 彼が言うには(以下引用) 「私はこのシステムが好きだ なぜならアメリカ人の命を救うから だが戦争の市場化は懸念するし コスト負担のための 衝撃的な議論も懸念する コストがかからないとわかるとより簡単に 力の行使を支持するものだ」と

ロボットは 我々国民全般に 広まっている世論に影響を与え それを論理的な終局点まで けん引していくようです 草案もありませんし 宣戦布告書もすでにありません 戦争債も買わないし そして 我々は危険の多い地域に アメリカ人の兵士を送る代わりに 機械を送り込むようになっており それにより戦争行為に対する ハードルが更に低くなり 終には抑止力が無くなってしまいます

同時に 未来の戦争はまた YouTube戦争でもあります つまり 我々の技術は単に兵士を 危険から遠ざけるだけでなく 彼らの見るものを全て記録するようになっています 戦争を公衆から切り離すだけでなく 戦争との関わりを再構築しています 現在 YouTubeには何千もの イラクの戦闘を撮影した ビデオクリップがありますが ほとんどはドローンから得られたものです

それは 戦争の最前線と家庭を かつてなかったかたちで 結びつけるという 良い側面もあります しかし何が起こっても おかしく無い世の中では このようなビデオクリップをダウンロードして iPodやZuneに収めることで エンターテイメントにしてしまえることも 忘れてはなりません

兵士達はこのようなビデオクリップを 「戦争ポルノ」と読んでいます 最近見た典型的な例は 電子メールに 添付された映像で プレデター(無人航空機)が敵の基地を ミサイルで攻撃した時の爆発で 肉体が空中にばらばらに吹き飛んでいました それには音楽がついていて シュガー・レイの「I Just Want to Fly」 という曲でした

より多くのものを見て 経験はより少なくなる状態は 大衆と戦争の関係にひずみを引き起こしています これはスポーツと同じです プロバスケットボールである NBAのゲームをテレビで見ていて 選手が画面の小さな点に見えているのと 自分で実際に試合を見に行って 2メートル10センチの人間が 実際はどんな感じか 理解することに似ています

しかし思い出して下さい これらはただのビデオで 試合のダイジェスト版で それは文脈を失い 戦略を失い 人間性を失い 戦争はただのスラムダンクやスマート爆弾なのです

皮肉なのは 未来の戦争では より多くの機械が 使われるのにもかかわらず それらを動かすのは人間の心理で 戦争を起こすのも 人間の欠点によるものなのです

これに対する 政治の世界からの反応は 過激派を相手に戦っているという 現実の戦争の考え方に 大きな影響を与えています 我々がこれらの機械と一緒に送っている メッセージは どのように受け取られているのか

私がブッシュ政権の総務局で会ったある人は 人間が戦わない戦争について 以下の様な事を言いました 「これは我々の力に影響を与えます 人々を脅かしているのは 我々のテクノロジーなのです」 しかし遠く -- 例えばレバノン-- まで行き 人と会ってみると それはとても違った話となります そこで私が出会ったのはニュースの編集者で 会話している我々の頭上を 無人航空機が飛んで行くなか 彼はこう言いました 「これは我々と戦う為の機械を 送ってくる臆病で 無慈悲 冷血なアメリカ人とイスラエル人を 象徴するものだ 彼らは男らしく戦うのではなく 戦う事を恐れている だから我々は数少ない彼ら兵士を殺すことで 勝利を得るのだ」

未来の戦争は新しいタイプの兵士を 形作っています それは戦争に行くという 定義を変えるもので 個室兵士とでも呼べるものです ネバダから離れる事無く イラク戦争で戦っていた プレデターのパイロットはこう言いました 「12時間戦争に行き 武器を標的に向けて撃って 敵の兵士を撃ち殺す様に命令し 車に乗って家に帰り 20分後には夕食の席にいて 子供たちと宿題について 話をしている」

さて 心理的にこれらのバランスを取るのは 非常に難しい事です 実はこれらの無人戦闘機パイロットたちは 実際にイラクにいる兵士よりも 高い率で PTSD を患っています しかし中にはこの断絶が 戦争犯罪をもっとやり易いものに してしまうのではないかと 危惧している人達もいます 「まるでこれはテレビゲームです」とは 遠方から敵の部隊を攻撃する 若いパイロットの言葉です グランド・セフト・オートをしたことがある人なら 人は面と向かってはしないようなことを テレビゲームではすることを知ってるでしょう

私がここで言いたいのは 技術革新は別の面も併せ持っており それは 現在の そしてもしかしたら未来の戦争を 形作っているということです ムーアの法則の他に マーフィーの法則も働いています 戦雲は消えていません 敵にも選択する権利はありますし

我々はとてつもない能力を手に入れようとしています しかし我々は同時に新しい人間のジレンマを 見て 体験しているのです さて 失敗する時もあります これはロボット関連の企業のトップが 言った言葉ですが それではロボットがいる戦場での 失敗とは何でしょうか? 面白い時もあります 時には エディー・マーフィーが出ている 「おかしな関係」という 映画のワンシーンを現実にした様な マシンガンを搭載した新しいロボットが デモの時にクルクルと回りだし 自分のマシンガンを VIP 席に向けて 照準を合わせるという ものなのかも知れません 幸運な事に弾は込められておらず 誰も傷つきませんでした しかしそうで無いときの失敗は悲劇的で 南アフリカでは去年 対空砲に「ソフトウェアの問題」があり 誤動作して 発砲 9名の兵士が亡くなりました

戦時国際法と責任についても 我々はひずみを持っています 無人殺戮兵器を使って何をするのか? 無人殺戮兵器とは何でしょうか? 既に我々は3回 プレデターにより ビン・ラディンを爆撃したと思い 実際にはそうでなかったことを 経験しています これが現在の我々なのです 発砲する権限を持っている 自立した兵器システムについて 話しているわけではありませんし それがやって来ないと思わないで下さい 私の調査中 そのような特性を備えた 4つの国防総省プロジェクトを 見ました

あなたはこんな事を疑問に思うでしょう 戦争犯罪はどのようなものになるのか? 機械に感情はありませんから 仲間が殺されても取り乱す事は無く 逆上して犯罪を犯したり 復讐する事もありません しかし機械には感情が無いので T80戦車を見るのと同じ様に 車椅子に乗っている 80歳のお婆ちゃんを見ます 0と1の連続でしかないのですから そこで考えなければならない問題があります 介護保険の対象になる様な 時代遅れの20世紀の戦争法を 我々はどうやって21世紀の技術に 合わせるのでしょうか

最後にまとめますと 私は 戦争の未来がどうなるかを話してきました しかしすべて現実にある例だけを 挙げている事に注意して下さい あなたの見たビデオや写真はすべて現実です これはルンバ掃除機があなたの人生を 吸い取ってしまうずっと前に 考えなければ ならないということです 戦争で使われるものの秘密を 明らかにすることは まるでSFのように見え 目をつぶってしまいがちです 我々は21世紀型の戦争の現実を 直視しますか? 我々の世代は 過去の世代が 原爆で犯したのと同じ過ちを 繰り返し パンドラの箱が 開かれてしまうまで物事に対処しないという 失敗を犯すのでしょうか?

これについて私は間違っているかもしれません あるペンタゴンの ロボット科学者が言うには 「ロボットにとっては 間違った人間を繰り返し殺さない限り 社会的、倫理的、道徳的な問題などなく そうなったとしても それは単なるリコール問題です」

ここで最後に言いたい事は 我々は ハリウッドを参考にする事ができるということです 数年前 ハリウッドはあらゆる キャラクターを集め ハリウッドの史上の トップ100のヒーローと トップ100の悪役リストを作りました 最高と最悪の人間性を併せ持つ 1キャラクターだけが 両方のリストに入りました ターミネーター、ロボットの殺人マシンです これは我々の機械が 良い事にも悪い事にも 使われうる事を示していますが 私はこれを 人間が持つ二重性を 示しているとも思います

今週は我々の 創造性を祝う週です 創造性は私たちを星に送り 芸術作品を創造し 我々の愛を文字で表現し そして今 我々はその創造性を 信じられない性能を持った素晴らしい機械を 作るという方向に使っています いつの日か 全く新しい人種に なるかも知れません しかしこのようなことは お互いを破壊するという原動力に 突き動かされており 我々一人ひとりが自問するべきでしょう 戦争を起こそうとしているのは機械なのか あるいは我々なのか?

ありがとう(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画