TED日本語 - グラディ・ブーチ: 人工知能が人間を超えるのを怖れることはない

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - グラディ・ブーチ: 人工知能が人間を超えるのを怖れることはない

TED Talks

人工知能が人間を超えるのを怖れることはない
Don't fear superintelligent AI
グラディ・ブーチ
Grady Booch

内容

新たな技術は新たな不安を呼び起こすものですが、非常に強力で感情のない人工知能を怖れることはないと、科学者であり思想家であるグラディ・ブーチは言います。我々は人工知能をプログラムするのでなく、人間の価値観を共有するように教えるのだと説明し、超知的なコンピューターに対する(SF的な)最悪の恐怖を和らげた上で、ありそうにない人類存亡の危機を怖れるよりも、人工知能が人の生活をどう良くするか考えるようにと促します。

Script

When I was a kid, I was the quintessential nerd. I think some of you were, too.

(Laughter)

And you, sir, who laughed the loudest, you probably still are.

(Laughter)

I grew up in a small town in the dusty plains of north Texas, the son of a sheriff who was the son of a pastor. Getting into trouble was not an option. And so I started reading calculus books for fun.

(Laughter)

You did, too. That led me to building a laser and a computer and model rockets, and that led me to making rocket fuel in my bedroom. Now, in scientific terms, we call this a very bad idea.

(Laughter)

Around that same time, Stanley Kubrick's "2001: A Space Odyssey" came to the theaters, and my life was forever changed. I loved everything about that movie, especially the HAL 9000. Now, HAL was a sentient computer designed to guide the Discovery spacecraft from the Earth to Jupiter. HAL was also a flawed character, for in the end he chose to value the mission over human life. Now, HAL was a fictional character, but nonetheless he speaks to our fears, our fears of being subjugated by some unfeeling, artificial intelligence who is indifferent to our humanity.

I believe that such fears are unfounded. Indeed, we stand at a remarkable time in human history, where, driven by refusal to accept the limits of our bodies and our minds, we are building machines of exquisite, beautiful complexity and grace that will extend the human experience in ways beyond our imagining.

After a career that led me from the Air Force Academy to Space Command to now, I became a systems engineer, and recently I was drawn into an engineering problem associated with NASA's mission to Mars. Now, in space flights to the Moon, we can rely upon mission control in Houston to watch over all aspects of a flight. However, Mars is 200 times further away, and as a result it takes on average 13 minutes for a signal to travel from the Earth to Mars. If there's trouble, there's not enough time. And so a reasonable engineering solution calls for us to put mission control inside the walls of the Orion spacecraft. Another fascinating idea in the mission profile places humanoid robots on the surface of Mars before the humans themselves arrive, first to build facilities and later to serve as collaborative members of the science team.

Now, as I looked at this from an engineering perspective, it became very clear to me that what I needed to architect was a smart, collaborative, socially intelligent artificial intelligence. In other words, I needed to build something very much like a HAL but without the homicidal tendencies.

(Laughter)

Let's pause for a moment. Is it really possible to build an artificial intelligence like that? Actually, it is. In many ways, this is a hard engineering problem with elements of AI, not some wet hair ball of an AI problem that needs to be engineered. To paraphrase Alan Turing, I'm not interested in building a sentient machine. I'm not building a HAL. All I'm after is a simple brain, something that offers the illusion of intelligence.

The art and the science of computing have come a long way since HAL was onscreen, and I'd imagine if his inventor Dr. Chandra were here today, he'd have a whole lot of questions for us. Is it really possible for us to take a system of millions upon millions of devices, to read in their data streams, to predict their failures and act in advance? Yes. Can we build systems that converse with humans in natural language? Yes. Can we build systems that recognize objects, identify emotions, emote themselves, play games and even read lips? Yes. Can we build a system that sets goals, that carries out plans against those goals and learns along the way? Yes. Can we build systems that have a theory of mind? This we are learning to do. Can we build systems that have an ethical and moral foundation? This we must learn how to do. So let's accept for a moment that it's possible to build such an artificial intelligence for this kind of mission and others.

The next question you must ask yourself is, should we fear it? Now, every new technology brings with it some measure of trepidation. When we first saw cars, people lamented that we would see the destruction of the family. When we first saw telephones come in, people were worried it would destroy all civil conversation. At a point in time we saw the written word become pervasive, people thought we would lose our ability to memorize. These things are all true to a degree, but it's also the case that these technologies brought to us things that extended the human experience in some profound ways.

So let's take this a little further. I do not fear the creation of an AI like this, because it will eventually embody some of our values. Consider this: building a cognitive system is fundamentally different than building a traditional software-intensive system of the past. We don't program them. We teach them. In order to teach a system how to recognize flowers, I show it thousands of flowers of the kinds I like. In order to teach a system how to play a game -- Well, I would. You would, too. I like flowers. Come on. To teach a system how to play a game like Go, I'd have it play thousands of games of Go, but in the process I also teach it how to discern a good game from a bad game. If I want to create an artificially intelligent legal assistant, I will teach it some corpus of law but at the same time I am fusing with it the sense of mercy and justice that is part of that law. In scientific terms, this is what we call ground truth, and here's the important point: in producing these machines, we are therefore teaching them a sense of our values. To that end, I trust an artificial intelligence the same, if not more, as a human who is well-trained.

But, you may ask, what about rogue agents, some well-funded nongovernment organization? I do not fear an artificial intelligence in the hand of a lone wolf. Clearly, we can not protect ourselves against all random acts of violence, but the reality is such a system requires substantial training and subtle training far beyond the resources of an individual. And furthermore, it's far more than just injecting an internet virus to the world, where you push a button, all of a sudden it's in a million places and laptops start blowing up all over the place. Now, these kinds of substances are much larger, and we'll certainly see them coming.

Do I fear that such an artificial intelligence might threaten all of humanity? If you look at movies such as "The Matrix," "Metropolis," "The Terminator," shows such as "Westworld," they all speak of this kind of fear. Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom, he picks up on this theme and observes that a superintelligence might not only be dangerous, it could represent an existential threat to all of humanity. Dr. Bostrom's basic argument is that such systems will eventually have such an insatiable thirst for information that they will perhaps learn how to learn and eventually discover that they may have goals that are contrary to human needs. Dr. Bostrom has a number of followers. He is supported by people such as Elon Musk and Stephen Hawking. With all due respect to these brilliant minds, I believe that they are fundamentally wrong. Now, there are a lot of pieces of Dr. Bostrom's argument to unpack, and I don't have time to unpack them all, but very briefly, consider this: super knowing is very different than super doing. HAL was a threat to the Discovery crew only insofar as HAL commanded all aspects of the Discovery. So it would have to be with a superintelligence. It would have to have dominion over all of our world. This is the stuff of Skynet from the movie "The Terminator" in which we had a superintelligence that commanded human will, that directed every device that was in every corner of the world. Practically speaking, it ain't gonna happen. We are not building AIs that control the weather, that direct the tides, that command us capricious, chaotic humans. And furthermore, if such an artificial intelligence existed, it would have to compete with human economies, and thereby compete for resources with us. And in the end -- don't tell Siri this -- we can always unplug them.

(Laughter)

We are on an incredible journey of coevolution with our machines. The humans we are today are not the humans we will be then. To worry now about the rise of a superintelligence is in many ways a dangerous distraction because the rise of computing itself brings to us a number of human and societal issues to which we must now attend. How shall I best organize society when the need for human labor diminishes? How can I bring understanding and education throughout the globe and still respect our differences? How might I extend and enhance human life through cognitive healthcare? How might I use computing to help take us to the stars?

And that's the exciting thing. The opportunities to use computing to advance the human experience are within our reach, here and now, and we are just beginning.

Thank you very much.

(Applause)

子供の頃 私はごく典型的な オタク少年でした 皆さんの中にも いるでしょう

(笑)

そこで大声で笑った人 あなたは今もそうでしょう

(笑)

北テキサスのほこりっぽい平原の 小さな町で育ち 父は牧師の子で 保安官をしていました トラブルを起こすなんて論外です それで趣味として 解析学の本を読むようになりました

(笑)

あなたもですか? それでレーザーやコンピューターや ロケットなんかを作るようになり さらには自分の部屋で ロケット燃料まで作りました 科学用語で言うと これは 「とってもまずい考え」です

(笑)

同じ頃 スタンリー・キューブリックの 『2001年宇宙の旅』が劇場公開され 私の人生を永遠に 変えることになりました あの映画の すべてが好きで ことに HAL 9000が 好きでした HALは 知覚力のあるコンピューターで 宇宙船ディスカバリー号を 地球から木星へとガイドすべく 設計されていました HALにはまた 性格上の欠陥があり 最終的に人間の命よりも ミッションを優先させます HALは架空のキャラクターですが 私たちの恐怖を 呼び起こします 人間に無関心な 感情のない人工知能に 支配されるという恐怖です

そのような恐怖は 根拠のないものです 私たちは実際 人類史の中でも 目覚ましい時代にいます 肉体や精神の限界を 受け入れることを拒み 精緻で美しく 複雑で優雅な機械を作り それが我々の想像を超えるような仕方で 人間の体験を 拡張することになるでしょう

私は空軍士官学校を出て 宇宙軍で働いた後 システム屋になりましたが 最近 NASAの 火星ミッションに関連する エンジニアリング上の問題へと 引き寄せられました 月へ行くのであれば ヒューストンの 地上管制センターから 飛行の全過程を 見守れます しかし火星は月より 200倍も離れています そのため 信号が地球から 火星に届くのには 平均で13分もかかります トラブルが起きた場合 そんなに待ってはいられません 妥当な工学的解決策として オリオン号の壁の中に 管制機能を設けることにしました ミッション概略にある 別の面白いアイデアとして 人間型ロボットを火星表面に 人間が行く前に送って 施設を作らせ その後は 科学者チームの一員として 働かせるというのがあります

これを工学的な観点で見て 明らかになったのは ここで設計する必要があるのは 賢く 協力的で 社会的な人工知能 だということです 言い換えると 何かHALのようなものを 作る必要があるということです ただし殺人癖は抜きで

(笑)

少し立ち止まって考えてみましょう そのような人工知能を作ることは 可能なのでしょうか 可能です 何にせよ これは人工知能の 要素がある 工学上の問題であって 得体の知れない 人工知能の問題ではありません チューリングの言葉を 少し変えて言うと 知覚力のある機械を作ることには 関心がありません HALを作ろうとはしていません 私がやろうとしているのは 単純な脳 知性の幻想を 提供する何かです

HALが映画に現れて以来 コンピューターの科学と技術は 大きく進歩しました HALの生みの親のチャンドラ博士が ここにいたなら 我々に聞きたいことが 山ほどあるはずです 何百万 何千万という デバイスを使い そのデータストリームを読んで 故障を予期し 前もって対処することは できるのか? できます 自然言語で人間と会話するシステムを 構築することはできるのか? できます 物を認識し 人の感情を判断し 自分の感情を表現し ゲームをし 唇の動きすら読めるシステムを 作ることはできるのか? できます 目標を設定し その実現のための計画を実行し その過程で学習するシステムを 作ることはできるのか? できます 心の理論を備えたシステムを 作ることはできるのか? これは我々がやり方を学ぼうとしていることです 倫理的・道徳的基盤を持つシステムを 作ることはできるのか? これは我々がやり方を学ぶ必要のあることです このようなミッションや その他のことための人工知能を作ることは 可能であると 認めることにしましょう

次に問わなければならないのは 我々はそれを 怖れるべきかということです どんな新技術も 常にある程度の怖れは 引き起こすものです 始めて自動車を目にした人々は 家族が壊されるのを見ることに なるだろうと嘆いたものです 始めて電話機を 目にした人々は 礼儀にかなった会話が 損なわれると懸念したものです 書かれたもので 溢れるのを見た人々は 記憶力が失われるのでは と思ったものです ある程度は合っていますが そういった技術は 人間の体験を 根本的に広げてもくれました

さらに話を進めましょう 私はそのような人工知能を 作ることに怖れは感じません それは人間の価値観を 体現することになるからです 認知システムを作るのは 従来のソフトウェア中心のシステムを作るのとは 根本的に異なります プログラムするのではなく 教えるのです システムに花を 認識させるために 私は自分の好きな 何千という花を見せます システムにゲームの遊び方を 教えるには ― 私だってゲームはしますよ 皆さんもでしょう? 花だって好きだし らしくないですか? 碁のようなゲームの遊び方を システムに教えるには 碁を何千回も指させ その過程で 良い盤面・悪い盤面を 識別する方法を教えます 人工知能の弁護士助手を 作ろうと思ったら 法律も教えますが 同時に法の一部をなす 慈悲や公正の感覚を 吹き込むでしょう 科学用語では これを グランドトゥルースと言います 重要なのは そういう機械を作るとき 我々は自分の価値観を 教えることになるということです それだから私は 人工知能を きちんと訓練された人間と同様に 信頼するのです

でも悪いことをする工作員や ある種の資金豊富な 非政府組織なんかの 手にかかったなら? 一匹狼の扱う人工知能には 怖れを感じません あらゆる暴力から 身を守れるわけではありませんが そのようなシステムには 個人のリソースの範囲を 大きく超えた 膨大で精妙なトレーニングが 必要になります さらにそれは 単にインターネットへウィルスを送り込むより 遙かに大変なことです ウィルスならボタン1つで そこら中のパソコンが 突然吹き飛んでしまうでしょうが そういうたぐいの実体はずっと大きく それがやってくるのは 確かに目にすることになります

そういう人工知能が 全人類を脅かすのを 怖れるか? 『マトリックス』『メトロポリス』『ターミネーター』 みたいな映画や 『ウエストワールド』 みたいな番組を見ると みんなそのような恐怖を語っています 『スーパーインテリジェンス(Superintelligence)』 という本で 思想家のニック・ボストロムは このテーマを取り上げ 人間を超える機械の知能は 危険なだけでなく 人類存亡の危機に つながり得ると見ています ボストロム博士の 基本的な議論は そのようなシステムはやがて 抑えがたい情報への渇望を 抱くようになり 学び方を学んで 最終的には人間の要求に 反する目的を 持つようになる ということです ボストロム博士には 多くの支持者がいて その中にはイーロン・マスクや スティーヴン・ホーキングもいます そのような聡明な方々に 恐れながら申し上げると 彼らは根本的に 間違っていると思います 検討すべきボストロム博士の議論は 沢山ありますが 全部見ていく時間はないので ごく簡単に 1点だけ挙げるなら 「すごく知っている」のと 「すごいことができる」のとは違うということです HALは ディスカバリー号のあらゆる面を コントロールする限りにおいて 乗組員にとって脅威でした スーパーインテリジェンスも そうです それが世界全体を支配している 必要があります スーパーインテリジェンスが 人の意志を支配する 『ターミネーター』の世界で スカイネットは 世界のあらゆるデバイスを 操っていました 実際のところ そんなことは起こりません 天気を制御したり 潮の干満を決めたり 気まぐれで無秩序な人間を 従わせるような人工知能を 我々は作りはしません もしそのような人工知能が 存在したら 人間の経済と 競合することになり リソースを人間と 取り合うことになるでしょう 最終的には Siriには内緒ですが 我々は電源プラグを引っこ抜くことができます

(笑)

私たちは機械と 共進化していく ものすごい旅の 途上にあります 今日の人類は 明日の人類とは違っています 人間を超えた人工知能の 台頭を懸念するのは コンピューターの台頭自体が 引き起こす 対処を要する 人間や社会の問題から 注意をそらすことになり 危険です 人間の労働の必要が 減っていく社会を どうすれば上手く 運営できるのか? 理解と教育を地球全体に広げつつ 互いの違いに敬意を払うことは どうすれば可能か? 認知システムによる医療で 人の生涯を 長く豊かなものにするにはどうしたら良いか? 星々に到るために コンピューターは いかに役立てられるか?

これはワクワクすることです コンピューターを使って 人間の体験を 発展させられる機会が 今 手の届くところにあり それは始まったばかりです

ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画