TED日本語 - デイモン・ホロヴィッツ: 道徳のオペレーティングシステムを提言する



TED日本語 - デイモン・ホロヴィッツ: 道徳のオペレーティングシステムを提言する

TED Talks

Damon Horowitz calls for a "moral operating system"


TEDxSiliconValley でデイモン・ホロヴィッツは技術が我々に大きな力を与え、お互いのことがかつてないほど分かるようになってきたと述べます。観客を哲学的議論に引き込み、世界を塗り替えるようなイノベーションが巻き起こる中で、倫理原則となる哲学の基本に、新たに注目するよう促します。我々に取って意味のある道徳のオペレーティングシステムはどこにあるでしょうか


Power. That is the word that comes to mind. We're the new technologists. We have a lot of data, so we have a lot of power. How much power do we have? Scene from a movie: "Apocalypse Now" -- great movie. We've got to get our hero, Captain Willard, to the mouth of the Nung River so he can go pursue Colonel Kurtz. The way we're going to do this is fly him in and drop him off. So the scene: the sky is filled with this fleet of helicopters carrying him in. And there's this loud, thrilling music in the background, this wild music. ♪ Dum da ta da dum ♪ ♪ Dum da ta da dum ♪ ♪ Da ta da da ♪ That's a lot of power. That's the kind of power I feel in this room. That's the kind of power we have because of all of the data that we have.

Let's take an example. What can we do with just one person's data? What can we do with that guy's data? I can look at your financial records. I can tell if you pay your bills on time. I know if you're good to give a loan to. I can look at your medical records; I can see if your pump is still pumping -- see if you're good to offer insurance to. I can look at your clicking patterns. When you come to my website, I actually know what you're going to do already because I've seen you visit millions of websites before. And I'm sorry to tell you, you're like a poker player, you have a tell. I can tell with data analysis what you're going to do before you even do it. I know what you like. I know who you are, and that's even before I look at your mail or your phone.

Those are the kinds of things we can do with the data that we have. But I'm not actually here to talk about what we can do. I'm here to talk about what we should do. What's the right thing to do?

Now I see some puzzled looks like, "Why are you asking us what's the right thing to do? We're just building this stuff. Somebody else is using it." Fair enough. But it brings me back. I think about World War II -- some of our great technologists then, some of our great physicists, studying nuclear fission and fusion -- just nuclear stuff. We gather together these physicists in Los Alamos to see what they'll build. We want the people building the technology thinking about what we should be doing with the technology.

So what should we be doing with that guy's data? Should we be collecting it, gathering it, so we can make his online experience better? So we can make money? So we can protect ourselves if he was up to no good? Or should we respect his privacy, protect his dignity and leave him alone? Which one is it? How should we figure it out?

I know: crowdsource. Let's crowdsource this. So to get people warmed up, let's start with an easy question -- something I'm sure everybody here has an opinion about: iPhone versus Android. Let's do a show of hands -- iPhone. Uh huh. Android. You'd think with a bunch of smart people we wouldn't be such suckers just for the pretty phones. (Laughter) Next question, a little bit harder. Should we be collecting all of that guy's data to make his experiences better and to protect ourselves in case he's up to no good? Or should we leave him alone? Collect his data. Leave him alone. You're safe. It's fine. (Laughter) Okay, last question -- harder question -- when trying to evaluate what we should do in this case, should we use a Kantian deontological moral framework, or should we use a Millian consequentialist one? Kant. Mill. Not as many votes. (Laughter) Yeah, that's a terrifying result. Terrifying, because we have stronger opinions about our hand-held devices than about the moral framework we should use to guide our decisions.

How do we know what to do with all the power we have if we don't have a moral framework? We know more about mobile operating systems, but what we really need is a moral operating system. What's a moral operating system? We all know right and wrong, right? You feel good when you do something right, you feel bad when you do something wrong. Our parents teach us that: praise with the good, scold with the bad. But how do we figure out what's right and wrong? And from day to day, we have the techniques that we use. Maybe we just follow our gut. Maybe we take a vote -- we crowdsource. Or maybe we punt -- ask the legal department, see what they say. In other words, it's kind of random, kind of ad hoc, how we figure out what we should do. And maybe, if we want to be on surer footing, what we really want is a moral framework that will help guide us there, that will tell us what kinds of things are right and wrong in the first place, and how would we know in a given situation what to do.

So let's get a moral framework. We're numbers people, living by numbers. How can we use numbers as the basis for a moral framework? I know a guy who did exactly that. A brilliant guy -- he's been dead 2,500 years. Plato, that's right. Remember him -- old philosopher? You were sleeping during that class. And Plato, he had a lot of the same concerns that we did. He was worried about right and wrong. He wanted to know what is just. But he was worried that all we seem to be doing is trading opinions about this. He says something's just. She says something else is just. It's kind of convincing when he talks and when she talks too. I'm just going back and forth; I'm not getting anywhere. I don't want opinions; I want knowledge. I want to know the truth about justice -- like we have truths in math. In math, we know the objective facts. Take a number, any number -- two. Favorite number. I love that number. There are truths about two. If you've got two of something, you add two more, you get four. That's true no matter what thing you're talking about. It's an objective truth about the form of two, the abstract form. When you have two of anything -- two eyes,two ears,two noses, just two protrusions -- those all partake of the form of two. They all participate in the truths that two has. They all have two-ness in them. And therefore, it's not a matter of opinion.

What if, Plato thought, ethics was like math? What if there were a pure form of justice? What if there are truths about justice, and you could just look around in this world and see which things participated, partook of that form of justice? Then you would know what was really just and what wasn't. It wouldn't be a matter of just opinion or just appearances. That's a stunning vision. I mean, think about that. How grand. How ambitious. That's as ambitious as we are. He wants to solve ethics. He wants objective truths. If you think that way, you have a Platonist moral framework.

If you don't think that way, well, you have a lot of company in the history of Western philosophy, because the tidy idea, you know, people criticized it. Aristotle, in particular, he was not amused. He thought it was impractical. Aristotle said, "We should seek only so much precision in each subject as that subject allows." Aristotle thought ethics wasn't a lot like math. He thought ethics was a matter of making decisions in the here-and-now using our best judgment to find the right path. If you think that, Plato's not your guy. But don't give up. Maybe there's another way that we can use numbers as the basis of our moral framework.

How about this: What if in any situation you could just calculate, look at the choices, measure out which one's better and know what to do? That sound familiar? That's a utilitarian moral framework. John Stuart Mill was a great advocate of this -- nice guy besides -- and only been dead 200 years. So basis of utilitarianism -- I'm sure you're familiar at least. The three people who voted for Mill before are familiar with this. But here's the way it works. What if morals, what if what makes something moral is just a matter of if it maximizes pleasure and minimizes pain? It does something intrinsic to the act. It's not like its relation to some abstract form. It's just a matter of the consequences. You just look at the consequences and see if, overall, it's for the good or for the worse. That would be simple. Then we know what to do.

Let's take an example. Suppose I go up and I say, "I'm going to take your phone." Not just because it rang earlier, but I'm going to take it because I made a little calculation. I thought, that guy looks suspicious. And what if he's been sending little messages to Bin Laden's hideout -- or whoever took over after Bin Laden -- and he's actually like a terrorist, a sleeper cell. I'm going to find that out, and when I find that out, I'm going to prevent a huge amount of damage that he could cause. That has a very high utility to prevent that damage. And compared to the little pain that it's going to cause -- because it's going to be embarrassing when I'm looking on his phone and seeing that he has a Farmville problem and that whole bit -- that's overwhelmed by the value of looking at the phone. If you feel that way, that's a utilitarian choice.

But maybe you don't feel that way either. Maybe you think, it's his phone. It's wrong to take his phone because he's a person and he has rights and he has dignity, and we can't just interfere with that. He has autonomy. It doesn't matter what the calculations are. There are things that are intrinsically wrong -- like lying is wrong, like torturing innocent children is wrong. Kant was very good on this point, and he said it a little better than I'll say it. He said we should use our reason to figure out the rules by which we should guide our conduct, and then it is our duty to follow those rules. It's not a matter of calculation.

So let's stop. We're right in the thick of it, this philosophical thicket. And this goes on for thousands of years, because these are hard questions, and I've only got 15 minutes. So let's cut to the chase. How should we be making our decisions? Is it Plato, is it Aristotle, is it Kant, is it Mill? What should we be doing? What's the answer? What's the formula that we can use in any situation to determine what we should do, whether we should use that guy's data or not? What's the formula? There's not a formula. There's not a simple answer.

Ethics is hard. Ethics requires thinking. And that's uncomfortable. I know; I spent a lot of my career in artificial intelligence, trying to build machines that could do some of this thinking for us, that could give us answers. But they can't. You can't just take human thinking and put it into a machine. We're the ones who have to do it. Happily, we're not machines, and we can do it. Not only can we think, we must. Hannah Arendt said, "The sad truth is that most evil done in this world is not done by people who choose to be evil. It arises from not thinking." That's what she called the "banality of evil." And the response to that is that we demand the exercise of thinking from every sane person.

So let's do that. Let's think. In fact, let's start right now. Every person in this room do this: think of the last time you had a decision to make where you were worried to do the right thing, where you wondered, "What should I be doing?" Bring that to mind, and now reflect on that and say, "How did I come up that decision? What did I do? Did I follow my gut? Did I have somebody vote on it? Or did I punt to legal?" Or now we have a few more choices. "Did I evaluate what would be the highest pleasure like Mill would? Or like Kant, did I use reason to figure out what was intrinsically right?" Think about it. Really bring it to mind. This is important. It is so important we are going to spend 30 seconds of valuable TEDTalk time doing nothing but thinking about this. Are you ready? Go.

Stop. Good work. What you just did, that's the first step towards taking responsibility for what we should do with all of our power.

Now the next step -- try this. Go find a friend and explain to them how you made that decision. Not right now. Wait till I finish talking. Do it over lunch. And don't just find another technologist friend; find somebody different than you. Find an artist or a writer -- or, heaven forbid, find a philosopher and talk to them. In fact, find somebody from the humanities. Why? Because they think about problems differently than we do as technologists. Just a few days ago, right across the street from here, there was hundreds of people gathered together. It was technologists and humanists at that big BiblioTech Conference. And they gathered together because the technologists wanted to learn what it would be like to think from a humanities perspective. You have someone from Google talking to someone who does comparative literature. You're thinking about the relevance of 17th century French theater -- how does that bear upon venture capital? Well that's interesting. That's a different way of thinking. And when you think in that way, you become more sensitive to the human considerations, which are crucial to making ethical decisions.

So imagine that right now you went and you found your musician friend. And you're telling him what we're talking about, about our whole data revolution and all this -- maybe even hum a few bars of our theme music. ♪ Dum ta da da dum dum ta da da dum ♪ Well, your musician friend will stop you and say, "You know, the theme music for your data revolution, that's an opera, that's Wagner. It's based on Norse legend. It's Gods and mythical creatures fighting over magical jewelry." That's interesting. Now it's also a beautiful opera, and we're moved by that opera. We're moved because it's about the battle between good and evil, about right and wrong. And we care about right and wrong. We care what happens in that opera. We care what happens in "Apocalypse Now." And we certainly care what happens with our technologies.

We have so much power today, it is up to us to figure out what to do, and that's the good news. We're the ones writing this opera. This is our movie. We figure out what will happen with this technology. We determine how this will all end.

Thank you.


「力(ちから)」 そんな言葉が頭に浮かびます 我々は新しい技術者です 多くのデータ すなわち大きな力を手にしています どれほどの力があるのでしょう 「地獄の黙示録」を思いだしてください 素晴らしい映画です 主人公のウィラード大尉は カーツ大佐を追跡するために ナン河の河口に向かわねばなりません そこで空路で運んで彼を降下させる そんな場面です 彼を乗せたヘリコプター軍団が空いっぱいに広がり スリリングな音楽が大きく響きます この力強い音楽です ♪ダンダラダーダン ダンダラダーダン ダダラダー♪ 凄まじい力です ここでもその種の力を感じます 私たちの手に入れたデータに由来する力は この種の力です

例を示します ある一人の個人データから 何ができるでしょうか たとえば 彼のデータでは? 財務記録を見て 支払いに遅れがないかを調べ お金を貸し付けて大丈夫とわかります 医療記録を調べて 心臓に問題がなければ 保険を勧めて良いことがわかります クリックの癖も調べられます 私のウェブサイトに来たときには どう振る舞うかお見通しです これまでの無数のサイト訪問を見ているからです 申し訳ないですが 手の内を見透かされたポーカープレイヤーは 何かする前から やろうとしていることを 見抜かれています あなたが好きなものも あなたが何者かも メールや電話を見なくたって わかるのです

我々が集めているデータで こんなことができるのです でも今日は 何ができるかでなく 何をすべきかについて 話します 「正しい行い」とは何か?

戸惑った顔の方もいます 「何が正しい行動か?なんてどうして聞くんだ 僕らは何かを作る それを使うのは他の人だ」 いいでしょう では昔を振り返って 第二次世界大戦のことを考えましょう 当時の偉大な技術者と 偉大な物理学者で 核分裂や核融合などの 原子核物理を研究していた人たちが ロス・アラモスに集まって 何を作ったのでしょう 技術を作っている人たちには 技術をどう使うべきか考えて欲しいのです

つまり あの人のデータをどう扱うべきでしょうか データを集めて蓄積し より良いオンライン生活を 提供するために役立てますか? お金を稼ぐために使いますか? もしも彼が問題人物だったときに 自分たちを守るために使いますか? あるいは 彼のプライバシーを尊重して 彼の尊厳を守り そっとしておきますか どちらにしましょうか どうやって決めましょうか

そうだ クラウドソースです まず手始めに 簡単な質問から始めます これは 誰もが自分の考えを持っているはずです iPhone とアンドロイドです 手を挙げてください -- iPhone ふむふむ アンドロイド こんなに賢い人たちの集まりに 電話のことだけ聞いたらマズイですよね (笑) 次の質問は 少し手応えがあります 彼のデータを全て集めて よりよい経験を提供し もし問題人物なら身を守るために使ってよいか? それとも データ収集は止めますか データを集める人 集めない人 安心していいよ 大丈夫です (笑) では 最後の質問は もっと厄介な質問です このケースで何を行うべきか 評価するときに カントの義務論に従うべきでしょうか それともミルの帰結主義に従いますか カント ミル 挙手が減ってしまいました (笑) いや ぞっとするような結果です 恐ろしいのは 携帯機器に対して 明確な意見があるのに 意思決定を導くべき道徳観には それほどの意見がないからです

手にした力をどう使うべきかを 道徳観を持たずして どう決められますか? 皆さんはモバイルの OS のほうに詳しいですが 本当に必要なのは道徳のOSなのです 道徳の OS とは何でしょうか 良し悪しは誰もが分かることです 良いことをすれば気分が良いし 悪いことをすると気分が良くない 両親は 良いことを褒め 悪いことを叱って教えます では 良し悪しはどう判断するのでしょう? 日常的に 使われている方法があります 直感で決めるかもしれません 投票 --クラウドソースかもしれません あるいは回避して 法務部門の意見を聞いてみるかもしれません 言い換えれば ランダムなのです 間に合わせの方法で 「何をすべきか」を決めるのです 足場をしっかりさせたいなら そもそも物事の正誤を明らかにして 状況に応じて何をすべきかを示し 導いてくれる道徳観が求められます

では道徳観を獲得しましょう 皆さん数字で暮らす 数字人間ですね いったいどうすれば 数字を道徳の基準に使えるでしょう まさにこのことを考えた人がいます 明晰な人物で 2千5百年前に亡くなりました そう プラトンです 昔の哲学者ですが 覚えていますか? あの授業のときは寝てましたか? プラトンは 我々と同じ多くの心配を抱え 善悪について悩みました 「正しい」とは何かを追求しました 皆 意見を交換しているだけではないかと 彼は心配していました 彼はこれが正しいと言い 彼女は別のことが正しいと言う 彼の話に納得し 彼女の話にも納得する 堂々巡りで どこにも行き着きません 欲しいのは意見ではなく知識です 数学で真理があるように 正義についての 真理を知りたいのです 数学では客観的な真実があります どんな数字でも -- 例えば 2 です いい番号です 私は好きです 2 についてはこんな真実があります 何かが 2 つあるときに あと 2 つ加えると 4 つになります モノが何であっても これは真です 2 という形式 -- 抽象的な形式における 客観的な真実です どんなものでも 2 つあれば -- 目や耳 鼻 単なる突起が 2 つでも 全ては 2 という形式を引き継ぎ 2 に伴う真実を共有します 全てが「2 らしさ」を有します だからそれは意見の問題ではありません

プラトンは考えました もし倫理も数学のようなものだったら? 純粋な正義というものがあるとしたら? 正義についての真実があるとしたら この世界をよく眺めることで 物事が引き継ぎ 共有している 正義という形式を見いだせるのではないだろうか そうすれば 何が本当に正しく 何が正しくないか分かるだろう 意見の問題や 外見の問題ではなくなるだろう とても魅力的なビジョンです 考えてみてください 実に壮大で 実に野心的です 私たちとおなじくらい野心的です プラトンは倫理の答えを求め 客観的な真実を求めました 皆さんもこういうふうに考えるなら プラトン派の道徳観を持っています

こう考えない人は 西洋の哲学の歴史においては多数派で この整然とした考えは批判されてきました とくに アリストテレスはこれが気にいりませんでした 実用的ではないと考えたのです 「それぞれの主題ごとに許される範囲内でのみ正確さを追求すべきだ」 とアリストテレスは言いました 彼は倫理と数学はあまり似ていないと考えました 彼の考える倫理とは 今ここで 最良の判断で意思決定をして 正しい道を探すことでした そう思うならプラトン派ではありません でもあきらめないで もしかすると他にも 数量を基準とする道徳観があるかもしれません

これはどうでしょう ある状況で選択肢を比べて それぞれについて推定をして どれが良い選択で何をすべきか明らかにできるとしたら? 聞いたことはありませんか これは功利主義の道徳観です ジョン・スチュワート・ミルは功利主義を 大いに推進して ー いい男ですし 200 年ほど前に亡くなりました 功利主義の基本ですが 多くの方 ー 少なくとも 先ほどミルに投票した3人はご存知でしょう こんな仕組みです 道徳や何かを道徳たらしめるものは 快楽を最大化し苦痛を最小化させる ものである としたらどうでしょう 行動に固有の何かが作用します 何かの抽象的な形式との関係とは違って 結果だけを問題とします 結果だけを考え 全体としてこれが良いか悪いかを判断します これは単純です そして何をすべきか分かります

例で考えてみましょう もし私がこう言ったとします 「お電話を預からせていただきます」 さっき鳴ったからではなく 簡単に推測してみたからです あの人はどうも怪しいと考えたからです もしも彼がビンラディンの隠れ家と あるいは誰でもその後継者と通信していたら そして彼が潜伏中のテロリストのようであったら これは はっきりさせないといけません 当たっていたら 重大な損害を防ぐことになるでしょう この損害を防ぐことは大いなる便益となります 電話を調べたときの少々の苦痛と比べても ? FarmVille にハマっていることなど バレてしまうのは不愉快ですが 電話を調査することの価値と比べれば 小さな問題です こういうふうに考える人は 功利主義を選んでいます

でもこれも違うと思われるかもしれません 彼の電話なのだ それを取り上げるのは 間違いだとお考えかもしれません 人としての彼は 権利と尊厳を有し それを妨げてはいけません 彼は自立した存在で どういう推定がなされても問題ではない そもそも正しくないこともあります ウソを付くことが間違いであるとか 罪のないこどもを拷問することとか カントはこの点を巧みに捕らえて 私よりも上手に述べています 自分の理性を使って 自分の行動を? 導くルールを明らかにするべきだと言っています そうしたらそのルールに従うのは義務です 推測などの問題ではありません

これは終わりにしましょう 我々はこの哲学的な密林の真ん中にいます こう言った話は果てしなく続きます 難しい問題だからです 15分しかありません 単刀直入に言いましょう 決定をどのように下すべきなのか プラトンかアリストテレス カントかミル 何をするべきなのか 答えは何か どんな状況であっても何をするべきか決められる 公式は何でしょう あの人のデータを使ってよいかどうか 決めるための公式は何でしょう 公式はありません 単純な答えはありません

倫理は難しいものです 倫理は思考を求めます それは快適なものではありません 私はこれまで長いこと 人工知能を研究し このような思考を代行できる装置を作ろうとしてきました 答えを与えるような装置です しかしそれはできません 人の思考を取り出して 機械に入れることはできません 自分たちで考えなければいけないのです 幸い 私たちは機械ではなく 考えることができます 単にできるだけではなく 考えなければなりません ハンナ・アーレントが言っています 「悲しいかな この世のほとんどの悪は 悪をなそうと覚悟した人が 行うのではない 悪は考えないことから生じるのである」 このことを彼女は「悪の陳腐さ」と呼びました これを踏まえて 全ての良識ある人は 思考を練習するよう求められるのです

やってみましょう 考えてみましょう つまり 今から始めましょう 会場のみなさん これをやってください 一番最近 正しく行えるか気になって 「どうしたらいいのだろう」と思った 決断のことを考えてください そのことを思い出してください それを思いだしたら考えてください 「どうやってその決断に達したのか 自分は何をしたのか?直感に従ったのか? 投票してもらったのか?法務部に聞いたのか?」 選択肢は他にもいくつかあります 「ミルのように何が便益を最大化するかと 評価したのか」 それともカントのように 理性を用いて固有の正しさを見いだしたか 考えてみてください きちんと思いだすこと これが大事です 大変重要なことなので この貴重な TED Talk の30秒を使いましょう 何もせず このことを考えるのです 用意して 始め

おしまい ごくろうさま 今やって頂いたことが なすべきことに対して責任を持って 我々の力を行使するための第一歩です

次のステップです これも挑戦してください 誰か友達に 決定を下した経緯を 説明してください 今ではありません トークが終わるまで待ってください 昼食のときにやってください 技術者の友人ではなくて 自分と違うタイプを探してください 芸術家やライターや ありえないかもしれませんが 哲学者をみつけて話してください 人文科学の誰かを見つけてください なぜか? 彼らの問題の考え方は 技術者とは違うからです 数日前ですが ここから通りの向かいで 数百人の人が 集まりました 技術者と人文科学者が ビブリオテック会議に集まったのです 集まった理由は 人文科学の見方で思考すると どうなるかを技術者が知りたかったからです グーグルから来た人が 比較文化論の研究者と話しました 17 世紀のフランスの劇場とベンチャーキャピタルが どう関係するのかとお考えでしょう 面白い点です 考え方が違うのです こういうふうに考えたときに 人への配慮について もっと敏感になるでしょう それは倫理的決断に大事なことです

出かけて行って音楽家の友人と会うことを 今 想像してください 聞いたことを彼に伝え 我々のデータ革命とかこれらのこと全部 テーマ音楽も数小節鼻歌で歌ってもいいです ♪ダンダダダーダンタダダダン♪ 音楽家の友達が制止して言うでしょう 「データ革命の そのテーマ曲は オペラだ それはワーグナーだ 北欧の神話が元になっていて 神と神話世界の住人が 魔法の指輪を巡って戦う話だ」 これは興味深いことです 美しいオペラでもあったのです 感動的なオペラです それは善と悪の戦いを 描いているので 感動するのです 善と悪とが気になります オペラで何が起きるのかも気になります 「地獄の黙示録」で何が起きたかも気になります もちろん 我々の技術に何が起きるのかも 気になることです

これほどの力を手に入れた今日 それをどうするかは我々の手に委ねられています それは朗報と言えます 我々がこのオペラを書くのです これは我々の映画です この技術で何が起こるか明らかにしましょう どういう結末を迎えるのか決めましょう



― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等