TED日本語 - ゼイナップ・トゥフェックチー: 機械知能は人間の道徳性をより重要なものにする

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - ゼイナップ・トゥフェックチー: 機械知能は人間の道徳性をより重要なものにする

TED Talks

機械知能は人間の道徳性をより重要なものにする

Machine intelligence makes human morals more important

ゼイナップ・トゥフェックチー

Zeynep Tufekci

内容

機械知能はもう存在しており、私たちは既にそれを使って主体的な決定を行うようになっています。しかし人工知能が成長・向上していく複雑な道筋は理解しにくく、制御することも難しいのです。このトークで、科学技術に関する社会学を研究するゼイナップ・トゥフェックチーは、いかに知能機械が人間のエラーパーターンと合わない、そしてそのために予想も事前の備えもないやり方で失敗を犯すと警告を発します。「私たちは責任を機械に外部委託することはできない」と彼女は言います。そして「私たちは人間としての価値観と倫理観をさらに強固に持たねばならない」と。

字幕

SCRIPT

Script

So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.

Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.

(Laughter)

And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."

(Laughter)

Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.

I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.

(Laughter)

Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.

Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.

We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"

Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we can not anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.

To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.

Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."

Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.

So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.

And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.

So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.

I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.

So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.

"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.

(Laughter)

She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.

(Laughter)

Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?

Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."

Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.

In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.

So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.

She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.

(Applause)

Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?

(Laughter)

A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.

In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.

The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.

Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."

(Hums Final Jeopardy music)

Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.

Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.

(Laughter)

In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.

So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We can not escape these difficult questions. We can not outsource our responsibilities to machines.

(Applause)

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.

Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.

Thank you.

(Applause)

私はコンピュータ・プログラマー としての最初の仕事を 大学1年生で始めました まあ 10代だったんですね

ある会社で ソフトウェアを 書くという仕事を 始めてまもなく 会社のマネージャーが 私のところに来て こうささやきました 「僕の嘘 彼にばれてる?」 部屋には他に誰もいません

「誰にばれてるって言うんです? それにどうしてひそひそ声で?」

マネージャーは 室内のコンピュータを指さして 「僕の嘘 彼にばれてる?」 実はこのマネージャー 受付係と浮気してたんです

(笑)

私はまだ10代でした だからささやき声で 彼に叫び返しました 「ええ コンピュータには お見通しですよ」って

(笑)

笑っちゃいましたが 実は その笑いは自分に返ってきました 今日 コンピュータ・システムは 人間の顔画像を処理することによって 感情や 嘘まで見抜けるんです 広告主や 政府までもが 非常に関心を寄せています

コンピュータプログラマーに 私がなったのは 子どもの頃から数学と科学が 熱狂的に好きだったからです しかしその過程で 核兵器についても学び 科学の倫理について 非常に懸念するようになりました 悩みました しかし 家庭の事情で 私はできるだけ早く 働き始めなければなりませんでした それでひそかに考えました 技術者として 簡単に職が得られて 倫理という厄介な問題を何も 考えなくていい分野の仕事はないかと それで選んだのがコンピュータです

(笑)

ハハ 笑っちゃう 自分のことを笑ってるんです 近頃 コンピュータ科学者は 10億人が毎日見ているものを制御する プラットフォームを作っています 誰をひき殺すか決定できる 車を開発しています 戦争で人間を殺すかもしれないような 機械や兵器さえも作っています 全てにおいて重要になるのが倫理です

機械知能は もう存在しています 私たちは今や コンピュータを使って あらゆる種類の決定を下し さらに新しい類の決定も下します 私たちは 単一の正答がない問題の答えを コンピュータに尋ねています その問題とは 主観的で オープンエンドで 価値観にかかわるものです

私たちがする質問はこんなふうです 「誰を社員に採用すべきか?」 「どの友達からの新着情報を 表示すべきか?」 「再犯する可能性の高い受刑者は誰か?」 「人々に勧めるべき ニュースや映画はどれか?」

確かに私たちは しばらくの間 コンピュータを使ってきました しかしこれは違います これは歴史的なひずみです なぜならそのような主観的な決定を コンピュータには頼れないからです 飛行機を飛ばしたり 建物を建てたり 月に行く場合とは違うんです 飛行機の方が安全か? その橋は揺れたり落ちたりしたか? そこでは合意された かなり明確な基準があり 自然の法則が私たちを導いてくれます 私たちがそのような 支えや基準を何も持っていないのが 人間くさい事柄における 厄介な決定についてです

もっと複雑なことに ソフトウェアは強力になりつつあります その一方で 透明性を減らし 複雑さを増してもいるのです ここ10年のあいだ 複雑なアルゴリズムは 大きく前進しました 人間の顔を認識できます 手書き文字を読み取れます クレジットカードの不正使用を探知し スパムをブロックし 言語の翻訳もできます 医用イメージングで 腫瘍を探しあてることもできます チェスや碁で人間を 打ち負かすこともできます

この進歩の多くは 「機械学習」と 呼ばれる方法から成り立っています 機械学習は コンピュータに 詳細で正確、綿密な指示を与える ― 伝統的なプログラミングとは異なります 機械学習は システムに 大量のデータを しこたま詰め込むやり方です そこには非構造化データという 人間がデジタルライフで 生成する類のものも含まれます そしてシステムはこのデータを 組み合わせながら学習します そしてまた重要なことに これらのシステムは 答が単一になる論理で動いてはいません 単純に回答を与えるのではなく もっと確率論的です 「これはおそらくあなたが 探しているものにより近いでしょう」

これの良い面は この方法が非常に強力であることです GoogleのAIシステムのトップはこれを 「データの理不尽なほどの強力さ」 と呼んでいます このシステムの悪い面は これが何を学習しているのか 私たちはそれほど理解していないことです 実際 その強力さが問題なのです これはコンピュータに 指示を与えるというよりは むしろ子犬のような生き物として 訓練するようなものです その機械をそれほど 理解も制御もできていないのにです これは問題です この人工知能システムが 誤りを犯したときだけでなく 正しいことをした場合にも 問題が生じます なぜなら主観的な問題の場合 私たちには正誤さえも分からないからです 私たちはこの物体が 何を考えているか知りません

ですから たとえば雇用アルゴリズムを 考えてみましょう 社員を雇う際に使われるシステムで 機械学習システムを使っています そのようなシステムは過去の従業員の データに基づいて訓練されています そしてそのシステムが指示するのは その会社に在籍する業績優秀者に似た 人材を探し雇うことです 良さそうですね 以前ある会議に 出席した折のことですが そこには人事部のマネージャーと 執行役が集まっていました 高い職位の人たちで そのようなシステムを雇用に活用しています 彼らは非常にワクワクしていました 彼らの考えでは このシステムは より客観的で偏見の少ない雇用を行い マネージャーの偏見に対して 女性や少数派の人々に より良い機会を与えるものでした

そうです 雇用には偏見が混じるのです 私は知っています ある職場で プログラマーとして 働きだした頃 直属のマネージャーが 時々私のところに来ました それも早朝とか夕方にです そして彼女はこう言うんです 「ゼイナップ ランチ行きましょ」 おかしなタイミングで 全く訳が分かりませんでした 午後4時にランチ? 私はお金がなかったので おごりでした いつも行きました 後で何が起こっていたのか悟りました 直属のマネージャーは上層部に 重要な仕事のために雇ったのが ジーンズとスニーカーで仕事をする 10代女子だと言ってなかったんです 私は良い仕事ぶりだったのに 体裁が悪くて 年齢や性別の点でも良くなかったんです

ですから性別や人種に 惑わされない形での雇用は 非常に良いことだと 私には思えます でもこのシステムを用いると 事態はより複雑になります なぜなら 現在コンピュータシステムは あなたに関するあらゆる類のことを デジタル情報の断片から 推測できるからです 自分が開示していなくてもです システムはあなたの性的志向や 性格特徴や 政治的傾向を推測できます システムは高水準の正確さで 予測する力を持っています 思い出してください 開示さえしていない事柄をですよ これが推測です

ある友達は そのようなコンピュータシステムを 病的な あるいは産後の 抑うつの可能性を 予測するために開発しています SNSのデータを用いるんです 結果は素晴らしいです 彼女のシステムは うつ罹患の可能性を 症状が現れる数か月前に 予測できるのです 数か月も前ですよ 症状が全くない段階での予測です 彼女はこれを早期介入のために 活用したがっています 素晴らしい! でもこれを雇用の文脈で 考えてみましょう

例の 人事マネージャーの会議では 私はある非常に大きな企業の 高職位のマネージャーに近づき こう言いました 「まだご存じないこととは思いますが もしそのシステムが 将来うつになる可能性が 高い人を排除しているとしたらどうでしょう? 今ではなく 将来そうなる可能性が高い人です 妊娠する可能性の 高い女性を排除しているとしたら? 来年か再来年のことで 今は妊娠していない場合ですよ? もし職場の文化に合っているからと 攻撃的な人が雇われたらどうします?」 性別の構成からは そのことを読み取れません 構成比はバランスが取れています これは機械学習で 伝統的なプログラムではないので たとえば「うつハイリスク」とか 「妊娠ハイリスク」 「攻撃的な人物度」 などの変数は登場しません システムが何に基づいて選択しているのか 分からないばかりか どうすれば分かるのかの 手がかりもありません ブラックボックスなんです システムには予測力がありますが 人間には理解できない代物です

「どんな安全対策をしていますか? あなたのブラックボックスが やましいことをしないようにです」 彼女は子犬の尻尾を10匹分も踏みつけた 人でなしを見るかのような顔になりました

(笑)

彼女は私をじっと見て言いました 「これについては もう何も聞きたくない」 そして彼女は踵を返して 行ってしまいました 彼女が失礼なわけではありません 明らかに 聞かなかったことにしたい あっち行ってという憎悪の眼差しでした

(笑)

いいですか そのようなシステムは ある意味 偏見の程度は 人間のマネージャーよりは 少ないかもしれません 費用の面でも 理にかなっているでしょう でもそれはまた ひそやかながら確実に 労働市場からの うつハイリスク者の締め出しに つながりかねません これが私たちの築きたい 社会の姿でしょうか? こんなことをしていることさえ 私たちは知らないんです 完全には理解していない機械に 意思決定をさせているんですからね

もう1つの問題はこれです このようなシステムの訓練は往々にして 人間の行動データに基づいています 人間らしさが刻み込まれています それらは私たちの偏見を 反映している可能性があり これらのシステムは 私たちの偏見を拾い上げ それを増幅して 私たちに示し返しかねません 私たちはこんな言いっぷりなのにですよ 「私たちはまさしく客観的です 中立的なコンピューティングですから」

研究者たちは Googleにおいて 女性には 高給の求人広告が 表示されにくいことを見出しました また アフリカ系アメリカ人の 名前を検索すると 犯罪歴をほのめかす広告が 高確率で表示されます 犯罪歴がない人の場合でもそうです そのような隠れた偏見と ブラックボックスのアルゴリズムを 研究者が暴くこともありますが 知られない場合もあります それらは人生を 変える結果になりうるのです

ウィスコンシンで ある被告が 刑期6年の判決を受けました 警察官から逃げたためです ご存知ないかもしれませんが 仮釈放や判決の決定においても アルゴリズムの使用が増えています 彼はこのスコアが計算される仕組みを 知りたいと思いました それは商用のブラックボックスです 企業はアルゴリズムが 公開の法廷で検証されるのを拒みました でもProPublicaという非営利の調査団体が そのアルゴリズムを監査しました 入手可能だった 公開データを用いてです そして分かったのは 結果には偏見が影響しており 予測力はひどいものでした 偶然よりわずかにましな程度です 黒人の被告は 白人の被告に比べて 将来犯罪を起こす確率が 2倍高いと 誤ってラベリングされていました

ではこのケースを考えてみましょう 女性のほうは予定より遅れて 親友を迎えに行くため フロリダ州ブロワード郡の ある学校に向かって 友達と一緒に道を走っていました ふたりはある家の玄関で 無施錠の 子ども用の自転車とキックスケーターを見つけ 愚かにもそれに飛び乗りました 走り去ろうとしたところ 女性が出てきて言いました 「ちょっと! それはうちの子の自転車よ!」 ふたりは降りて 歩き去りましたが 逮捕されました

彼女は間違っていたし愚かでした でもまだ18歳です 彼女は2回の非行歴がありました 一方 男性のほうは Home Depoで 万引きをして捕まりました 彼が万引きしたのは85ドル相当で 同じく軽犯罪ですが 彼は強盗で前科2犯でした でもアルゴリズムは 男性ではなく 女性の方をハイリスクと評価しました その女性が2年後に再犯していないことを ProPiblicaは明らかにしています 犯罪記録をもつ彼女が 職を得るのは実に困難でした 一方 男性の方は再犯し 2つ目の犯罪のために 現在は8年間の収監中です ブラックボックスに対して 監査が必要なのは明白です チェックしないままこの種の権力を 与えてはいけないのです

(拍手)

監査は偉大で重要ですが それで全ての問題を解決できはしません Facebookのニュース・フィードの 強力なアルゴリズムの場合 全てをランク付けし 全ての友達やフォロー中のページのなかで 何を見るべきか決定する仕組みですね 赤ちゃんの写真をもう1枚見るべきか?

(笑)

知り合いからの ご機嫌斜めのコメントは? 重要だけど難解なニュース記事は? 正答はありません Facebookはサイト上での やりとりに応じて最適化します 「いいね」やシェア コメントといったものです

2014年8月 ミズーリ州ファーガソンで 抗議運動が勃発しました アフリカ系アメリカ人の10代が 白人の警察官に殺され その状況が不審だったのです 抗議運動のニュースは フィルタリングされない Twitterフィードを埋め尽くしました でもFacebookには 何ら表示されませんでした Facebook上の友達との関連でしょうか? 私はFacebookのアルゴリズムを 無効にしました Facebookはアルゴリズムの 管理下に置きたがるので 難しかったですけどね すると友達が 抗議運動のことを 話しているのが分かりました アルゴリズムが私に 見せなかっただけなんです 調査して分かりましたが これは広範囲にわたる問題でした

ファーガソンの話題は アルゴリズムに馴染まなかったんです 「いいね」しにくいのです 誰が「いいね」します? コメントをするのさえ 容易じゃありません 「いいね」もコメントもないので アルゴリズムは少数の人にしか それを表示しません だから目にすることがなかったんです そのかわり その週 Facebookのアルゴリズムが ハイライトしたのは ALSアイス・バケツ・チャレンジでした 価値のある目的で氷水をかぶり チャリティに寄付 良いですね でも極めてよくアルゴリズムに馴染みます 機械が私たちのために これを決定したんです 非常に重要だけれど難解な会話は Facebookが唯一の経路の場合 抑え込まれてきたのかもしれません

さて最後にこれらのシステムは 人間のシステムとは似つかない誤りを 犯しうるのです 皆さんはワトソンを覚えていますか IBMの機械知能システムで クイズ番組『ジェパディ!』で 対戦相手の人間を打ち負かしました すごい選手だったんです しかし最終問題で ワトソンは こんな質問をされました 「その地域最大の空港の名は 第二次世界大戦の英雄に由来し 2番目の空港の名の由来は 第二次世界大戦中の戦いです」

(最終問題の音楽をハミング)

「シカゴ」 人間ふたりは正答でした 一方ワトソンの答えは 「トロント」 米国の都市についての問題だったのに! この素晴らしいシステムも エラーをするんです 人間はしないようなエラーです 2年生の子どもでもしません

機械知能は失敗を犯すこともあるんです 人間のエラーパターンとは 異なります 予想外であり 備えもできないような方法です 資質のある人が仕事を得られないのも ひどい話ですが もしそれがプログラムのサブルーチンに伴う スタックオーバーフローが原因なら 3倍ひどい話です

(笑)

2010年5月 ウォールストリートの 「売り」アルゴリズムでの フィードバックループによって 瞬間暴落が起き 36分間で1兆ドル相当の 損失が出ました 「エラー」の意味を考えたくもないのが 無人攻撃機の場合です

ええ人間には 偏見がつきものです 意思決定者やゲートキーパー 法廷、ニュース、戦争・・・ そこではミスが生じますが これこそ私の言いたいことです これらの難問から 私たちは逃れられません 私たちは責任を 機械に外部委託することはできないのです

(拍手)

人工知能は「倫理問題からの解放」カードを 私たちにくれたりしません

データ科学者のフレッド・ベネンソンは これを数学による洗脳だと呼びました 私たちに必要なのは逆のものです 私たちはアルゴリズムを疑い 精査するようにならねばなりません 私たちは アルゴリズムについての 説明責任を持ち 監査や意味のある透明化を 求めなければなりません 私たちは厄介で価値観にかかわる 人間くさい事柄に対して 数学や計算機は 客観性をもたらしえないことを 受け入れなければなりません むしろ人間くささのもつ複雑さが アルゴリズムを管理するのです 確かに私たちは コンピュータを 良い決断を下す助けとして 使いうるし そうすべきです でも私たちは判断を下すことへの 自分の道徳的な責任を認め そしてアルゴリズムを その枠内で用いなければなりません 自分の責任を放棄して 別の人間へ委ねることとは 異なるのです

機械知能はもう存在しています つまり私たちは 人間としての価値観や倫理感を よりしっかり持たねばなりません

ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

TED 日本語

TED Talks

関連動画

洋楽 おすすめ

RECOMMENDS

洋楽歌詞