TED日本語 - キャシー・オニール: ビッグデータを盲信する時代に終止符を

TED日本語

プレゼンテーション動画

TED日本語 - キャシー・オニール: ビッグデータを盲信する時代に終止符を

TED Talks

ビッグデータを盲信する時代に終止符を
The era of blind faith in big data must end
キャシー・オニール
Cathy O'Neil

内容

アルゴリズムは、誰がローンを組めるか、誰が就職面接を受けられるか、誰が保険を掛けられるかなど、様々なことを決めています。ただアルゴリズムは自動的に公平性を生む訳ではありません。数学者でデータサイエンティストのキャシー・オニールは、秘密で、重要性が高く、悪影響を及ぼすアルゴリズムに「大量破壊数学」と名付けました。アルゴリズムの裏側にある隠れた意図を、もっと知ろうではありませんか。

Script

Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?

To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?

Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.

(Laughter)

My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.

Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.

This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."

It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.

(Laughter)

What is that?

(Laughter)

That should never have been used for individual assessment. It's almost a random number generator.

(Applause)

But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.

I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.

This is Roger Ailes.

(Laughter)

He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?

Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.

Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.

Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.

Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right,3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.

What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."

(Laughter)

(Applause)

They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.

Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.

So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.

The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.

First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?

Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.

Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?

And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.

I have two more messages,one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.

(Applause)

And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.

(Applause)

The era of blind faith in big data must end.

Thank you very much.

(Applause)

アルゴリズムは どこにでもあります アルゴリズムが勝者と敗者を分けます 勝者は仕事を手に入れ 有利なクレジットカードを申し込めます 一方 敗者は就職面接すら受けられず 保険料は より高くなります 私たちは 理解できない上に 不服申し立ての機会もない ― 秘密の数式によって 格付けされているのです そこで疑問が湧いてきます もしアルゴリズムが間違っていたら?

アルゴリズムを作る時 必要なものが2つあります データ つまり過去の出来事の記録と 人が追い求める「成功」を定義する基準です 人が追い求める「成功」を 定義する基準です そして観察と理解を通して アルゴリズムを訓練します アルゴリズムに 成功と関係する要素を 理解させるためです どんな状況が 成功に繋がるのでしょう?

実は アルゴリズムは誰でも使っています プログラムに書かないだけです 1つ例を挙げましょう 私は毎日アルゴリズムを使って 家族の食事を用意します 私が利用するデータは 台所にどんな材料があるか どれだけ時間をかけられるか どれだけ料理に凝るかで 私はそのデータをまとめます ちなみにインスタントラーメンは 食べ物とは認めません

(笑)

私にとって成功の基準は 子供たちが野菜を食べることです もし下の息子が決めるなら 基準はガラッと変わり 「いっぱいチョコナッツクリームを 食べられれば成功」と言うでしょう でも基準を決めるのは私です 責任者は私で 私の意見が重要なんですから これがアルゴリズムの第1のルールです

アルゴリズムとはプログラムに 埋め込まれた意見なのです これは ほとんどの人が持つ アルゴリズムのイメージとはかけ離れています 人々はアルゴリズムが客観的で正しく 科学的なものと思っていますが それはマーケティング上のトリックです アルゴリズムで人を怯ませるのも マーケティングのトリックですし アルゴリズムを信用させたり 恐れさせたりするのもそう 皆 数学を恐れつつ信用していますから ビッグデータを盲信すると いろいろな問題が生じかねません

彼女はキリ・ソアーズ ブルックリンの高校で校長をしています 2011年に彼女が教えてくれたのですが 彼女の学校では 「付加価値モデル」という 複雑な秘密のアルゴリズムで 教員が評価されている ということでした 私は こう伝えました 「数式を調べてみましょう 見せてくれれば説明しますよ」 すると彼女は 「数式を入手しようとしたら 市教育局の担当者に『これは数学ですよ 理解できないでしょう』と言われたんです」

事態はさらに深刻化します ニューヨーク・ポスト紙が 情報自由法に基づく開示請求をして ニューヨーク市の全教員の 名前とスコアを手に入れ 教員を辱めるような データを公表しました 一方 私がソース・コードを 同じ方法で手に入れようとしたところ 無理だと言われました 却下されたのです 後にわかったことですが ニューヨーク市で その数式を 見られる人は誰もおらず 誰も理解していなかったのです その後 ゲイリー・ルービンスタインという 頭のキレる人物が登場します 彼はニューヨーク・ポスト紙のデータから 2種類のスコアを持っている 教員665名を見つけ出しました それに該当するのは 例えば 数学を7年生と8年生で 教えている場合です 彼は2種類のスコアを散布図にしました 点はそれぞれ 先生を表します

(笑)

これは どういうことでしょう?

(笑)

こんなものを教員の個人評価に 使ってはいけません まるで乱数発生器じゃないですか

(拍手)

でも実際に使われたんです 彼女はサラ・ワイサキ 他の205人のワシントンD.C.学区の 先生たちと共に解雇されました 校長や保護者からの評価は 非常に高かったのにです

皆さんが今 考えていることは わかります 特にデータサイエンティストや AIの専門家なら思うでしょう 「自分なら そんなデタラメな アルゴリズムは作らない」って でもアルゴリズムは誤ることもあれば 善意に基づいていても 破壊的な影響を及ぼすことだってあります 飛行機なら 設計がまずければ 墜落しますし その様子が見えますが アルゴリズムだと設計がまずくても 長期間に渡って 音もなく 大惨事をもたらし続けかねないんです

彼はロジャー・エイルズ

(笑)

1996年にFOXニュースを創設しました 20人以上の女性が セクハラ被害を訴えました またキャリアアップを 妨害されたそうです 彼自身は2016年に地位を追われましたが 最近のニュースにある通り 問題は依然残っています ここで疑問が湧いてきます 再起をはかるために FOXニュースは何をすべきか?

人材採用プロセスを 機械学習アルゴリズムに 替えるのはどうでしょう? いいアイデアでしょう? 検討してみましょう まずデータには 何が使えるでしょう? 過去21年間に FOXニュースに送られた 履歴書がいいでしょう 妥当なデータです では成功の基準は? 妥当な基準は… どんな人がFOXニュースで成功するんでしょう? 例えば 4年在職して 最低1回は昇進していれば 成功と言えそうです 妥当な基準です それをアルゴリズムに学習させます 人々を探って 何が成功につながるか ― これまで どんな履歴書が 成功に繋がってきたのかを この基準に従って学習させるのです さて このアルゴリズムを 現在の就職希望者に 当てはめると どうなるでしょう? まず女性は除外されるでしょう 過去に成功してきたようには 見えないからです

配慮もなく やみくもに アルゴリズムを適用しても 物事は公平にはならないんです アルゴリズムは公平を生みません 過去の行為や行動パターンを 繰り返し 自動的に現状を維持するだけです この世界が完璧なら それでいいんでしょうが そうではありません さらに付け加えると ほとんどの企業は みっともない裁判を 抱えている訳ではありませんが こういった企業にいる データサイエンティストは 正確性に焦点を当て データに従うよう指示されています その意味を考えてみましょう 誰でもバイアスを持っているので アルゴリズムに性差別や その他の偏見が コード化されている可能性があります

思考実験をしてみましょう 私は思考実験が好きなので 人種を完全に隔離した 社会があるとします どの街でも どの地域でも 人種は隔離され 犯罪を見つけるために 警察を送り込むのは マイノリティーが住む地域だけです すると逮捕者のデータは かなり偏ったものになるでしょう さらに データサイエンティストを 探してきて 報酬を払い 次の犯罪が起こる場所を 予測させたらどうなるでしょう? マイノリティーの地域になります あるいは 次に犯罪を犯しそうな人を 予測させたら? マイノリティーでしょうね データサイエンティストは モデルの素晴らしさと正確さを 自慢するでしょうし 確かにその通りでしょう

さて 現実はそこまで極端ではありませんが 実際に多くの市や町で 深刻な人種差別があり 警察の活動や司法制度のデータが 偏っているという 証拠が揃っています 実際にホットスポットと呼ばれる 犯罪多発地域を 予測しています さらには個々人の犯罪傾向を 実際に予測しています 報道組織プロパブリカが最近 いわゆる「再犯リスク」アルゴリズムの 1つを取り上げ 調査しました フロリダ州で 判事による 量刑手続に使われているものです 左側の黒人男性バーナードのスコアは 10点満点の10点で 右の白人ディランは3点でした 10点中10点はハイリスクで 3点はローリスクです 2人とも麻薬所持で逮捕され どちらも前科はありましたが 3点のディランには重罪の前科があり 10点のバーナードには ありませんでした これが重要な理由は スコアが高ければ高いほど 刑期が長くなる 傾向があるからです

どうなっているのでしょう? これは「データ・ロンダリング」です このプロセスを通して 技術者が ブラックボックスのような アルゴリズムの内部に 醜い現実を隠し 「客観的」とか 「能力主義」と称しているんです 秘密にされている 重要で破壊的なアルゴリズムを 私はこんな名前で呼んでいます 「大量破壊数学」です

(笑)

(拍手)

それは間違いなく どこにでも存在します 民間企業が 私的なアルゴリズムを 私的な目的で 作っているんです 先程お話しした 教員や警察向けのアルゴリズムでさえ 民間企業が制作し 政府機関に販売したものです アルゴリズムは 「秘伝のタレ」だから 公開できないと 企業側は主張します また アルゴリズムは私的な権力です この謎めいた存在が持つ権威を振りかざして 企業は利益を得ています ただ こう思うかもしれません アルゴリズムが民間のものなら 競争があるので 自由市場の力が 問題を解決するのではないか… でも そうはいきません 不公平は大きな利益を 生み出しますから

それに我々人間は 合理的経済人ではなく 誰もがバイアスを持っています 私たちは 自分が望みも 気づきもしない形で 差別や偏見を持っているのです 全体を俯瞰して見ると そのことがわかります なぜなら社会学者が 考案した実験を通して 一貫して実証されてきたからです その実験では研究者が 履歴書を大量に送付しました 同じように資格は満たしていますが 一部は白人っぽい名前で 一部は黒人っぽい名前 そして結果は 常にがっかりするものでした

つまりバイアスがあるのは私たちで どんなデータを集め選ぶかによって そのバイアスをアルゴリズムに 注入しているんです これは私がインスタントラーメンを 含めないのと同じで 不適切だと決めたのは 私なんです しかし実際に過去の行動を元にした データを信頼し 成功の基準を恣意的に選びながら どうして欠陥のないアルゴリズムを 期待できるのでしょう? それは無理です チェックが必要なんです 公平性を確かめる必要があるんです

幸い公正性は確認できます アルゴリズムに問いただせば 常に本当のことしか 答えないので 修正を加え より良いものに 作り替えられます 私は これを アルゴリズム監査と呼んでいます その手順を説明しましょう

まずはデータ完全性チェックです 先ほど登場した 再犯リスク・アルゴリズムの場合 ― データ完全性チェックとは 事実を直視するという意味になるでしょう 例えばアメリカでは 大麻の使用率は 白人と黒人で同じなのに 逮捕される割合は 黒人の方がはるかに高く 地域によっては 4~5倍になるという事実があります このようなバイアスは 他の犯罪ではどんな形で表れ 私たちはそれを どう説明したらいいでしょうか?

次に 私たちは成功の基準について 考えなければなりません その基準を監査するのです 採用アルゴリズムを 思い出してください 勤続年数が4年で 昇進1回の人はどうだったでしょう その人は成功した社員でしょうが 同時に その会社の文化に 支持されたとも言えます ただ その文化にバイアスがあるかもしれないので この2つは分けて考える必要があります 一つの例として オーケストラの ブラインド・オーディションを見るべきでしょう オーディションを受ける人は 衝立の向こうにいます ここで注目したいのは 審査員は 何が重要で 何が重要でないかを あらかじめ決めて 重要でないものに 惑わされないようにしている点です ブラインド・オーディションを するようになって 女性がオーケストラに占める割合は 5倍に増えました

次に正確性を吟味しなければなりません 教員向けの付加価値モデルなら すぐ落第になる項目です 当然 完璧なアルゴリズムなどないので あらゆるアルゴリズムの 誤りを検討する必要があります 誤りを起こす頻度は? どんな相手だと そのモデルは機能しないのか? 失敗した時の損失規模は?

そして最後に考えなければならないのは アルゴリズムの長期的影響 つまり それによって生じる フィードバック・ループです 抽象的な話に 聞こえるかもしれませんが もしFacebookのエンジニアが 友人の投稿だけを表示する前に フィードバック・ループの影響を 考慮していたらと考えてみてください

伝えたいことは あと2つ 1つはデータサイエンティストに向けたものです 私たちデータサイエンティストが 真実を決めるべきではありません 私たちは もっと広い社会に生じる 倫理的な議論を 解釈する存在であるべきです

(拍手)

そしてデータサイエンティスト以外の 皆さん ― この状況は数学のテストではなく 政治闘争なのです 専制君主のようなアルゴリズムに対して 私たちは説明を求める必要があります

(拍手)

ビッグデータを盲信する時代は 終わらせるべきです

ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画