TED日本語 - アンドレアス・エクストローム: インターネット検索結果に隠れた道徳的価値観



TED日本語 - アンドレアス・エクストローム: インターネット検索結果に隠れた道徳的価値観

TED Talks

The moral bias behind your search results
Andreas Ekstrom




So whenever I visit a school and talk to students, I always ask them the same thing: Why do you Google? Why is Google the search engine of choice for you? Strangely enough, I always get the same three answers. One, "Because it works," which is a great answer; that's why I Google, too. Two, somebody will say, "I really don't know of any alternatives." It's not an equally great answer and my reply to that is usually, "Try to Google the word 'search engine,' you may find a couple of interesting alternatives." And last but not least, thirdly, inevitably,one student will raise her or his hand and say, "With Google, I'm certain to always get the best, unbiased search result." Certain to always get the best, unbiased search result.

Now, as a man of the humanities, albeit a digital humanities man, that just makes my skin curl, even if I, too, realize that that trust, that idea of the unbiased search result is a cornerstone in our collective love for and appreciation of Google. I will show you why that, philosophically, is almost an impossibility.

But let me first elaborate, just a little bit, on a basic principle behind each search query that we sometimes seem to forget. So whenever you set out to Google something, start by asking yourself this: "Am I looking for an isolated fact?" What is the capital of France? What are the building blocks of a water molecule? Great -- Google away. There's not a group of scientists who are this close to proving that it's actually London and H30. You don't see a big conspiracy among those things. We agree, on a global scale, what the answers are to these isolated facts.

But if you complicate your question just a little bit and ask something like, "Why is there an Israeli-Palestine conflict?" You're not exactly looking for a singular fact anymore, you're looking for knowledge, which is something way more complicated and delicate. And to get to knowledge, you have to bring 10 or 20 or 100 facts to the table and acknowledge them and say, "Yes, these are all true." But because of who I am, young or old, black or white, gay or straight, I will value them differently. And I will say, "Yes, this is true, but this is more important to me than that." And this is where it becomes interesting, because this is where we become human. This is when we start to argue, to form society. And to really get somewhere, we need to filter all our facts here, through friends and neighbors and parents and children and coworkers and newspapers and magazines, to finally be grounded in real knowledge, which is something that a search engine is a poor help to achieve.

So, I promised you an example just to show you why it's so hard to get to the point of true, clean, objective knowledge -- as food for thought. I will conduct a couple of simple queries, search queries. We'll start with "Michelle Obama," the First Lady of the United States. And we'll click for pictures. It works really well, as you can see. It's a perfect search result, more or less. It's just her in the picture, not even the President.

How does this work? Quite simple. Google uses a lot of smartness to achieve this, but quite simply, they look at two things more than anything. First, what does it say in the caption under the picture on each website? Does it say "Michelle Obama" under the picture? Pretty good indication it's actually her on there. Second, Google looks at the picture file, the name of the file as such uploaded to the website. Again, is it called "MichelleObama.jpeg"? Pretty good indication it's not Clint Eastwood in the picture. So, you've got those two and you get a search result like this -- almost.

Now, in 2009, Michelle Obama was the victim of a racist campaign, where people set out to insult her through her search results. There was a picture distributed widely over the Internet where her face was distorted to look like a monkey. And that picture was published all over. And people published it very, very purposefully, to get it up there in the search results. They made sure to write "Michelle Obama" in the caption and they made sure to upload the picture as "MichelleObama.jpeg," or the like. You get why -- to manipulate the search result. And it worked, too. So when you picture-Googled for "Michelle Obama" in 2009, that distorted monkey picture showed up among the first results.

Now, the results are self-cleansing, and that's sort of the beauty of it, because Google measures relevance every hour, every day. However, Google didn't settle for that this time, they just thought, "That's racist and it's a bad search result and we're going to go back and clean that up manually. We are going to write some code and fix it," which they did. And I don't think anyone in this room thinks that was a bad idea. Me neither.

But then, a couple of years go by, and the world's most-Googled Anders, Anders Behring Breivik, did what he did. This is July 22 in 2011, and a terrible day in Norwegian history. This man, a terrorist, blew up a couple of government buildings walking distance from where we are right now in Oslo, Norway and then he traveled to the island of Utoya and shot and killed a group of kids. Almost 80 people died that day.

And a lot of people would describe this act of terror as two steps, that he did two things: he blew up the buildings and he shot those kids. It's not true. It was three steps. He blew up those buildings, he shot those kids, and he sat down and waited for the world to Google him. And he prepared all three steps equally well.

And if there was somebody who immediately understood this, it was a Swedish web developer, a search engine optimization expert in Stockholm, named Nikke Lindqvist. He's also a very political guy and he was right out there in social media, on his blog and Facebook. And he told everybody, "If there's something that this guy wants right now, it's to control the image of himself. Let's see if we can distort that. Let's see if we, in the civilized world, can protest against what he did through insulting him in his search results."

And how? He told all of his readers the following, "Go out there on the Internet, find pictures of dog poop on sidewalks -- find pictures of dog poop on sidewalks -- publish them in your feeds, on your websites, on your blogs. Make sure to write the terrorist's name in the caption, make sure to name the picture file "Breivik.jpeg." Let's teach Google that that's the face of the terrorist." And it worked. Two years after that campaign against Michelle Obama, this manipulation campaign against Anders Behring Breivik worked. If you picture-Googled for him weeks after the July 22 events from Sweden, you'd see that picture of dog poop high up in the search results, as a little protest.

Strangely enough, Google didn't intervene this time. They did not step in and manually clean those search results up. So the million-dollar question, is there anything different between these two happenings here? Is there anything different between what happened to Michelle Obama and what happened to Anders Behring Breivik? Of course not. It's the exact same thing, yet Google intervened in one case and not in the other.

Why? Because Michelle Obama is an honorable person, that's why, and Anders Behring Breivik is a despicable person. See what happens there? An evaluation of a person takes place and there's only one power-player in the world with the authority to say who's who. "We like you, we dislike you. We believe in you, we don't believe in you. You're right, you're wrong. You're true, you're false. You're Obama, and you're Breivik." That's power if I ever saw it.

So I'm asking you to remember that behind every algorithm is always a person, a person with a set of personal beliefs that no code can ever completely eradicate. And my message goes out not only to Google, but to all believers in the faith of code around the world. You need to identify your own personal bias. You need to understand that you are human and take responsibility accordingly.

And I say this because I believe we've reached a point in time when it's absolutely imperative that we tie those bonds together again, tighter: the humanities and the technology. Tighter than ever. And, if nothing else, to remind us that that wonderfully seductive idea of the unbiased, clean search result is, and is likely to remain, a myth.

Thank you for your time.


学校で生徒たちに話す機会があると 必ず聞くことがあります 「なぜGoogle検索するの? なぜ検索エンジンにGoogleしか選ばないの?」 不思議と 返ってくる答えは 決まってこの3つです 1つ目は「うまく検索できるから」 ご名答です 私も同じ理由でGoogleを使っています 2つ目は ― 「ほかの検索エンジンを知らないから」 ちょっと惜しい たいてい 私はこう返します 「Googleで『検索エンジン』を 検索してごらん ほかにも面白いのがあるよ」 そして トリとなる3つ目です 必ず 手を挙げて 満を持して言う子がいるんです 「Googleを使うと 絶対に 常に最高で公正な検索結果が得られるから」 絶対に 常に最高で公正な 検索結果が得られる ―

これを耳にするたび デジタル世代とはいえ 人類のひとりとして 虫唾(むしず)が走ります みんながGoogleを愛し 大事にしているからこそ 「公正な検索結果」と信じ 考えるのだと わかっていてもです 公正な結果など 哲学的にほぼありえません なぜかご説明しましょう

でも まず検索の基本原理について 少しだけお話しさせてください みんな 忘れてしまいがちなことです Googleで何かを検索するとき まず考えるべきは 「個別の事実を知りたいのか?」 フランスの首都はどこか 水分子の構成元素は何か といったものです この場合は ぜひGoogle検索しましょう 科学者といえども 答えは「ロンドン」と「H30」だなんて 証明できやしませんから ここに何の陰謀もありません こうした個別の事実については 世界全体で 答えが何か 一致しているのです

でも 質問をほんの少し複雑にして こんな風にしたらどうでしょう 「なぜパレスチナ問題が起こっているのか?」 もはや 求めているのは ただ一つの「事実」ではなく 「知識」ということになります 知識は はるかに複雑で繊細なものです そうした知識を得るには 10、20 または100の事実を集め 自分のものにし 「これらは すべて真実だ」と 言えないといけません でも ひとは 年齢や人種、性的趣向に関わらず 違う価値観を持っています ですから「確かに これは真実だけど こっちのほうが重要だ」となります ここからが面白いのです 私たちが人間らしさを発揮するからです 私たちは互いに議論し 社会を形成し始めます 本当に答えを出すには まず事実をすべて ふるいにかけます 友だちやご近所さん 両親、子どもたち、同僚 そして新聞や雑誌を通じて ふるいにかけ 真の知識にたどりつくのです ここで検索エンジンは あまり役に立ちません

さきほど 真に純粋で客観的な知識を 手にするのが なぜ難しいか 例をお見せするとお話ししました 皆さんにお考えいただきましょう まず いくつか簡単な検索をしてみます まずは「ミシェル・オバマ」 アメリカのファーストレディです 「画像」をクリックします ご覧のとおり うまく行っていますね まあ 完ぺきな検索結果です 写真には ミシェル一人だけ 大統領さえいません

どうなっているんでしょう とてもシンプルです Googleは 色々頭を使っていますが 簡単に言うと 2つのことに着目しています 1つは 各ウェブサイトの写真の下にある キャプションの内容です 写真の下に「ミシェル・オバマ」とあれば 彼女の写真の可能性が高いですね つぎにGoogleが見るのは 写真ファイル ウェブサイトにアップロードされた ファイルの名前です 「MichellObama.jpeg」というファイルなら クリント・イーストウッドの写真 ということはないでしょう この2つを手がかりにすると こんな検索結果になるんです ― 普通は

さて2009年 ミシェル・オバマに 人種差別攻撃の矛先が向きました 検索結果を通じて侮辱されたのです ある写真がばらまかれ インターネットを席巻します 彼女の顔が サルのように ゆがめられた写真です 写真は インターネット上の あらゆるところに掲載されました しかも 検索結果の上位に表示されるよう 非常に意図的な形でネット掲載されました キャプションには必ず 「ミシェル・オバマ」と書かれ ファイル名も 「MichelleObama.jpeg」などとされたのです そう 検索結果を操作するためです 確かに それは成功し Googleで「ミシェル・オバマ」を 画像検索すると 2009年当時 サル顔に変形された写真が 結果上位に表示されました

さて 検索結果には自浄作用があります そこが素晴らしいところでもあり Googleは 毎日 毎時間 関連度を測っているのです でも このときGoogleは 黙ってはいませんでした 「これは人種差別的で 悪い検索結果だから 自らの手で きれいにしないといけない プログラムを書いて修正するんだ」と考え 実際にそうしました 皆さんのなかで これが悪いことと 思う方はいないでしょう 私も そう思いません

それから2年ほどして 世界で最もGoogle検索されたアンネシュ アンネシュ・ベーリン・ブレイヴィークは こんなことをしました 2011年7月22日 ノルウェー史上 悲惨な日となったこの日 この男 ― テロリストは 政府庁舎を爆破しました ここ ノルウェー・オスロの会場から 徒歩圏内の場所です その後 彼はウトヤ島に渡り 子どもたちを銃撃し殺しました その日 80人近くの命が失われました

多くの場合 このテロ行為には 2つの段階があったと語られます つまり 建物爆破と 子どもの銃殺 という2つの段階です 実は違うのです 3つの段階があったんです 彼は建物を爆破し 子どもたちを銃殺し そして世界が彼を Google検索するのを待ったのです 彼は この3つの段階すべてを 周到に準備していました

彼の意図をすぐに見破ったのが スウェーデンのウェブ開発者で 検索エンジン適正化の専門家 ストックホルムのニック・リンドクヴィストです 自らも非常に政治的なニックは ブログやFacebookなど ソーシャルメディアを通じて みんなに訴えかけました 「こいつが今ほしいものがあるとしたら 自分のイメージをコントロールすることだ みんなで それを崩そうじゃないか 文明社会のみんなの力をあわせて 彼の行為に対して抗議するんだ 検索結果を通して彼を侮辱するんだ」

でも どうやって? 彼は以下のことをするよう呼びかけました インターネットで 道端の犬のフンの写真を探し ― それをフィードやウェブサイト ブログに掲載するのです そのとき必ず キャプションにはテロリストの名前を書き ファイル名を「Breivik.jpeg」とするのです Googleに これがテロリストの顔だと 教えるのです 効果てき面でした ミシェル・オバマ事件の2年後 アンネシュ・ベーリン・ブレイヴィークの 検索結果が操作されました 7月22日事件以降の数週間 スウェーデンから彼をGoogleで画像検索すると 検索結果の上位に犬のフンの写真が 表示されるに至りました 小さな抗議行動です

奇妙なことに このとき Googleは介入しませんでした 人為的に検索結果をきれいにしようとは しなかったのです さて ここで難しい質問です これら2つの現象は何が違うんでしょうか? ミシェル・オバマに起こったことと アンネシュに起こったことは違いますか? もちろん違いません まったく同じ事象です でも Googleは片方には介入し 他方にはしませんでした

なぜでしょう それはミシェル・オバマが 尊敬に値する人物である一方 アンネシュ・ベーリン・ブレイヴィークが 卑劣な人間だからです ご覧いただいたとおり ここには 人に対する評価が介在しています 世界には 重要人物を決める権力を持つ ― 唯一の権力者がいるのです 「君は好き 君は嫌い 君は信じる 君は信じない 君は正しい 君は間違っている 君は真実 君は嘘 君はオバマで 君はブレイヴィーク」 これが力というものです

ですから覚えておいてください どんなアルゴリズムでも その後ろには 必ず人間がいるんです 人間は それぞれ価値観を持っていて プログラムで その影響を 完全に消し去ることはできません 私はこのメッセージを Googleだけではなく プログラムに信頼を寄せる 世界中のすべての人に伝えたい 自らの偏見をしっかり認識し 人間であることを自覚し 責任を持たなければいけません

このことを伝えたいのは 結束を今一度 強くしなければいけない そんなときが来ていると 信じているからです 人類と技術のつながり この結束を 今以上に強くするのです 少なくとも 心地よい魅惑的に聞こえる ― 公正で きれいな検索結果というものは 神話に過ぎず これからもそうだと 心に留めるべきです



― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等