TED日本語 - ジーナップ・トゥフェックチー: ネット広告の仕組みが拓く ディストピアへの道


TED Talks(英語 日本語字幕付き動画)

TED日本語 - ジーナップ・トゥフェックチー: ネット広告の仕組みが拓く ディストピアへの道

TED Talks

ネット広告の仕組みが拓く ディストピアへの道
We're building a dystopia just to make people click on ads
Zeynep Tufekci




So when people voice fears of artificial intelligence, very often, they invoke images of humanoid robots run amok. You know? Terminator? You know, that might be something to consider, but that's a distant threat. Or, we fret about digital surveillance with metaphors from the past. "1984," George Orwell's "1984," it's hitting the bestseller lists again. It's a great book, but it's not the correct dystopia for the 21st century. What we need to fear most is not what artificial intelligence will do to us on its own, but how the people in power will use artificial intelligence to control us and to manipulate us in novel, sometimes hidden, subtle and unexpected ways. Much of the technology that threatens our freedom and our dignity in the near-term future is being developed by companies in the business of capturing and selling our data and our attention to advertisers and others: Facebook, Google, Amazon, Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well. And it may seem like artificial intelligence is just the next thing after online ads. It's not. It's a jump in category. It's a whole different world, and it has great potential. It could accelerate our understanding of many areas of study and research. But to paraphrase a famous Hollywood philosopher, "With prodigious potential comes prodigious risk."

Now let's look at a basic fact of our digital lives, online ads. Right? We kind of dismiss them. They seem crude, ineffective. We've all had the experience of being followed on the web by an ad based on something we searched or read. You know, you look up a pair of boots and for a week, those boots are following you around everywhere you go. Even after you succumb and buy them, they're still following you around. We're kind of inured to that kind of basic, cheap manipulation. We roll our eyes and we think, "You know what? These things don't work." Except, online, the digital technologies are not just ads. Now, to understand that, let's think of a physical world example. You know how, at the checkout counters at supermarkets, near the cashier, there's candy and gum at the eye level of kids? That's designed to make them whine at their parents just as the parents are about to sort of check out. Now, that's a persuasion architecture. It's not nice, but it kind of works. That's why you see it in every supermarket. Now, in the physical world, such persuasion architectures are kind of limited, because you can only put so many things by the cashier. Right? And the candy and gum, it's the same for everyone, even though it mostly works only for people who have whiny little humans beside them. In the physical world, we live with those limitations.

In the digital world, though, persuasion architectures can be built at the scale of billions and they can target, infer, understand and be deployed at individuals one by one by figuring out your weaknesses, and they can be sent to everyone's phone private screen, so it's not visible to us. And that's different. And that's just one of the basic things that artificial intelligence can do.

Now, let's take an example. Let's say you want to sell plane tickets to Vegas. Right? So in the old world, you could think of some demographics to target based on experience and what you can guess. You might try to advertise to, oh, men between the ages of 25 and 35, or people who have a high limit on their credit card, or retired couples. Right? That's what you would do in the past.

With big data and machine learning, that's not how it works anymore. So to imagine that, think of all the data that Facebook has on you: every status update you ever typed, every Messenger conversation, every place you logged in from, all your photographs that you uploaded there. If you start typing something and change your mind and delete it, Facebook keeps those and analyzes them, too. Increasingly, it tries to match you with your offline data. It also purchases a lot of data from data brokers. It could be everything from your financial records to a good chunk of your browsing history. Right? In the US, such data is routinely collected, collated and sold. In Europe, they have tougher rules.

So what happens then is, by churning through all that data, these machine-learning algorithms -- that's why they're called learning algorithms -- they learn to understand the characteristics of people who purchased tickets to Vegas before. When they learn this from existing data, they also learn how to apply this to new people. So if they're presented with a new person, they can classify whether that person is likely to buy a ticket to Vegas or not. Fine. You're thinking, an offer to buy tickets to Vegas. I can ignore that. But the problem isn't that. The problem is, we no longer really understand how these complex algorithms work. We don't understand how they're doing this categorization. It's giant matrices, thousands of rows and columns, maybe millions of rows and columns, and not the programmers and not anybody who looks at it, even if you have all the data, understands anymore how exactly it's operating any more than you'd know what I was thinking right now if you were shown a cross section of my brain. It's like we're not programming anymore, we're growing intelligence that we don't truly understand.

And these things only work if there's an enormous amount of data, so they also encourage deep surveillance on all of us so that the machine learning algorithms can work. That's why Facebook wants to collect all the data it can about you. The algorithms work better.

So let's push that Vegas example a bit. What if the system that we do not understand was picking up that it's easier to sell Vegas tickets to people who are bipolar and about to enter the manic phase. Such people tend to become overspenders, compulsive gamblers. They could do this, and you'd have no clue that's what they were picking up on. I gave this example to a bunch of computer scientists once and afterwards,one of them came up to me. He was troubled and he said, "That's why I couldn't publish it." I was like, "Couldn't publish what?" He had tried to see whether you can indeed figure out the onset of mania from social media posts before clinical symptoms, and it had worked, and it had worked very well, and he had no idea how it worked or what it was picking up on.

Now, the problem isn't solved if he doesn't publish it, because there are already companies that are developing this kind of technology, and a lot of the stuff is just off the shelf. This is not very difficult anymore.

Do you ever go on YouTube meaning to watch one video and an hour later you've watched 27? You know how YouTube has this column on the right that says, "Up next" and it autoplays something? It's an algorithm picking what it thinks that you might be interested in and maybe not find on your own. It's not a human editor. It's what algorithms do. It picks up on what you have watched and what people like you have watched, and infers that that must be what you're interested in, what you want more of, and just shows you more. It sounds like a benign and useful feature, except when it isn't.

So in 2016, I attended rallies of then-candidate Donald Trump to study as a scholar the movement supporting him. I study social movements, so I was studying it, too. And then I wanted to write something about one of his rallies, so I watched it a few times on YouTube. YouTube started recommending to me and autoplaying to me white supremacist videos in increasing order of extremism. If I watched one, it served up one even more extreme and autoplayed that one, too. If you watch Hillary Clinton or Bernie Sanders content, YouTube recommends and autoplays conspiracy left, and it goes downhill from there.

Well, you might be thinking, this is politics, but it's not. This isn't about politics. This is just the algorithm figuring out human behavior. I once watched a video about vegetarianism on YouTube and YouTube recommended and autoplayed a video about being vegan. It's like you're never hardcore enough for YouTube.


So what's going on? Now, YouTube's algorithm is proprietary, but here's what I think is going on. The algorithm has figured out that if you can entice people into thinking that you can show them something more hardcore, they're more likely to stay on the site watching video after video going down that rabbit hole while Google serves them ads. Now, with nobody minding the ethics of the store, these sites can profile people who are Jew haters, who think that Jews are parasites and who have such explicit anti-Semitic content, and let you target them with ads. They can also mobilize algorithms to find for you look-alike audiences, people who do not have such explicit anti-Semitic content on their profile but who the algorithm detects may be susceptible to such messages, and lets you target them with ads, too. Now, this may sound like an implausible example, but this is real. ProPublica investigated this and found that you can indeed do this on Facebook, and Facebook helpfully offered up suggestions on how to broaden that audience. BuzzFeed tried it for Google, and very quickly they found, yep, you can do it on Google, too. And it wasn't even expensive. The ProPublica reporter spent about 30 dollars to target this category.

So last year, Donald Trump's social media manager disclosed that they were using Facebook dark posts to demobilize people, not to persuade them, but to convince them not to vote at all. And to do that, they targeted specifically, for example, African-American men in key cities like Philadelphia, and I'm going to read exactly what he said. I'm quoting.

They were using "nonpublic posts whose viewership the campaign controls so that only the people we want to see it see it. We modeled this. It will dramatically affect her ability to turn these people out."

What's in those dark posts? We have no idea. Facebook won't tell us.

So Facebook also algorithmically arranges the posts that your friends put on Facebook, or the pages you follow. It doesn't show you everything chronologically. It puts the order in the way that the algorithm thinks will entice you to stay on the site longer.

Now, so this has a lot of consequences. You may be thinking somebody is snubbing you on Facebook. The algorithm may never be showing your post to them. The algorithm is prioritizing some of them and burying the others.

Experiments show that what the algorithm picks to show you can affect your emotions. But that's not all. It also affects political behavior. So in 2010, in the midterm elections, Facebook did an experiment on 61 million people in the US that was disclosed after the fact. So some people were shown, "Today is election day," the simpler one, and some people were shown the one with that tiny tweak with those little thumbnails of your friends who clicked on "I voted." This simple tweak. OK? So the pictures were the only change, and that post shown just once turned out an additional 340,000 voters in that election, according to this research as confirmed by the voter rolls. A fluke? No. Because in 2012, they repeated the same experiment. And that time, that civic message shown just once turned out an additional 270,000 voters. For reference, the 2016 US presidential election was decided by about 100,000 votes. Now, Facebook can also very easily infer what your politics are, even if you've never disclosed them on the site. Right? These algorithms can do that quite easily. What if a platform with that kind of power decides to turn out supporters of one candidate over the other? How would we even know about it?

Now, we started from someplace seemingly innocuous -- online adds following us around -- and we've landed someplace else. As a public and as citizens, we no longer know if we're seeing the same information or what anybody else is seeing, and without a common basis of information, little by little, public debate is becoming impossible, and we're just at the beginning stages of this. These algorithms can quite easily infer things like your people's ethnicity, religious and political views, personality traits, intelligence, happiness, use of addictive substances, parental separation, age and genders, just from Facebook likes. These algorithms can identify protesters even if their faces are partially concealed. These algorithms may be able to detect people's sexual orientation just from their dating profile pictures.

Now, these are probabilistic guesses, so they're not going to be 100 percent right, but I don't see the powerful resisting the temptation to use these technologies just because there are some false positives, which will of course create a whole other layer of problems. Imagine what a state can do with the immense amount of data it has on its citizens. China is already using face detection technology to identify and arrest people. And here's the tragedy: we're building this infrastructure of surveillance authoritarianism merely to get people to click on ads. And this won't be Orwell's authoritarianism. This isn't "1984." Now, if authoritarianism is using overt fear to terrorize us, we'll all be scared, but we'll know it, we'll hate it and we'll resist it. But if the people in power are using these algorithms to quietly watch us, to judge us and to nudge us, to predict and identify the troublemakers and the rebels, to deploy persuasion architectures at scale and to manipulate individuals one by one using their personal, individual weaknesses and vulnerabilities, and if they're doing it at scale through our private screens so that we don't even know what our fellow citizens and neighbors are seeing, that authoritarianism will envelop us like a spider's web and we may not even know we're in it.

So Facebook's market capitalization is approaching half a trillion dollars. It's because it works great as a persuasion architecture. But the structure of that architecture is the same whether you're selling shoes or whether you're selling politics. The algorithms do not know the difference. The same algorithms set loose upon us to make us more pliable for ads are also organizing our political, personal and social information flows, and that's what's got to change.

Now, don't get me wrong, we use digital platforms because they provide us with great value. I use Facebook to keep in touch with friends and family around the world. I've written about how crucial social media is for social movements. I have studied how these technologies can be used to circumvent censorship around the world. But it's not that the people who run, you know, Facebook or Google are maliciously and deliberately trying to make the country or the world more polarized and encourage extremism. I read the many well-intentioned statements that these people put out. But it's not the intent or the statements people in technology make that matter, it's the structures and business models they're building. And that's the core of the problem. Either Facebook is a giant con of half a trillion dollars and ads don't work on the site, it doesn't work as a persuasion architecture, or its power of influence is of great concern. It's either one or the other. It's similar for Google, too.

So what can we do? This needs to change. Now, I can't offer a simple recipe, because we need to restructure the whole way our digital technology operates. Everything from the way technology is developed to the way the incentives, economic and otherwise, are built into the system. We have to face and try to deal with the lack of transparency created by the proprietary algorithms, the structural challenge of machine learning's opacity, all this indiscriminate data that's being collected about us. We have a big task in front of us. We have to mobilize our technology, our creativity and yes, our politics so that we can build artificial intelligence that supports us in our human goals but that is also constrained by our human values. And I understand this won't be easy. We might not even easily agree on what those terms mean. But if we take seriously how these systems that we depend on for so much operate, I don't see how we can postpone this conversation anymore. These structures are organizing how we function and they're controlling what we can and we can not do. And many of these ad-financed platforms, they boast that they're free. In this context, it means that we are the product that's being sold. We need a digital economy where our data and our attention is not for sale to the highest-bidding authoritarian or demagogue.


So to go back to that Hollywood paraphrase, we do want the prodigious potential of artificial intelligence and digital technology to blossom, but for that, we must face this prodigious menace, open-eyed and now.

Thank you.


人工知能(AI)に対する不安を 口にするとき 人々はたいてい ヒューマノイドの暴走を イメージしています 『ターミネーター』みたいに 確かに考えておくべきことかも しれませんが 差し迫った脅威というわけでは ありません また デジタル技術による 監視への懸念から 過去のメタファーを 持ち出したりもします ジョージ・オーウェルの『1984年』が またもやベストセラー入りしています 優れた小説ですが 21世紀のディストピアを 正しく言い当ててはいません 私たちが最も 恐れるべきなのは AIそれ自体が私たちに 何をするかではなく 権力者が私たちをコントロールし 操るために 目新しく 予想もつかない 巧妙なやり方で 密かにAIを 使うかもしれないことです 近い将来 私たちの自由と尊厳を 脅かすテクノロジーの多くは 私たちのデータと注意を捉え 広告主その他の顧客に 販売している企業によって 開発されています Facebookや Googleや Amazonや Alibabaや Tencent

AIは そうした企業のビジネスを 強化し始めています ちょっと見には AIも 単にネット広告に続く技術だと 思えるかもしれません でも そうではありません カテゴリーが不連続なのです AIはまったく別の世界であり 大きな力を秘めています AIによって 様々な研究分野が 急速に発展する可能性があります しかし ハリウッドの有名な 論者によると 「途方もない可能性には 途方もないリスクがつきもの」です

デジタルライフの基本的な事実 ― オンライン広告に目を向けましょう いいですか? まあ たいてい無視しますよね 粗雑で 効果もなさそうに見えます ウェブで何かを検索したり 読んだりしたら それに応じて働きかけを受けた経験は 誰にでもありますよね たとえば ウェブでブーツを見つけたら それから1週間 どこへ行っても そのブーツの広告がついて回ります たとえ根負けして購入したとしても やっぱりまだ追いかけてくるのです こうした 初歩的で安っぽい消費者操作に 私たちは慣れっこになっています 「あのさ ぜんぜん効き目ないんだけど」 と呆れてしまいます ただし オンラインでの デジタルテクノロジーの用途は 広告に限りません そのことを理解するために 物理的世界の例を考えてみましょう スーパーに行くとレジのそばに 子供の目の高さで キャンディやガムが置いてありますよね あれは親が支払いを しようとしているときに 子供がねだるように 仕向けるための手法です 「説得アーキテクチャ」の例です 好ましくはないけれど ともかく機能します だからこそ どこのスーパーでも 見られるのです 物理的世界において こうした説得アーキテクチャは いくらか制限を受けます レジの横に置ける商品の数は 限られているからです そうですね? そして キャンディやガムは 誰にとっても同じ製品です ただし 一番効果があるのは おチビさんを連れている 人に対してだけですけれど 物理的世界で私たちは そうした制約とともに生きています

しかし デジタル世界では 説得アーキテクチャを 何十億というスケールで構築でき 個人に狙いを定めて 推論し 理解し 投入することが可能で 1人1人の 弱点を把握して その人のスマートフォンの画面に 送信できるため 仕組みが目に見えないのです 大きな違いです これは AIがやってのける基本的な事柄の たった1つにすぎません

例を挙げましょう たとえば ラスベガス行きの航空券を 売りたいとしましょう 以前の世界なら 購入してくれそうな層を 経験や想像に基づいて 設定するでしょう 広告を打つなら 25歳から35歳までの男性か クレジットカードの限度額が大きい人々や リタイアしたカップル向けに するかもしれません これまでならそうしたでしょう

ビッグデータと機械学習の出現で もうそれは通用しません 事態を想像するために Facebookが持っている あなたの全データを思い浮かべてください これまでにあなたが入力した すべての近況アップデート Messengerのすべての会話 どこからログインしたかという記録 アップロードしたすべての写真 何か打ち込み始めてから 気が変わって削除しても Facebookはそれも記録し 分析します オフラインデータとの突き合わせも どんどん進めています また データブローカーから 大量のデータを購入しています 財務記録から ブラウザの膨大な閲覧履歴まで あらゆるものが含まれます アメリカではこうしたデータが 日常的に収集され 照合され 販売されています ヨーロッパでは もっと厳しいルールがあります

それで何が起こるかというと 「学習アルゴリズム」と呼ばれる 機械学習のアルゴリズムは あらゆるデータを 組み合わせることで これまでにラスベガス行きの 航空券を買った人々の特徴を 把握するようになります 既存データからの学習が進むと それを別の人々に 適用する方法も学びます つまり 他のユーザーがいたら その人物がラスベガス行き航空券を 購入しそうかどうか分類できるのです あなたはラスベガス行き航空券の 広告を見て考えます 「無視してもいいな」 しかし 問題はそこではありません 問題なのは これら複雑なアルゴリズムがどう働いているか もうよく分からなくなってしまっている事です どうやって分類しているのか 私たちには分かりません 何千 いや何百万もの 行と列で構成された 巨大なマトリクスがあって プログラマーや 他の誰かが そのマトリクスを見ても たとえ全データを持っていようと どう機能しているかを 正確に理解することはできません 私の脳の断面を見ても 私が何を考えているかは 分からないのと同じです もうプログラミングをしている という次元ではなく 人智を超えた知能を 育てているかのようです

こういう仕組みが機能するには 膨大なデータが必要なため 私たち全員を深層まで監視して 機械学習アルゴリズムを 機能させようという力も働きます だから Facebookはあなたについて 出来る限りのデータを集めようとします アルゴリズムが上手く機能するように

ラスベガスの例を もう少し掘り下げましょう もし私たちの理解できない システムの判断で ラスベガス行き航空券を 売りつけやすい相手は 双極性障害で躁状態になりかけの人だ ということになったらどうでしょう 浪費したり ギャンブルにのめり込んだり しやすい人たちです そんな基準で選び出されたとしても その事実を知る手がかりがありません あるとき この例について コンピュータ科学者たちに尋ねてみたところ そのうちの1人が後で 私のところへ来ました 苦しげな様子で こう言いました 「だから論文を発表できなかったんです」 「何をですか?」 彼が調べようとしていたのは 躁状態になりかけているかどうかを 症状が現れる前にSNSの投稿で 判断できるかということで 実際 うまくいきました 非常にうまく 判別できたのですが なぜうまくいくのか 何を拾い出しているのか 分かりませんでした

でも 論文が発表されなくても 問題は解決していません 既にいくつもの企業が この種のテクノロジーを開発していて 簡単に入手できるものが たくさんあるからです もう それほど 難しいことではないのです

動画を1本見ようと思って YouTubeのサイトへ行き 1時間経つと27本も 見ていたという経験は? YouTubeのページでは 右側の欄に 「次の動画」とあって 自動再生するのをご存じですね? アルゴリズムが選び出すのは あなたが興味を持ちそうだけれど 自分では見つけられない可能性があると 判断された動画です 人が判断しているのではなく アルゴリズムが決めているのです あなたがこれまでに見たものや あなたに似た人が見たものを選び出し あなたが何に興味を持っていて 何をもっと見たがるか推論し さらに見せようとするのです 無害で役に立つ機能のように 聞こえますが 常にそうとは限りません

2016年に私は 当時大統領候補だった ドナルド・トランプの集会に行って 彼の支持者たちの運動を 研究しました 社会運動研究の中で トランプ支持についても調べたのです トランプ支持者の集会について 何か書こうと思って その様子をYouTubeで何度か見ました YouTubeは白人至上主義者の 動画を私に推奨し 自動再生するようになり どんどん過激なものを 出してくるようになりました 私が1本 視聴すれば さらに過激な1本を提示し それも自動再生しました ヒラリー・クリントンや バーニー・サンダースの動画を見れば YouTubeは左翼の陰謀に関する 動画を推奨して自動再生し さらにどんどん ひどくなっていきます

それが政治だと思うかもしれませんが 間違いです 政治などではありません 人間の行動を読んでいる アルゴリズムにすぎないのです あるとき YouTubeで ベジタリアンについての動画を見たら YouTubeはヴィーガン暮らしの動画を 推奨し 自動再生しました まるでこちらの覚悟が 足りないとでもいうように


何が起きているのでしょう? YouTubeのアルゴリズムは 公開されていませんが 私はこう考えています アルゴリズムが 人々を誘導して より過激な画像を見られると 誘惑できれば そのサイトから離れにくくなって 次から次へと動画を見続け Googleが表示する広告を見ながら のめり込むという訳です 販売者が倫理的かどうか 今は誰も気にしていないので こうしたサイトが人々を プロファイリングして ユダヤ人嫌いの人 ユダヤ人は社会に 寄生していると思っている人 あからさまに反ユダヤ主義的な内容を 掲げている人だと分類し 広告のターゲットにもできるわけです アルゴリズムはそれだけでなく 自分と似たような人を 探し出すのにも利用でき 明確に反ユダヤ主義的なことを プロフィールに書いていなくても そんなメッセージに影響されやすい人を アルゴリズムで検知して 広告のターゲットにすることも可能です ありえない話のように 聞こえるかもしれませんが これは現実です ProPublicaが調査したところ 実際にFacebook上でも この機能が利用でき 訪問者を増やすための方法を Facebookが助言までしてくれます BuzzFeedがGoogleで試すと すぐに分かりました そう Googleでも 同じことができるのです しかも 費用は たいしてかかりません ProPublicaの記者は 30ドルほど払って ターゲットを絞りました

去年 ドナルド・トランプの SNS担当者が明らかにしたのは Facebookの「ダークポスト」の使い方が 動員の逆を狙ったもので 投票勧誘ではなく まったく投票しない意思を 固めさせるためだったということです そのためにターゲットにしたのは 例えば フィラデルフィアなど 要となる都市の アフリカ系の男性でした 担当者の言葉を そのまま読み上げます ここからは引用です

陣営が使ったのは 「視聴者を限定できる 公開範囲の指定で 我々が見て欲しい人だけが それを見るようにした 投稿のねらいはこうだ 支持者を投票に出かけさせる[ヒラリーの] 力に劇的な影響を及ぼすこと」

ダークポストには 何が書かれていたのか? 分かりません Facebookは答えません

Facebookはアルゴリズムによる 投稿の並べ換えを 友達の投稿や あなたがフォローしている ページでも行っています 全てを時系列で 表示しているのではなく あなたが興味を持って サイトに長く留まってくれるだろうと アルゴリズムが判断した順序で 表示しているのです

このことが様々な影響を 生んでいます 誰かがFacebook上で あなたを無視していると思ったことは? アルゴリズムがあなたの投稿を 彼らに表示していないのかも アルゴリズムは一部の投稿を優先し 他は埋もれさせてしまいます

実験で明らかになったのですが アルゴリズムが選んで提示するものに 人の感情は影響を受けます でも それだけでなく 政治的な行動にも影響が及びます 2010年の中間選挙で Facebookは6100万人の アメリカ人を対象に実験を行い 後日そのことを公表しました 一部の人に「今日は投票日です」と シンプルなメッセージを示し 他の人には少しだけ 手を加えて 「投票しました」をクリックした友達の サムネイル画像も表示したのです 単純な細工です いいですか? 違いは写真だけで たった一度だけの投稿でしたが 研究によると この選挙では 投票した人が 34万人増えたことが 投票人名簿で確認されました 偶然? いいえ なぜなら2012年にも同じ実験を しているからです このときは 公共メッセージを1回出しただけで 投票者は27万人増えました 参考までに 2016年の 大統領選挙では 約10万票の差で結果が 決まっています また あなたが 政治的な内容を書いていなくても Facebookはあなたの政治的信条を たやすく推論できます アルゴリズムを使って ごく簡単にできるのです そんな力を持つ プラットフォームが ある候補を別の候補よりも 支持すると決めたらどうでしょう? 私たちにそれを知る術が あるでしょうか?

さて ここでは 一見すると 無害そうなこと ― 私たちを追いかけてくる オンライン広告からスタートして 別の場所に行き着いたわけです 国民として 市民として 私たちはもう 同じ情報を見ているのかどうか 他の人が何を見ているのか 分かりません 情報に共通の基盤がないため 少しずつ 国民全体での議論が 不可能になりつつあります これでもまだ 始まったばかりの段階です こうしたアルゴリズムは かなり容易に あなたの人種や 宗教や 政治的見解や 人格特性や 知性や 幸福度や 薬物の使用や 両親の離婚や 年齢や 性別など 個人的なことを Facebookなどから推察できます こうしたアルゴリズムを使えば 顔の一部が隠れていても 抗議活動をしている人が誰かを 特定できます デートの相手を探すための プロフィール画像だけからでも 性的指向を探り当てられる かもしれません

こうした判断は確率に基づく推定なので 100%正しいわけではありません しかし 判断の誤りが いくらか交じるというだけで 権力者がこうしたテクノロジーの使用を 思いとどまるとは考えにくく 当然ながら 派生的な問題が 山のように生じるでしょう 国家が市民に関する膨大なデータを 手に入れたら どんなことができるか 想像してみてください 中国は既に顔認識技術を使って 人物を特定し 逮捕しています 何が悲劇的かというと 私たちが監視による独裁を可能にする インフラを整備しているのは ただ 広告をクリックしてもらうためだ という点です オーウェルの描いた独裁の ようにはなりません 『1984年』とは違います 恐怖で公然と人々を 支配するのであれば 誰もが恐れを抱くにしても 何が起きているかは分かるので 私たちはそれを嫌悪し 抵抗するでしょう しかし 権力者が こうしたアルゴリズムを使って 密かに私たちを監視し 判別し 突つきまわし トラブルを起こしそうな 反抗的な者を洗い出してマークし 説得アーキテクチャを 大々的に利用し 個人の弱みや脆弱な面を突いて 1人ずつ操作しようとするなら ― 市民の仲間や隣人が 何を目にしているか 私たちが互いに分からないように 個人の画面を通して 大きなスケールで実行するなら この独裁体制が私たちを クモの巣のように包み込んでも 自分がその中にいるとは 夢にも思わないかもしれません

Facebookの時価総額は 5000億ドルに近づいています 説得アーキテクチャが 絶大な効果を発揮しているからです しかし アーキテクチャの構造は その広告が靴を売っていようと 政治信条を売っていようと同じです アルゴリズムに その違いは分かりません 広告にもっと影響されやすくなるよう 私たちに投げかけられるのと 同じアルゴリズムが 政治的 個人的 社会的な 情報の流れも組織している ― そこを変えなければなりません

ただし 誤解しないでください 私たちがデジタル技術を使うのは 大きな価値を提供してくれるからです 私は世界中にいる友人や家族と 繋がるためにFacebookを使っています また SNSが社会運動にとって どれほど重要かを文章にしてきました こうしたテクノロジーを使って 世界中で検閲を回避する方法も 研究してきました でも FacebookやGoogleの 経営者たちが 悪意をもって意図的に この国や世界の分極化を進め 過激化を後押ししている わけではありません 良心的に行動するという彼らの声明を これまでにいくつも読みました しかし 技術力を持つ人々の 意図や声明ではなく 彼らが構築している構造や ビジネスモデルが問題なのです それが問題の核心です もしかして Facebookは 5000億ドルの巨大な詐欺であり サイト上の広告は効果がなく 説得アーキテクチャとして 無力なのか ― そうでないとしたら その影響力は 重大な懸念を招きます 真実はそのどちらかです Googleについても同様です

では 私たちは何ができるのか? 現状を変える必要があります 私には 単純な処方箋を 提示できません 今のデジタルテクノロジーのあり方を 根底から構築し直す 必要があるからです 技術開発の方法から 経済面その他の インセンティブまで すべてがシステムに 組み込まれています 私たちが直視し 対処しなければならないのは 独自非公開アルゴリズムが もたらす透明性の欠如や 機械学習の不透明さという 構造的な課題や 個人についての情報が 見境なく収集されていることです 私たちは大きな難題に 直面しています テクノロジーや 創造性や そう 政治力も結集して 私たちが作り上げたいのは 私たちの人間的な目標の追求を 支えてくれるとともに 人間的な価値によって 制約も受けるようなAIです 容易でないことは 分かっています その言葉の定義についてさえ 簡単には合意できないかも それでも 私たちがこれほど深く 依存しているシステムが どのように働いているかを 真剣に考えるなら この議論をこれ以上 先延ばしにできるとは思えません こうした構造が 私たちの行動を組織し 私たちに何ができ 何ができないかを コントロールしています 広告収入で維持される こうしたプラットフォームの多くは 無料で利用できることを 強調しています つまり 販売されているのは 私たち自身だということです 私たちにとって必要な デジタル経済は 最も高い値段をつけた 独裁者や扇動的な政治家に 私たちのデータや注目が 売り渡されないシステムです


先ほど紹介した ハリウッドの言葉に話を戻すなら AIの途方もない可能性と デジタルテクノロジーが 開花することを 切に望みながらも 私たちは 途方もない脅威から 目をそらさず 正に今 直視しなければなりません



― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等