TED日本語 - デル・ハーヴェイ: Twitterの規模がもたらす変なこと

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - デル・ハーヴェイ: Twitterの規模がもたらす変なこと

TED Talks

Twitterの規模がもたらす変なこと
The strangeness of scale at Twitter
デル・ハーヴェイ
Del Harvey

内容

何億というツイートが毎日飛び交う時、ユーザーに危害をもたらすシナリオがありそうにない百万に1つという可能性のものであっても、それは1日500回起きることになります。Twitterの信頼と安全部門のリーダーであるデル・ハーヴェイにとって、この確率はありがたいものではありません。セキュリティの達人である彼女は、世界の人々に発言の場を与えながら最悪のシナリオをいかに防ぐか考えることに日々を費やしています。まじめな顔で冗談を交えながら、彼女がいかに2億4千万のユーザーの安全を保っているのか垣間見せてくれます。

Script

My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24, 900-percent increase.

Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.

You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples -- of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.

[ "Yo bitch" ]

If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)

So okay, determining whether or not something is abusive without context, definitely hard.

Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.

Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.

Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.

How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.

Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.

Thank you.

(Applause)

Twitterでの 私の仕事は ユーザーの信頼を確保し ユーザーの権利を守り 安全を保つということです 他のユーザーから そして 時には 彼ら自身から Twitterの規模が どのようなものか 見てみましょう 2009年1月には 1日に200万以上の ツイートがありました 2014年1月には1日のツイート数は 5億以上になりました 200万のツイートが 6分足らずの間に行われます 24,900%増加したわけです

Twitter上の活動の大多数は 誰かを危険にさらすことはありません 何のリスクもありません 私の仕事は 危険な可能性のある 活動をなくし 予防することです 単純な話に聞こえるでしょう? 簡単そうだと なにしろTwitter上の 活動の大多数は 無害なものなのですから ではなぜ そのような 害のない活動の中から 潜在的な危険を探すために 多くの時間を 費やしているのでしょう? Twitterの規模を考えたなら 百万に1つの可能性は 1日に500回起きるのです これは こんな規模を扱う 他の企業でも同様です 私たちにとって 起きそうにない まれなケースというのが 日常的に起きるのです 99.999%のツイートに 何ら危険が なかったとしましょう オーストラリアの ハートリーフのような場所で 旅の記録を 取っているのか 参加しているコンサートのことを つぶやいているのか あるいは かわいい動物の赤ちゃんの 写真を見せているのかもしれません そのような99.999%を 取り除いた後に残る ごくわずかの ツイートの数は おおよそ 月に15万になります 私たちの扱っている 規模の大きさが 難題を生み出しているのです

私の仕事を 難しくする もう1つのものが 何かわかりますか? 人間って変なことをする ということです (笑) 彼らが何を なぜやっているのか そこに危険がないか 見極めなければなりません あまり文脈や背景の 情報なしにです 私がTwitterで 仕事する中で出会った 例をいくつか お目にかけましょう いずれも実際の事例です 一見ありきたりの 状況に見えながら 真実はまったく異なる ― という例です 細部は 罪のない人の あるいは 罪ある人かもしれませんが プライバシーを守るため 変えてあります 簡単なのから いきましょう

[“Yo bitch” (おう メス犬)]

このツイートだけ見たら 罵り言葉だと 思うことでしょう 誰が「おう メス犬」 なんてメッセージを 受け取りたいと 思うでしょう 私は最近のトレンドや ミームには 敏感であろうと 努めていますので “Yo bitch”が 友達同士の挨拶に 使われることや 人気ドラマ『ブレーキング・バッド』の台詞の 引用でありうることは承知しています しかしこの第4の用法は 正直予期していませんでした これはTwitterで 犬のフリをして話す時に 使われるということです [“Yo bitch” (おう メス犬)] (笑) この場合には 罵り言葉でないだけでなく むしろ状況に即した 正しい挨拶と言えるでしょう (笑)

何かの言葉が 口汚いかどうかを 文脈抜きに判断するのは 困難なのです

スパムを考えてみましょう これは典型的な スパマーの行動です まったく同一のメッセージを 何千という人に送りつけます これは私自身のアカウントで 真似て見せたものですが このようなものは しょっちゅう目にしています すごく分かりやすいですよね このようなことを しているアカウントは 自動的に閉鎖して しまうべきでしょう しかし例外があることが 分かりました あのようなメッセージが 頭上を通過する 国際宇宙ステーションを 外に出て見られるよう 通知してくれる サービスかもしれないのです これをスパムとみなして アカウントを閉鎖してしまったら みんな宇宙ステーションを 見逃してしまうでしょう

より重大なケースを 考えてみましょう 再び私のアカウントで 典型的な問題行動を 模倣してみました 多数の同一メッセージを リンク付きで送るというものです これはフィッシングと呼ばれるものに よく見受けられます 他のサイトに 誘導することで アカウント情報を 盗もうとするのです 明らかに良くないことです このような活動を しているアカウントは 停止したいし 実際停止していますが ではなぜこれが 重大だというのでしょう? これは もしかしたら 無抵抗の抗議者に 暴力を振るう警官を 目撃者が録画し 世界に伝えようと しているのかもしれないのです それをスパムに分類して 重要な言論を封じて しまうような危険を 冒したくはありません だからアカウントの 活動を見る時には 何百という尺度を 使っていますが それでも時には間違い 再確認を要することが あり得ます

私が直面している難題の 種類を考えるなら 惨事を予想するだけでなく 予想外のことから守る仕組みを 設けることも重要です これは私やTwitterにとって だけの問題ではなく 皆さんの問題でもあるのです みんなが素晴らしいことを できるようにする 何かすごいものを 作ろうとしている すべての人にとっての 問題です ではどうするのか? 立ち止まって こう考えるんです 「まったく酷いことが これから起きるとしたら どのようにしてか?」 惨事を思い描くのです これは難しいことです 一種の認知的不協和があります 結婚の誓いの言葉と同時に 婚前同意書を作ろうとする ようなものです (笑) でもやらなければ ならないんです 1日5億のツイートと 結婚すると決めたなら 惨事を思い描くというのは 猫の写真のような 害のないものが いかに人の死に つながりうるか それを いかに防げるか 考えるということです 次のケースが まさにその例です これは私の猫のイーライです 私たちはツイートに写真を 付けられるように したいと思いました 百聞は一見にしかずです たった140文字のツイートに 写真を付けたなら どれほど内容が 豊かになるでしょう ツイートに写真を付けることで 可能になる素晴らしいことが たくさんあります でもそれを考えるのは 私の仕事ではありません それがどうマズくなりうるか 考えるのが私の仕事です

この写真がどうしたら 私の死につながりうるのか? たとえば こんな可能性があります この写真に写っていのは 猫だけではありません GPS情報があります 携帯やデジカメで 写真を撮る時 画像とともに保存される 様々な情報があります この画像には これと同等の情報 より具体的には この位置情報が含まれています 私が撮った猫の写真の 付随情報から 私の居所を突き止め 悪さをしようという人が いるとも思えませんが しかし私は最悪のことは起こると 仮定するところから始めます 私たちがツイートに写真を 付けられるようにした時 GPS情報が取り除かれる ようにしたのは そのためです (拍手) 常に最悪のことを仮定し 保守的に構えることで 私たちの作る守りが 間違いなく 予期されることにも 予期せざることにも 働くようにできます

起こりうる最悪のことを いつも想像して 過ごしていたら 私の世界観が暗いものになったとしても 不思議はないでしょう (笑) でもそうではありません 私が目にする やりとりの大多数は 本当にたくさん見ていますが ポジティブなのです 人々が助けの手を伸ばし 互いに繋がり合い 情報を共有し合っています ただ私たちのような 大規模のものを扱い 人々の安全を保つことを 仕事とする者は 最悪のことは起こると 仮定せざるを得ないのです 私たちにとって 百万に1つという可能性というのは 至極起きがちなことだからです

ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画