TED日本語 - ニール・ハービソン: 僕は色を聴いている


TED Talks(英語 日本語字幕付き動画)

TED日本語 - ニール・ハービソン: 僕は色を聴いている

TED Talks

I listen to color
Neil Harbisson




Well, I was born with a rare visual condition called achromatopsia, which is total color blindness, so I've never seen color, and I don't know what color looks like, because I come from a grayscale world. To me, the sky is always gray, flowers are always gray, and television is still in black and white.

But, since the age of 21, instead of seeing color, I can hear color. In 2003, I started a project with computer scientist Adam Montandon, and the result, with further collaborations with Peter Kese from Slovenia and Matias Lizana from Barcelona, is this electronic eye. It's a color sensor that detects the color frequency in front of me - (Frequency sounds) - and sends this frequency to a chip installed at the back of my head, and I hear the color in front of me through the bone, through bone conduction. (Frequency sounds) So, for example, if I have, like - This is the sound of purple. (Frequency sounds) For example, this is the sound of grass. (Frequency sounds) This is red, like TED. (Frequency sounds) This is the sound of a dirty sock. (Laughter) Which is like yellow, this one.

So I've been hearing color all the time for eight years, since 2004, so I find it completely normal now to hear color all the time. At the start, though, I had to memorize the names you give for each color, so I had to memorize the notes, but after some time, all this information became a perception. I didn't have to think about the notes. And after some time, this perception became a feeling. I started to have favorite colors, and I started to dream in colors.

So, when I started to dream in color is when I felt that the software and my brain had united, because in my dreams, it was my brain creating electronic sounds. It wasn't the software, so that's when I started to feel like a cyborg. It's when I started to feel that the cybernetic device was no longer a device. It had become a part of my body, an extension of my senses, and after some time, it even became a part of my official image.

This is my passport from 2004. You're not allowed to appear on U.K. passports with electronic equipment, but I insisted to the passport office that what they were seeing was actually a new part of my body, an extension of my brain, and they finally accepted me to appear with the passport photo.

So, life has changed dramatically since I hear color, because color is almost everywhere, so the biggest change for example is going to an art gallery, I can listen to a Picasso, for example. So it's like I'm going to a concert hall, because I can listen to the paintings. And supermarkets, I find this is very shocking, it's very, very attractive to walk along a supermarket. It's like going to a nightclub. It's full of different melodies. (Laughter) Yeah. Especially the aisle with cleaning products. It's just fabulous. (Laughter)

Also, the way I dress has changed. Before, I used to dress in a way that it looked good. Now I dress in a way that it sounds good. (Laughter)


So today I'm dressed in C major, so it's quite a happy chord. (Laughter) If I had to go to a funeral, though, I would dress in B minor, which would be turquoise, purple and orange. (Laughter)

Also, food, the way I look at food has changed, because now I can display the food on a plate, so I can eat my favorite song. (Laughter) So depending on how I display it, I can hear and I can compose music with food. So imagine a restaurant where we can have, like, Lady Gaga salads as starters. (Laughter) I mean, this would get teenagers to eat their vegetables, probably. And also, some Rachmaninov piano concertos as main dishes, and some Bjork or Madonna desserts, that would be a very exciting restaurant where you can actually eat songs.

Also, the way I perceive beauty has changed, because when I look at someone, I hear their face, so someone might look very beautiful but sound terrible. (Laughter) And it might happen the opposite, the other way around. So I really enjoy creating, like, sound portraits of people. Instead of drawing someone's face, like drawing the shape, I point at them with the eye and I write down the different notes I hear, and then I create sound portraits. Here's some faces.

(Musical chords)

Yeah, Nicole Kidman sounds good. (Laughter)

Some people, I would never relate, but they sound similar. Prince Charles has some similarities with Nicole Kidman. They have similar sound of eyes.

So you relate people that you wouldn't relate, and you can actually also create concerts by looking at the audience faces. So I connect the eye, and then I play the audience's faces. The good thing about this is, if the concert doesn't sound good, it's their fault. It's not my fault, because - (Laughter)

And so another thing that happens is that I started having this secondary effect that normal sounds started to become color. I heard a telephone tone, and it felt green because it sounded just like the color green. The BBC beeps, they sound turquoise, and listening to Mozart became a yellow experience,

so I started to paint music and paint people's voices, because people's voices have frequencies that I relate to color.

And here's some music translated into color. For example, Mozart, "Queen of the Night," looks like this. (Music) Very yellow and very colorful, because there's many different frequencies. (Music) And this is a completely different song. (Music) It's Justin Bieber's "Baby." (Laughter) (Music) It is very pink and very yellow.

So, also voices, I can transform speeches into color, for example, these are two very well-known speeches. One of them is Martin Luther King's "I Have A Dream," and the other one is Hitler. And I like to exhibit these paintings in the exhibition halls without labels, and then I ask people, "Which one do you prefer?" And most people change their preference when I tell them that the one on the left is Hitler and the one on the right is Martin Luther King.

So I got to a point when I was able to perceive 360 colors, just like human vision. I was able to differentiate all the degrees of the color wheel. But then, I just thought that this human vision wasn't good enough. There's many, many more colors around us that we can not perceive, but that electronic eyes can perceive. So I decided to continue extending my color senses, and I added infrared and I added ultraviolet to the color-to-sound scale, so now I can hear colors that the human eye can not perceive.

For example, perceiving infrared is good because you can actually detect if there's movement detectors in a room. I can hear if someone points at me with a remote control. And the good thing about perceiving ultraviolet is that you can hear if it's a good day or a bad day to sunbathe, because ultraviolet is a dangerous color, a color that can actually kill us, so I think we should all have this wish to perceive things that we can not perceive.

That's why,two years ago, I created the Cyborg Foundation, which is a foundation that tries to help people become a cyborg, tries to encourage people to extend their senses by using technology as part of the body.

We should all think that knowledge comes from our senses, so if we extend our senses, we will consequently extend our knowledge. I think life will be much more exciting when we stop creating applications for mobile phones and we start creating applications for our own body. I think this will be a big, big change that we will see during this century.

So I do encourage you all to think about which senses you'd like to extend. I would encourage you to become a cyborg. You won't be alone. Thank you. (Applause)


僕は珍しい視覚障害を持って生まれました 色覚異常と呼ばれるもので色が全く認識できません 色を見たことがないのです 色がどんなものか知りません モノクロの世界に生きているからです 僕が見る空はいつもグレーです どの花もグレーです テレビもまだ白黒です

でも21歳から 色を見るのではなく僕は色を聴いています 2003年にコンピューター科学者のアダム・モンタンドンとプロジェクトを立ち上げ さらに スロベニアのペーター・ケッシェと バルセロナのマティアス・リザナの 力を借りて この電子アイを作りました これはカラーセンサーです 色の周波数を認識します (周波数音) この周波数は頭の後ろにある チップに送られ 僕は骨を通して 骨伝導で色を聴きます 例えば 目の前にこんなのがあったら… これは紫の音ですね 例えば…これは草の音 これはTEDと同じ赤 これは汚れた靴下の音だ 黄色ですね

このように 僕は8年間常に色を聴いています 2004年からですから 色を聴くのはもう当たり前のことになりました でも最初は 色の名前を暗記しなければなりませんでした それぞれの色の名前と音を暗記したのです でも しばらくするとそういった情報も すぐに認識できるようになりました いちいち考えなくなったのです そして この認識はひとつの感覚になりました 好きな色ができました 色のある夢を見るようになりました

色のある夢を見るようになると このソフトウェアと僕の脳がひとつになった気がしました 夢の中では ソフトではなく僕の脳が 電子音を作り出しているのですから その時 自分がサイボーグになったような気がしました 人工知能デバイスが ただのデバイスではないような気がし始めたのです 体の一部になっていました 自分の五感のひとつになっていました その後 このデバイスは 正式に僕の体の一部として認められました

これは2004年の僕のパスポートです イギリスではパスポートに電子機器と一緒に写った写真は使えないのですが 僕は旅券局に粘り強く説明しました これは僕の体の一部であり僕の脳の延長であると そして 最終的にはそれが認められて このパスポート写真になったわけです

「色を聴く」ようになって僕の人生は劇的に変わりました どんな場所にも色があるからです 一番大きな変化は 例えば ー 美術館に行くと 僕はピカソを聴くことができます まるで コンサートホールに行ったみたいです 絵画を聴くことができるんですから スーパーマーケットも衝撃的でした スーパーの中を歩くのは本当に楽しいんです クラブの中を歩いているようです いろんなメロディに溢れています(笑) 特に洗剤の通路はすごいですよ 本当に素晴らしいんです (笑)

着る服も変わりました 前は 格好が良い服を着ていました 今は 音が良い服を着ています (笑)


今日の服装はCメジャーです かなり明るいコードですね (笑) でも お葬式に行くときは Bマイナーの服を着ます ターコイズと紫とオレンジです (笑)

食べ物に対する考え方も変わりました お皿の盛りつけ方次第で自分の好きな曲が食べられるんですから 盛りつけ方次第で 作曲できたり 音楽が聴けたりするわけです 例えば オードブルにレディ・ガガのサラダを 食べられるレストランはどうですか? ティーンエージャーも野菜を食べるようになるかもしれませんね メインディッシュに ラフマニノフのピアノコンチェルトはどうでしょう デザートはビョークかマドンナがいいですね わくわくするようなレストランになります 音楽を食べることができるんですから

美に対する考えも変わりました 人を見ると その人の顔が聞こえるからです 見た目がすごく美しくても音が最悪な人もいます その逆の場合もあります それで 音の肖像画を作ることを考えました すごく楽しい作業です 顔の形を描いたりするわけではなりません 電子アイを相手の顔に向けて 聞こえてくる音を書き留めて音の肖像画を作ります こういった音です


ニコール・キッドマンはいい音ですね (笑)

全く関係がないような人々の音が似ている場合もあります チャールズ王子の音はニコール・キッドマンに似ています 目の音が似ているんです

全く関係ない人達にも共通点があるんです 観客の顔を見ながら コンサートをすることもできます 電子アイを装着して観客の顔を演奏するんです これの良い点は コンサートが失敗でも観客が悪いということになる 僕が悪いんじゃありません (笑)

それと 思いがけないことが起きました これには別の効果もあったんです 普通の音も色に感じるようになりました 電話が鳴ったときに緑を感じたのです 呼び出し音は 緑と同じ音でした BBCの時報はターコイズです モーツァルトを聴くと黄色を感じます

それで 音楽や人の声も絵にするようになりました 人の声にも 色と同じ周波数があるんです

音楽を色で表現したものをお見せします 例えば これはモーツァルトの「夜の女王のアリア」です 黄色が多くて とてもカラフルです いろんな周波数が混在しているからです (音楽) これは全く違うタイプの音楽です ジャスティン・ビーバーの「ベイビー」です(笑) (音楽) ピンクと黄色が多いですね

人の声も色に置き換えることができます 例えば この2つは非常に有名な演説を絵にしたものです マーティン・ルーサー・キングの「私には夢がある」と ヒットラーの演説です ラベルを付けずに展示ホールにこの2つの絵を並べ 鑑賞する人にどちらの絵が好きか ー 訊ねるのが好きなんです ほとんどの人が考えを変えますよ 左側がヒットラーだと教えると 右側がマーチン・ルーサー・キングです

そうしているうちに 僕は360色を認識できるようになりました 人間の視覚と同じです カラーホイールの全て角度を識別できるようになったんです でも 人間の視覚だけでは 満足できなくなりました 僕たちの周りには もっと色があります 人間が認識できないだけです 電子アイは認識できます そこで 色彩認識の幅を広げようと思い このデバイスが音にできるスケールに 赤外線と紫外線を加えました 人間の目が認識できない色です

赤外線が認識できると便利です 部屋に赤外線装置があれば分かります リモコンを向けられると音が聞こえます 紫外線が認識できれば 日光浴に適した日と そうでない日が分かります 紫外線は危険ですからね 紫外線で死ぬことだってあるんですから 認識できないものが認識できれば便利です

それで2年前 サイボーグ基金を設立しました 人がサイボーグになるのを助けたり テクノロジーによる感覚の拡張を勧める団体です テクノロジーによる感覚の拡張を勧める団体です

知識は感覚から育まれます 感覚を拡張できれば 知識を拡大することができるのです 携帯電話のアプリなど開発しないで 自分達の体のためのアプリを開発したら 人生はもっとエキサイティングになると思います 今世紀には このような 大きな変化が起きると思います

ですから 皆さんも 自分のどの感覚を 拡張したいか考えて下さい サイボーグになることをお勧めします みんなで やりましょうありがとうございました


― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等