TED日本語 - ゴラン・レヴィン: 見つめ返す作品

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - ゴラン・レヴィン: 見つめ返す作品

TED Talks

見つめ返す作品
Golan Levin makes art that looks back at you
ゴラン・レヴィン

内容

アーティストでありエンジニアでもあるゴラン・レヴィンは、ロボティクス、ソフトウェア、認知科学といった現代的な道具を使い、人を驚かせ、楽しませるアート作品を作っています。音が形になり、体から絵が作り出され、興味津々の目が見つめ返してくる様をご覧ください。

Script

Hello! My name is Golan Levin. I'm an artist and an engineer, which is, increasingly, a more common kind of hybrid. But I still fall into this weird crack where people don't seem to understand me. And I was looking around and I found this wonderful picture. It's a letter from "Artforum" in 1967 saying "We can't imagine ever doing a special issue on electronics or computers in art." And they still haven't. And lest you think that you all, as the digerati, are more enlightened, I went to the Apple iPhone app store the other day. Where's art? I got productivity. I got sports. And somehow the idea that one would want to make art for the iPhone, which my friends and I are doing now, is still not reflected in our understanding of what computers are for.

So, from both directions, there is kind of, I think, a lack of understanding about what it could mean to be an artist who uses the materials of his own day, or her own day, which I think artists are obliged to do, is to really explore the expressive potential of the new tools that we have. In my own case, I'm an artist, and I'm really interested in expanding the vocabulary of human action, and basically empowering people through interactivity. I want people to discover themselves as actors, as creative actors, by having interactive experiences.

A lot of my work is about trying to get away from this. This a photograph of the desktop of a student of mine. And when I say desktop, I don't just mean the actual desk where his mouse has worn away the surface of the desk. If you look carefully, you can even see a hint of the Apple menu, up here in the upper left, where the virtual world has literally punched through to the physical. So this is, as Joy Mountford once said, "The mouse is probably the narrowest straw you could try to suck all of human expression through."

(Laughter)

And the thing I'm really trying to do is enabling people to have more rich kinds of interactive experiences. How can we get away from the mouse and use our full bodies as a way of exploring aesthetic experiences, not necessarily utilitarian ones. So I write software. And that's how I do it. And a lot of my experiences resemble mirrors in some way. Because this is, in some sense, the first way, that people discover their own potential as actors, and discover their own agency. By saying "Who is that person in the mirror? Oh it's actually me."

And so, to give an example, this is a project from last year, which is called the Interstitial Fragment Processor. And it allows people to explore the negative shapes that they create when they're just going about their everyday business. So as people make shapes with their hands or their heads and so forth, or with each other, these shapes literally produce sounds and drop out of thin air -- basically taking what's often this, kind of, unseen space, or this undetected space, and making it something real, that people then can appreciate and become creative with. So again, people discover their creative agency in this way. And their own personalities come out in totally unique ways.

So in addition to using full-body input, something that I've explored now, for a while, has been the use of the voice, which is an immensely expressive system for us, vocalizing. Song is one of our oldest ways of making ourselves heard and understood. And I came across this fantastic research by Wolfgang Kohler, the so-called father of gestalt psychology, from 1927, who submitted to an audience like yourselves the following two shapes. And he said one of them is called Maluma. And one of them is called Taketa. Which is which? Anyone want to hazard a guess? Maluma is on top. Yeah. So. As he says here, most people answer without any hesitation.

So what we're really seeing here is a phenomenon called phonaesthesia, which is a kind of synesthesia that all of you have. And so, whereas Dr. Oliver Sacks has talked about how perhaps one person in a million actually has true synesthesia, where they hear colors or taste shapes, and things like this, phonaesthesia is something we can all experience to some extent. It's about mappings between different perceptual domains, like hardness, sharpness, brightness and darkness, and the phonemes that we're able to speak with.

So 70 years on, there's been some research where cognitive psychologists have actually sussed out the extent to which, you know, L, M and B are more associated with shapes that look like this, and P, T and K are perhaps more associated with shapes like this. And here we suddenly begin to have a mapping between curvature that we can exploit numerically, a relative mapping between curvature and shape.

So it occurred to me, what happens if we could run these backwards? And thus was born the project called Remark, which is a collaboration with Zachary Lieberman and the Ars Electronica Futurelab. And this is an interactive installation which presents the fiction that speech casts visible shadows. So the idea is you step into a kind of a magic light. And as you do, you see the shadows of your own speech. And they sort of fly away, out of your head. If a computer speech recognition system is able to recognize what you're saying, then it spells it out. And if it isn't then it produces a shape which is very phonaesthetically tightly coupled to the sounds you made. So let's bring up a video of that.

(Applause)

Thanks. So. And this project here, I was working with the great abstract vocalist, Jaap Blonk. And he is a world expert in performing "The Ursonate," which is a half-an-hour nonsense poem by Kurt Schwitters, written in the 1920s, which is half an hour of very highly patterned nonsense. And it's almost impossible to perform. But Jaap is one of the world experts in performing it. And in this project we've developed a form of intelligent real-time subtitles. So these are our live subtitles, that are being produced by a computer that knows the text of "The Ursonate" -- fortunately Jaap does too, very well -- and it is delivering that text at the same time as Jaap is. So all the text you're going to see is real-time generated by the computer, visualizing what he's doing with his voice. Here you can see the set-up where there is a screen with the subtitles behind him. Okay. So ... (Applause) The full videos are online if you are interested.

I got a split reaction to that during the live performance, because there is some people who understand live subtitles are a kind of an oxymoron, because usually there is someone making them afterwards. And then a bunch of people who were like, "What's the big deal? I see subtitles all the time on television." You know? They don't imagine the person in the booth, typing it all.

So in addition to the full body, and in addition to the voice, another thing that I've been really interested in, most recently, is the use of the eyes, or the gaze, in terms of how people relate to each other. It's a really profound amount of nonverbal information that's communicated with the eyes. And it's one of the most interesting technical challenges that's very currently active in the computer sciences: being able to have a camera that can understand, from a fairly big distance away, how these little tiny balls are actually pointing in one way or another to reveal what you're interested in, and where your attention is directed. So there is a lot of emotional communication that happens there.

And so I've been beginning, with a variety of different projects, to understand how people can relate to machines with their eyes. And basically to ask the questions: What if art was aware that we were looking at it? How could it respond, in a way, to acknowledge or subvert the fact that we're looking at it? And what could it do if it could look back at us? And so those are the questions that are happening in the next projects.

In the first one which I'm going to show you, called Eyecode, it's a piece of interactive software in which, if we read this little circle, "the trace left by the looking of the previous observer looks at the trace left by the looking of previous observer." The idea is that it's an image wholly constructed from its own history of being viewed by different people in an installation. So let me just switch over so we can do the live demo. So let's run this and see if it works.

Okay. Ah, there is lots of nice bright video. There is just a little test screen that shows that it's working. And what I'm just going to do is -- I'm going to hide that. And you can see here that what it's doing is it's recording my eyes every time I blink. Hello? And I can ... hello ... okay. And no matter where I am, what's really going on here is that it's an eye-tracking system that tries to locate my eyes. And if I get really far away I'm blurry. You know, you're going to have these kind of blurry spots like this that maybe only resemble eyes in a very very abstract way. But if I come up really close and stare directly at the camera on this laptop then you'll see these nice crisp eyes.

You can think of it as a way of, sort of, typing, with your eyes. And what you're typing are recordings of your eyes as you're looking at other peoples' eyes. So each person is looking at the looking of everyone else before them. And this exists in larger installations where there are thousands and thousands of eyes that people could be staring at, as you see who's looking at the people looking at the people looking before them. So I'll just add a couple more. Blink. Blink. And you can see, just once again, how it's sort of finding my eyes and doing its best to estimate when it's blinking. Alright. Let's leave that. So that's this kind of recursive observation system. (Applause) Thank you.

The last couple pieces I'm going to show are basically in the new realm of robotics -- for me, new for me. It's called Opto-Isolator. And I'm going to show a video of the older version of it, which is just a minute long. Okay. In this case, the Opto-Isolator is blinking in response to one's own blinks. So it blinks one second after you do. This is a device which is intended to reduce the phenomenon of gaze down to the simplest possible materials. Just one eye, looking at you, and eliminating everything else about a face, but just to consider gaze in an isolated way as a kind of, as an element. And at the same time, it attempts to engage in what you might call familiar psycho-social gaze behaviors. Like looking away if you look at it too long because it gets shy, or things like that.

Okay. So the last project I'm going to show is this new one called Snout. (Laughter) It's an eight-foot snout, with a googly eye. (Laughter) And inside it's got an 800-pound robot arm that I borrowed, (Laughter) from a friend. (Laughter) It helps to have good friends. I'm at Carnegie Mellon; we've got a great Robotics Institute there. I'd like to show you thing called Snout, which is -- The idea behind this project is to make a robot that appears as if it's continually surprised to see you. (Laughter) The idea is that basically -- if it's constantly like "Huh? ... Huh?" That's why its other name is Doubletaker, Taker of Doubles. It's always kind of doing a double take: "What?" And the idea is basically, can it look at you and make you feel as if like, "What? Is it my shoes?" "Got something on my hair?" Here we go. Alright.

Checking him out ... For you nerds, here's a little behind-the-scenes. It's got a computer vision system, and it tries to look at the people who are moving around the most. Those are its targets. Up there is the skeleton, which is actually what it's trying to do. It's really about trying to create a novel body language for a new creature. Hollywood does this all the time, of course. But also have the body language communicate something to the person who is looking at it. This language is communicating that it is surprised to see you, and it's interested in looking at you.

(Laughter)

(Applause)

Thank you very much. That's all I've got for today. And I'm really happy to be here. Thank you so much.

(Applause)

私はゴラン レヴィンです アーティストでエンジニアです こういう組み合わせは増えていると思いますが それでもみんなに理解されない 妙な場所にいる気がします ちょっと面白い画像を見つけました これは1967 年にアートフォーラム誌が送った手紙です 「美術におけるエレクトロニクスとコンピュータの特集というのは ちょっと考えがたいと思います」 …今もそうですね ではコンピュータ時代の成功者たる皆さんは もっと目が開けているのでしょうか? この間 iPhone Appストアをのぞいていました 「アート」はどこにあるんだろう? 「仕事効率化」や「スポーツ」のカテゴリならあります iPhone のためのアート作品というのは 私と友人が今? 作ろうとしているものですが コンピュータの用途として思い付くものには なっていないのです

時代に応じた物を素材にする アーティストというものの意義を 両者とも理解していないのです この新しい道具の? 表現の可能性を探究するのは アーティストのすべきことだと思います 私自身はアーティストであり 興味があるのは? 人の行動における表現手段を広げ 対話的な方法により表現力を高めるということです 私は人々に インタラクティブな体験を通じて クリエイティブな行為者としての自分を見いだしてほしいのです

私の作品の多くは マウスから逃れようとする試みです これは ある学生のデスクトップ(机上)の写真です デスクトップと言うのは マウスで表面の剥げた実際の机だけを意味しません 注意して見ていただければ アップルメニューがどの辺かまでわかります バーチャルな世界が 物理的な世界まで突き抜けています ジョイ マウントフォードが言ったように 「マウスは人類のあらゆる表現を? 吸い出そうと試みることのできる? 一番細いストロー」なのです

(笑)

私が本当にしようとしているのは 人々がもっと豊かで? インタラクティブな体験をできるようにすることです マウスを離れて全身を使い 実用的なものに限らず 美的な体験を追求できるようにするには どうすればよいのか? そのために私はソフトウェアを書きます それが私のやり方です 私の作り出す体験は 鏡を思わせるところがあります 鏡は 自らの行為者としての可能性と 自らの働きを見る 最初の場所だからです 「この鏡の中の人誰だろう? あ、これ自分だ!」

例として 去年やった? プロジェクトをお見せします 題して「隙間断片プロセッサー」です 日常的な動作の中で作り出される隙間の形を 探求してもらおうというものです 自分の手や頭を使って あるいは誰かと一緒になって形を作ると その形が抜け出して 音を立てながら落ちていきます 見えない空間 あるいは気づかない空間を 何か実体のあるものに変えるのです みんなそれを楽しみ クリエイティブになります そうやって自らのクリエイティブな働きを見出し そして その人の個性が まったくユニークな仕方で現れるのです

インプットに全身を使うことに加え 私が ここしばらく 追求しているのは 声を使うことです 発声は 私たちにとって とても表現力豊かなシステムです 歌というのは 自分に耳を傾けてもらい 理解してもらうための 最も古くからある方法です 私はゲシュタルト心理学の父と呼ばれる ヴォルフガング ケーラーの 素晴らしい1927 年の研究に出会いました ここにあるような? 2つの形を人に見せて 一方はMaluma (マルーマ)で もう一方はTakete (タキータ)だと言います どちらがどちらでしょう? どなたか分かりますか? Maluma は上の方です ほとんどの人が迷わずにそう答えます

私たちがここで目にしたのは 音象徴と呼ばれる現象です 我々みんなが持っている 共感覚の一種です オリバー サックス博士が 共感覚を持つ人は 百万人に1人くらいだと言ったのは 色を聞いたり 形を味わったりする人のことです 音象徴は 私たちの誰もが ある程度体験するものです 硬さ 鋭さ 明るさ 暗さといったものと 私たちの発する音素との間にある 異なる知覚領域間の対応関係なのです

認知心理学者たちの 70年に渡る研究があり ある程度のことが分かっています 右のような形には L、M、B が強く関連しています 左の形には P、T、K がより強く関連しています そうすると 数値的な処理によって 線の屈曲から音素への 写像が得られることになります

では その写像を逆向きにしてみたらどうかと思い付きました そうしてRemark プロジェクトが生まれました これはザカリー リーバーマンと アルスエレクトロニカ フューチャーラボとの共作です 話す言葉に目に見える影ができるという フィクションを作り出すインタラクティブな作品です 魔法の光の中に入ったかのように しゃべると 自分の言葉の影が 自分の口から遠くのほうへと飛んで行きます 音声認識システムで? 認識できる場合には 文字が現れます 認識できない場合には? 音象徴的に強く関連する 形が生成されます ビデオでご覧いただきましょう

(拍手)

次のプロジェクトは 素晴らしい抽象ボーカリストの ヤップ ブロンクと一緒にやりました 彼は「ウルソナタ」のパフォーマンスの世界的エキスパートです これはクルト シュヴィッタースによって 1920 年代に書かれた 意味のない詩です 非常に複雑なパターンを持ったナンセンスな言葉が30 分続きます ほとんど不可能なほどパフォーマンスが難しいのですが ヤップはこのパフォーマンスにかけては第一人者なのです このプロジェクトで私たちは 知的なリアルタイムの字幕を開発しました この字幕はウルソナタのテキストを記憶している? コンピュータにより ライブで生成されています 幸いヤップもこのテキストをとても良く知っています そしてコンピュータは ヤップがしゃべるのと同時に字幕を出します ご覧になるテキストはすべて コンピュータにより リアルタイムで生成され ヤップがしゃべるのを可視化しています 会場には字幕を映すスクリーンがヤップの背後にありました それで… (拍手) ご興味があればネットで見られます

このときは観客の反応が分かれました ライブの字幕というのは 一種の矛盾だと理解している人がいます 字幕というのは通常 誰かが後で付けるものだからです 多くの人は「これが何だって言うの?」と思います 「字幕なんてテレビにいつも出ている」 ブースの中でそれをタイプする人のことを考えていないのです

全身を使うことと 声を使うことに加え もう1つ私が最近興味を持っているのは 人が互いに関係する上で 目をいかに使うかということです 目で交わされる非言語的情報の量には ものすごいものがあります そしてこれは 現在コンピュータサイエンスにおいて 活発に研究されている問題の1 つでもあります 離れた場所からカメラで 人の目がどこを見ているのか認識し 何に関心があるのか どこに注意が向いているのか 突き止めるという問題です 感情を伴う多くのコミュニケーションが 目で交わされます

人が機械と目でどう関係できるものか理解するため 様々なプロジェクトを行いました 基本的に問うている質問はこうです 「私たちが何を見ているか作品が分かっているとしたらどうだろう?」 どう反応するのか? 私たちが見ていることに対し 受け入れるのか拒むのか? それが私たちを見返せるとしたらどうだろう? それが次のプロジェクトの課題となりました

最初にお見せするのは Eyecode という インタラクティブソフトウェアです 輪になった文字には こう書いてあります 「前の人が見たことによって残る痕跡を見ている 前の人が見たことによって残る痕跡」 その展示を見た人の履歴によって イメージ自体を作り出すというのが これのアイデアです ライブデモをご覧に入れます うまくいくか見てみましょう

明るく良く映っていますね この小さいのはテスト画面です 隠しておきましょう ここで何をやっているかというと 私が瞬きするたびに記録しています ハロー? ハローーーー 私がどこにいても これは アイトラッキングの仕組みで 目の場所を見つけます ずっと離れると ぼんやりした感じになります この辺なんかは かろうじて目とわかる感じです ぐっと近づいてカメラを直視すると このようなくっきりした目になります

これは目でタイプしていると見なすことができます そしてタイプし 記録しているのは 他の人の目を見る 自分のまなざしです 前に来た人たち みんなのまなざしを 見ることになるのです これのもっと大規模なやつがあって 何千という人が見つめる目を 映し出します 前に見ていた人を見ている? 人を見るわけです あと2つばかり追加しましょう ぱちくり ぱちくり これがどうやって私の目を見つけ 瞬きした瞬間をとらえようとしているかわかると思います これは終わりにしましょう これは一種再帰的な観察システムなのです (拍手) どうも

最後の2つは ロボティクスの新しい… 少なくとも私には新しい領域です Opto-Isolator というものです 古いバージョンのビデオをご覧いただきます 1分ほどあります これは人の瞬きに 反応して瞬きします 目の前にいる人に1 秒遅れて瞬きします 見つめるということを 可能な限りシンプルなものへと 単純化することを目指した装置です 見つめる1 つの目があるだけで 顔のその他の要素は すべて取り去ってあります まなざしを 独立した? 1 つの要素として考えるためです 同時に 見つめることに関わる? 馴染み深い心理的 社会的な振る舞いを 取り込もうともしています 例えば ずっと見つめていると 恥ずかしがって目をそらすとか

お見せする最後のプロジェクトは Snout です (笑) ギョロギョロした目のついた 2メートル半の突起物です (笑) 中には360 キロの ロボットアームが入っています… 借り物ですが… (笑) 友達から… (笑) いい友達がいると助かります カーネギーメロン大学にいますが 素晴らしいロボティクス部門があります そのSnout ですが… このプロジェクトのアイデアは あなたのことを見てびっくりしているロボットを作ることです (笑) 基本的にいつも? 「おやっ? …おやっ?」とやっています 「二度見くん」という別名の所以です 一瞬遅れて驚くのです 「何っ?」 そして こちらのことを見るものだから こう思うのです 「えっ何? 俺の靴? 」 「頭になんか付いてる?」

彼のことを調べているんです ギーク諸君のために舞台裏をお見せしましょう コンピュータビジョンシステムを備えていて 動く人に目を向けるようになっています あれがターゲット 右にある骨格は Snout がしようとしていることを 示しています やりたいのは 新しい生き物のボディランゲージを作り出すということです ハリウッドなんかでは よくやっていることですが それだけでなく 見ている人と? そのボディランゲージで 対話するのです このボディランゲージは あなたを見て驚き 興味を持って見つめていることを 伝えています

(笑)

(拍手)

ご静聴ありがとうございます 今日の話はこれで終わりです ここでお話できて光栄でした どうもありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画