TED日本語 - マイケル・ルービンスタイン: 見えない動きを見、聞こえない音を聞く。すごい?それとも気味が悪い?


TED Talks(英語 日本語字幕付き動画)

TED日本語 - マイケル・ルービンスタイン: 見えない動きを見、聞こえない音を聞く。すごい?それとも気味が悪い?

TED Talks

See invisible motion, hear silent sounds. Cool? Creepy? We can't decide
Michael Rubinstein




So over the past few centuries, microscopes have revolutionized our world. They revealed to us a tiny world of objects, life and structures that are too small for us to see with our naked eyes. They are a tremendous contribution to science and technology. Today I'd like to introduce you to a new type of microscope, a microscope for changes. It doesn't use optics like a regular microscope to make small objects bigger, but instead it uses a video camera and image processing to reveal to us the tiniest motions and color changes in objects and people, changes that are impossible for us to see with our naked eyes. And it lets us look at our world in a completely new way.

So what do I mean by color changes? Our skin, for example, changes its color very slightly when the blood flows under it. That change is incredibly subtle, which is why, when you look at other people, when you look at the person sitting next to you, you don't see their skin or their face changing color. When we look at this video of Steve here, it appears to us like a static picture, but once we look at this video through our new, special microscope, suddenly we see a completely different image. What you see here are small changes in the color of Steve's skin, magnified 100 times so that they become visible. We can actually see a human pulse. We can see how fast Steve's heart is beating, but we can also see the actual way that the blood flows in his face. And we can do that not just to visualize the pulse, but also to actually recover our heart rates, and measure our heart rates. And we can do it with regular cameras and without touching the patients. So here you see the pulse and heart rate we extracted from a neonatal baby from a video we took with a regular DSLR camera, and the heart rate measurement we get is as accurate as the one you'd get with a standard monitor in a hospital. And it doesn't even have to be a video we recorded. We can do it essentially with other videos as well. So I just took a short clip from "Batman Begins" here just to show Christian Bale's pulse. (Laughter) And you know, presumably he's wearing makeup, the lighting here is kind of challenging, but still, just from the video, we're able to extract his pulse and show it quite well.

So how do we do all that? We basically analyze the changes in the light that are recorded at every pixel in the video over time, and then we crank up those changes. We make them bigger so that we can see them. The tricky part is that those signals, those changes that we're after, are extremely subtle, so we have to be very careful when you try to separate them from noise that always exists in videos. So we use some clever image processing techniques to get a very accurate measurement of the color at each pixel in the video, and then the way the color changes over time, and then we amplify those changes. We make them bigger to create those types of enhanced videos, or magnified videos, that actually show us those changes.

But it turns out we can do that not just to show tiny changes in color, but also tiny motions, and that's because the light that gets recorded in our cameras will change not only if the color of the object changes, but also if the object moves. So this is my daughter when she was about two months old. It's a video I recorded about three years ago. And as new parents, we all want to make sure our babies are healthy, that they're breathing, that they're alive, of course. So I too got one of those baby monitors so that I could see my daughter when she was asleep. And this is pretty much what you'll see with a standard baby monitor. You can see the baby's sleeping, but there's not too much information there. There's not too much we can see. Wouldn't it be better, or more informative, or more useful, if instead we could look at the view like this. So here I took the motions and I magnified them 30 times, and then I could clearly see that my daughter was indeed alive and breathing. (Laughter) Here is a side-by-side comparison. So again, in the source video, in the original video, there's not too much we can see, but once we magnify the motions, the breathing becomes much more visible. And it turns out, there's a lot of phenomena we can reveal and magnify with our new motion microscope. We can see how our veins and arteries are pulsing in our bodies. We can see that our eyes are constantly moving in this wobbly motion. And that's actually my eye, and again this video was taken right after my daughter was born, so you can see I wasn't getting too much sleep. (Laughter) Even when a person is sitting still, there's a lot of information we can extract about their breathing patterns, small facial expressions. Maybe we could use those motions to tell us something about our thoughts or our emotions. We can also magnify small mechanical movements, like vibrations in engines, that can help engineers detect and diagnose machinery problems, or see how our buildings and structures sway in the wind and react to forces. Those are all things that our society knows how to measure in various ways, but measuring those motions is one thing, and actually seeing those motions as they happen is a whole different thing.

And ever since we discovered this new technology, we made our code available online so that others could use and experiment with it. It's very simple to use. It can work on your own videos. Our collaborators at Quantum Research even created this nice website where you can upload your videos and process them online, so even if you don't have any experience in computer science or programming, you can still very easily experiment with this new microscope. And I'd like to show you just a couple of examples of what others have done with it.

So this video was made by a YouTube user called Tamez85. I don't know who that user is, but he, or she, used our code to magnify small belly movements during pregnancy. It's kind of creepy. (Laughter) People have used it to magnify pulsing veins in their hands. And you know it's not real science unless you use guinea pigs, and apparently this guinea pig is called Tiffany, and this YouTube user claims it is the first rodent on Earth that was motion-magnified.

You can also do some art with it. So this video was sent to me by a design student at Yale. She wanted to see if there's any difference in the way her classmates move. She made them all stand still, and then magnified their motions. It's like seeing still pictures come to life. And the nice thing with all those examples is that we had nothing to do with them. We just provided this new tool, a new way to look at the world, and then people find other interesting, new and creative ways of using it.

But we didn't stop there. This tool not only allows us to look at the world in a new way, it also redefines what we can do and pushes the limits of what we can do with our cameras. So as scientists, we started wondering, what other types of physical phenomena produce tiny motions that we could now use our cameras to measure? And one such phenomenon that we focused on recently is sound. Sound, as we all know, is basically changes in air pressure that travel through the air. Those pressure waves hit objects and they create small vibrations in them, which is how we hear and how we record sound. But it turns out that sound also produces visual motions. Those are motions that are not visible to us but are visible to a camera with the right processing. So here are two examples. This is me demonstrating my great singing skills. (Singing) (Laughter) And I took a high-speed video of my throat while I was humming. Again, if you stare at that video, there's not too much you'll be able to see, but once we magnify the motions 100 times, we can see all the motions and ripples in the neck that are involved in producing the sound. That signal is there in that video.

We also know that singers can break a wine glass if they hit the correct note. So here, we're going to play a note that's in the resonance frequency of that glass through a loudspeaker that's next to it. Once we play that note and magnify the motions 250 times, we can very clearly see how the glass vibrates and resonates in response to the sound. It's not something you're used to seeing every day. But this made us think. It gave us this crazy idea. Can we actually invert this process and recover sound from video by analyzing the tiny vibrations that sound waves create in objects, and essentially convert those back into the sounds that produced them. In this way, we can turn everyday objects into microphones.

So that's exactly what we did. So here's an empty bag of chips that was lying on a table, and we're going to turn that bag of chips into a microphone by filming it with a video camera and analyzing the tiny motions that sound waves create in it. So here's the sound that we played in the room.

(Music: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips. Again it's playing. There's no chance you'll be able to see anything going on in that video just by looking at it, but here's the sound we were able to recover just by analyzing the tiny motions in that video.

(Music: "Mary Had a Little Lamb")

I call it -- Thank you. (Applause) I call it the visual microphone. We actually extract audio signals from video signals. And just to give you a sense of the scale of the motions here, a pretty loud sound will cause that bag of chips to move less than a micrometer. That's one thousandth of a millimeter. That's how tiny the motions are that we are now able to pull out just by observing how light bounces off objects and gets recorded by our cameras.

We can recover sounds from other objects, like plants.

(Music: "Mary Had a Little Lamb")

And we can recover speech as well. So here's a person speaking in a room.

Voice: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go.

Michael Rubinstein: And here's that speech again recovered just from this video of that same bag of chips.

Voice: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go.

MR: We used "Mary Had a Little Lamb" because those are said to be the first words that Thomas Edison spoke into his phonograph in 1877. It was one of the first sound recording devices in history. It basically directed the sounds onto a diaphragm that vibrated a needle that essentially engraved the sound on tinfoil that was wrapped around the cylinder.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

(Video) Voice: Testing, testing,one two three. Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. Testing, testing,one two three. Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go.

MR: And now,137 years later, we're able to get sound in pretty much similar quality but by just watching objects vibrate to sound with cameras, and we can even do that when the camera is 15 feet away from the object, behind soundproof glass.

So this is the sound that we were able to recover in that case.

Voice: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go.

MR: And of course, surveillance is the first application that comes to mind. (Laughter) But it might actually be useful for other things as well. Maybe in the future, we'll be able to use it, for example, to recover sound across space, because sound can't travel in space, but light can.

We've only just begun exploring other possible uses for this new technology. It lets us see physical processes that we know are there but that we've never been able to see with our own eyes until now.

This is our team. Everything I showed you today is a result of a collaboration with this great group of people you see here, and I encourage you and welcome you to check out our website, try it out yourself, and join us in exploring this world of tiny motions.

Thank you.


過去数世紀に渡って 顕微鏡は世界を変えてきました 小さすぎて肉眼では見えない 物や生物や構造の世界を 顕微鏡が明らかにし 科学や技術に対して 大いなる貢献をしました 今日ご紹介したいのは 新しいタイプの顕微鏡 「変化を見る顕微鏡」です 普通の顕微鏡のように 光学的に小さなものを大きく 見せるのではなく ビデオと画像処理を使って 肉眼では見えないような 人や物の微細な動きや 色の変化を 見えるようにします これは世界に対する まったく別の見方を与えてくれます

色の変化とは どんなものかですが 例えば人の肌というのは 血の流れに応じて 色がかすかに変化します これはとても 微妙な変化であるため 隣に座っている人を 見たところで 肌や顔の色が 変わっているようには 見えません このスティーブの映像を見ても 静止画のように見えます しかし私達の新しい顕微鏡を 通して見ると まったく異なる イメージが現れます 肌の色の小さな変化を 100倍増幅することで 目で見て分かる ようにしています 脈拍を見て取る こともできます 心拍の早さだけでなく 顔を血がどう流れているかも 分かります 脈拍を可視化 できるだけでなく 心拍数を正確に 計測することもできます 普通のカメラでできて 患者に触れる必要もありません ここでは普通のDSLRカメラで撮った 新生児の映像から 脈拍と心拍数を 取り出しています これで計測した心拍数は 病院にある通常の計器によるのと 同様の正確さがあります 映像も自分で撮ったもの である必要はなく 既存のビデオを使うこともできます これは『バットマン ビギンズ』の一場面から クリスチャン・ベールの心拍が 見えるようにしたものです (笑) 映画なのでメークも しているだろうし 光の条件にも 難しい面がありますが それでも映像から 彼の心拍を 非常にうまく 取り出せています

どうやっているのかですが ビデオのそれぞれの ピクセルに記録された 光の時間的変化を分析し その変化を拡大しています 変化が見て分かるくらいに 大きくするわけです 難しいのは 捉えたい変化が 非常に小さなものだ ということで その変化を 録画につきもののノイズから 注意深く分離する 必要があります それぞれのピクセルの ごく正確な色を得るために 巧妙な画像処理を 行っています それから色の 時間変化の仕方を捉え それを拡大して 変化が目で見て分かるよう 変化の強調された 映像を作ります

このようにして見えるようにできるものには 微細な色の変化だけでなく 微細な動きもあります カメラに記録される光は 色の変化によってだけでなく 物の動きによっても 変化するからです これは生後2ヶ月の頃の 私の娘です 3年ほど前に 録画したものです 親になったばかりの人は 赤ちゃんが健康か 息をしているか 生きているか いつも気にかけています 私も娘の眠っている姿を 見られるよう ベビーモニターを 買いました 普通のベビーモニターで見られるのは このような映像です 眠っている様子は分かりますが 情報は大して得られません 見て分かる事は 殆どありません もしこんな風に 見えたとしたら もっと情報が得られて 有用ではないでしょうか? 動きを30倍拡大することで 娘の動きがはっきり見て取れるようになりました これで娘が確かに生きて 呼吸しているのが分かります (笑) 並べて比較したところですが 元々のビデオでは 動きが分かりません しかし動きを拡大した映像では 呼吸の様子がよく分かります この「変化を見る顕微鏡」によって 明らかにできる身の回りの現象は たくさんあります 体の中で静脈や動脈が どう脈打っているか分かります 目が絶えずユラユラ 動いていることも よく分かります これは私の目で 娘が生まれた頃に 撮ったので あまり寝ていないのが 分かるかと思います(笑) じっと座っている人からでさえ 多くの情報が得られます 呼吸のパターンとか 小さな顔の表情とか このような動きから その人の思っていることや 感情も分かるかもしれません エンジンの振動のような 小さな機械の動きも 拡大して見えるようにできます 機械の問題の検出や診断を技術者がするのに 役立つかもしれません 建物や構造物が風に揺れたり 反発したりする様子も見て取れます こういった動きを計測する方法なら 以前からありましたが その動いている様子を 実際に目で見えるようにする というのは また別の話になります

私達はこの技術を開発して以来 ネット上でプログラムを公開して 誰でも実験できるようにしています とても簡単に使え 自分のビデオで 試すことができます 私達の協力者のQuanta Researchは ご覧のようなサイトも用意していて ビデオをアップするだけで 結果を見られます だからコンピュータサイエンスや プログラミングの知識がまったくなくても 簡単にこの顕微鏡で 実験ができます これを使ってみんなが どんなことをしているのか いくつかご覧に入れましょう

このビデオはTomez85という YouTubeユーザーが作ったもので どういう人なのか知りませんが 私達のプログラムを使って 妊婦のお腹の動きを 拡大しています ちょっと不気味ですね (笑) ここでは手の静脈の拍動を 拡大しています しかしモルモットを使わなくちゃ 科学っぽくなりませんよね このモルモットは ティファニーという名前で 作者はこれが 微細な動きを拡大された 最初の齧歯類だと 主張しています

美術作品を作ることもできます イェール大のデザイン科の学生が 送ってきたもので 友人の身動きの仕方に 違いがあるか 知りたかったのだそうです じっとしているように頼んで それから動きを拡大したものです 写真が動き始めたみたいな 感じがします これらの例の良いところは 我々自身何もする必要が なかったことです ただ新しい道具と 世界を見る新しい方法を提供するだけで いろんな人が新しくて面白い 創造的な使い方を見つけてくれます

しかしそれで終わりではありません このツールは世界に対し 新しい見方ができるようにするだけでなく カメラで出来ることを再定義し 可能性の限界を 押し広げもします 科学者として 私達は考え始めました カメラで計測できる 微細な動きを生み出す物理現象として 他にどんなものがあるだろう? そのような現象の1つとして 我々が最近取り組んでいるのが「音」です 音というのは基本的に 空気中を伝わる空気圧の変化です 圧力の波が物にぶつかる時 小さな振動を生じ それを使って私達は音を聞いたり 録音したりしています しかし音は視覚的な 動きも作り出します 肉眼では見えなくとも カメラを使って適切に処理すれば 見えるようになります 例を2つお見せします これは私が素晴らしい歌唱力を 披露しているところです アー (笑) 声を出している時の喉を 高速度カメラで撮影しました 元の映像を見ても ほとんど動きは見られませんが 動きを100倍拡大してやると 発声に関わる首の部分に 波のような動きが広がっているのが 分かります 音の痕跡が映像に 残されているわけです

歌手は特定の音程の声を出して グラスを割れる という話は 良く知られています ここではグラスの 共鳴周波数の音を 横のスピーカーから 出しています その時の動きを 250倍拡大すると グラスが音に共鳴して 振動しているのが はっきり分かります あまり日常で目にする光景では ありませんね しかしここから 突飛なアイデアを思いつきました この過程を逆にして 映像から音を 復元できないでしょうか? 音波が物の表面に作り出す 微細な振動を解析して 元になった音を 生成するのです そのようにすれば 身の回りにある物を マイクに変えることができます

私達はまさにそれを やってみました テーブルの上にポテトチップの 空き袋があります これをビデオ撮影して 音により生じた ― 微細な動きを 解析することで ポテトチップの袋をマイクロフォンに 変えようというわけです この部屋では こんな音楽を流しています


そしてポテトチップの袋を 高速度カメラで撮影しました これを見ても 何かが起きているようには 見えませんが 映像の中の微細な動きを 解析することで このような音を 再現できました


私はこれを ― ありがとうございます (拍手) 「ビジュアル・マイクロフォン」 と呼んでいます ビデオ信号からオーディオ信号を 取り出しているのです 動きの大きさが どれくらいかというと かなり大きな音でも ポテトチップの袋の動きは1ミクロン未満です 1ミリの千分の1です そのような小さな動きでも 映像の中で物に反射する光を 観察することによって 検出できるのです

他の物を使うこともできます たとえば植物とか


声を復元することもできます こちらでは部屋の中で 人が話しています

メリーさんは小さな羊を飼っていた 雪のように白い毛をして メリーさんの行くところは どこにでも付いてきた

前と同じ ポテトチップの袋の映像から 復元した声です

メリーさんは小さな羊を飼っていた 雪のように白い毛をして メリーさんの行くところは どこにでも付いてきた

『メリーさんのひつじ』を使ったのは エジソンが1877年に 蓄音機で 最初に録音したのが この歌だったからです それは音を記録する 最初の装置の1つでした 音を振動板で受け その振動を針に伝え それが筒に巻いたアルミ箔に 記録される仕掛けでした

これはエジソンの蓄音機で 録音し再生するデモです

(録音)テスト テスト ワン トゥー スリー メリーさんは小さな羊を飼っていた 雪のように白い毛をして メリーさんの行くところは どこにでも付いてきた (再生)テスト テスト ワン トゥー スリー メリーさんは小さな羊を飼っていた 雪のように白い毛をして メリーさんの行くところは どこにでも付いてきた

137年後の今日 音に振動する物の映像だけから 同程度のクオリティの音を 再現できるようになりました しかも防音ガラスの 向こう側にある 5メートル離れた物を使って それができるのです


メリーさんは小さな羊を飼っていた 雪のように白い毛をして メリーさんの行くところは どこにでも付いてきた

すぐ思いつく応用は スパイ活動でしょう (笑) しかし他のことにも使えます もしかしたら 将来宇宙の向こうの音を 再現できるように なるかもしれません 音は宇宙を伝わりませんが 光なら伝わるからです

私達は この新しい技術の可能性を 探り始めたばかりです これまで存在するのは 知っていたけれど 自分の目で見られなかった物理現象を 見えるようにしてくれるのです

これが私の仲間です 今日お見せしたものは みんなここに出ている人達の 協力の結果 得られたものです みなさんにもぜひ 私達のウェブサイトを訪れ 自分で試してみて 一緒に微細な動きの世界を 探索していただきたいと思います



― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等