TED日本語 - ミゲル・ニコレリス: 念じるだけで ロボットを操作した猿


TED Talks(英語 日本語字幕付き動画)

TED日本語 - ミゲル・ニコレリス: 念じるだけで ロボットを操作した猿

TED Talks

念じるだけで ロボットを操作した猿

A monkey that controls a robot with its thoughts. No, really.


Miguel Nicolelis


体を一切動かさずに念じるだけで機械を操作できるでしょうか? ミゲル・ミコレリスは、アメリカにいる賢い猿が念じるだけでコンピュータ上のアバター(分身)を操作したり、日本にいるロボットを操作できたりという驚くべき実験について語りました。 この研究は 四肢麻痺の患者にもおそらく私たち全員にとっても大変意味のあるものです。(TED MED 2012)


The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.

Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.

I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording,10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.

And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.

In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.

And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.

And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.

Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.

So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.

Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.

Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.

And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.

So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.

This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.

So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.

So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.

How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.

What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.

Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.

So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they can not cross a barrier that was created by a lesion on the spinal cord.

So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.

And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.

So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [ us ] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."

So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.

Thank you.


神経科学者のしていることは 気象予報士のようなものです いつも嵐を追いかけています 私達の観測する嵐は脳の嵐 つまり脳内の電気活動です 脳の嵐は とても身近なものですが 通常 見たり聞いたりはできません ですので 説明を始める前に まず実際のものをお見せする事にしています

これは我々が始めて複数の神経細胞の活動を記録したものです 100の脳細胞を同時にです 一匹の動物の脳にある100個の細胞の 電気活動の測定に成功し これが始めて得たイメージです その 最初の10秒です 思考の断片をつかまえ 可視化することができたのです

私は学生たちにこう言います 神経科学者は 天文学者のようでもある なぜなら私たちは 宇宙にある銀河の数に匹敵するくらいの数の 細胞からなるシステムを扱っているからです その膨大な数の神経細胞のうち記録できたのは 10年前は たったの100個でしたが 現在は1000個も記録できます これを基に人間性の基礎となるものを解き明かそうとしています ご存知かもしれませんが 人が人たるを決める全ては この嵐から生まれています 嵐は 脳の中の丘や 谷を乗り越え 私たちの記憶や信念や 感情や未来への予測を決めています 我々のする全ての事 -- 過去や未来における人類の全ての営みには 神経細胞群が作る この嵐が必要なのです

脳の嵐の音は 実はこのようなものです できたら音量を上げてください 息子は「雑音だらけのラジオを聞きながらポップコーンを作ってるみたい」と言いました これが脳です これは脳の電気的な嵐を音声化したものです 100個の細胞が興奮する様子です あなた脳も 私の脳も皆 同じように聞こえます いま 私たち神経科学者は この 脳が奏でるシンフォニーを聴き 含まれたメッセージを読み取ろうとしています

具体的に言うと およそ12年前 ブレイン・マシン・インターフェースと名付けた装置を作りました これが その仕組みです 動物の脳にセンサーをつけて 脳から足や手に伝えられる嵐を 信号が脳から手足に届く時間 およそ0.5秒のうちに読み取ります そして信号に埋め込まれた 運動の指令を読み取り デジタル信号に変換して 人工装置に送ります デジタル信号に変換して 人工装置に送り その装置が脳の随意運動の働きを リアルタイムに再現するという実験です そして 実際の体の動きと比較すれば 命令の読み取りの精度を調べられます

さらに フィードバックも行います 脳の操作するこの機械的なロボットである コンピュータによる作動装置から 感覚的な信号が戻ってきた場合 脳はどのように処理するのでしょうか

これがまさに私たちが10年前にしたことです 実験は 後にこの分野のスーパースターとなる サルの「オーロラ」を使って実験を始めました オーロラはビデオゲームが大好きです このように オーロラも 私たちと同じでジョイスティックを使ってゲームするのが好きです 賢い霊長類の常として ズルをするようにすらなりました 標的が現れる前に ジョイスティックを操り 標的が現れそうな場所にカーソルを動かすのです どこにあろうが 見つけようとします なぜかというと カーソルが標的を横切るたびに ブラジル産のオレンジジュースがもらえるからです オレンジジュースさえあれば 猿はなんでもするでしょう 霊長類なら みんなそうです ですよね

さて このようにオーロラがゲームをしている間 一日に1000回もトライして 97%の成功率と350mlのオレンジジュースを得ている間 私たちはオーロラが作る 脳の嵐を記録し ロボットアームに送りました オーロラの動きを再現するために学習させたのです このブレイン・マシン・インターフェースを使って オーロラが体を使わずに 念じるだけで ゲームができるようにしたかったのです 脳の嵐でロボットアームを操り カーソルで標的を狙うことも出来るでしょう オーロラが実際これをやってのけたのには驚きました 体を動かさずにゲームをしたのです

このカーソルの動きは オーロラが初めて操作に成功した まさにその時のものです 脳の意図は肉体から解放され 人工の機械を操作して外界で行動を起こせるようになりました その後もオーロラはゲームを続け 大好きなオレンジジュースを獲得し続けました

新しい腕を使ってです 最初にお見せしたビデオから30日後 ロボットアームは完全に オーロラの脳の支配下に置かれ カーソルを標的に向かって動かしています しかもオーロラは ロボットアームでゲームが出来る事を理解しており 自分の腕は今まで通り使って好きな事ができます 背中や 私たちをひっかくことも別のゲームをすることもできます つまりオーロラの脳は 人工的な機械を 自身の体の延長として 統合させたのです オーロラにとっての自己は 新たな腕にまで拡大したのです

これは10年前のことです 去年 私たちは ロボットさえ必要ないことに気づきました コンピューター上の分身サルのアバターを作れば良いのです サルをアバターとやりとりさせたり 仮想世界のアバターが自分だと認識させ 念じるだけで アバターの手足が動かせるよう訓練することもできます

いま 私たちは動物に対し アバターを操作して 仮想世界の物体を調べる訓練を行っています これらの物体は見た目は同じですが アバターがその表面を横切ると その物体の触感に応じた電気信号が サルの脳に直接送られ アバターが何を触っているかを知らせます たった4週間で 脳はこの新たな感覚を学習し 新たな感覚神経路 -- ある種の新たな感覚を獲得したのです 脳は全く自由になりました なぜなら 運動の指令をアバターに送ることができますし そしてアバターからくるフィードバックは皮膚を介さなくとも 脳に直接 入ってきます

これが実験の仕組みをまとめたものです 動物は3つの標的を触ります 正しいものを選んだときだけ ご褒美のオレンジジュースがもらえます ただし 実際には存在しない仮想の手を使わなければなりません 実際の映像です

脳は完全に自由になり 体や動作の限界から解き放たれています この動物は アバターを使って標的を触り 脳に直接 電気的な信号を受けて触感を得ています そして脳は どの触感がご褒美に関係しているのか決めているのです 動画上のキャプションはサルの実験では表示されません 英語なんてどうせ読めませんし ここでは正しい標的の位置が変わっていますが 触感で区別して 正しいものを 選んでいるわけです

この動物の脳で何が起こっているか見てみると 上の図は125の神経細胞に注目して 動物がジョイスティックを使うときの脳細胞の活動― 電気的な嵐がどうなるかを見たものです 神経生理学者なら これを見てわかりますが これらの細胞は全ての方向に対してシグナルを出しています 下の図は 動物が体を動かす代わりに ロボットやコンピューター上のアバターを操作している時のものです コンピューターを再起動したとたん この新たな装置に対応して 脳の活動は変化します まるで自分の一部であるかのようにです 脳は 瞬時に操作するものを同化したのです

このことは 私たちの自己という概念は 体の一番外側である皮膚で終わるのではなく 脳によって操作できる道具まで続いているようです バイオリン 車 自転車 サッカーボールや 衣服― それら全ては脳という 貪欲で素晴らしい 変化に富むシステムにより統合化されるのです

これから先何ができるでしょう? その限界を探るために 数年前に行った実験をご紹介しましょう アメリカ東海岸のデューク大学において 動物を トレッドミル上で走らせ 動作に必要な脳の嵐を測定し そして京都のATR研究所にある 脳による操作を目指して作られたヒューマノイド・ロボットに送りました 人間や霊長類の脳に操作されるのを夢見るロボットです

サルの動作を制御する信号が 日本に送られて ロボットを歩かせました さらにロボットの映像はデューク大学の猿のもとに送られ 猿はロボットが歩く様子を目の前で見ることができました ご褒美が欲しいならば猿は自分の体を動かすのではなく 脳の活動を使って 地球の反対側にいるロボットに正確な歩みをさせなければなりません

面白いことに 通信が地球上を往復するほうが 脳からの命令がサル自身の筋肉に届くのより 20ミリ秒早いのです このサルは 地球の裏側にある自分より6倍も大きいロボットを動かしました ロボットが自分で歩けるという実験のひとつです これが夢の叶った 日本のCB1というロボットです 霊長類の脳にコントロールされているところです

さて 私たちは将来的に 耳と耳の間の小宇宙である 脳の研究から何を得られるのでしょうか 例えば これらの知識や技術を総動員することで もっとも重度な神経系の障害のひとつを克服できるかもしれません 脳の活動を動作に移す能力を失ってしまった人が たくさんいます 脳がきちんと 運動の指令を出しているにも関わらず せき髄の損傷した箇所を伝わらないのです

バイパスはできないでしょうか ブレイン・マシン・インターフェースを使って脳信号を読み取り 動かしたいという意思を持つもっと大きなスケールの信号を読み コンピュータを利用した マイクロ技術を使ってバイパスを作り 患者にとって新たな体となる「外骨格」ロボットスーツに届けるのです

これは「ウオーク・アゲイン・プロジェクト」(もう一度歩こう・プロジェクト)という 非営利コンソーシアムの提携図です ヨーロッパ アメリカ そしてブラジルの研究者たちを集め 共同で この新しい体を開発しています おそらくは機能に柔軟性のあるものになるでしょうが― ブレイン・マシン・インターフェースでオーロラや他のサルが道具を使うのに操作したようなものになります これを使って日常使う道具等も組み合わせられます そして私たちが望むのは この仕組みによって 患者さんたちが 新しい体に思った動きをさせられるようになるだけでなく 患者さんの体の一部として統合されることです

およそ10年前 私のこの考えは 実現不可能だと言われました でも ひとりの科学者として言います 私は1960年代半ばブラジル南部で育ちましたが 当時「月に行く」なんてとてつもない考えを聞いて 5歳だった私は NASA が カーク船長やスポックをに頼めば良いのにと思ったものです 彼らならやれると思ったんです-- ともかく このような時代に育ち 私の祖母のよく言ったことを信じるようになりました 「不可能なんてないのよ― ただ努力が足りないだけよ」

たとえ周囲が「歩かせるなんて無理だ」と言ったとしても 私は 祖母の言葉に従うでしょう



― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等