TEDMED 2012

Miguel Nicolelis: A monkey that controls a robot with its thoughts. No, really.

ミゲル・ニコレリス: 念じるだけで ロボットを操作した猿

Filmed:

体を一切動かさずに念じるだけで機械を操作できるでしょうか? ミゲル・ミコレリスは、アメリカにいる賢い猿が念じるだけでコンピュータ上のアバター(分身)を操作したり、日本にいるロボットを操作できたりという驚くべき実験について語りました。 この研究は 四肢麻痺の患者にもおそらく私たち全員にとっても大変意味のあるものです。 (TED MED 2012 )

- Neuroscientist
Miguel Nicolelis explores the limits of the brain-machine interface. Full bio

The kind of neuroscience that I do and my colleagues do
神経科学者のしていることは
00:15
is almost like the weatherman.
気象予報士のようなものです
00:18
We are always chasing storms.
いつも嵐を追いかけています
00:20
We want to see and measure storms -- brainstorms, that is.
私達の観測する嵐は
脳の嵐 つまり脳内の電気活動です
00:24
And we all talk about brainstorms in our daily lives,
脳の嵐は とても身近なものですが
00:29
but we rarely see or listen to one.
通常 見たり聞いたりはできません
00:31
So I always like to start these talks
ですので 説明を始める前に
00:35
by actually introducing you to one of them.
まず実際のものを
お見せする事にしています
00:36
Actually, the first time we recorded more than one neuron --
これは我々が始めて
複数の神経細胞の活動を記録したものです
00:39
a hundred brain cells simultaneously --
100の脳細胞を同時にです
00:43
we could measure the electrical sparks
一匹の動物の脳にある100個の細胞の
00:45
of a hundred cells in the same animal,
電気活動の測定に成功し
00:48
this is the first image we got,
これが始めて得たイメージです
00:50
the first 10 seconds of this recording.
その 最初の10秒です
00:52
So we got a little snippet of a thought,
思考の断片をつかまえ 可視化することができたのです
00:54
and we could see it in front of us.
思考の断片をつかまえ 可視化することができたのです
00:58
I always tell the students
私は学生たちにこう言います
01:01
that we could also call neuroscientists some sort of astronomer,
神経科学者は 天文学者のようでもある
01:02
because we are dealing with a system
なぜなら私たちは
01:06
that is only comparable in terms of number of cells
宇宙にある銀河の数に
匹敵するくらいの数の
01:07
to the number of galaxies that we have in the universe.
細胞からなるシステムを扱っているからです
01:10
And here we are, out of billions of neurons,
その膨大な数の神経細胞のうち
記録できたのは
01:13
just recording, 10 years ago, a hundred.
10年前は たったの100個でしたが
01:16
We are doing a thousand now.
現在は1000個も記録できます
01:19
And we hope to understand something fundamental about our human nature.
これを基に人間性の基礎となるものを
解き明かそうとしています
01:21
Because, if you don't know yet,
ご存知かもしれませんが
01:26
everything that we use to define what human nature is comes from these storms,
人が人たるを決める全ては この嵐から生まれています
01:28
comes from these storms that roll over the hills and valleys of our brains
嵐は 脳の中の丘や 谷を乗り越え
01:33
and define our memories, our beliefs,
私たちの記憶や信念や
01:38
our feelings, our plans for the future.
感情や未来への予測を決めています
01:42
Everything that we ever do,
我々のする全ての事 --
01:44
everything that every human has ever done, do or will do,
過去や未来における人類の全ての営みには
01:47
requires the toil of populations of neurons producing these kinds of storms.
神経細胞群が作る この嵐が必要なのです
01:52
And the sound of a brainstorm, if you've never heard one,
脳の嵐の音は
01:57
is somewhat like this.
実はこのようなものです
02:00
You can put it louder if you can.
できたら音量を上げてください
02:03
My son calls this "making popcorn while listening to a badly-tuned A.M. station."
息子は「雑音だらけのラジオを聞きながら
ポップコーンを作ってるみたい」と言いました
02:06
This is a brain.
これが脳です
02:13
This is what happens when you route these electrical storms to a loudspeaker
これは脳の電気的な嵐を音声化したものです
02:14
and you listen to a hundred brain cells firing,
100個の細胞が興奮する様子です
02:18
your brain will sound like this -- my brain, any brain.
あなた脳も 私の脳も
皆 同じように聞こえます
02:20
And what we want to do as neuroscientists in this time
いま 私たち神経科学者は
02:25
is to actually listen to these symphonies, these brain symphonies,
この 脳が奏でるシンフォニーを聴き
02:29
and try to extract from them the messages they carry.
含まれたメッセージを読み取ろうとしています
02:34
In particular, about 12 years ago
具体的に言うと およそ12年前
02:38
we created a preparation that we named brain-machine interfaces.
ブレイン・マシン・インターフェース
と名付けた装置を作りました
02:40
And you have a scheme here that describes how it works.
これが その仕組みです
02:44
The idea is, let's have some sensors that listen to these storms, this electrical firing,
動物の脳にセンサーをつけて
02:46
and see if you can, in the same time that it takes
脳から足や手に伝えられる嵐を
02:52
for this storm to leave the brain and reach the legs or the arms of an animal --
信号が脳から手足に届く時間
02:55
about half a second --
およそ0.5秒のうちに読み取ります
03:00
let's see if we can read these signals,
そして信号に埋め込まれた 運動の指令を読み取り
03:03
extract the motor messages that are embedded in it,
そして信号に埋め込まれた 運動の指令を読み取り
03:05
translate it into digital commands
デジタル信号に変換して 人工装置に送ります
03:08
and send it to an artificial device
デジタル信号に変換して 人工装置に送り
03:11
that will reproduce the voluntary motor wheel of that brain in real time.
その装置が脳の随意運動の働きを
リアルタイムに再現するという実験です
03:13
And see if we can measure how well we can translate that message
そして 実際の体の動きと比較すれば
03:19
when we compare to the way the body does that.
命令の読み取りの精度を調べられます
03:22
And if we can actually provide feedback,
さらに フィードバックも行います
03:26
sensory signals that go back from this robotic, mechanical, computational actuator
脳の操作する
この機械的なロボットである
03:29
that is now under the control of the brain,
コンピュータによる作動装置から
03:34
back to the brain,
感覚的な信号が戻ってきた場合
03:37
how the brain deals with that,
脳はどのように処理するのでしょうか
03:38
of receiving messages from an artificial piece of machinery.
脳はどのように処理するのでしょうか
03:40
And that's exactly what we did 10 years ago.
これがまさに私たちが10年前にしたことです
03:45
We started with a superstar monkey called Aurora
実験は 後にこの分野のスーパースターとなる
03:47
that became one of the superstars of this field.
サルの「オーロラ」を使って
実験を始めました
03:50
And Aurora liked to play video games.
オーロラはビデオゲームが大好きです
03:53
As you can see here,
このように
03:55
she likes to use a joystick, like any one of us, any of our kids, to play this game.
オーロラも 私たちと同じで
ジョイスティックを使ってゲームするのが好きです
03:56
And as a good primate, she even tries to cheat before she gets the right answer.
賢い霊長類の常として
ズルをするようにすらなりました
04:01
So even before a target appears that she's supposed to cross
標的が現れる前に ジョイスティックを操り
04:06
with the cursor that she's controlling with this joystick,
標的が現れそうな場所にカーソルを動かすのです
04:10
Aurora is trying to find the target, no matter where it is.
どこにあろうが 見つけようとします
04:13
And if she's doing that,
なぜかというと
04:17
because every time she crosses that target with the little cursor,
カーソルが標的を横切るたびに
04:19
she gets a drop of Brazilian orange juice.
ブラジル産のオレンジジュースが
もらえるからです
04:22
And I can tell you, any monkey will do anything for you
オレンジジュースさえあれば
04:25
if you get a little drop of Brazilian orange juice.
猿はなんでもするでしょう
04:28
Actually any primate will do that.
霊長類なら みんなそうです
04:31
Think about that.
ですよね
04:34
Well, while Aurora was playing this game, as you saw,
さて このようにオーロラが
ゲームをしている間
04:35
and doing a thousand trials a day
一日に1000回もトライして
04:38
and getting 97 percent correct and 350 milliliters of orange juice,
97%の成功率と350mlの
オレンジジュースを得ている間
04:41
we are recording the brainstorms that are produced in her head
私たちはオーロラが作る 脳の嵐を記録し
04:45
and sending them to a robotic arm
ロボットアームに送りました
04:48
that was learning to reproduce the movements that Aurora was making.
オーロラの動きを再現するために
学習させたのです
04:50
Because the idea was to actually turn on this brain-machine interface
このブレイン・マシン・インターフェースを使って
04:54
and have Aurora play the game just by thinking,
オーロラが体を使わずに 念じるだけで
04:57
without interference of her body.
ゲームができるようにしたかったのです
05:02
Her brainstorms would control an arm
脳の嵐でロボットアームを操り
05:05
that would move the cursor and cross the target.
カーソルで標的を狙うことも出来るでしょう
05:08
And to our shock, that's exactly what Aurora did.
オーロラが実際これを
やってのけたのには驚きました
05:10
She played the game without moving her body.
体を動かさずにゲームをしたのです
05:14
So every trajectory that you see of the cursor now,
このカーソルの動きは
05:18
this is the exact first moment she got that.
オーロラが初めて操作に成功した
05:20
That's the exact first moment
まさにその時のものです
05:23
a brain intention was liberated from the physical domains of a body of a primate
脳の意図は肉体から解放され
05:25
and could act outside, in that outside world,
人工の機械を操作して
外界で行動を起こせるようになりました
05:32
just by controlling an artificial device.
人工の機械を操作して
外界で行動を起こせるようになりました
05:35
And Aurora kept playing the game, kept finding the little target
その後もオーロラはゲームを続け
05:38
and getting the orange juice that she wanted to get, that she craved for.
大好きなオレンジジュースを獲得し続けました
05:43
Well, she did that because she, at that time, had acquired a new arm.
新しい腕を使ってです
05:47
The robotic arm that you see moving here 30 days later,
最初にお見せしたビデオから30日後
05:54
after the first video that I showed to you,
ロボットアームは完全に オーロラの脳の支配下に置かれ
05:57
is under the control of Aurora's brain
ロボットアームは完全に オーロラの脳の支配下に置かれ
06:00
and is moving the cursor to get to the target.
カーソルを標的に向かって動かしています
06:02
And Aurora now knows that she can play the game with this robotic arm,
しかもオーロラは ロボットアームで
ゲームが出来る事を理解しており
06:05
but she has not lost the ability to use her biological arms to do what she pleases.
自分の腕は今まで通り使って
好きな事ができます
06:09
She can scratch her back, she can scratch one of us, she can play another game.
背中や 私たちをひっかくことも
別のゲームをすることもできます
06:15
By all purposes and means,
つまりオーロラの脳は
06:19
Aurora's brain has incorporated that artificial device
人工的な機械を 自身の体の延長として
06:21
as an extension of her body.
統合させたのです
06:25
The model of the self that Aurora had in her mind
オーロラにとっての自己は
06:28
has been expanded to get one more arm.
新たな腕にまで拡大したのです
06:31
Well, we did that 10 years ago.
これは10年前のことです
06:35
Just fast forward 10 years.
去年 私たちは
06:38
Just last year we realized that you don't even need to have a robotic device.
ロボットさえ必要ないことに気づきました
06:40
You can just build a computational body, an avatar, a monkey avatar.
コンピューター上の分身
サルのアバターを作れば良いのです
06:45
And you can actually use it for our monkeys to either interact with them,
サルをアバターとやりとりさせたり
06:51
or you can train them to assume in a virtual world
仮想世界のアバターが自分だと認識させ
06:55
the first-person perspective of that avatar
仮想世界のアバターが自分だと認識させ
07:00
and use her brain activity to control the movements of the avatar's arms or legs.
念じるだけで アバターの手足が
動かせるよう訓練することもできます
07:03
And what we did basically was to train the animals
いま 私たちは動物に対し
07:08
to learn how to control these avatars
アバターを操作して
07:11
and explore objects that appear in the virtual world.
仮想世界の物体を調べる訓練を行っています
07:14
And these objects are visually identical,
これらの物体は見た目は同じですが
07:18
but when the avatar crosses the surface of these objects,
アバターがその表面を横切ると
07:20
they send an electrical message that is proportional to the microtactile texture of the object
その物体の触感に応じた電気信号が
07:24
that goes back directly to the monkey's brain,
サルの脳に直接送られ
07:31
informing the brain what it is the avatar is touching.
アバターが何を触っているかを知らせます
07:35
And in just four weeks, the brain learns to process this new sensation
たった4週間で 脳はこの新たな感覚を学習し
07:40
and acquires a new sensory pathway -- like a new sense.
新たな感覚神経路 -- ある種の
新たな感覚を獲得したのです
07:44
And you truly liberate the brain now
脳は全く自由になりました
07:51
because you are allowing the brain to send motor commands to move this avatar.
なぜなら 運動の指令をアバターに送ることができますし
07:53
And the feedback that comes from the avatar is being processed directly by the brain
そしてアバターからくるフィードバックは
皮膚を介さなくとも
07:58
without the interference of the skin.
脳に直接 入ってきます
08:03
So what you see here is this is the design of the task.
これが実験の仕組みをまとめたものです
08:05
You're going to see an animal basically touching these three targets.
動物は3つの標的を触ります
08:08
And he has to select one because only one carries the reward,
正しいものを選んだときだけ
08:12
the orange juice that they want to get.
ご褒美のオレンジジュースがもらえます
08:16
And he has to select it by touch using a virtual arm, an arm that doesn't exist.
ただし 実際には存在しない
仮想の手を使わなければなりません
08:18
And that's exactly what they do.
実際の映像です
08:24
This is a complete liberation of the brain
脳は完全に自由になり
08:26
from the physical constraints of the body and the motor in a perceptual task.
体や動作の限界から解き放たれています
08:29
The animal is controlling the avatar to touch the targets.
この動物は アバターを使って標的を触り
08:33
And he's sensing the texture by receiving an electrical message directly in the brain.
脳に直接 電気的な信号を受けて
触感を得ています
08:38
And the brain is deciding what is the texture associated with the reward.
そして脳は どの触感がご褒美に関係しているのか
決めているのです
08:43
The legends that you see in the movie don't appear for the monkey.
動画上のキャプションは
サルの実験では表示されません
08:47
And by the way, they don't read English anyway,
英語なんてどうせ読めませんし
08:51
so they are here just for you to know that the correct target is shifting position.
ここでは正しい標的の位置が
変わっていますが
08:53
And yet, they can find them by tactile discrimination,
触感で区別して
08:59
and they can press it and select it.
正しいものを 選んでいるわけです
09:03
So when we look at the brains of these animals,
この動物の脳で
何が起こっているか見てみると
09:06
on the top panel you see the alignment of 125 cells
上の図は125の神経細胞に注目して
09:08
showing what happens with the brain activity, the electrical storms,
動物がジョイスティックを使うときの脳細胞の活動―
09:12
of this sample of neurons in the brain
電気的な嵐がどうなるかを見たものです
09:16
when the animal is using a joystick.
電気的な嵐がどうなるかを見たものです
09:18
And that's a picture that every neurophysiologist knows.
神経生理学者なら これを見てわかりますが
09:21
The basic alignment shows that these cells are coding for all possible directions.
これらの細胞は全ての方向に対してシグナルを出しています
09:23
The bottom picture is what happens when the body stops moving
下の図は 動物が体を動かす代わりに
09:28
and the animal starts controlling either a robotic device or a computational avatar.
ロボットやコンピューター上のアバターを
操作している時のものです
09:34
As fast as we can reset our computers,
コンピューターを再起動したとたん
09:40
the brain activity shifts to start representing this new tool,
この新たな装置に対応して 脳の活動は変化します
09:43
as if this too was a part of that primate's body.
まるで自分の一部であるかのようにです
09:49
The brain is assimilating that too, as fast as we can measure.
脳は 瞬時に操作するものを同化したのです
09:54
So that suggests to us that our sense of self
このことは 私たちの自己という概念は
09:59
does not end at the last layer of the epithelium of our bodies,
体の一番外側である皮膚で終わるのではなく
10:03
but it ends at the last layer of electrons of the tools that we're commanding with our brains.
脳によって操作できる道具まで続いているようです
10:07
Our violins, our cars, our bicycles, our soccer balls, our clothing --
バイオリン 車 自転車 サッカーボールや 衣服―
10:12
they all become assimilated by this voracious, amazing, dynamic system called the brain.
それら全ては脳という 貪欲で素晴らしい
変化に富むシステムにより統合化されるのです
10:17
How far can we take it?
これから先何ができるでしょう?
10:24
Well, in an experiment that we ran a few years ago, we took this to the limit.
その限界を探るために 数年前に行った
実験をご紹介しましょう
10:26
We had an animal running on a treadmill
アメリカ東海岸のデューク大学において
10:30
at Duke University on the East Coast of the United States,
動物を トレッドミル上で走らせ
10:32
producing the brainstorms necessary to move.
動作に必要な脳の嵐を測定し
10:35
And we had a robotic device, a humanoid robot,
そして京都のATR研究所にある
10:37
in Kyoto, Japan at ATR Laboratories
脳による操作を目指して作られた
ヒューマノイド・ロボットに送りました
10:42
that was dreaming its entire life to be controlled by a brain,
脳による操作を目指して作られた
ヒューマノイド・ロボットに送りました
10:44
a human brain, or a primate brain.
人間や霊長類の脳に操作されるのを
夢見るロボットです
10:50
What happens here is that the brain activity that generated the movements in the monkey
サルの動作を制御する信号が
10:53
was transmitted to Japan and made this robot walk
日本に送られて ロボットを歩かせました
10:58
while footage of this walking was sent back to Duke,
さらにロボットの映像は
デューク大学の猿のもとに送られ
11:01
so that the monkey could see the legs of this robot walking in front of her.
猿はロボットが歩く様子を
目の前で見ることができました
11:05
So she could be rewarded, not by what her body was doing
ご褒美が欲しいならば
猿は自分の体を動かすのではなく
11:11
but for every correct step of the robot on the other side of the planet
脳の活動を使って 地球の反対側にいるロボットに
正確な歩みをさせなければなりません
11:15
controlled by her brain activity.
脳の活動を使って 地球の反対側にいるロボットに
正確な歩みをさせなければなりません
11:20
Funny thing, that round trip around the globe took 20 milliseconds less
面白いことに 通信が地球上を往復するほうが
11:22
than it takes for that brainstorm to leave its head, the head of the monkey,
脳からの命令がサル自身の筋肉に届くのより
11:29
and reach its own muscle.
20ミリ秒早いのです
11:34
The monkey was moving a robot that was six times bigger, across the planet.
このサルは 地球の裏側にある
自分より6倍も大きいロボットを動かしました
11:37
This is one of the experiments in which that robot was able to walk autonomously.
ロボットが自分で歩けるという
実験のひとつです
11:43
This is CB1 fulfilling its dream in Japan
これが夢の叶った
日本のCB1というロボットです
11:50
under the control of the brain activity of a primate.
霊長類の脳に
コントロールされているところです
11:55
So where are we taking all this?
さて 私たちは将来的に
11:59
What are we going to do with all this research,
耳と耳の間の小宇宙である
12:01
besides studying the properties of this dynamic universe that we have between our ears?
脳の研究から
何を得られるのでしょうか
12:03
Well the idea is to take all this knowledge and technology
例えば これらの知識や技術を総動員することで
12:09
and try to restore one of the most severe neurological problems that we have in the world.
もっとも重度な神経系の障害のひとつを
克服できるかもしれません
12:14
Millions of people have lost the ability to translate these brainstorms
脳の活動を動作に移す能力を
失ってしまった人が たくさんいます
12:19
into action, into movement.
脳の活動を動作に移す能力を
失ってしまった人が たくさんいます
12:24
Although their brains continue to produce those storms and code for movements,
脳がきちんと 運動の指令を出しているにも関わらず
12:26
they cannot cross a barrier that was created by a lesion on the spinal cord.
せき髄の損傷した箇所を伝わらないのです
12:31
So our idea is to create a bypass,
バイパスはできないでしょうか
12:36
is to use these brain-machine interfaces to read these signals,
ブレイン・マシン・インターフェースを使って
脳信号を読み取り
12:39
larger-scale brainstorms that contain the desire to move again,
動かしたいという意思を持つ
もっと大きなスケールの信号を読み
12:43
bypass the lesion using computational microengineering
コンピュータを利用した マイクロ技術を使って
バイパスを作り
12:47
and send it to a new body, a whole body called an exoskeleton,
患者にとって新たな体となる
「外骨格」ロボットスーツに届けるのです
12:51
a whole robotic suit that will become the new body of these patients.
患者にとって新たな体となる
「外骨格」ロボットスーツに届けるのです
12:58
And you can see an image produced by this consortium.
これは「ウオーク・アゲイン・プロジェクト」
(もう一度歩こう・プロジェクト)という
13:03
This is a nonprofit consortium called the Walk Again Project
非営利コンソーシアムの提携図です
13:08
that is putting together scientists from Europe,
ヨーロッパ アメリカ
13:12
from here in the United States, and in Brazil
そしてブラジルの研究者たちを集め
13:14
together to work to actually get this new body built --
共同で この新しい体を開発しています
13:16
a body that we believe, through the same plastic mechanisms
おそらくは機能に柔軟性のあるものになるでしょうが―
13:21
that allow Aurora and other monkeys to use these tools through a brain-machine interface
ブレイン・マシン・インターフェースで
オーロラや他のサルが道具を使うのに
操作したようなものになります
13:24
and that allows us to incorporate the tools that we produce and use in our daily life.
これを使って日常使う道具等も
組み合わせられます
13:30
This same mechanism, we hope, will allow these patients,
そして私たちが望むのは この仕組みによって
13:36
not only to imagine again the movements that they want to make
患者さんたちが 新しい体に
思った動きをさせられるようになるだけでなく
13:39
and translate them into movements of this new body,
患者さんたちが 新しい体に
思った動きをさせられるようになるだけでなく
13:43
but for this body to be assimilated as the new body that the brain controls.
患者さんの体の一部として
統合されることです
13:46
So I was told about 10 years ago
およそ10年前
13:53
that this would never happen, that this was close to impossible.
私のこの考えは 実現不可能だと言われました
13:57
And I can only tell you that as a scientist,
でも ひとりの科学者として言います
14:02
I grew up in southern Brazil in the mid-'60s
私は1960年代半ば
ブラジル南部で育ちましたが
14:04
watching a few crazy guys telling [us] that they would go to the Moon.
当時「月に行く」なんて
とてつもない考えを聞いて
14:07
And I was five years old,
5歳だった私は
14:12
and I never understood why NASA didn't hire Captain Kirk and Spock to do the job;
NASA が カーク船長やスポックをに
頼めば良いのにと思ったものです
14:14
after all, they were very proficient --
彼らならやれると思ったんです--
14:18
but just seeing that as a kid
ともかく このような時代に育ち
14:20
made me believe, as my grandmother used to tell me,
私の祖母のよく言ったことを
信じるようになりました
14:24
that "impossible is just the possible
「不可能なんてないのよ―
14:27
that someone has not put in enough effort to make it come true."
ただ努力が足りないだけよ」
14:29
So they told me that it's impossible to make someone walk.
たとえ周囲が「歩かせるなんて無理だ」と言ったとしても
14:33
I think I'm going to follow my grandmother's advice.
私は 祖母の言葉に従うでしょう
14:36
Thank you.
ありがとうございました
14:40
(Applause)
(拍手)
14:41
Translated by Mamoru Ichikawa
Reviewed by Yuka Rieser

▲Back to top

About the Speaker:

Miguel Nicolelis - Neuroscientist
Miguel Nicolelis explores the limits of the brain-machine interface.

Why you should listen

At the Nicolelis Laboratory at Duke University, Miguel Nicolelis is best known for pioneering studies in neuronal population coding, Brain Machine Interfaces (BMI) and neuroprosthetics in human patients and non-human primates.His lab's work was seen, famously though a bit too briefly, when a brain-controlled exoskeleton from his lab helped Juliano Pinto, a paraplegic man, kick the first ball at the 2014 World Cup.

But his lab is thinking even bigger. They've developed an integrative approach to studying neurological disorders, including Parkinsons disease and epilepsy. The approach, they hope, will allow the integration of molecular, cellular, systems and behavioral data in the same animal, producing a more complete understanding of the nature of the neurophysiological alterations associated with these disorders. He's the author of the books Beyond Boundaries and The Relativistic Brain.

Miguel was honored as one of Foreign Policy's 2015 Global Thinkers.