TEDGlobal 2012
Ramesh Raskar: Imaging at a trillion frames per second
Ramesh Raskar: Beeldvorming aan een biljoen beelden per seconde
Filmed:
Readability: 4
5,395,201 views
Ramesh Raskar presenteert femto-fotografie, een nieuw type beeldvorming, zo snel dat het de wereld toont in een biljoen frames per seconde. Het geeft de beweging van het licht zelf weer. Deze technologie kan ooit worden gebruikt om camera's te bouwen die 'rond' hoeken kunnen kijken of in het lichaam kunnen kijken zonder gebruik te maken van X-stralen.
Ramesh Raskar - Femto-photographer
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Double-click the English transcript below to play the video.
00:16
Doc Edgerton inspired us with awe and curiosity
0
902
5978
Doc Edgerton vervulde ons
met ontzag en nieuwsgierigheid
met ontzag en nieuwsgierigheid
00:22
with this photo of a bullet piercing through an apple,
1
6880
5262
met deze foto van een kogel
die een appel doorboort
die een appel doorboort
00:28
and exposure just a millionth of a second.
2
12142
4878
en een belichting
van slechts één miljoenste van een seconde.
van slechts één miljoenste van een seconde.
00:32
But now, 50 years later, we can go a million times faster
3
17020
7307
Maar nu, 50 jaar later,
kunnen we een miljoen keer sneller gaan
kunnen we een miljoen keer sneller gaan
00:40
and see the world not at a million,
4
24327
3596
en de wereld niet in één miljoen,
00:43
or a billion,
5
27923
1810
of één miljard,
00:45
but one trillion frames per second.
6
29733
3435
maar in één biljoen frames per seconde bekijken.
00:49
I present you a new type of photography,
7
33168
4385
Ik stel jullie een nieuw type van fotografie voor,
00:53
femto-photography,
8
37553
2059
femto-fotografie,
00:55
a new imaging technique so fast
9
39612
4600
een nieuwe beeldvormingstechniek
die zo snel is
die zo snel is
01:00
that it can create slow motion videos of light in motion.
10
44212
5201
dat je een video van licht
in slow motion kan maken.
in slow motion kan maken.
01:05
And with that, we can create cameras
11
49413
2738
Daarmee kunnen we camera's maken
01:08
that can look around corners,
12
52151
2145
die rond hoeken kunnen kijken,
01:10
beyond line of sight
13
54296
1997
buiten de lijn van het zicht,
01:12
or see inside our body without an X-ray,
14
56293
4393
of in ons lichaam kunnen kijken
zonder röntgenstralen.
zonder röntgenstralen.
01:16
and really challenge what we mean by a camera.
15
60686
5401
Een nieuwe invulling van het begrip camera.
01:21
Now if I take a laser pointer and turn it on and off
16
66087
3511
Als ik een laserpointer
01:25
in one trillionth of a second --
17
69598
2827
in een biljoenste van een seconde
in- en uitschakel
in- en uitschakel
01:28
which is several femtoseconds --
18
72425
2812
-- dat is verscheidene femtosecondes --
01:31
I'll create a packet of photons
19
75237
2280
maak ik een pakketje fotonen
01:33
barely a millimeter wide,
20
77517
2350
van nauwelijks een millimeter breed,
01:35
and that packet of photons, that bullet,
21
79867
2926
en dat pakketje fotonen, die kogel,
01:38
will travel at the speed of light,
22
82793
1950
beweegt met de lichtsnelheid,
01:40
and, again, a million times faster than an ordinary bullet.
23
84743
4508
en wel een miljoen keer sneller
dan een gewone kogel.
dan een gewone kogel.
01:45
Now, if you take that bullet and take this packet of photons
24
89251
4906
Als je dit pakket fotonen, die kogel,
01:50
and fire into this bottle,
25
94157
3173
op deze fles afvuurt,
01:53
how will those photons shatter into this bottle?
26
97330
4534
hoe gaan die fotonen zich dan verstrooien in die fles?
01:57
How does light look in slow motion?
27
101864
4224
Hoe ziet licht in slow motion eruit?
02:21
Now, the whole event -- (Applause)
28
126041
3658
Het hele gebeuren --
02:25
(Applause)
29
129699
4219
(Applaus)
02:29
Now, remember, the whole event
30
133918
2603
Vergeet niet dat dit hele gebeuren
02:32
is effectively taking place in less than a nanosecond
31
136521
3383
effectief plaatsvindt
in minder dan één nanoseconde
in minder dan één nanoseconde
02:35
— that's how much time it takes for light to travel —
32
139904
2336
— dat is de tijd die licht nodig heeft
om deze afstand af te leggen —
om deze afstand af te leggen —
02:38
but I'm slowing down in this video by a factor of 10 billion
33
142240
4500
maar 10 miljard keer vertraagd.
02:42
so you can see the light in motion.
34
146740
3673
Je kan de beweging van het licht volgen.
02:46
But, Coca-Cola did not sponsor this research. (Laughter)
35
150413
4621
Coca-Cola heeft dit onderzoek niet gesponsord. (Gelach)
02:50
Now, there's a lot going on in this movie,
36
155034
2047
Er gebeurt heel wat in deze film.
02:52
so let me break this down and show you what's going on.
37
157081
2362
Ik leg het even uit.
02:55
So, the pulse enters the bottle, our bullet,
38
159443
3240
De lichtpuls of onze kogel
02:58
with a packet of photons that start traveling through
39
162683
2562
of een pakket fotonen komt de fles binnen
03:01
and that start scattering inside.
40
165245
1837
en begint te verstrooien.
03:02
Some of the light leaks, goes on the table,
41
167082
2231
Een deel van het licht lekt weg, valt op de tafel,
03:05
and you start seeing these ripples of waves.
42
169313
2787
en je ziet deze rimpelingen van golven.
03:08
Many of the photons eventually reach the cap
43
172100
2881
Veel fotonen bereiken uiteindelijk de schroefdop
03:10
and then they explode in various directions.
44
174981
2914
en verspreiden zich in verschillende richtingen.
03:13
As you can see, there's a bubble of air,
45
177895
1912
Je kan binnen een luchtbel
03:15
and it's bouncing around inside.
46
179807
1666
zien rondstuiteren.
03:17
Meanwhile, the ripples are traveling on the table,
47
181473
2474
Ondertussen vallen de rimpelingen op de tafel,
03:19
and because of the reflections at the top,
48
183947
1869
en door de weerkaatsing bovenaan
03:21
you see at the back of the bottle, after several frames,
49
185816
3634
zie je na verschillende frames
dat achteraan in de fles
dat achteraan in de fles
03:25
the reflections are focused.
50
189450
2902
de reflecties gefocust worden.
03:28
Now, if you take an ordinary bullet
51
192352
5894
Mocht je een gewone kogel
03:34
and let it go the same distance and slow down the video
52
198246
3401
hetzelfde laten doen en de video
03:37
again by a factor of 10 billion, do you know
53
201647
2549
10 miljard keer vertragen,
03:40
how long you'll have to sit here to watch that movie?
54
204196
5725
hoe lang denk je dan
dat die film zou duren?
dat die film zou duren?
03:45
A day, a week? Actually, a whole year.
55
209921
4388
Een dag, een week? In feite een heel jaar.
03:50
It'll be a very boring movie — (Laughter) —
56
214309
3914
Het zou een erg saaie film worden — (Gelach) —
03:54
of a slow, ordinary bullet in motion.
57
218223
4052
van een langzame, gewone kogel in beweging.
03:58
And what about some still-life photography?
58
222275
4603
Hoe vind je deze stillevenfotografie?
04:08
You can watch the ripples again washing over the table,
59
232770
5352
Je ziet alweer die rimpelingen over de tafel,
04:14
the tomato and the wall in the back.
60
238122
2913
de tomaat en de muur erachter wegdeinen.
04:16
It's like throwing a stone in a pond of water.
61
241035
4224
Net als een steen in een vijver gooien.
04:23
I thought, this is how nature paints a photo,
62
247197
3890
Zo schildert de natuur een beeld,
04:26
one femto frame at a time,
63
251087
2587
één femtoframe tegelijk,
04:29
but of course our eye sees an integral composite.
64
253674
5392
maar onze ogen zien natuurlijk een integrale compositie.
04:34
But if you look at this tomato one more time,
65
259066
3126
Maar bekijk deze tomaat nog eens.
04:38
you will notice, as the light washes over the tomato,
66
262192
2516
Als het licht van de tomaat wegstroomt,
04:40
it continues to glow. It doesn't become dark.
67
264708
2891
blijft ze nagloeien. Ze wordt niet donker.
04:43
Why is that? Because the tomato is actually ripe,
68
267599
3548
Waarom? Omdat ze rijp is,
04:47
and the light is bouncing around inside the tomato,
69
271147
2101
het licht wat rondstuitert in de tomaat
04:49
and it comes out after several trillionths of a second.
70
273248
4466
en pas na enkele biljoensten van een seconde eruit komt.
04:53
So, in the future, when this femto-camera
71
277714
2633
Wanneer je in de toekomst zo'n femto-camera
04:56
is in your camera phone,
72
280347
2092
in je cameratelefoon gaat hebben,
04:58
you might be able to go to a supermarket
73
282439
1710
kan je in de supermarkt
05:00
and check if the fruit is ripe without actually touching it.
74
284149
4040
gelijk controleren of de vrucht rijp is
zonder ze aan te raken.
zonder ze aan te raken.
05:04
So how did my team at MIT create this camera?
75
288189
5330
Hoe is mijn team aan het MIT
op dit idee gekomen?
op dit idee gekomen?
05:09
Now, as photographers, you know,
76
293519
1967
Als fotograaf weet je
05:11
if you take a short exposure photo, you get very little light,
77
295486
4061
dat je bij een korte belichting maar weinig licht krijgt.
05:15
but we're going to go a billion times faster
78
299547
2206
Maar wij doen het nog een miljard keer sneller
05:17
than your shortest exposure,
79
301753
1856
dan jullie kortste belichting.
05:19
so you're going to get hardly any light.
80
303609
1800
Wij ontvangen dus nauwelijks enig licht.
05:21
So, what we do is we send that bullet,
81
305409
1843
We sturen die kogel,
05:23
those packet of photons, millions of times,
82
307252
2549
dat fotonenpakket, miljoenen keren uit
05:25
and record again and again with very clever synchronization,
83
309801
3107
en registreren het steeds weer opnieuw
met een zeer slimme synchronisatie.
met een zeer slimme synchronisatie.
05:28
and from the gigabytes of data,
84
312908
2091
Uit die gigabytes aan gegevens
05:30
we computationally weave together
85
314999
2116
weven wij computationeel
05:33
to create those femto-videos I showed you.
86
317115
3465
die femto-video's tesamen.
05:36
And we can take all that raw data
87
320580
2540
Al die ruwe gegevens kunnen wij
05:39
and treat it in very interesting ways.
88
323120
2895
op zeer interessante manieren behandelen.
05:41
So, Superman can fly.
89
326015
1841
Superman kan vliegen.
05:43
Some other heroes can become invisible,
90
327856
2462
Andere helden kunnen zich onzichtbaar maken,
05:46
but what about a new power for a future superhero:
91
330318
5098
maar zou een toekomstige superheld
05:51
to see around corners?
92
335416
2498
rond hoeken kunnen kijken?
05:53
The idea is that we could shine some light on the door.
93
337914
4673
We laten wat licht op de deur vallen.
05:58
It's going to bounce, go inside the room,
94
342587
2675
Het gaat eraf stuiteren,
zich in de kamer verspreiden,
zich in de kamer verspreiden,
06:01
some of that is going to reflect back on the door,
95
345262
2430
en een beetje gaat terug op de deur weerkaatst worden
06:03
and then back to the camera,
96
347692
1507
en dan terug naar de camera.
06:05
and we could exploit these multiple bounces of light.
97
349199
3488
Wij gebruiken deze lichtweerkaatsingen.
06:08
And it's not science fiction. We have actually built it.
98
352687
2397
Dat is geen sciencefiction.
We hebben het al gebouwd.
We hebben het al gebouwd.
06:10
On the left, you see our femto-camera.
99
355084
2384
Aan de linkerkant zie je onze femto-camera.
06:13
There's a mannequin hidden behind a wall,
100
357468
2379
Er zit een tekenpop verborgen achter een muur,
06:15
and we're going to bounce light off the door.
101
359847
2982
we gaan licht via de deur naar binnen laten schijnen.
06:18
So after our paper was published
102
362829
1948
Na publicatie van ons artikel
06:20
in Nature Communications,
103
364777
1934
in Nature Communications
06:22
it was highlighted by Nature.com,
104
366711
1915
werd het opgepikt door Nature.com.
06:24
and they created this animation.
105
368626
2563
Ze maakten deze animatie.
06:27
(Music)
106
371189
6402
(Muziek)
06:33
We're going to fire those bullets of light,
107
377591
3461
We gaan die 'kogels van licht' afvuren,
06:36
and they're going to hit this wall,
108
381052
3263
ze gaan deze muur raken,
06:40
and because the packet of the photons,
109
384315
2655
en omdat het een pakket fotonen is,
06:42
they will scatter in all the directions,
110
386970
2297
gaan ze in alle richtingen verstrooien.
06:45
and some of them will reach our hidden mannequin,
111
389267
2248
Enkelen zullen onze verborgen tekenpop bereiken,
06:47
which in turn will again scatter that light,
112
391515
2879
die zal op zijn beurt dat licht weer verstrooien,
06:50
and again in turn the door will reflect
113
394394
3686
en ook de deur zal het weerkaatsen.
06:53
some of that scattered light,
114
398080
2072
Iets van dat verstrooide licht,
06:56
and a tiny fraction of the photons will actually
115
400152
2744
een heel klein deel van de fotonen,
06:58
come back to the camera, but most interestingly,
116
402896
2284
zal de camera weer bereiken.
Maar wat van belang is,
Maar wat van belang is,
07:01
they will all arrive at a slightly different time slot.
117
405180
3746
is dat dat met minimale tijdsverschillen zal gebeuren.
07:04
(Music)
118
408926
4577
(Muziek)
07:09
And because we have a camera that can run so fast,
119
413503
2817
Door zijn enorme snelheid
07:12
our femto-camera, it has some unique abilities.
120
416320
3106
bezit onze femto-camera
een aantal unieke mogelijkheden.
een aantal unieke mogelijkheden.
07:15
It has very good time resolution,
121
419426
2906
Hij heeft zeer goede tijdsresolutie
07:18
and it can look at the world at the speed of light.
122
422332
3518
en kan naar de wereld kijken
met de snelheid van het licht.
met de snelheid van het licht.
07:21
And this way, we know the distances, of course to the door,
123
425850
3545
Daardoor kennen we de afstanden,
uiteraard naar de deur,
uiteraard naar de deur,
07:25
but also to the hidden objects,
124
429395
1894
maar ook naar de verborgen objecten,
07:27
but we don't know which point corresponds
125
431289
1595
maar we weten niet welk punt overeenkomt
07:28
to which distance.
126
432884
2322
met welke afstand.
07:31
(Music)
127
435206
3240
(Muziek)
07:34
By shining one laser, we can record one raw photo, which,
128
438446
3944
Met één laserflits kunnen we een ruwe foto nemen die
07:38
you look on the screen, doesn't really make any sense,
129
442390
2450
- kijk maar op het scherm - je nog niets vertelt.
07:40
but then we will take a lot of such pictures,
130
444840
1880
Maar als we veel van deze foto's nemen,
07:42
dozens of such pictures, put them together,
131
446720
2419
tientallen foto's, ze samenstellen
07:45
and try to analyze the multiple bounces of light,
132
449139
2678
en de meerdere weerkaatsingen van licht
proberen te analyseren,
proberen te analyseren,
07:47
and from that, can we see the hidden object?
133
451817
3416
krijgen we dan het verborgen object te zien?
07:51
Can we see it in full 3D?
134
455233
2919
Zien we het in 3D?
07:54
So this is our reconstruction. (Music)
135
458152
2636
Dit onze reconstructie. (Muziek)
07:56
(Music)
136
460788
3458
(Muziek)
08:00
(Music) (Applause)
137
464246
8308
(Muziek) (Applaus)
08:08
Now we have some ways to go before we take this
138
472554
2611
Er is nog een heleboel werk te doen in het lab
08:11
outside the lab on the road, but in the future,
139
475165
3197
voordat dit de weg op kan, maar in de toekomst
08:14
we could create cars that avoid collisions
140
478362
2834
gaan auto's botsingen kunnen voorkomen
08:17
with what's around the bend,
141
481196
2216
door te zien wat er achter de bocht gaande is.
08:19
or we can look for survivors in hazardous conditions
142
483412
3914
Of we kunnen naar overlevenden zoeken
onder gevaarlijke omstandigheden
onder gevaarlijke omstandigheden
08:23
by looking at light reflected through open windows,
143
487326
4278
door te kijken naar licht
weerspiegeld door open vensters,
weerspiegeld door open vensters,
08:27
or we can build endoscopes that can see
144
491604
2625
of we kunnen endoscopen bouwen
08:30
deep inside the body around occluders,
145
494229
3270
die diep in het lichaam
omheen hindernissen kunnen kijken,
omheen hindernissen kunnen kijken,
08:33
and also for cardioscopes.
146
497499
1876
ook voor cardioscopen.
08:35
But of course, because of tissue and blood,
147
499375
2501
Maar wegens de ondoorzichtigheid
van weefsels en bloed,
van weefsels en bloed,
08:37
this is quite challenging, so this is really a call
148
501876
2187
gaat dit een hele uitdaging zijn,
dus is dit een oproep
dus is dit een oproep
08:39
for scientists to start thinking about femto-photography
149
504063
2853
voor wetenschappers om te gaan denken
over femto-fotografie
over femto-fotografie
08:42
as really a new imaging modality to solve
150
506916
2589
als een nieuwe techniek
om de volgende generatie problemen
om de volgende generatie problemen
08:45
the next generation of health imaging problems.
151
509505
3577
van medische beeldvormig op te lossen.
08:48
Now, like Doc Edgerton, a scientist himself,
152
513082
3881
Doc Edgerton, zelf een wetenschapper,
08:52
science became art, an art of ultra-fast photography,
153
516963
5176
maakte wetenschap tot kunst,
de kunst van ultrasnelle fotografie.
de kunst van ultrasnelle fotografie.
08:58
and I realized that all the gigabytes of data
154
522139
3464
Ik besefte dat al die gigabytes aan gegevens
09:01
that we're collecting every time
155
525603
2004
die we telkens weer opslaan
09:03
is not just for scientific imaging, but we can also do
156
527607
3443
niet alleen bruikbaar zullen zijn
voor wetenschappelijke beeldvorming.
voor wetenschappelijke beeldvorming.
09:06
a new form of computational photography
157
531050
3780
Ook een nieuwe vorm
van computationele fotografie
van computationele fotografie
09:10
with time-lapse and color-coding,
158
534830
4139
met time-lapse en kleurcodering
wordt mogelijk
wordt mogelijk
09:14
and we look at those ripples. Remember,
159
538969
2770
door die rimpelingen.
09:17
the time between each of those ripples is only
160
541739
2675
Vergeet niet dat de tijdsduur
tussen elk van deze rimpelingen
tussen elk van deze rimpelingen
09:20
a few trillionths of a second.
161
544414
4343
slechts een paar biljoensten van een seconde is.
09:24
But there's also something funny going on here.
162
548757
1956
Maar er gebeurt ook iets grappigs.
09:26
When you look at the ripples under the cap,
163
550713
2354
Als je kijkt naar de rimpelingen
onder de schroefdop,
onder de schroefdop,
09:28
the ripples are moving away from us.
164
553067
3620
dan bewegen ze van je weg.
09:32
The ripples should be moving towards us.
165
556687
2149
Maar ze zouden naar ons toe moeten komen.
09:34
What's going on here?
166
558836
1767
Wat gebeurt hier?
09:36
It turns out, because we're recording
167
560603
1958
Het blijkt dat, omdat we opnemen
09:38
nearly at the speed of light,
168
562561
4547
aan bijna de snelheid van het licht,
09:43
we have strange effects,
169
567108
2070
er vreemde effecten optreden.
09:45
and Einstein would have loved to see this picture.
170
569178
4031
Einstein zou dol op deze film zijn geweest.
09:49
The order at which events take place in the world
171
573209
3269
De volgorde waarin gebeurtenissen
in de wereld plaatsvinden
in de wereld plaatsvinden
09:52
appear in the camera with sometimes reversed order,
172
576478
4568
verschijnen in de camera
soms in omgekeerde volgorde.
soms in omgekeerde volgorde.
09:56
so by applying the corresponding space and time warp,
173
581046
3359
Door toepassing
van de overeenkomstige ruimte- en tijdskromming
van de overeenkomstige ruimte- en tijdskromming
10:00
we can correct for this distortion.
174
584405
4045
kunnen we voor deze vervorming corrigeren.
10:04
So whether it's for photography around corners,
175
588450
4241
Of het nu gaat om het fotograferen rond hoeken
10:08
or creating the next generation of health imaging,
176
592691
4308
of de volgende generatie medische beeldvorming
10:12
or creating new visualizations,
177
596999
2680
of het creëren van nieuwe visualisaties,
10:15
since our invention, we have open-sourced
178
599679
3559
sinds onze uitvinding hebben we
10:19
all the data and details on our website, and our hope
179
603238
3699
alle gegevens en details op onze website
open-source gemaakt.
open-source gemaakt.
10:22
is that the DIY, the creative and the research community
180
606937
6636
We hopen dat de doe-het-zelf-,
de creatieve en de onderzoekswereld
de creatieve en de onderzoekswereld
10:29
will show us that we should stop obsessing about
181
613573
3803
ons zullen aantonen
dat we niet zo geobsedeerd moeten zijn
dat we niet zo geobsedeerd moeten zijn
10:33
the megapixels in cameras — (Laughter) —
182
617376
3240
door de megapixels in camera's — (Gelach) —
10:36
and start focusing on the next dimension in imaging.
183
620616
5030
en ons concentreren
op de volgende dimensie in beeldbewerking.
op de volgende dimensie in beeldbewerking.
10:41
It's about time. Thank you. (Applause)
184
625646
4534
Dat wordt tijd.
Bedankt. (Applaus)
Bedankt. (Applaus)
10:46
(Applause)
185
630180
10205
(Applaus)
ABOUT THE SPEAKER
Ramesh Raskar - Femto-photographerPhotography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light.
Why you should listen
In 1964 MIT professor Harold Edgerton, pioneer of stop-action photography, famously took a photo of a bullet piercing an apple using exposures as short as a few nanoseconds. Inspired by his work, Ramesh Raskar and his team set out to create a camera that could capture not just a bullet (traveling at 850 meters per second) but light itself (nearly 300 million meters per second).
Stop a moment to take that in: photographing light as it moves. For that, they built a camera and software that can visualize pictures as if they are recorded at 1 trillion frames per second. The same photon-imaging technology can also be used to create a camera that can peer "around" corners , by exploiting specific properties of the photons when they bounce off surfaces and objects.
Among the other projects that Raskar is leading, with the MIT Media Lab's Camera Culture research group, are low-cost eye care devices, a next generation CAT-Scan machine and human-computer interaction systems.
Papers:
Andreas Velten, Thomas Willwacher, Otkrist Gupta, Ashok Veeraraghavan, Moungi G. Bawendi and Ramesh Raskar, “Recovering ThreeDimensional Shape around a Corner using Ultra-Fast Time-of-Flight Imaging.” Nature Communications, March 2012
Andreas Velten, Adrian Jarabo, Belen Masia, Di Wu, Christopher Barsi, Everett Lawson, Chinmaya Joshi, Diego Gutierrez, Moungi G. Bawendi and Ramesh Raskar, "Ultra-fast Imaging for Light in Motion" (in progress). http://femtocamera.info
Ramesh Raskar | Speaker | TED.com