TEDGlobal 2012
Ramesh Raskar: Imaging at a trillion frames per second
Ramesh Raskar: En biljon bilder per sekund
Filmed:
Readability: 4
5,395,201 views
Ramesh Raskar berättar om femtofotografi, en ny bildteknik som är så snabb att den fångar världen i en biljon bildrutor per sekund – detaljerat nog för att visa ljus i rörelse. Den här tekniken kan i framtiden användas för att tillverka kameror som kan se runt hörn, eller inuti kroppen utan röntgenstrålning.
Ramesh Raskar - Femto-photographer
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Double-click the English transcript below to play the video.
00:16
Doc Edgerton inspired us with awe and curiosity
0
902
5978
Doc Edgerton fyllde oss med beundran och nyfikenhet
00:22
with this photo of a bullet piercing through an apple,
1
6880
5262
med det här fotot av en kula som genomborrar ett äpple,
00:28
and exposure just a millionth of a second.
2
12142
4878
och en slutartid på bara en miljondels sekund.
00:32
But now, 50 years later, we can go a million times faster
3
17020
7307
Men idag, 50 år senare, går det en miljon gånger snabbare,
00:40
and see the world not at a million,
4
24327
3596
och vi kan se världen inte i en miljon,
00:43
or a billion,
5
27923
1810
eller en miljard,
00:45
but one trillion frames per second.
6
29733
3435
utan en biljon bildrutor per sekund.
00:49
I present you a new type of photography,
7
33168
4385
Jag vill introducera er för en ny typ av fotografi,
00:53
femto-photography,
8
37553
2059
femtofotografi,
00:55
a new imaging technique so fast
9
39612
4600
en ny bildteknik som är så snabb
01:00
that it can create slow motion videos of light in motion.
10
44212
5201
att den kan skapa filmer i ultrarapid av ljus i rörelse.
01:05
And with that, we can create cameras
11
49413
2738
Och med den kan vi göra kameror
01:08
that can look around corners,
12
52151
2145
som kan se runt hörn,
01:10
beyond line of sight
13
54296
1997
utom synhåll,
01:12
or see inside our body without an X-ray,
14
56293
4393
eller se insidan av kroppen utan röntgen,
01:16
and really challenge what we mean by a camera.
15
60686
5401
och verkligen ifrågasätta vår syn på kameror.
01:21
Now if I take a laser pointer and turn it on and off
16
66087
3511
Om jag nu tar en laserpekare och slår på och av den
01:25
in one trillionth of a second --
17
69598
2827
på en biljondels sekund
01:28
which is several femtoseconds --
18
72425
2812
– vilket är flera femtosekunder –
01:31
I'll create a packet of photons
19
75237
2280
kommer den att skapa en fotongrupp,
01:33
barely a millimeter wide,
20
77517
2350
knappt en millimeter i bredd,
01:35
and that packet of photons, that bullet,
21
79867
2926
och den här fotongruppen, den "kulan",
01:38
will travel at the speed of light,
22
82793
1950
kommer att färdas med ljusets hastighet,
01:40
and, again, a million times faster than an ordinary bullet.
23
84743
4508
och, som sagt, en miljon gånger snabbare än en pistolkula.
01:45
Now, if you take that bullet and take this packet of photons
24
89251
4906
Om vi sedan tar den kulan, den här fotongruppen,
01:50
and fire into this bottle,
25
94157
3173
och fyrar av den i flaskan här,
01:53
how will those photons shatter into this bottle?
26
97330
4534
hur kommer de fotonerna att spridas i flaskan?
01:57
How does light look in slow motion?
27
101864
4224
Hur ser ljus ut i ultrarapid?
02:21
Now, the whole event -- (Applause)
28
126041
3658
Hela det här förloppet — (Applåder)
02:25
(Applause)
29
129699
4219
(Applåder)
02:29
Now, remember, the whole event
30
133918
2603
Kom ihåg att hela förloppet
02:32
is effectively taking place in less than a nanosecond
31
136521
3383
i praktiken tar mindre än en nanosekund
02:35
— that's how much time it takes for light to travel —
32
139904
2336
– det är den tid det tar för ljus att färdas –
02:38
but I'm slowing down in this video by a factor of 10 billion
33
142240
4500
men jag saktar ned det 10 miljarder gånger i den här videon
02:42
so you can see the light in motion.
34
146740
3673
så ni kan se ljuset i rörelse.
02:46
But, Coca-Cola did not sponsor this research. (Laughter)
35
150413
4621
Men Coca-Cola sponsrade inte den här forskningen. (Skratt)
02:50
Now, there's a lot going on in this movie,
36
155034
2047
Det är en hel del som händer i den här filmen,
02:52
so let me break this down and show you what's going on.
37
157081
2362
så jag vill ta isär den för er och visa vad som händer.
02:55
So, the pulse enters the bottle, our bullet,
38
159443
3240
Ljuset, vår "kula", kommer då in i flaskan
02:58
with a packet of photons that start traveling through
39
162683
2562
med en grupp fotoner som färdas rakt igenom
03:01
and that start scattering inside.
40
165245
1837
och börjar spridas inuti.
03:02
Some of the light leaks, goes on the table,
41
167082
2231
En del av ljuset hamnar på bordet
03:05
and you start seeing these ripples of waves.
42
169313
2787
och man börjar se de här vågmönstrena.
03:08
Many of the photons eventually reach the cap
43
172100
2881
De flesta fotoner når så småningom korken
03:10
and then they explode in various directions.
44
174981
2914
där de spränger åt alla håll.
03:13
As you can see, there's a bubble of air,
45
177895
1912
Som ni ser finns det en luftbubbla,
03:15
and it's bouncing around inside.
46
179807
1666
och den studsar runt där inne.
03:17
Meanwhile, the ripples are traveling on the table,
47
181473
2474
Samtidigt sprider sig vågorna över bordet,
03:19
and because of the reflections at the top,
48
183947
1869
och på grund av reflektionerna längst upp
03:21
you see at the back of the bottle, after several frames,
49
185816
3634
kan man se i botten av flaskan, flera bildrutor senare,
03:25
the reflections are focused.
50
189450
2902
hur reflektionerna fokuseras.
03:28
Now, if you take an ordinary bullet
51
192352
5894
Om man i stället tar en vanlig kula
03:34
and let it go the same distance and slow down the video
52
198246
3401
och låter den färdas lika långt och saktar ned videon
03:37
again by a factor of 10 billion, do you know
53
201647
2549
10 miljarder gånger igen, vet ni
03:40
how long you'll have to sit here to watch that movie?
54
204196
5725
hur länge ni måste sitta här och titta på den?
03:45
A day, a week? Actually, a whole year.
55
209921
4388
En dag, en vecka? Faktiskt ett helt år.
03:50
It'll be a very boring movie — (Laughter) —
56
214309
3914
Det blir en väldigt trist film – (Skratt) –
03:54
of a slow, ordinary bullet in motion.
57
218223
4052
om en långsam, helt vanlig kula.
03:58
And what about some still-life photography?
58
222275
4603
Ska vi ta en titt på stillebenfoto?
04:08
You can watch the ripples again washing over the table,
59
232770
5352
Nu ser ni vågorna igen, hur de sköljer över bordet,
04:14
the tomato and the wall in the back.
60
238122
2913
tomaten och väggen där bak.
04:16
It's like throwing a stone in a pond of water.
61
241035
4224
Det är som att kasta en sten i en damm.
04:23
I thought, this is how nature paints a photo,
62
247197
3890
Jag tänkte att det är så här naturen målar upp ett foto,
04:26
one femto frame at a time,
63
251087
2587
en femtosekund åt gången,
04:29
but of course our eye sees an integral composite.
64
253674
5392
men våra ögon ser förstås en sammansatt bild.
04:34
But if you look at this tomato one more time,
65
259066
3126
Men om ni tittar på den här tomaten igen,
04:38
you will notice, as the light washes over the tomato,
66
262192
2516
ser ni att när ljuset sköljer över tomaten
04:40
it continues to glow. It doesn't become dark.
67
264708
2891
fortsätter den att lysa. Den blir inte mörkare.
04:43
Why is that? Because the tomato is actually ripe,
68
267599
3548
Varför är det så? Därför att tomaten är mogen,
04:47
and the light is bouncing around inside the tomato,
69
271147
2101
och ljuset studsar runt i tomaten
04:49
and it comes out after several trillionths of a second.
70
273248
4466
och kommer ut efter åtskilliga biljondels sekunder.
04:53
So, in the future, when this femto-camera
71
277714
2633
Så i framtiden, när den här femtokameran
04:56
is in your camera phone,
72
280347
2092
finns i era kameramobiler,
04:58
you might be able to go to a supermarket
73
282439
1710
kommer ni kanske kunna gå till snabbköpet
05:00
and check if the fruit is ripe without actually touching it.
74
284149
4040
och kolla om frukten är mogen utan att ens ta på den.
05:04
So how did my team at MIT create this camera?
75
288189
5330
Hur kunde då mitt team på MIT göra den här kameran?
05:09
Now, as photographers, you know,
76
293519
1967
De av er som är fotografer vet
05:11
if you take a short exposure photo, you get very little light,
77
295486
4061
att med en kort slutartid får man väldigt lite ljus,
05:15
but we're going to go a billion times faster
78
299547
2206
men här går det en miljard gånger snabbare
05:17
than your shortest exposure,
79
301753
1856
än den kortaste slutartiden,
05:19
so you're going to get hardly any light.
80
303609
1800
så vi får nästan inget ljus alls.
05:21
So, what we do is we send that bullet,
81
305409
1843
Så det vi gör är att skicka den här kulan,
05:23
those packet of photons, millions of times,
82
307252
2549
eller fotongruppen, flera miljoner gånger,
05:25
and record again and again with very clever synchronization,
83
309801
3107
och filma om och om igen med smart synkronisering,
05:28
and from the gigabytes of data,
84
312908
2091
och från alla gigabyte av data
05:30
we computationally weave together
85
314999
2116
beräknar vi fram
05:33
to create those femto-videos I showed you.
86
317115
3465
de här femto-filmerna jag visat er.
05:36
And we can take all that raw data
87
320580
2540
Och vi kan ta all den här rådatan
05:39
and treat it in very interesting ways.
88
323120
2895
och göra väldigt intressanta saker med den.
05:41
So, Superman can fly.
89
326015
1841
Stålmannen kan ju flyga,
05:43
Some other heroes can become invisible,
90
327856
2462
några andra hjältar kan bli osynliga,
05:46
but what about a new power for a future superhero:
91
330318
5098
men vad sägs om en ny kraft för vår framtida superhjälte:
05:51
to see around corners?
92
335416
2498
att se runt hörn?
05:53
The idea is that we could shine some light on the door.
93
337914
4673
Tanken är att vi riktar ljuset mot dörren.
05:58
It's going to bounce, go inside the room,
94
342587
2675
Det kommer att studsa, ta sig in i rummet,
06:01
some of that is going to reflect back on the door,
95
345262
2430
en del kommer att reflekteras tillbaks mot dörren
06:03
and then back to the camera,
96
347692
1507
och sedan in i kameran igen,
06:05
and we could exploit these multiple bounces of light.
97
349199
3488
så vi kan dra nytta av ljusets reflektioner.
06:08
And it's not science fiction. We have actually built it.
98
352687
2397
Det är inte science fiction. Vi har faktiskt byggt det.
06:10
On the left, you see our femto-camera.
99
355084
2384
Till vänster ser ni vår femtokamera.
06:13
There's a mannequin hidden behind a wall,
100
357468
2379
Det finns en modelldocka gömd bakom en vägg,
06:15
and we're going to bounce light off the door.
101
359847
2982
och vi kommer låta ljuset studsa mot dörren.
06:18
So after our paper was published
102
362829
1948
Efter att vår artikel publicerades
06:20
in Nature Communications,
103
364777
1934
i Nature Communications,
06:22
it was highlighted by Nature.com,
104
366711
1915
blev den uppmärksammad av Nature.com
06:24
and they created this animation.
105
368626
2563
som gjorde den här animationen.
06:27
(Music)
106
371189
6402
(Musik)
06:33
We're going to fire those bullets of light,
107
377591
3461
Vi fyrar av de här "skotten" med ljus
06:36
and they're going to hit this wall,
108
381052
3263
som träffar den här väggen,
06:40
and because the packet of the photons,
109
384315
2655
och eftersom det är en grupp av fotoner
06:42
they will scatter in all the directions,
110
386970
2297
kommer de skingras åt alla håll,
06:45
and some of them will reach our hidden mannequin,
111
389267
2248
och en del når fram till den gömda dockan,
06:47
which in turn will again scatter that light,
112
391515
2879
som i sin tur sprider ljuset igen
06:50
and again in turn the door will reflect
113
394394
3686
och dörren reflekterar sedan
06:53
some of that scattered light,
114
398080
2072
en del av det utspridda ljuset,
06:56
and a tiny fraction of the photons will actually
115
400152
2744
och en bråkdel av fotonerna kommer ända
06:58
come back to the camera, but most interestingly,
116
402896
2284
tillbaks till kameran, men det viktigaste
07:01
they will all arrive at a slightly different time slot.
117
405180
3746
är att de når fram vid något olika tidpunkter.
07:04
(Music)
118
408926
4577
(Musik)
07:09
And because we have a camera that can run so fast,
119
413503
2817
Och eftersom vi har en så snabb kamera,
07:12
our femto-camera, it has some unique abilities.
120
416320
3106
vår femtokamera, har den vissa unika egenskaper.
07:15
It has very good time resolution,
121
419426
2906
Den har väldigt bra tidsupplösning,
07:18
and it can look at the world at the speed of light.
122
422332
3518
och den kan se världen i ljusets hastighet.
07:21
And this way, we know the distances, of course to the door,
123
425850
3545
Därför vet vi avstånden, till dörren förstås,
07:25
but also to the hidden objects,
124
429395
1894
men även till de dolda föremålen,
07:27
but we don't know which point corresponds
125
431289
1595
men vi vet inte vilken punkt som svarar
07:28
to which distance.
126
432884
2322
mot vilket avstånd.
07:31
(Music)
127
435206
3240
(Musik)
07:34
By shining one laser, we can record one raw photo, which,
128
438446
3944
Med hjälp av en laser kan vi ta ett råfoto som,
07:38
you look on the screen, doesn't really make any sense,
129
442390
2450
ni ser på skärmen, är ganska intetsägande,
07:40
but then we will take a lot of such pictures,
130
444840
1880
men sedan tar vi många sådana bilder,
07:42
dozens of such pictures, put them together,
131
446720
2419
massor av dem, sätter ihop dem,
07:45
and try to analyze the multiple bounces of light,
132
449139
2678
och försöker räkna ut hur ljuset studsat –
07:47
and from that, can we see the hidden object?
133
451817
3416
kan vi med detta se det dolda föremålet?
07:51
Can we see it in full 3D?
134
455233
2919
Kan vi se det i full 3D?
07:54
So this is our reconstruction. (Music)
135
458152
2636
Det här är då vår rekonstruktion. (Musik)
07:56
(Music)
136
460788
3458
(Musik)
08:00
(Music) (Applause)
137
464246
8308
(Musik) (Applåder)
08:08
Now we have some ways to go before we take this
138
472554
2611
Vi har en del jobb innan vi kan ta det här
08:11
outside the lab on the road, but in the future,
139
475165
3197
från labbet till verkligheten, men i framtiden
08:14
we could create cars that avoid collisions
140
478362
2834
kan vi göra bilar som inte krockar
08:17
with what's around the bend,
141
481196
2216
med det som finns runt knuten,
08:19
or we can look for survivors in hazardous conditions
142
483412
3914
eller leta efter överlevande i farliga situationer
08:23
by looking at light reflected through open windows,
143
487326
4278
genom att se hur ljus reflekteras från öppna fönster,
08:27
or we can build endoscopes that can see
144
491604
2625
eller tillverka endoskop som kan se
08:30
deep inside the body around occluders,
145
494229
3270
djupt inne i kroppen, förbi tillslutningar,
08:33
and also for cardioscopes.
146
497499
1876
eller in i hjärtat.
08:35
But of course, because of tissue and blood,
147
499375
2501
Men det är klart, på grund av vävnader och blod
08:37
this is quite challenging, so this is really a call
148
501876
2187
är det en viss utmaning, så det är verkligen dags
08:39
for scientists to start thinking about femto-photography
149
504063
2853
för forskare att börja tänka på femtofotografi
08:42
as really a new imaging modality to solve
150
506916
2589
som en ny form av bildåtergivning, för att lösa
08:45
the next generation of health imaging problems.
151
509505
3577
framtidens problem inom medicinsk bildteknik.
08:48
Now, like Doc Edgerton, a scientist himself,
152
513082
3881
För Doc Edgerton, som också var forskare,
08:52
science became art, an art of ultra-fast photography,
153
516963
5176
blev vetenskap till konst, en ultrasnabb fotokonst,
08:58
and I realized that all the gigabytes of data
154
522139
3464
och jag förstod själv att alla gigabyte av data
09:01
that we're collecting every time
155
525603
2004
som vi samlar in hela tiden
09:03
is not just for scientific imaging, but we can also do
156
527607
3443
inte bara är till för vetenskaplig bildteknik, utan också
09:06
a new form of computational photography
157
531050
3780
en ny typ av digitalt fotografi
09:10
with time-lapse and color-coding,
158
534830
4139
med snabbspolning och färgkodning,
09:14
and we look at those ripples. Remember,
159
538969
2770
och vi tittar på de där vågorna. Kom ihåg att
09:17
the time between each of those ripples is only
160
541739
2675
tiden mellan varje våg bara är
09:20
a few trillionths of a second.
161
544414
4343
några få biljondels sekunder.
09:24
But there's also something funny going on here.
162
548757
1956
Men det är förresten något skumt på gång här.
09:26
When you look at the ripples under the cap,
163
550713
2354
När man tittar på vågorna under korken
09:28
the ripples are moving away from us.
164
553067
3620
är de på väg i riktning från oss.
09:32
The ripples should be moving towards us.
165
556687
2149
Vågorna borde röra sig mot oss.
09:34
What's going on here?
166
558836
1767
Varför är det så här?
09:36
It turns out, because we're recording
167
560603
1958
Jo, eftersom vi spelar in
09:38
nearly at the speed of light,
168
562561
4547
nästan i ljusets hastighet
09:43
we have strange effects,
169
567108
2070
får vi en del märkliga resultat,
09:45
and Einstein would have loved to see this picture.
170
569178
4031
och Einstein hade älskat den här bilden.
09:49
The order at which events take place in the world
171
573209
3269
Det verkliga händelseförloppet
09:52
appear in the camera with sometimes reversed order,
172
576478
4568
ser i kameran ut att kastas om ibland,
09:56
so by applying the corresponding space and time warp,
173
581046
3359
så genom att justera för rums- och tidsförskjutningen
10:00
we can correct for this distortion.
174
584405
4045
kan vi korrigera det här felet.
10:04
So whether it's for photography around corners,
175
588450
4241
Vare sig det handlar om att ta bilder runt hörn,
10:08
or creating the next generation of health imaging,
176
592691
4308
eller utveckla bildtekniken inom sjukvården,
10:12
or creating new visualizations,
177
596999
2680
eller skapa nya slags illustrationer,
10:15
since our invention, we have open-sourced
178
599679
3559
har vi i och med vår uppfinning offentliggjort
10:19
all the data and details on our website, and our hope
179
603238
3699
all data och på vår hemsida, och vi hoppas
10:22
is that the DIY, the creative and the research community
180
606937
6636
att entusiaster, konstnärer och forskningssamhället
10:29
will show us that we should stop obsessing about
181
613573
3803
kommer få oss att sluta stressa över
10:33
the megapixels in cameras — (Laughter) —
182
617376
3240
megapixlarna i kameror – (Skratt) –
10:36
and start focusing on the next dimension in imaging.
183
620616
5030
och börja tänka på nästa aspekt av bildhantering.
10:41
It's about time. Thank you. (Applause)
184
625646
4534
Låt oss inte dra ut på tiden. Tack. (Applåder)
10:46
(Applause)
185
630180
10205
(Applåder)
ABOUT THE SPEAKER
Ramesh Raskar - Femto-photographerPhotography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light.
Why you should listen
In 1964 MIT professor Harold Edgerton, pioneer of stop-action photography, famously took a photo of a bullet piercing an apple using exposures as short as a few nanoseconds. Inspired by his work, Ramesh Raskar and his team set out to create a camera that could capture not just a bullet (traveling at 850 meters per second) but light itself (nearly 300 million meters per second).
Stop a moment to take that in: photographing light as it moves. For that, they built a camera and software that can visualize pictures as if they are recorded at 1 trillion frames per second. The same photon-imaging technology can also be used to create a camera that can peer "around" corners , by exploiting specific properties of the photons when they bounce off surfaces and objects.
Among the other projects that Raskar is leading, with the MIT Media Lab's Camera Culture research group, are low-cost eye care devices, a next generation CAT-Scan machine and human-computer interaction systems.
Papers:
Andreas Velten, Thomas Willwacher, Otkrist Gupta, Ashok Veeraraghavan, Moungi G. Bawendi and Ramesh Raskar, “Recovering ThreeDimensional Shape around a Corner using Ultra-Fast Time-of-Flight Imaging.” Nature Communications, March 2012
Andreas Velten, Adrian Jarabo, Belen Masia, Di Wu, Christopher Barsi, Everett Lawson, Chinmaya Joshi, Diego Gutierrez, Moungi G. Bawendi and Ramesh Raskar, "Ultra-fast Imaging for Light in Motion" (in progress). http://femtocamera.info
Ramesh Raskar | Speaker | TED.com