TEDGlobal 2012
Ramesh Raskar: Imaging at a trillion frames per second
Рамеш Раскар: Снимане с трилион кадъра в секунда
Filmed:
Readability: 4
5,395,201 views
Рамеш Раскар представя фемто-фотография, нов тип снимане, който е толкова бързо, че показва света в един трилион кадъра за секунда. Тази технология може един ден да бъде използвана, за да се създадат камери, които могат да гледат "зад" ъгли или да виждат в тялото без рентген.
Ramesh Raskar - Femto-photographer
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Double-click the English transcript below to play the video.
00:16
Doc Edgerton inspired us with awe and curiosity
0
902
5978
Док Еджертън ни вдъхнови с възхищение и любопитство
00:22
with this photo of a bullet piercing through an apple,
1
6880
5262
с тази снимка на куршум пронизващ ябълка,
00:28
and exposure just a millionth of a second.
2
12142
4878
и експозиция samo от милион от секундата.
00:32
But now, 50 years later, we can go a million times faster
3
17020
7307
Но сега, 50 години по-късно, можем да сме милион пъти по-бързи
00:40
and see the world not at a million,
4
24327
3596
и да видим света не с милион
00:43
or a billion,
5
27923
1810
или с милиард,
00:45
but one trillion frames per second.
6
29733
3435
а с трилион кадри в секунда.
00:49
I present you a new type of photography,
7
33168
4385
Представям ви нов тип фотография,
00:53
femto-photography,
8
37553
2059
фемто-фотография,
00:55
a new imaging technique so fast
9
39612
4600
нов технически похват за изображения, който е толкова бърз,
01:00
that it can create slow motion videos of light in motion.
10
44212
5201
че може да създава филм в забавен каданс на движеща се светлина.
01:05
And with that, we can create cameras
11
49413
2738
С този похват можем да правим камери,
01:08
that can look around corners,
12
52151
2145
които виждат зад ъгли,
01:10
beyond line of sight
13
54296
1997
извън линията на погледа,
01:12
or see inside our body without an X-ray,
14
56293
4393
или виждат вътре в тялото ни без рентгенови лъчи,
01:16
and really challenge what we mean by a camera.
15
60686
5401
и наистина подлагат на изпитание самото значение на думата "фотоапарат".
01:21
Now if I take a laser pointer and turn it on and off
16
66087
3511
Ако взема една лазерна показалка и я включа и изключа
01:25
in one trillionth of a second --
17
69598
2827
за една трилионна от секундата,
01:28
which is several femtoseconds --
18
72425
2812
което е няколко фемтосекунди,
01:31
I'll create a packet of photons
19
75237
2280
ще създадам пакет от фотони
01:33
barely a millimeter wide,
20
77517
2350
едва няколко милиметра широки
01:35
and that packet of photons, that bullet,
21
79867
2926
и този пакет от фотони, този куршум,
01:38
will travel at the speed of light,
22
82793
1950
ще се движи със скоростта на светлината,
01:40
and, again, a million times faster than an ordinary bullet.
23
84743
4508
т.е. милион пъти по-бързо от обикновен куршум.
01:45
Now, if you take that bullet and take this packet of photons
24
89251
4906
Ако вземете този куршум и този пакет от фотони
01:50
and fire into this bottle,
25
94157
3173
и го изстреляте в тази бутилка,
01:53
how will those photons shatter into this bottle?
26
97330
4534
как тези фотони ще се разбият в тази бутилка?
01:57
How does light look in slow motion?
27
101864
4224
Как изглежда това в забавено движение?
02:21
Now, the whole event -- (Applause)
28
126041
3658
Сега, цялото събитие -- (аплодисменти)
02:25
(Applause)
29
129699
4219
(аплодисменти)
02:29
Now, remember, the whole event
30
133918
2603
Спомнете си, че цялото събитие
02:32
is effectively taking place in less than a nanosecond
31
136521
3383
в действителност отнема по-малко от една наносекунда
02:35
— that's how much time it takes for light to travel —
32
139904
2336
- толкова дълго отнема на светлината да пропътува,
02:38
but I'm slowing down in this video by a factor of 10 billion
33
142240
4500
но съм забавил този клип 10 милиарда пъти,
02:42
so you can see the light in motion.
34
146740
3673
за да може да видите светлината в движение.
02:46
But, Coca-Cola did not sponsor this research. (Laughter)
35
150413
4621
Но "Кока-Кола" не е спонсор на това изследване. (Смях)
02:50
Now, there's a lot going on in this movie,
36
155034
2047
Много неща се случват в този клип,
02:52
so let me break this down and show you what's going on.
37
157081
2362
така че позволете ми анализирам и да ви покажа какво се случва.
02:55
So, the pulse enters the bottle, our bullet,
38
159443
3240
Пулсът влиза в бутилката, куршума ни,
02:58
with a packet of photons that start traveling through
39
162683
2562
с пакет фотони, които започват да се движат
03:01
and that start scattering inside.
40
165245
1837
и започват да се разпръскват вътре.
03:02
Some of the light leaks, goes on the table,
41
167082
2231
Част от светлината се процежда, минава върху масата,
03:05
and you start seeing these ripples of waves.
42
169313
2787
и започвате да виждате тези вълнички.
03:08
Many of the photons eventually reach the cap
43
172100
2881
Много от фотоните достигат накрая капачката
03:10
and then they explode in various directions.
44
174981
2914
и след това експлодират в различни посоки.
03:13
As you can see, there's a bubble of air,
45
177895
1912
Както виждате, име един балон от въздух,
03:15
and it's bouncing around inside.
46
179807
1666
и той подскача вътре.
03:17
Meanwhile, the ripples are traveling on the table,
47
181473
2474
Междувременно, вълничките подскачат по масата
03:19
and because of the reflections at the top,
48
183947
1869
и поради отраженията на върха,
03:21
you see at the back of the bottle, after several frames,
49
185816
3634
виждате задната част на бутилката и след няколко кадъра,
03:25
the reflections are focused.
50
189450
2902
отраженията са фокусирани.
03:28
Now, if you take an ordinary bullet
51
192352
5894
Ако вземете обикновен куршум
03:34
and let it go the same distance and slow down the video
52
198246
3401
и той премине същото разстояние и забавите видеото
03:37
again by a factor of 10 billion, do you know
53
201647
2549
отново до 10 милиарда пъти, знаете ли
03:40
how long you'll have to sit here to watch that movie?
54
204196
5725
колко време ще трябва да гледате този филм?
03:45
A day, a week? Actually, a whole year.
55
209921
4388
Един ден, една седмица? Цяла година.
03:50
It'll be a very boring movie — (Laughter) —
56
214309
3914
Ще бъде много скучен филм - (Смях) -
03:54
of a slow, ordinary bullet in motion.
57
218223
4052
на бавен, обикновен куршум, който се движи.
03:58
And what about some still-life photography?
58
222275
4603
Какво ще кажете за фотографиране на природата?
04:08
You can watch the ripples again washing over the table,
59
232770
5352
Можете да гледате вълничките как мият масата,
04:14
the tomato and the wall in the back.
60
238122
2913
доматът и стената в дъното.
04:16
It's like throwing a stone in a pond of water.
61
241035
4224
Това е като хвърляне на камък в езеро с вода.
04:23
I thought, this is how nature paints a photo,
62
247197
3890
Мислех, че по този начин природата създава фотография,
04:26
one femto frame at a time,
63
251087
2587
по един фемто-кадър,
04:29
but of course our eye sees an integral composite.
64
253674
5392
но разбира се, очите ни виждат цялата картина.
04:34
But if you look at this tomato one more time,
65
259066
3126
Но ако погледнете този домат,
04:38
you will notice, as the light washes over the tomato,
66
262192
2516
ще забележите, че като светлината осветява домата,
04:40
it continues to glow. It doesn't become dark.
67
264708
2891
той свети. Той не потъмнява.
04:43
Why is that? Because the tomato is actually ripe,
68
267599
3548
Защо? Защото доматът е зрял
04:47
and the light is bouncing around inside the tomato,
69
271147
2101
и светлината минава през домата,
04:49
and it comes out after several trillionths of a second.
70
273248
4466
и излиза след няколко трилиона от секундата.
04:53
So, in the future, when this femto-camera
71
277714
2633
В бъдеще, когато тази фетмо-камера
04:56
is in your camera phone,
72
280347
2092
ще се намира в камерата на телефона ви,
04:58
you might be able to go to a supermarket
73
282439
1710
ще можете да отидете до супермаркет
05:00
and check if the fruit is ripe without actually touching it.
74
284149
4040
и да проверите, дали плода е зрял, без да го докосвате.
05:04
So how did my team at MIT create this camera?
75
288189
5330
Как екипът ми в МИТ създаде тази камера?
05:09
Now, as photographers, you know,
76
293519
1967
Като фотографи знаете, че,
05:11
if you take a short exposure photo, you get very little light,
77
295486
4061
ако заснемете фотография, използвате много малко светлина,
05:15
but we're going to go a billion times faster
78
299547
2206
но ще снимаме милиард пъти по-бързо,
05:17
than your shortest exposure,
79
301753
1856
отколкото най-кратката експонация,
05:19
so you're going to get hardly any light.
80
303609
1800
така че, няма да използвате почти никаква светлина.
05:21
So, what we do is we send that bullet,
81
305409
1843
Изпращаме този куршум,
05:23
those packet of photons, millions of times,
82
307252
2549
този пакет от фотони милион пъти
05:25
and record again and again with very clever synchronization,
83
309801
3107
и записваме отново и отново с много умна синхронизация,
05:28
and from the gigabytes of data,
84
312908
2091
и от събраните гигабайти от информация,
05:30
we computationally weave together
85
314999
2116
използвайки компютри,
05:33
to create those femto-videos I showed you.
86
317115
3465
създаваме тези фемто-видеа, които ви показах.
05:36
And we can take all that raw data
87
320580
2540
Можем да вземем всички тези необработени данни
05:39
and treat it in very interesting ways.
88
323120
2895
и да ги обработим по интересни начини.
05:41
So, Superman can fly.
89
326015
1841
Супермен може да лети.
05:43
Some other heroes can become invisible,
90
327856
2462
Някои от другите герои може да станат невидими,
05:46
but what about a new power for a future superhero:
91
330318
5098
но какво ще кажете за нова сила за бъдещ супергерой:
05:51
to see around corners?
92
335416
2498
да може да вижда зад ъглите?
05:53
The idea is that we could shine some light on the door.
93
337914
4673
Идеята е, че успяхме да осветим вратата.
05:58
It's going to bounce, go inside the room,
94
342587
2675
Светлината ще влезе в стаята,
06:01
some of that is going to reflect back on the door,
95
345262
2430
част от нея се освети задната част на вратата
06:03
and then back to the camera,
96
347692
1507
и ще се върне в камерата,
06:05
and we could exploit these multiple bounces of light.
97
349199
3488
и можахме да използваме тези многократни връщания на светлината.
06:08
And it's not science fiction. We have actually built it.
98
352687
2397
Това не е научна фантастика. Създадохме го.
06:10
On the left, you see our femto-camera.
99
355084
2384
В ляво виждате фемто-камерата ни.
06:13
There's a mannequin hidden behind a wall,
100
357468
2379
Има манекен, който е скрит зад стена
06:15
and we're going to bounce light off the door.
101
359847
2982
и ще осветим вратата.
06:18
So after our paper was published
102
362829
1948
След като докладът ни беше публикуван
06:20
in Nature Communications,
103
364777
1934
в "Нейчър Kомюникейшънс",
06:22
it was highlighted by Nature.com,
104
366711
1915
той беше забелязан от "Nature.com"
06:24
and they created this animation.
105
368626
2563
и те създадоха тази анимация.
06:27
(Music)
106
371189
6402
(Музика)
06:33
We're going to fire those bullets of light,
107
377591
3461
Ще запалим тези светлинни куршуми
06:36
and they're going to hit this wall,
108
381052
3263
и те ще ударят тази врата,
06:40
and because the packet of the photons,
109
384315
2655
и поради пакетът от фотони,
06:42
they will scatter in all the directions,
110
386970
2297
ще се разпръснат във всички посоки
06:45
and some of them will reach our hidden mannequin,
111
389267
2248
и някои от тях ще достигнат скрития ни манекен,
06:47
which in turn will again scatter that light,
112
391515
2879
което на свой ред ще разпръсне отново тази светлина
06:50
and again in turn the door will reflect
113
394394
3686
и вратата отново ще отрази
06:53
some of that scattered light,
114
398080
2072
част от тази разпръсната светлина,
06:56
and a tiny fraction of the photons will actually
115
400152
2744
и малка част от фотоните ще
06:58
come back to the camera, but most interestingly,
116
402896
2284
се върне в камерата, но най-интересното е,
07:01
they will all arrive at a slightly different time slot.
117
405180
3746
че те ще пристигнат в малко по-различен времеви интервал.
07:04
(Music)
118
408926
4577
(Музика)
07:09
And because we have a camera that can run so fast,
119
413503
2817
Тъй като имаме камера, която може да работи толкова бързо,
07:12
our femto-camera, it has some unique abilities.
120
416320
3106
фемто-камерата ни, тя има уникални способности.
07:15
It has very good time resolution,
121
419426
2906
Тя има много добра времева резолюция
07:18
and it can look at the world at the speed of light.
122
422332
3518
и може да гледа света със скоростта на светлината.
07:21
And this way, we know the distances, of course to the door,
123
425850
3545
По този начин узнаваме разстоянието, разбира се, което е до вратата,
07:25
but also to the hidden objects,
124
429395
1894
но също и до скритите предмети,
07:27
but we don't know which point corresponds
125
431289
1595
но не знаем коя точка на кое
07:28
to which distance.
126
432884
2322
разстояние отговаря.
07:31
(Music)
127
435206
3240
(Музика)
07:34
By shining one laser, we can record one raw photo, which,
128
438446
3944
Като осветяваме лазер, можем да заснемем необработена снимка, която
07:38
you look on the screen, doesn't really make any sense,
129
442390
2450
виждате на екрана, която няма смисъл,
07:40
but then we will take a lot of such pictures,
130
444840
1880
но след това ще заснемем много такива снимки,
07:42
dozens of such pictures, put them together,
131
446720
2419
дузини такива снимки, ще ги съединим
07:45
and try to analyze the multiple bounces of light,
132
449139
2678
и ще се опитаме да анализираме многократното отразяване на светлина,
07:47
and from that, can we see the hidden object?
133
451817
3416
и оттам, можем ли да видим скрития предмет?
07:51
Can we see it in full 3D?
134
455233
2919
Можем ли да го видим в пълен 3D?
07:54
So this is our reconstruction. (Music)
135
458152
2636
Това е реконструкцията ни. (Музика)
07:56
(Music)
136
460788
3458
(Музика)
08:00
(Music) (Applause)
137
464246
8308
(Музика) (Аплодисменти)
08:08
Now we have some ways to go before we take this
138
472554
2611
Имаме някои начини, които ще приложим, преди да изнесем
08:11
outside the lab on the road, but in the future,
139
475165
3197
камерата от лабораторията, но в бъдеще
08:14
we could create cars that avoid collisions
140
478362
2834
можем да създаваме коли, които избягват катастрофи,
08:17
with what's around the bend,
141
481196
2216
като виждат какво има зад завоя
08:19
or we can look for survivors in hazardous conditions
142
483412
3914
или можем да търсим оживели в опасни условия,
08:23
by looking at light reflected through open windows,
143
487326
4278
като гледаме отразената светлина през отворени прозорци,
08:27
or we can build endoscopes that can see
144
491604
2625
или можем да създадем ендоскопи, които могат да виждат
08:30
deep inside the body around occluders,
145
494229
3270
в тялото,
08:33
and also for cardioscopes.
146
497499
1876
също и за кардиоскопи.
08:35
But of course, because of tissue and blood,
147
499375
2501
Но, разбира се, поради тъканите и кръвта,
08:37
this is quite challenging, so this is really a call
148
501876
2187
това е много предизвикателно, така че това е зов
08:39
for scientists to start thinking about femto-photography
149
504063
2853
за учените да започнат да мислят за фемто-фотографията
08:42
as really a new imaging modality to solve
150
506916
2589
като нова модалност на изобразяване, за да решат
08:45
the next generation of health imaging problems.
151
509505
3577
следващото поколение на проблеми с изобразяване на здравето.
08:48
Now, like Doc Edgerton, a scientist himself,
152
513082
3881
Както за Док Еджгертън, учен,
08:52
science became art, an art of ultra-fast photography,
153
516963
5176
науката стана изкуство, изкуство на ултра-бърза фотография,
08:58
and I realized that all the gigabytes of data
154
522139
3464
и аз разбрах, че всички гигабайти данни,
09:01
that we're collecting every time
155
525603
2004
които събираме всеки път,
09:03
is not just for scientific imaging, but we can also do
156
527607
3443
не са само научни снимки, но можем и да създадем
09:06
a new form of computational photography
157
531050
3780
нова форма компютъризирана фотография
09:10
with time-lapse and color-coding,
158
534830
4139
с изтичане на време, кодиране на цвят
09:14
and we look at those ripples. Remember,
159
538969
2770
и можем да гледаме тези вълнички. Запомнете,
09:17
the time between each of those ripples is only
160
541739
2675
времето между всяка от тези вълнички е само
09:20
a few trillionths of a second.
161
544414
4343
няколко трилиона от секундата.
09:24
But there's also something funny going on here.
162
548757
1956
Но има и нещо смешно.
09:26
When you look at the ripples under the cap,
163
550713
2354
Когато гледате тези вълнички под шапката,
09:28
the ripples are moving away from us.
164
553067
3620
те се отдалечават от нас.
09:32
The ripples should be moving towards us.
165
556687
2149
Вълничките трябва да се движат към нас.
09:34
What's going on here?
166
558836
1767
Какво става тук?
09:36
It turns out, because we're recording
167
560603
1958
Оказва се, че тъй като записваме
09:38
nearly at the speed of light,
168
562561
4547
със скорост, близка до скоростта на светлината,
09:43
we have strange effects,
169
567108
2070
имаме странни ефекти
09:45
and Einstein would have loved to see this picture.
170
569178
4031
и Айнщайн би харесал, ако видеше тази картина.
09:49
The order at which events take place in the world
171
573209
3269
Редът, по който събитията се случват в света,
09:52
appear in the camera with sometimes reversed order,
172
576478
4568
се появява на камерата някакси в обратен ред,
09:56
so by applying the corresponding space and time warp,
173
581046
3359
така че, като приложим съответното пространство,
10:00
we can correct for this distortion.
174
584405
4045
можем да отстраним това различие.
10:04
So whether it's for photography around corners,
175
588450
4241
Независимо дали това е за фотография зад ъгли
10:08
or creating the next generation of health imaging,
176
592691
4308
или за създаване на следващо поколение здравни снимки,
10:12
or creating new visualizations,
177
596999
2680
или за създаване на нови визуализации,
10:15
since our invention, we have open-sourced
178
599679
3559
откритието ни позволи да имаме всички данни и детайли
10:19
all the data and details on our website, and our hope
179
603238
3699
с отворен източник на интернет сайта ни и се надяваме,
10:22
is that the DIY, the creative and the research community
180
606937
6636
че Направи си сам, творческата и изследователска общност,
10:29
will show us that we should stop obsessing about
181
613573
3803
ще ни покаже, че можем да спрем да имаме само
10:33
the megapixels in cameras — (Laughter) —
182
617376
3240
мегапиксели в камерите - (Смях) -
10:36
and start focusing on the next dimension in imaging.
183
620616
5030
и да започнем да се фокусираме в следващото измерение в снимането.
10:41
It's about time. Thank you. (Applause)
184
625646
4534
Време е. Благодаря ви. (Аплодисменти)
10:46
(Applause)
185
630180
10205
(Аплодисменти)
ABOUT THE SPEAKER
Ramesh Raskar - Femto-photographerPhotography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light.
Why you should listen
In 1964 MIT professor Harold Edgerton, pioneer of stop-action photography, famously took a photo of a bullet piercing an apple using exposures as short as a few nanoseconds. Inspired by his work, Ramesh Raskar and his team set out to create a camera that could capture not just a bullet (traveling at 850 meters per second) but light itself (nearly 300 million meters per second).
Stop a moment to take that in: photographing light as it moves. For that, they built a camera and software that can visualize pictures as if they are recorded at 1 trillion frames per second. The same photon-imaging technology can also be used to create a camera that can peer "around" corners , by exploiting specific properties of the photons when they bounce off surfaces and objects.
Among the other projects that Raskar is leading, with the MIT Media Lab's Camera Culture research group, are low-cost eye care devices, a next generation CAT-Scan machine and human-computer interaction systems.
Papers:
Andreas Velten, Thomas Willwacher, Otkrist Gupta, Ashok Veeraraghavan, Moungi G. Bawendi and Ramesh Raskar, “Recovering ThreeDimensional Shape around a Corner using Ultra-Fast Time-of-Flight Imaging.” Nature Communications, March 2012
Andreas Velten, Adrian Jarabo, Belen Masia, Di Wu, Christopher Barsi, Everett Lawson, Chinmaya Joshi, Diego Gutierrez, Moungi G. Bawendi and Ramesh Raskar, "Ultra-fast Imaging for Light in Motion" (in progress). http://femtocamera.info
Ramesh Raskar | Speaker | TED.com