TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Блез Агуэра-и-Аркас: Как Photosynth связывает фотографии
Filmed:
Readability: 4.3
5,831,957 views
Блез Агуэра-и-Аркас проводит блестящую демонстрацию Photosynth, программы, способной изменить наш взгляд на цифровые изображения. С помощью фотографий, взятых из Интернета, Photosynth создает волшебные, захватывающие дух фантазии, позволяя нам перемещаться среди них.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Прежде всего, как можно скорее,
я хочу представить вам
я хочу представить вам
00:27
is some foundational work, some new technology
1
2000
4000
одну серьезную работу,
новую технологию,
новую технологию,
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
которую мы предоставили Microsoft
как часть её приобретения
как часть её приобретения
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
почти год назад.
Это Seadragon («Морской дракон»).
Это Seadragon («Морской дракон»).
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
В этом режиме можно работать
00:40
interact with vast amounts of visual data.
5
15000
3000
с огромным количеством видеоинформации,
локально или удаленно.
локально или удаленно.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
Перед нашими глазами проходят
мириады гигабайт цифровых фотографий,
мириады гигабайт цифровых фотографий,
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
и мы можем незаметно
и непрерывно увеличивать изображение,
и непрерывно увеличивать изображение,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
горизонтально его прокручивать,
перестраивать его, как хотим.
перестраивать его, как хотим.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
Не имеет значения, сколько информации
проходит у нас перед глазами,
проходит у нас перед глазами,
00:56
how big these collections are or how big the images are.
10
31000
3000
насколько велики эти коллекции
или сами изображения.
или сами изображения.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
Большинство из них — это снимки,
сделанные обычным цифровым фотоаппаратом,
сделанные обычным цифровым фотоаппаратом,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
но вот эта, например, отсканирована
в Библиотеке Конгресса,
в Библиотеке Конгресса,
01:05
and it's in the 300 megapixel range.
13
40000
2000
она выполнена с разрешением
в 300 мегапикселей.
в 300 мегапикселей.
01:08
It doesn't make any difference
14
43000
1000
Но это не имеет никакого значения,
01:09
because the only thing that ought to limit the performance
15
44000
3000
потому что единственное,
что ограничивает эффективность
что ограничивает эффективность
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
подобной системы — это количество
пикселей на вашем экране
пикселей на вашем экране
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
в данный момент.
Это очень гибкая архитектура.
Это очень гибкая архитектура.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Вот целая книга, пример
данных без изображения.
данных без изображения.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
Это «Холодный дом» Диккенса.
Каждый столбец — это глава.
Каждый столбец — это глава.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
Чтобы доказать вам, что это
на самом деле текст, а не изображение,
на самом деле текст, а не изображение,
01:31
we can do something like so, to really show
21
66000
2000
мы можем сделать вот что,
чтобы действительно показать,
чтобы действительно показать,
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
что это настоящее представление текста;
это не рисунок.
это не рисунок.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
Может быть, читать электронную книгу
таким образом не совсем привычно.
таким образом не совсем привычно.
01:39
I wouldn't recommend it.
24
74000
1000
Я бы не советовал читать ее так.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
А это более удачный пример.
Это выпуск газеты Guardian.
Это выпуск газеты Guardian.
01:43
Every large image is the beginning of a section.
26
78000
2000
Каждое большое изображение —
это начало раздела.
это начало раздела.
01:45
And this really gives you the joy and the good experience
27
80000
3000
И так вы действительно почувствуете
радость и ощущение того,
радость и ощущение того,
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
что читаете настоящую печатную
версию журнала или газеты,
версию журнала или газеты,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
которая, по сути, является носителем
информации с разными масштабами.
информации с разными масштабами.
01:56
We've also done a little something
30
91000
1000
Мы кое-что сделали здесь, в уголке
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
этого выпуска Guardian.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Мы составили фиктивную рекламу
очень высокого разрешения,
очень высокого разрешения,
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
намного выше, чем в обычной рекламе,
02:05
and we've embedded extra content.
34
100000
2000
и вставили дополнительное содержание.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Если вы хотите увидеть характеристики
этой машины, они находятся вот здесь.
этой машины, они находятся вот здесь.
02:10
Or other models, or even technical specifications.
36
105000
4000
Или другие модели
или даже техническое описание.
или даже техническое описание.
02:15
And this really gets at some of these ideas
37
110000
2000
Здесь мы приблизились к тому, чтобы
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
покончить со всякими ограничениями
реального объема экрана.
реального объема экрана.
02:22
We hope that this means no more pop-ups
39
117000
2000
Мы надеемся, нам больше
не понадобятся всплывающие окна
не понадобятся всплывающие окна
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
и всякая подобная ерунда.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Конечно, один из способов
применения подобной технологии, что сразу
применения подобной технологии, что сразу
02:29
for a technology like this.
42
124000
2000
приходит на ум, — это составление карт.
02:31
And this one I really won't spend any time on,
43
126000
2000
Я не буду на этом останавливаться,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
просто скажу, что мы можем кое-что
привнести и в данную отрасль.
привнести и в данную отрасль.
02:37
But those are all the roads in the U.S.
45
132000
2000
Это все дороги США,
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
нанесенные поверх
геопространственного изображения NASA.
геопространственного изображения NASA.
02:44
So let's pull up, now, something else.
47
139000
2000
А сейчас давайте остановимся на другом.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Вот это сейчас размещено в сети в режиме
реального времени, вы можете сами посмотреть.
реального времени, вы можете сами посмотреть.
02:49
This is a project called Photosynth,
49
144000
1000
Этот проект называется
Photosynth («Фотосинтез»),
Photosynth («Фотосинтез»),
02:51
which really marries two different technologies.
50
146000
1000
он объединяет в себе
две различные технологии.
две различные технологии.
02:52
One of them is Seadragon
51
147000
1000
Одна из них — это Seadragon,
02:54
and the other is some very beautiful computer vision research
52
149000
2000
а вторая — прекрасное
исследование машинного зрения,
исследование машинного зрения,
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
выполненное Ноа Снейвли,
аспирантом университета Вашингтона,
аспирантом университета Вашингтона,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
его консультировали Стив Зейтц
из университета Вашингтона
из университета Вашингтона
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
и Рик Силински из Microsoft Research.
Просто прекрасная команда.
Просто прекрасная команда.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
Этот проект размещен в сети.
Поддерживается с помощью Seadragon.
Поддерживается с помощью Seadragon.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
Вы видите, что когда мы
используем эти режимы просмотра,
используем эти режимы просмотра,
03:12
where we can dive through images
58
167000
1000
мы можем проникать через изображения
03:14
and have this kind of multi-resolution experience.
59
169000
1000
и получаем эффект переменной
разрешающей способности.
разрешающей способности.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
Но пространственное расположение
изображений имеет определенный смысл.
изображений имеет определенный смысл.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Алгоритмы машинного зрения
зарегистрировали эти изображения
зарегистрировали эти изображения
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
таким образом, что они соответствуют
реальному пространству —
реальному пространству —
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
это было снято в районе озер Грасси
в канадских горах —
в канадских горах —
03:31
all these shots were taken. So you see elements here
64
186000
2000
где эти снимки были сделаны.
Вы видите элементы
Вы видите элементы
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
устойчивой покадровой
или панорамной визуализации,
или панорамной визуализации,
03:40
and these things have all been related spatially.
66
195000
2000
и всё это было связано в пространстве.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
Я не уверен, есть ли у меня время
показать вам другие режимы просмотра.
показать вам другие режимы просмотра.
03:45
There are some that are much more spatial.
68
200000
1000
Существуют режимы, которые
ещё лучше передают пространство.
ещё лучше передают пространство.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
Я хотел бы перейти к одному
из оригинальных наборов данных Ноа,
из оригинальных наборов данных Ноа,
03:50
and this is from an early prototype of Photosynth
70
205000
2000
они взяты из раннего прототипа Photosynth,
03:52
that we first got working in the summer --
71
207000
2000
с которым мы впервые начали работать летом,
03:54
to show you what I think
72
209000
1000
чтобы продемонстрировать вам
то, что я считаю
то, что я считаю
03:55
is really the punch line behind this technology,
73
210000
3000
действительно кульминационным
моментом в этой технологии,
моментом в этой технологии,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
технологии Photosynth.
Когда смотришь на режимы просмотра,
Когда смотришь на режимы просмотра,
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
предложенные нами на веб-сайте,
это не так заметно.
это не так заметно.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
Мы тогда переживали
по поводу юристов и так далее.
по поводу юристов и так далее.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Это реконструкция
собора Парижской Богоматери,
собора Парижской Богоматери,
04:09
that was done entirely computationally
78
224000
2000
полностью выполненная с помощью
компьютера на основе изображений,
компьютера на основе изображений,
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
собранных на сервисе Flickr. Вы просто
печатаете «Нотр-Дам» во Flickr’е,
печатаете «Нотр-Дам» во Flickr’е,
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
и получаете изображения ребят в футболках,
изображения студенческого городка
изображения студенческого городка
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
и так далее. А каждый из этих оранжевых
конусов представляет изображение,
конусов представляет изображение,
04:22
that was discovered to belong to this model.
82
237000
2000
относящееся к этой модели.
04:26
And so these are all Flickr images,
83
241000
2000
Это все изображения из Flickr’а,
04:28
and they've all been related spatially in this way.
84
243000
3000
таким образом, они все
были соединены пространственно.
были соединены пространственно.
04:31
And we can just navigate in this very simple way.
85
246000
2000
И навигация здесь очень проста.
04:35
(Applause)
86
250000
9000
(Аплодисменты).
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Вы знаете, я никогда не думал,
что буду работать в Microsoft.
что буду работать в Microsoft.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
Такой прием — это просто огромное
удовольствие для меня.
удовольствие для меня.
04:50
(Laughter)
89
265000
3000
(Смех)
04:53
I guess you can see
90
268000
3000
Думаю, вы видите,
04:56
this is lots of different types of cameras:
91
271000
2000
все это многообразие различных
видов фотоаппаратов:
видов фотоаппаратов:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
от камеры в мобильном телефоне
до профессиональных зеркальных фотоаппаратов,
до профессиональных зеркальных фотоаппаратов,
05:02
quite a large number of them, stitched
93
277000
1000
их много, и они соединены в этом
05:03
together in this environment.
94
278000
1000
режиме просмотра.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
Если получится,
я найду что-нибудь необычное.
я найду что-нибудь необычное.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Многие изображения перекрываются.
05:13
Somewhere in here there are actually
97
288000
1000
Тут где-то есть серия
05:15
a series of photographs -- here we go.
98
290000
1000
фотографий, а, вот они.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Это плакат собора Парижской Богоматери,
правильно зарегистрированный.
правильно зарегистрированный.
05:21
We can dive in from the poster
100
296000
2000
Из этого плаката мы можем перейти
05:24
to a physical view of this environment.
101
299000
3000
в физический ракурс этой среды.
05:31
What the point here really is is that we can do things
102
306000
3000
Дело в том, что мы можем
взаимодействовать с социальной средой.
взаимодействовать с социальной средой.
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
Брать данные у любого человека,
05:39
from the entire collective memory
104
314000
1000
из общей коллективной памяти,
05:40
of, visually, of what the Earth looks like --
105
315000
2000
чтобы видеть, как выглядит Земля,
05:43
and link all of that together.
106
318000
1000
и связывать всё это вместе.
05:44
All of those photos become linked together,
107
319000
2000
Все эти фотографии связаны вместе,
05:46
and they make something emergent
108
321000
1000
и из них возникает нечто большее,
05:47
that's greater than the sum of the parts.
109
322000
2000
чем просто сумма составляющих.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Вы постепенно получаете
модель целой планеты.
модель целой планеты.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Считайте, что это продолжение работы
Стивена Лоулера «Виртуальная Земля».
Стивена Лоулера «Виртуальная Земля».
05:56
And this is something that grows in complexity
112
331000
2000
Когда ее начинают использовать,
она становится всё сложнее,
она становится всё сложнее,
05:58
as people use it, and whose benefits become greater
113
333000
3000
в процессе её использования
06:01
to the users as they use it.
114
336000
2000
увеличиваются её преимущества.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Фотографии пользователей
связываются с метаданными,
связываются с метаданными,
06:05
that somebody else entered.
116
340000
1000
которые ввел кто-то другой.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Если кто-то ввел информацию
обо всех этих святых,
обо всех этих святых,
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
указал, кто они такие, тогда моя фотография
собора Парижской Богоматери
собора Парижской Богоматери
06:13
suddenly gets enriched with all of that data,
119
348000
2000
внезапно обогащается всеми этими данными,
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
и я могу ее использовать как точку входа
для погружения в это пространство,
для погружения в это пространство,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
в эту метавселенную,
используя фотографии других людей
используя фотографии других людей
06:21
and do a kind of a cross-modal
122
356000
2000
и, таким образом,
приобретя перекрестно-модальный
приобретя перекрестно-модальный
06:25
and cross-user social experience that way.
123
360000
3000
и перекрестно-пользовательский
социальный опыт.
социальный опыт.
06:28
And of course, a by-product of all of that
124
363000
1000
И, конечно, побочный
результат всего этого —
результат всего этого —
06:30
is immensely rich virtual models
125
365000
2000
это виртуальные модели
любой интересующей части Земли
любой интересующей части Земли
06:32
of every interesting part of the Earth, collected
126
367000
2000
с чрезвычайно богатым содержанием,
собранные не только
собранные не только
06:35
not just from overhead flights and from satellite images
127
370000
3000
со съемок местности
и изображений со спутника
и изображений со спутника
06:38
and so on, but from the collective memory.
128
373000
2000
и из всего такого прочего,
но и из коллективной памяти.
но и из коллективной памяти.
06:40
Thank you so much.
129
375000
2000
Большое спасибо.
06:42
(Applause)
130
377000
11000
(Аплодисменты)
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Крис Андерсон: Я правильно понимаю?
Ваше программное обеспечение позволит
Ваше программное обеспечение позволит
06:58
is that at some point, really within the next few years,
132
393000
2000
когда-нибудь, уже в ближайшие несколько лет,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
по существу, связать воедино
все изображения,
все изображения,
07:05
are going to basically link together?
134
400000
2000
которые кто-либо размещал
в сети во всем мире?
в сети во всем мире?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
БАА: Да. Программа их находит.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
То есть создает гиперссылки,
если угодно, между изображениями.
если угодно, между изображениями.
07:12
And it's doing that
137
407000
1000
Программа делает это,
07:13
based on the content inside the images.
138
408000
1000
основываясь на содержимом изображений.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
Это просто потрясающе,
если вы подумаете о богатстве
если вы подумаете о богатстве
07:17
of the semantic information that a lot of those images have.
140
412000
2000
семантической информации, которой
обладают большинство из этих изображений.
обладают большинство из этих изображений.
07:19
Like when you do a web search for images,
141
414000
2000
Например, когда вы
ищете изображения в сети,
ищете изображения в сети,
07:22
you type in phrases, and the text on the web page
142
417000
2000
вы набираете фразы,
а текст на веб-странице
а текст на веб-странице
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
содержит большое количество
информации об этом изображении.
информации об этом изображении.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
А что если это изображение связано
со всеми вашими изображениями?
со всеми вашими изображениями?
07:29
Then the amount of semantic interconnection
145
424000
2000
Тогда количество семантических взаимосвязей
07:31
and the amount of richness that comes out of that
146
426000
1000
и весь тот объем информации,
который вы получите,
который вы получите,
07:32
is really huge. It's a classic network effect.
147
427000
3000
становится просто огромным.
Это классический сетевой эффект.
Это классический сетевой эффект.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
КА: Блейз, это просто невероятно.
Я вас поздравляю.
Я вас поздравляю.
07:37
BAA: Thanks so much.
149
432000
1000
БАА: Огромное спасибо.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com