TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Блeйз Агера и Аркас показва Фотосинт
Filmed:
Readability: 4.3
5,831,957 views
Блeйз Агера и Аркас показва това зашеметяващо демо на Фотосинт, софтуер, който може да промени начина, по който гледаме на цифровите изображения. Използвайки неподвижни снимки подбрани от Интернет, Фотосинт създава приказни пейзажи и ни позволява да ги обикаляме.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Това което ще Ви покажа първо, набързо,
00:27
is some foundational work, some new technology
1
2000
4000
е в известна степен основополагаща работа, една нова технология
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
която донесохме в Майкрософт, като част от една покупка
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
от преди точно една година. Това е Сиидрагън (Водно конче)
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
Представлява среда, в която можете отблизо или отдалечено,
00:40
interact with vast amounts of visual data.
5
15000
3000
да разглеждате големи обеми от визуална информация.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
В момента виждате много, много гигабайта цифрови снимки
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
с плавно и непрекъснато увеличение,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
преместване и преподреждане по всевъзможни начини.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
Няма значение обема на информацията, която преглеждаме,
00:56
how big these collections are or how big the images are.
10
31000
3000
колко са големи тези колекции, или колко са големи тези изображения.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
Повечето са снимки от обикновена цифрова камера,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
но това например, е сканирано от библиотеката на Конгреса,
01:05
and it's in the 300 megapixel range.
13
40000
2000
и е от порядъка на 300 мегапиксела.
01:08
It doesn't make any difference
14
43000
1000
Няма никакво значение,
01:09
because the only thing that ought to limit the performance
15
44000
3000
защото единственото нещо, което ограничава скоростта
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
на система като тази, е броя на точките на екрана
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
във всеки даден момент. Също така това е много гъвкава архитектура.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Това е една цяла книга, като пример за не-снимкови данни.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
Това е "Студеният дом" на Дикенс. Всяка колона е глава.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
За да ви покажа, че това е наистина текст, а не изображение,
01:31
we can do something like so, to really show
21
66000
2000
мога да направя нещо такова, което наистина показва,
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
че това е истинско представяне на текста - не е снимка.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
Може би това е леко измислен начин за четене на книги.
01:39
I wouldn't recommend it.
24
74000
1000
Не бих ви го препоръчал.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
Това е по-реалистичен случай. Това е брой на Гардиън.
01:43
Every large image is the beginning of a section.
26
78000
2000
Всяко голямо изображение е начало на раздел.
01:45
And this really gives you the joy and the good experience
27
80000
3000
И това наистина носи удоволствие и приятно усещане
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
за четене на хартиеното издание на списание или вестник,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
които са среда с различни размери.
01:56
We've also done a little something
30
91000
1000
Също така направихме нещо дребно
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
в ъгъла на този брой на Гардиън.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Фалшифицирахме една реклама с много висока разделителна способност -
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
много по-висока отколко можете да видите в обикновена реклама -
02:05
and we've embedded extra content.
34
100000
2000
и й добавихме допълнително съдържание.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Ако искате да видите данните за тази кола, можете да ги видите тук.
02:10
Or other models, or even technical specifications.
36
105000
4000
Или други модели, или техническите им характеристики.
02:15
And this really gets at some of these ideas
37
110000
2000
Това наистина показва някои от тези идеи,
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
за това, как можем да се справим с ограниченията в размера на екрана.
02:22
We hope that this means no more pop-ups
39
117000
2000
Надяваме се, това да означава край на изкачащите реклами
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
и на други подобни глупости - не би трябвало да са необходими.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Разбира се, картографирането е едно от тези очевидни приложения
02:29
for a technology like this.
42
124000
2000
за технология като тази.
02:31
And this one I really won't spend any time on,
43
126000
2000
На тази няма да отделям много време,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
освен да кажа, че имаме какво да допринесем и в тази област.
02:37
But those are all the roads in the U.S.
45
132000
2000
Това са всички пътища в САЩ
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
нанесени върху сателитна снимка на НАСА.
02:44
So let's pull up, now, something else.
47
139000
2000
Нека да погледнем сега нещо друго.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Това е качено в Инернет в момента; можете да го погледнете.
02:49
This is a project called Photosynth,
49
144000
1000
Този проект се нарича Фотосинт,
02:51
which really marries two different technologies.
50
146000
1000
и свързва две различни технологии.
02:52
One of them is Seadragon
51
147000
1000
Едната от тях е Сиидрагън
02:54
and the other is some very beautiful computer vision research
52
149000
2000
а другата е едно чудесно изследване на компютърното зрение
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
направено от Ноа Снейвли, студент във Вашингтонския университет,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
с ко-ръководители Стиив Сейц пак оттам
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
и Рик Сзелиски от Майкрософт Рисърч. Много добро сътрудничество.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
И така това е качено в Интернет. Базирано е на Сиидрагън.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
Виждате как, като показваме тези изгледи,
03:12
where we can dive through images
58
167000
1000
можем да се потопим в снимките
03:14
and have this kind of multi-resolution experience.
59
169000
1000
и да получим това много-разделително усещане.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
Но пространственото подреждане на образите тук е от значение.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Алгоритмите за комютърно зрение са подредили тези образи заедно,
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
за да отговарят на действителното пространство, в което тези снимки -
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
всички направени близо до езерата Граси (Grassi) в канадските Скалисти планини -
03:31
all these shots were taken. So you see elements here
64
186000
2000
са направени. И така, тук виждате елементи
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
от стабилизирана презентация или панорамно изобразяване.
03:40
and these things have all been related spatially.
66
195000
2000
и тези образи са ориентирани в пространството.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
Не съм сигурен дали имам време да ви покажа някои други места.
03:45
There are some that are much more spatial.
68
200000
1000
Има някои, които са много по-пространствени.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
Искам да мина направо към един от началните набори на Ноа -
03:50
and this is from an early prototype of Photosynth
70
205000
2000
и този е от ранен прототип на Фотосинт,
03:52
that we first got working in the summer --
71
207000
2000
който подкарахме през лятото -
03:54
to show you what I think
72
209000
1000
за да ви покажа, това което мисля,
03:55
is really the punch line behind this technology,
73
210000
3000
е основата на тази технология,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
технологията на Фотосинт. И тя не е задължително видима
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
от местата, които сме сложили на уебсайта.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
Трябваше да се съобразим с адвокатите и други такива.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Това е реконструкция на катедралата Св. Богородица,
04:09
that was done entirely computationally
78
224000
2000
която е направена изцяло с изчисления
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
на база на снимки свалени от Фликр. Ако просто напишете "Notre Dame" във Фликр
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
ще получите снимки на хора по тениски, на университета
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
и така нататък. И всеки един от оранжевите конуси представя изображение
04:22
that was discovered to belong to this model.
82
237000
2000
което е маркирано, като принадлежащо към този модел.
04:26
And so these are all Flickr images,
83
241000
2000
И така, това всичко са снимки от Фликр,
04:28
and they've all been related spatially in this way.
84
243000
3000
и те са подредени в пространството по този начин.
04:31
And we can just navigate in this very simple way.
85
246000
2000
И така можем да навигираме по този прост начин.
04:35
(Applause)
86
250000
9000
(Аплодисменти)
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Знаете ли, никога не съм си представял, че един ден ще работя в Майкрософт.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
Много е удовлетворително да получа такова посрещане тук.
04:50
(Laughter)
89
265000
3000
(Смях)
04:53
I guess you can see
90
268000
3000
Предполагам можете да видите,
04:56
this is lots of different types of cameras:
91
271000
2000
че това са много различни видове фотоапарати:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
всичко - от камери на мобилни телефони до професионални апрати,
05:02
quite a large number of them, stitched
93
277000
1000
доста голям брой от тях, свързани
05:03
together in this environment.
94
278000
1000
заедно на това място.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
И ако мога да намеря, ще ви покажа някои странни.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Много от тях са закрити от лица, или нещо друго.
05:13
Somewhere in here there are actually
97
288000
1000
Някъде тук имаме
05:15
a series of photographs -- here we go.
98
290000
1000
серия от фотографии - ето ги.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Това всъщност е постер на Св. Богородица с правилно разположение.
05:21
We can dive in from the poster
100
296000
2000
Можем да се потопим от постера
05:24
to a physical view of this environment.
101
299000
3000
до физическия изглед на мястото.
05:31
What the point here really is is that we can do things
102
306000
3000
Основната идея тук е, че можем да правим неща от
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
социалната среда. Сега може да получим данни от всеки -
05:39
from the entire collective memory
104
314000
1000
от цялото съвместно съзнание
05:40
of, visually, of what the Earth looks like --
105
315000
2000
от, визуално, това което представлява Земята -
05:43
and link all of that together.
106
318000
1000
и ни свързва всички заедно.
05:44
All of those photos become linked together,
107
319000
2000
И всички тези снимки стават свързани заедно,
05:46
and they make something emergent
108
321000
1000
и се получава нещо неочаквано,
05:47
that's greater than the sum of the parts.
109
322000
2000
което е по-голямо от сумата на своите части.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Имате модел, който се създава от цялата Земя.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Можете да мислите за това като за "дългата опашка" на Виртуалната Земя на Стивън Лоулер.
05:56
And this is something that grows in complexity
112
331000
2000
И това е нещо, което нараства по сложност
05:58
as people use it, and whose benefits become greater
113
333000
3000
когато хората го използват, и чиито ползи нарастват
06:01
to the users as they use it.
114
336000
2000
за потребителите му, докато го използват.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Техните собствени снимки биват маркирани с мета-данни
06:05
that somebody else entered.
116
340000
1000
които някой друг е въвел.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Ако някой друг се е постарал да отбележи всички тези светци
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
и да каже кои са те, след това моята снимка на катедралата Св. Богородица
06:13
suddenly gets enriched with all of that data,
119
348000
2000
изведнъж се обогатява с цялата тази информция,
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
и аз мога да я използвам като отправна точка да се потопя в това място
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
в тази мета-вселена, използвайки снимките на всички останали,
06:21
and do a kind of a cross-modal
122
356000
2000
и да получа един вид междуформено
06:25
and cross-user social experience that way.
123
360000
3000
и междупотребителско социално изживяване.
06:28
And of course, a by-product of all of that
124
363000
1000
И разбира се, като страничен ефект от това
06:30
is immensely rich virtual models
125
365000
2000
са изключително богатите виртуални модели
06:32
of every interesting part of the Earth, collected
126
367000
2000
от всяко интересно кътче на Земята, събрано
06:35
not just from overhead flights and from satellite images
127
370000
3000
не само от самолетни и спътникови снимки
06:38
and so on, but from the collective memory.
128
373000
2000
и т.н., но и от съвкупната памет.
06:40
Thank you so much.
129
375000
2000
Много благодаря.
06:42
(Applause)
130
377000
11000
(Аплодисменти)
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Крис Андерсън: Дали разбрах правилно? Това което твоя софтуер ще позволи
06:58
is that at some point, really within the next few years,
132
393000
2000
е, че в даден момент, през следващите няколко години,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
всички снимки споделени от всеки по света
07:05
are going to basically link together?
134
400000
2000
ще бъдат свързани заедно?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
БАА: Да. Това което правим е откриване.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
Създаваме хипервръзки, ако искате, между изображения.
07:12
And it's doing that
137
407000
1000
И го правим,
07:13
based on the content inside the images.
138
408000
1000
на базата на съдържанието на тези изображения.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
И това е доста вълнуващо, когато се замислите за богатството
07:17
of the semantic information that a lot of those images have.
140
412000
2000
на семантичната информация, която доста от тези снимки имат.
07:19
Like when you do a web search for images,
141
414000
2000
Например когато търсите в интернет за снимки,
07:22
you type in phrases, and the text on the web page
142
417000
2000
пишете фрази, и текста на уеб страницата
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
носи много информация за това какво е на картинката.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
А какво би станало, ако тази картинка е свързана с всички ваши снимки?
07:29
Then the amount of semantic interconnection
145
424000
2000
Тогава обема на семантичната взаимосвързаност
07:31
and the amount of richness that comes out of that
146
426000
1000
и обема на богатството, което идва от това
07:32
is really huge. It's a classic network effect.
147
427000
3000
е наистина огромен. Класическия мрежов ефект.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
KA: Блейз, това е наистина невероятно. Поздравления.
07:37
BAA: Thanks so much.
149
432000
1000
БАА: Много благодаря.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com