TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
블레즈 아게라 이 아카스의 포토신스 데모
Filmed:
Readability: 4.3
5,831,957 views
블레즈 아게라 이 아카스가 우리가 보는 디지털 이미지의 관념을 완전히 바꾸어 놓을 소프트웨어 포토신스의 데모를 보여준다. 웹에 있는 스틸 사진을 통해 포토신스는 초현실적인 이미지들을 만들고 우리로 하여금 그것들을 탐색해 보게 한다.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
먼저, 가능한 한 빨리, 보여드릴 것은,
00:27
is some foundational work, some new technology
1
2000
4000
거의 정확히 일 년 전에 합병의 일환으로
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
우리가 마이크로소프트에 가지고 갔던
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
어떤 기초 작업, 신기술입니다.
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
여러분이 현지에서나 원거리에서나
00:40
interact with vast amounts of visual data.
5
15000
3000
막대한 양의 시각 데이터로 상호 작용할 수 있는 환경입니다.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
여기서 우리는 상당히 많은 기가바이트의 디지털 사진들을 보고 있고,
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
이음새없이 아주 매끄럽고 연속적으로 줌 인해 들어가고,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
다른 쪽으로 패닝하고, 우리가 원하는 어떤 식으로든 재배치를 할 수 있습니다.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
우리가 얼마나 많은 정보를 보고 있는지,
00:56
how big these collections are or how big the images are.
10
31000
3000
이 컬렉션이 정말 얼마나 큰 지, 이미지들이 얼마나 큰 지는 그리 중요하지 않습니다.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
이중 대부분은 평범한 디지털 카메라 사진들입니다.
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
하지만, 예를 들어, 이것은 국회도서관에서 스캔한 것입니다.
01:05
and it's in the 300 megapixel range.
13
40000
2000
거의 300 메가픽셀 짜리입니다.
01:08
It doesn't make any difference
14
43000
1000
그래도 별 차이가 없습니다.
01:09
because the only thing that ought to limit the performance
15
44000
3000
이와 같은 시스템의 성능을 제한하는 유일한 요소는
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
그 순간 화면의 픽셀수입니다.
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
또한 이것은 아주 유연한 아키텍처입니다.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
이것은 비이미지 데이터의 예로서, 책 전체입니다.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
이것은 디킨즈의 "황량한 집"입니다. 각 열이 한 챕터입니다.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
이게 이미지가 아닌 실제 텍스트라는 걸 증명해 드리기 위해
01:31
we can do something like so, to really show
21
66000
2000
이런 작업도 할 수 있습니다. 이게 그림이 아니고
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
정말로 텍스트의 표현이라는 것을 보여드리기 위해서 말이죠.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
어쩌면 이것은 e-북을 읽는 일종의 인위적인 방법이라고 할 수 있습니다.
01:39
I wouldn't recommend it.
24
74000
1000
추천해 드리지는 않겠습니다.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
이것은 좀더 현실적인 경우입니다. 이건 가디언 잡지입니다.
01:43
Every large image is the beginning of a section.
26
78000
2000
큰 이미지들은 섹션의 시작입니다.
01:45
And this really gives you the joy and the good experience
27
80000
3000
이것은 정말 여러분께 진짜 종이로 된 잡지나 신문을 읽는
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
기쁨과 좋은 경험을 전해드립니다.
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
원래가 다중스케일 유형의 매체거든요.
01:56
We've also done a little something
30
91000
1000
또한 바로 이번호의 가디언 구석에
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
작은 작업 하나를 해 놓았습니다.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
아주 고해상도로 위조 광고를 만들었지요--
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
보통 광고에서 보실 수 있는 것보다 훨씬 더 고해상도로--
02:05
and we've embedded extra content.
34
100000
2000
그리고 추가 컨텐츠를 내장해 넣었습니다.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
이 자동차의 특징을 보고 싶으시면, 여기서 보실 수 있습니다.
02:10
Or other models, or even technical specifications.
36
105000
4000
아니면 다른 모델들, 또는 기술 사양까지도.
02:15
And this really gets at some of these ideas
37
110000
2000
인터넷 부동산에서 정말 그 한계를 없애는 것에 대해
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
이런 아이디어를 얻습니다.
02:22
We hope that this means no more pop-ups
39
117000
2000
이것으로 인해 더이상 팝업창이나
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
이런 저런 쓸데없는 것들이 더 뜨지 않기를 바랍니다. 필요없으니까요.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
물론, 이런 기술에는 지도 작업이 가장 확실한
02:29
for a technology like this.
42
124000
2000
응용 프로그램 중 하나입니다.
02:31
And this one I really won't spend any time on,
43
126000
2000
그리고 여기에는 정말 시간을 쓰지 않겠습니다.
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
단, 이 말씀만 드리고 싶어요. 저희는 이 분야에 기여할 만한 것도 가지고 있습니다.
02:37
But those are all the roads in the U.S.
45
132000
2000
저것들은 미국의 모든 길들을
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
NASA 지리공간 자료 위에 겹친 이미지입니다.
02:44
So let's pull up, now, something else.
47
139000
2000
이제 세워놓고, 다른 것을 볼까요?
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
지금 웹에서 라이브 중이니, 가서 확인해 보실 수 있습니다.
02:49
This is a project called Photosynth,
49
144000
1000
이것은 포토신스라고 부르는 프로젝트입니다.
02:51
which really marries two different technologies.
50
146000
1000
두 가지 다른 기술들이 정말 합쳐집니다.
02:52
One of them is Seadragon
51
147000
1000
그 중 하나는 씨드래곤입니다.
02:54
and the other is some very beautiful computer vision research
52
149000
2000
다른 것은 아주 아름다운 컴퓨터 비전 연구입니다.
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
워싱턴대학교 대학원생인 노아 스네이블리가 만든 것인데,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
워싱턴대학교의 스티브 스타이츠와
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
마이크로소프트 리서치의 릭 첼리스키의 공동 지도를 받았지요. 참 멋진 협력입니다.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
그리고 웹에서 라이브로 볼 수 있습니다. 씨드래곤이 지원하고 있습니다.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
우리는 이런 종류의 것들을 볼 때
03:12
where we can dive through images
58
167000
1000
이미지 속으로 깊이 들어갈 수 있고
03:14
and have this kind of multi-resolution experience.
59
169000
1000
이런 종류의 다중 해상도 경험을 갖게 됩니다.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
그러나 여기서 이미지들의 공간적인 배치가 사실 의미있습니다.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
컴퓨터 비전 알고리듬은 이 이미지들을 함께 등록했고,
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
그래서 이 이미지들은 캐나다 록키산맥의 그래시 호수 근처--
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
이 사진들이 찍힌 진짜 공간과 일치합니다.
03:31
all these shots were taken. So you see elements here
64
186000
2000
여기서 안정화된 슬라이드 쇼나
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
전방위 영상 시스템의 요소들,
03:40
and these things have all been related spatially.
66
195000
2000
이것들은 모두 공간적으로 연결되어 있습니다.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
다른 환경들을 보여드릴 시간이 될 지 잘 모르겠습니다.
03:45
There are some that are much more spatial.
68
200000
1000
훨씬 더 공간적인 것들이 있습니다.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
막바로 노아의 원래 데이터 세트 중 하나에 대해 얘기할까 합니다.
03:50
and this is from an early prototype of Photosynth
70
205000
2000
이것은 포토신스의 초기 원형에서 비롯된 것인데,
03:52
that we first got working in the summer --
71
207000
2000
여름에 우리가 처음 작업하게 되었던 것입니다.
03:54
to show you what I think
72
209000
1000
이게 바로 이 기술, 포토신스 기술 뒤에 숨어 있는
03:55
is really the punch line behind this technology,
73
210000
3000
핵심을 찌르는 것이라고 생각합니다. 이것을 보여드리고 싶습니다.
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
우리가 웹사이트에 올려놓는 환경을 볼 때
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
그렇게 분명할 필요는 없습니다.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
우리는 변호사 등에 대해 걱정해야 했습니다.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
이것은 노틀담 대성당을
04:09
that was done entirely computationally
78
224000
2000
플릭커에서 스크랩한 이미지들을 가지고
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
전적으로 수학적으로 재구성한 것입니다. 플릭커에 노틀담이라고만 치면,
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
티셔츠 입은 사람들, 캠퍼스의 사람들 사진 등이 나옵니다.
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
이 오렌지 원뿔 하나 하나가 이 모델에 속하는 것으로 발견된
04:22
that was discovered to belong to this model.
82
237000
2000
이미지를 나타냅니다.
04:26
And so these are all Flickr images,
83
241000
2000
그리고 이것들은 모두 플릭커 이미지입니다.
04:28
and they've all been related spatially in this way.
84
243000
3000
모두 이런 식으로 서로 공간적으로 관련되어 있습니다.
04:31
And we can just navigate in this very simple way.
85
246000
2000
이렇게 아주 간단한 방법으로 네비게이션을 할 수 있습니다.
04:35
(Applause)
86
250000
9000
(박수).
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
저는 제가 결국 마이크로소프트에서 일하게 될 것이라고는 생각해 본 적이 없습니다.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
여기서 이런 식의 접대를 받다니 너무나 감사합니다.
04:50
(Laughter)
89
265000
3000
(웃음).
04:53
I guess you can see
90
268000
3000
여러분은 수많은 종류의 많은 카메라들을
04:56
this is lots of different types of cameras:
91
271000
2000
보실 수 있을 것입니다.
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
핸드폰 카메라에서부터 전문가용 SLR에 이르기까지 다양합니다.
05:02
quite a large number of them, stitched
93
277000
1000
꽤 많은 수의 사진들을 이 환경에
05:03
together in this environment.
94
278000
1000
함께 짜넣었습니다.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
가능하다면, 저는 이상한 종류의 것들을 찾을 것입니다.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
많은 것들이 얼굴로 가려져 있습니다.
05:13
Somewhere in here there are actually
97
288000
1000
여기 저기는 사실
05:15
a series of photographs -- here we go.
98
290000
1000
일련의 사진들입니다 - 여기 있네요.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
이것이 실제로 정확하게 등록된 노틀담 포스터입니다.
05:21
We can dive in from the poster
100
296000
2000
우리는 포스터로부터
05:24
to a physical view of this environment.
101
299000
3000
이 환경의 물리적인 광경으로 깊이 잠수할 수 있습니다.
05:31
What the point here really is is that we can do things
102
306000
3000
여기서 진짜 중요한 것은 우리가 사회적인 환경으로도 이런 것들을
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
할 수 있다는 것입니다. 이것은 모든 사람으로부터 데이터를 취하고 있습니다.
05:39
from the entire collective memory
104
314000
1000
시각적으로, 지구처럼 보이는 것의
05:40
of, visually, of what the Earth looks like --
105
315000
2000
전체적인 집단 기억으로부터--
05:43
and link all of that together.
106
318000
1000
그리고 모든 것들을 연결시킵니다.
05:44
All of those photos become linked together,
107
319000
2000
이 모든 사진들이 서로 연결되고,
05:46
and they make something emergent
108
321000
1000
부분들의 총합보다 훨씬 큰
05:47
that's greater than the sum of the parts.
109
322000
2000
것이 나타나도록 합니다.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
지구 전체에서 나타나는 모델입니다.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
이것을 스티븐 롤러의 시각적 지구 작품의 긴 꼬리라고 생각하세요.
05:56
And this is something that grows in complexity
112
331000
2000
사람들이 이용할 때, 그 복합성이
05:58
as people use it, and whose benefits become greater
113
333000
3000
더 커지는 것이고, 사용자들이 사용할 때,
06:01
to the users as they use it.
114
336000
2000
혜택이 더 커지는 것입니다.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
자기가 찍은 사진들이 다른 누군가가 입력한
06:05
that somebody else entered.
116
340000
1000
메타 데이타라는 태그를 갖게 됩니다.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
누군가가 이 모든 성인들에게 태그를 붙이는 것이 귀찮고,
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
도대체 이게 다 누구냐고 한다면, 제 사진 노틀담 대성당이
06:13
suddenly gets enriched with all of that data,
119
348000
2000
갑자기 나타나 그 모든 데이터를 풍성하게 만들고
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
저는 그 공간 깊은 곳으로,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
메타-시 깊은 곳으로, 다른 사람의 사진들을 이용하여,
06:21
and do a kind of a cross-modal
122
356000
2000
깊이 잠수해 갈 시작점으로 이용할 수 있습니다.
06:25
and cross-user social experience that way.
123
360000
3000
그런 식으로 상호 사용자 사회 경험이 됩니다.
06:28
And of course, a by-product of all of that
124
363000
1000
물론, 그 모든 것의 부산물은
06:30
is immensely rich virtual models
125
365000
2000
지구의 모든 흥미로운 부분의
06:32
of every interesting part of the Earth, collected
126
367000
2000
엄청나게 풍요로운 버추얼 모델들입니다.
06:35
not just from overhead flights and from satellite images
127
370000
3000
머리 위를 지나가는 비행기나 위성 이미지들에서 수합한 것이 아니라
06:38
and so on, but from the collective memory.
128
373000
2000
집단적인 기억에서 수합한 것입니다.
06:40
Thank you so much.
129
375000
2000
대단히 감사합니다.
06:42
(Applause)
130
377000
11000
(박수).
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
크리스 앤더슨: 제가 제대로 이해를 하고 있나요? 말씀하신 소프트웨어가
06:58
is that at some point, really within the next few years,
132
393000
2000
어떤 시점에서, 정말 앞으로 몇 년 내에,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
전세계에서 누구나 공유하는 모든 사진들이
07:05
are going to basically link together?
134
400000
2000
기본적으로 서로 연결되도록 해줄 것이라는 건가요?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
BAA: 예. 이것이 실제로 하고 있는 것은 발견하는 것입니다.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
그리고 이미지들 간에 하이퍼링크를 만드는 것입니다.
07:12
And it's doing that
137
407000
1000
이미지 내부에 있는 컨텐츠를 기반으로
07:13
based on the content inside the images.
138
408000
1000
그렇게 하는 것입니다.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
그 수많은 이미지들이 가지고 있는 의미론적인 정보의
07:17
of the semantic information that a lot of those images have.
140
412000
2000
풍요로움에 대해 생각해 보시면 정말 흥분하게 됩니다.
07:19
Like when you do a web search for images,
141
414000
2000
이미지를 찾아 웹검색을 할 때처럼,
07:22
you type in phrases, and the text on the web page
142
417000
2000
원하는 구절을 입력합니다. 웹페이지의 텍스트가
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
그 사진이 무엇인지에 대해 수많은 정보를 담고 있습니다.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
이제, 그 사진이 여러분의 사진 모두와 연결되면 어떻게 될까요?
07:29
Then the amount of semantic interconnection
145
424000
2000
그러면, 의미론적인 상호 연결의 양과
07:31
and the amount of richness that comes out of that
146
426000
1000
그로부터 나오는 풍요로움의 양이
07:32
is really huge. It's a classic network effect.
147
427000
3000
정말로 막대합니다. 고전적인 네트워크 효과입니다.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
크리스 앤더슨: 블레즈, 정말 놀랍습니다. 축하합니다.
07:37
BAA: Thanks so much.
149
432000
1000
BAA: 대단히 감사합니다.
Reviewed by John Lynch
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com