TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Blaise Aguera y Arcas demonstriert Photosynth
Filmed:
Readability: 4.3
5,831,957 views
Blaise Aguera y Arcas gibt eine umwerfende Demonstration von Photosynth, einer Software, die unsere Sicht auf digitale Bilder transformieren könnte. Photos benutzend, die aus dem Web ausgewählt wurden, baut Photosynth atemberaubende Traumgebilde und lässt uns diese navigieren.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Was ich Ihnen zuerst, so schnell wie möglich, zeigen werde,
00:27
is some foundational work, some new technology
1
2000
4000
ist die grundlegende Arbeit, eine neue Technologie,
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
die wir Microsoft als Teil einer Übernahme
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
vor genau einem Jahr, übergeben haben. Das ist Seadragon.
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
Und es ist eine Umgebung, in der Sie entweder lokal oder entfernt
00:40
interact with vast amounts of visual data.
5
15000
3000
mit riesigen Mengen von visuellen Daten umgehen können.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
Wir sehen viele, viele Gigabytes an digitalen Fotos hier,
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
die man nahtlos und fortwährend heranholen,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
schwenken, auf jegliche Weise neu arrangieren kann.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
Und es ist egal, wie viele Informationen wir betrachten,
00:56
how big these collections are or how big the images are.
10
31000
3000
wie groß diese Sammlungen sind oder wie groß die Bilder sind.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
Die meisten von ihnen sind digitale Photos einer Kamera,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
aber dieses hier ist zum Beispiel ein Scan von der Kongressbibliothek
01:05
and it's in the 300 megapixel range.
13
40000
2000
und es ist in einem Bereich von 300 Megapixeln.
01:08
It doesn't make any difference
14
43000
1000
Es macht keinen Unterschied,
01:09
because the only thing that ought to limit the performance
15
44000
3000
denn das einzige, was die Leistung eines
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
Systems wie diesem einschränken kann, ist die Anzahl an Pixeln auf Ihrem Bildschirm in
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
jedem Moment. Es hat auch eine sehr flexible Architektur.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Dies ist ein ganzes Buch, ein Beispiel für Nichtbild-Daten.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
Das ist Bleak House von Dickens. Jede Spalte ist ein Kapitel.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
Um zu beweisen, dass es sich wirklich um einen Text und nicht um ein Bild handelt,
01:31
we can do something like so, to really show
21
66000
2000
können wir etwas wie das tun, um wirklich zu zeigen,
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
dass diese eine echte Repräsentation des Texts und kein Bild ist.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
Vielleicht ist dies eine künstliche Art, ein E-Buch zu lesen.
01:39
I wouldn't recommend it.
24
74000
1000
Ich würde es nicht empfehlen.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
Dies ist ein realistischerer Fall. Dies ist eine Ausgabe von The Guardian.
01:43
Every large image is the beginning of a section.
26
78000
2000
Jedes große Bild ist der Beginn eines Abschnitts.
01:45
And this really gives you the joy and the good experience
27
80000
3000
Und das gibt Ihnen wirklich das Vergnügen und die gute Erfahrung
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
eine echte Papierausgabe einer Zeitschrift oder einer Zeitung zu lesen,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
was an sich eine Art Medium mit mehreren Größenordnungen ist.
01:56
We've also done a little something
30
91000
1000
Wir haben auch etwas an der
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
Ecke dieser speziellen Ausgabe des The Guardian gemacht.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Wir haben eine falsche Anzeige mit sehr hoher Resolution entworfen,
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
die viel höher als bei einer normalen Anzeige ist
02:05
and we've embedded extra content.
34
100000
2000
und wir haben zusätzlichen Inhalt hinzugefügt.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Wenn Sie die Funktionen dieses Autos sehen möchten, können Sie sie hier sehen.
02:10
Or other models, or even technical specifications.
36
105000
4000
Oder andere Modelle, oder sogar technische Spezifikationen.
02:15
And this really gets at some of these ideas
37
110000
2000
Und dies greift wirklich diese Ideen
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
auf, diese Beschränkungen für den verfügbaren Platz auf dem Bildschirm abzuschaffen.
02:22
We hope that this means no more pop-ups
39
117000
2000
Wir hoffen, dass das keine Pop-Ups und
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
anderen Unsinn mehr bedeutet - das sollte nicht notwendig sein.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Natürlich ist das Mapping eine der wirklich offensichtlichen Anwendungen
02:29
for a technology like this.
42
124000
2000
für eine Technologie wie diese.
02:31
And this one I really won't spend any time on,
43
126000
2000
Und ich möchte hier wirklich nicht viel Zeit verbringen,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
außer zu sagen, dass wir auch zu diesem Bereich beitragen werden.
02:37
But those are all the roads in the U.S.
45
132000
2000
Aber dies sind alle Straßen in den U.S.A.
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
übereinandergelagert oben auf dem erdräumlichen Bild der NASA.
02:44
So let's pull up, now, something else.
47
139000
2000
Lassen Sie uns jetzt etwas anderes herausholen.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Das ist jetzt sogar live im Internet. Sie können es nachprüfen.
02:49
This is a project called Photosynth,
49
144000
1000
Dies ist ein Projekt mit dem Namen Photosynth,
02:51
which really marries two different technologies.
50
146000
1000
das wirklich zwei verschiedene Technologien miteinander verbindet.
02:52
One of them is Seadragon
51
147000
1000
Die eine ist Seadragon
02:54
and the other is some very beautiful computer vision research
52
149000
2000
und die andere ist eine sehr gute Forschung über Computervision,
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
die von Noah Snavely, einem Universitätsstudenten der Universität Washington, unter der
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
Beratung von Steve Seitz an der UW
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
und Rick Szeliski von Microsoft Forschung durchgeführt wurde. Eine sehr gute Zusammenarbeit.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
Also dies ist live im Internet. Es wird von Seadragon angetrieben.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
Sie können das sehen, wenn wir diese Art von Ansichten kreieren,
03:12
where we can dive through images
58
167000
1000
bei denen wir durch Bilder durchdringen können
03:14
and have this kind of multi-resolution experience.
59
169000
1000
und diese Erfahrung der mehrfachen Resolution machen.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
Aber die räumliche Anordnung der Bilder ist hier in der Tat von Bedeutung.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Die Computervision-Algorithmen haben diese Bilder zusammen festgehalten
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
damit sie dem echten Raum, in dem diese Aufnahmen,
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
die alle in der Nähe der Grassi Lakes in den kanadischen Rockies
03:31
all these shots were taken. So you see elements here
64
186000
2000
gemacht wurden, entsprechen. Sie sehen hier Elemente
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
von stabilisierten Dias oder panoramischer Bildverarbeitung
03:40
and these things have all been related spatially.
66
195000
2000
und diese Dinge wurden alle räumlich in Beziehung zueinander gesetzt.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
Ich weiß nicht genau, ob ich noch Zeit habe Ihnen andere Umgebungen zu zeigen.
03:45
There are some that are much more spatial.
68
200000
1000
Es gibt welche, die viel räumlicher sind.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
Ich würde gerne geradewegs einen der originalen Datensätze von Noah zeigen
03:50
and this is from an early prototype of Photosynth
70
205000
2000
und das ist von einem frühen Prototyp von Photosynth
03:52
that we first got working in the summer --
71
207000
2000
an dem wir erstmals im Sommer gearbeitet haben,
03:54
to show you what I think
72
209000
1000
um Ihnen das zu zeigen, wovon ich glaube, dass
03:55
is really the punch line behind this technology,
73
210000
3000
es wirklich die Pointe hinter dieser Technologie,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
der Photosynth-Technologie ist. Und dies ist nicht unbedingt so offensichtlich,
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
wenn man die Umgebungen betrachtet, die wir auf der Website haben.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
Wir mussten uns wegen der Anwälte usw. Sorgen machen.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Dies ist eine Rekonstruktion der Kathedrale Notre Dame,
04:09
that was done entirely computationally
78
224000
2000
die ausschließlich im Computer
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
mit Bildern von Flickr erfolgte. Geben Sie einfach Notre Dame in Flickr ein
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
und Sie werden Bilder von Männern in T-Shirts und auf dem Universitätsgelände usw.
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
erhalten. Jede dieser orangefarbenen Kegel repräsentiert ein Bild,
04:22
that was discovered to belong to this model.
82
237000
2000
das als zu diesem Modell gehörend entdeckt wurde.
04:26
And so these are all Flickr images,
83
241000
2000
Somit sind dies alles Flickr-Bilder,
04:28
and they've all been related spatially in this way.
84
243000
3000
und sie alle stehen räumlich auf diese Weise in Beziehung zueinander.
04:31
And we can just navigate in this very simple way.
85
246000
2000
Und wir können auf diese sehr einfache Weise navigieren.
04:35
(Applause)
86
250000
9000
(Applaus).
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Wissen Sie, ich habe nie geglaubt, dass ich letztendlich bei Microsoft arbeiten werde.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
Ich bin sehr dankbar für den Empfang hier.
04:50
(Laughter)
89
265000
3000
(Gelächter).
04:53
I guess you can see
90
268000
3000
Ich vermute, Sie können sehen,
04:56
this is lots of different types of cameras:
91
271000
2000
dass dies viele verschiedene Arten von Kameras sind:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
alles ist dabei, von der Handy-Kamera zu professionellen SLRs,
05:02
quite a large number of them, stitched
93
277000
1000
eine ziemlich große Anzahl von ihnen, die alle in dieser
05:03
together in this environment.
94
278000
1000
Umgebung zusammengeflickt wurden.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
Und wenn möglich, werde ich einige der Seltsamen finden.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Viele von ihnen sind von Gesichtern verdeckt usw.
05:13
Somewhere in here there are actually
97
288000
1000
Irgendwo hier sind
05:15
a series of photographs -- here we go.
98
290000
1000
eine Reihe von Fotografien - hier sind sie.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Dies ist tatsächlich ein Poster von Notre Dame, das richtig aufgezeichnet wurde.
05:21
We can dive in from the poster
100
296000
2000
Wir können von dem Poster zu
05:24
to a physical view of this environment.
101
299000
3000
einer physischen Ansicht dieser Umgebung wechseln.
05:31
What the point here really is is that we can do things
102
306000
3000
Der Punkt ist hier, dass wir Dinge mit der
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
sozialen Umgebung anstellen können. Es werden jetzt Daten von allen gesammelt --
05:39
from the entire collective memory
104
314000
1000
von dem gesamten kollektiven Speicher davon,
05:40
of, visually, of what the Earth looks like --
105
315000
2000
wie, visuell die Erde aussieht --
05:43
and link all of that together.
106
318000
1000
und alles wird miteinander verbunden.
05:44
All of those photos become linked together,
107
319000
2000
All diese Fotos werden miteinander verbunden
05:46
and they make something emergent
108
321000
1000
und es entsteht etwas,
05:47
that's greater than the sum of the parts.
109
322000
2000
das größer ist als die Summe der Teile.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Sie erhalten ein Modell, das aus der ganzen Erde entsteht.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Betrachten Sie dies als die Fortsetzung der Arbeit von Stephen Lawlers an Virtual Earth.
05:56
And this is something that grows in complexity
112
331000
2000
Und das ist etwas, das durch die Komplexität,
05:58
as people use it, and whose benefits become greater
113
333000
3000
mit der die Menschen es verwenden, wächst und dessen Nutzen für
06:01
to the users as they use it.
114
336000
2000
den Benutzer mit der Anwendung immer größer wird.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Ihre eigenen Fotos werden mit Metadaten beschildert,
06:05
that somebody else entered.
116
340000
1000
die eine andere Person eingegeben hat.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Wenn sich jemand die Mühe gemacht hat und all diese Heiligen beschriftet hat
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
und mitteilt, wer sie alle sind, dann wird mein Foto von der
06:13
suddenly gets enriched with all of that data,
119
348000
2000
Notre Dame-Kathedrale plötzlich mit all diesen Daten angereichert
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
und ich kann sie als Ausgangspunkt benutzen, um in diesen Raum zu tauchen,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
in diese Metaverse, die Fotos von anderen Personen benutzen
06:21
and do a kind of a cross-modal
122
356000
2000
und somit eine Art von übergreifender modaler
06:25
and cross-user social experience that way.
123
360000
3000
sozialer Erfahrung mit der Nutzung von anderen Anbietern machen.
06:28
And of course, a by-product of all of that
124
363000
1000
Und natürlich, Nebenprodukt
06:30
is immensely rich virtual models
125
365000
2000
all dessen sind die immens reichen virtuellen Modelle
06:32
of every interesting part of the Earth, collected
126
367000
2000
von jedem interessanten Teil der Erde,
06:35
not just from overhead flights and from satellite images
127
370000
3000
die nicht nur durch Überflüge oder Satellitenbilder
06:38
and so on, but from the collective memory.
128
373000
2000
und so weiter erhalten wurden, sondern durch kollektive Speicher.
06:40
Thank you so much.
129
375000
2000
Vielen Dank.
06:42
(Applause)
130
377000
11000
(Applaus).
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Chris Anderson: Verstehe ich Sie richtig? Ihre Software ermöglicht,
06:58
is that at some point, really within the next few years,
132
393000
2000
dass zu einem bestimmten Zeitpunkt, innerhalb der nächsten Jahre,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
alle Bilder, die von jemandem in der Welt gemeinsam benutzt werden
07:05
are going to basically link together?
134
400000
2000
im Prinzip miteinander verknüpft werden?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
BAA: Ja. Sie macht nichts anderes als Entdecken.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
Wenn Sie wollen erstellt sie Hyperlinks zwischen den Bildern.
07:12
And it's doing that
137
407000
1000
Und sie tut dies aufgrund des
07:13
based on the content inside the images.
138
408000
1000
Inhalts in den Bildern.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
Und das ist wirklich aufregend, wenn Sie an die Fülle der
07:17
of the semantic information that a lot of those images have.
140
412000
2000
semantischen Informationen denken, die viele dieser Bilder besitzen.
07:19
Like when you do a web search for images,
141
414000
2000
Wie wenn Sie eine Websuche für Bilder vornehmen,
07:22
you type in phrases, and the text on the web page
142
417000
2000
wo Sie Sätze eingeben und der Text der Website enthält
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
viele Informationen darüber, welches Bild das ist.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
Aber wie wäre es, wenn das Bild Sie mit all Ihren Bildern verknüpft?
07:29
Then the amount of semantic interconnection
145
424000
2000
Dann ist der Umfang der semantischen Querverbindung
07:31
and the amount of richness that comes out of that
146
426000
1000
und die Fülle, die sich daraus ergibt, wirklich
07:32
is really huge. It's a classic network effect.
147
427000
3000
enorm. Es ist ein klassischer Netzwerkeffekt.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
CA: Blaise, das ist wirklich unglaublich. Herzlichen Glückwunsch.
07:37
BAA: Thanks so much.
149
432000
1000
BAA: Haben Sie vielen Dank.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com