TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Blaise Aguera y Arcas presenta Photosynth.
Filmed:
Readability: 4.3
5,831,957 views
Blaise Aguera y Arcas conduce una brillante demostración de Photosynth, un programa de software que revoluciona la imagen digital. Con fotos extraídas de Internet, Photosynth construye sensacionales paisajes y nos invita a recorrerlos.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Lo que voy a mostrarles primero, tan brevemente como pueda,
00:27
is some foundational work, some new technology
1
2000
4000
es algo de trabajo de base, una tecnología nueva
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
que hemos traído a Microsoft como parte de una adquisición
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
realizada hace casi un año exacto. Se trata de Seadragon.
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
Es un entorno en el que se puede interactuar en forma local o remota
00:40
interact with vast amounts of visual data.
5
15000
3000
con grandes cantidades de datos visuales.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
Aquí estamos viendo muchos, muchos gigabytes de fotos digitales,
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
haciendo zoom en forma continua y sin dificultades,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
haciendo panorámicas y modificaciones de cualquier tipo.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
La cantidad de información que veamos,
00:56
how big these collections are or how big the images are.
10
31000
3000
el tamaño de las colecciones y el de las imágenes ya no son un problema.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
En su mayoría son fotos de cámaras digitales comunes,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
pero esta, por ejemplo, es una escaneada de la Biblioteca del Congreso,
01:05
and it's in the 300 megapixel range.
13
40000
2000
con cerca de 300 megapíxeles.
01:08
It doesn't make any difference
14
43000
1000
Es lo mismo,
01:09
because the only thing that ought to limit the performance
15
44000
3000
porque lo único que puede limitar el rendimiento
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
de un sistema como este es el número de píxeles de su pantalla
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
en un momento dado. También tiene una arquitectura muy flexible.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Este es un libro completo, un ejemplo de datos sin imágenes.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
Se trata de "Casa desolada", de Dickens. Cada columna es un capítulo.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
Para probarles que se trata realmente de texto, y no de una imagen,
01:31
we can do something like so, to really show
21
66000
2000
podemos hacer algo para mostrar
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
que se trata de una representación real del texto; no es una imagen.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
Quizá sea una forma algo artificial de leer un libro electrónico.
01:39
I wouldn't recommend it.
24
74000
1000
No la recomendaría.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
Este es un caso más realista. Un ejemplar de The Guardian.
01:43
Every large image is the beginning of a section.
26
78000
2000
Cada imagen grande es el comienzo de una sección.
01:45
And this really gives you the joy and the good experience
27
80000
3000
Y realmente proporciona el placer y la experiencia agradable
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
de leer la versión real en papel de una revista o un diario,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
un tipo de medio propiamente de escalas múltiples.
01:56
We've also done a little something
30
91000
1000
También hemos hecho algo
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
en una esquina de este ejemplar de The Guardian.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Hemos hecho un anuncio publicitario falso con alta resolución,
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
mucho más de la que puede obtenerse en un anuncio común,
02:05
and we've embedded extra content.
34
100000
2000
y le hemos incorporado otros contenidos.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Si desean ver las características de este coche, pueden hacerlo aquí.
02:10
Or other models, or even technical specifications.
36
105000
4000
O ver otros modelos, e incluso especificaciones técnicas.
02:15
And this really gets at some of these ideas
37
110000
2000
Esto comprende algunas de las ideas
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
sobre anular los límites en torno a los inmuebles en pantalla.
02:22
We hope that this means no more pop-ups
39
117000
2000
Esperamos que esto implique el fin de las pantallas emergentes
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
y otros estorbos de ese tipo: ya no serían necesarios.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Por cierto, el mapeo es una de las aplicaciones realmente obvias
02:29
for a technology like this.
42
124000
2000
en una tecnología como esta.
02:31
And this one I really won't spend any time on,
43
126000
2000
No voy a demorarme en esto,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
salvo decir que también tenemos cómo contribuir en este campo.
02:37
But those are all the roads in the U.S.
45
132000
2000
Estas son todas las carreteras de los EE.UU.
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
sobreimpresas en la parte superior de una imagen geoespacial de la NASA.
02:44
So let's pull up, now, something else.
47
139000
2000
Ahora veamos algo más.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Esto está en directo en la red en este momento, pueden verlo.
02:49
This is a project called Photosynth,
49
144000
1000
Es un proyecto llamado Photosynth,
02:51
which really marries two different technologies.
50
146000
1000
que combina dos tecnologías diferentes.
02:52
One of them is Seadragon
51
147000
1000
Una es Seadragon,
02:54
and the other is some very beautiful computer vision research
52
149000
2000
y la otra una investigación visual computarizada muy hermosa,
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
realizada por Noah Snavely, estudiante de posgrado de la Universidad de Washington,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
codirigida por Steve Seitz de la misma universidad
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
y Rick Szeliski en el Dpto. de Investigación de Microsoft. Una muy buena colaboración.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
Y está en directo en la web, con tecnología de Seadragon.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
Pueden apreciarlo cuando hacemos estos tipos de vistas,
03:12
where we can dive through images
58
167000
1000
en las que podemos bucear a través de las imágenes
03:14
and have this kind of multi-resolution experience.
59
169000
1000
y tener esta experiencia de resolución múltiple.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
El orden espacial de estas imágenes es realmente significativo.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Los algoritmos visuales computarizados registraron estas imágenes en conjunto,
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
de modo que se corresponden con el espacio real en que se hicieron las tomas,
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
hechas en los Lagos Grassi, en las Montañas Rocallosas canadienses.
03:31
all these shots were taken. So you see elements here
64
186000
2000
Aquí ven elementos
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
de diapositivas estabilizadas o imágenes panorámicas,
03:40
and these things have all been related spatially.
66
195000
2000
todas relacionadas espacialmente.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
No sé si tengo tiempo para mostrarles otros entornos.
03:45
There are some that are much more spatial.
68
200000
1000
Algunos son mucho más espaciales.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
Quisiera pasar directamente a uno de los conjuntos de datos originales de Noah;
03:50
and this is from an early prototype of Photosynth
70
205000
2000
este es uno de los primeros prototipos de Photosynth
03:52
that we first got working in the summer --
71
207000
2000
por el que comenzamos en el verano,
03:54
to show you what I think
72
209000
1000
y sirve para mostrarles lo que considero
03:55
is really the punch line behind this technology,
73
210000
3000
la verdadera culminación de esta tecnología,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
Photosynth. Y esto no necesariamente se aprecia
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
al ver los entornos que hemos subido a la red.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
Tuvimos que ocuparmos de las capas y demás.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Esta es una reconstrucción de la Catedral de Notre Dame,
04:09
that was done entirely computationally
78
224000
2000
realizada totalmente con ordenador
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
a partir de imágenes tomadas de Flickr. Simplemente pongan Notre Dame en Flickr,
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
y podrán ver imágenes de personas en camiseta, del campus
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
y demás. Cada uno de estos conos anaranjados representa una imagen
04:22
that was discovered to belong to this model.
82
237000
2000
perteneciente a este modelo.
04:26
And so these are all Flickr images,
83
241000
2000
Y estas son todas imágenes de Flickr,
04:28
and they've all been related spatially in this way.
84
243000
3000
relacionadas espacialmente de esta manera.
04:31
And we can just navigate in this very simple way.
85
246000
2000
Podemos navegar simplemente de esta forma tan sencilla.
04:35
(Applause)
86
250000
9000
(Aplausos).
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Saben, nunca pensé que terminaría trabajando en Microsoft.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
Es muy gratificante tener una recepción así aquí.
04:50
(Laughter)
89
265000
3000
(Risas).
04:53
I guess you can see
90
268000
3000
Supongo que sabrán
04:56
this is lots of different types of cameras:
91
271000
2000
que hay muchos tipos diferentes de cámaras:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
desde las de teléfonos móviles hasta SLR profesionales,
05:02
quite a large number of them, stitched
93
277000
1000
gran parte de ellas ligadas
05:03
together in this environment.
94
278000
1000
a este entorno.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
Si puedo buscaré algunas de las más raras.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Muchas están bloqueadas por rostro, y demás.
05:13
Somewhere in here there are actually
97
288000
1000
Algunas de estas son realmente
05:15
a series of photographs -- here we go.
98
290000
1000
una serie de fotografías... veamos.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Este es en realidad un póster de Notre Dame registrado correctamente.
05:21
We can dive in from the poster
100
296000
2000
Podemos acercanos desde el póster
05:24
to a physical view of this environment.
101
299000
3000
hasta una vista física de este entorno.
05:31
What the point here really is is that we can do things
102
306000
3000
Lo que importa realmente aquí es que podemos hacer algo
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
en el entorno social. Aquí se están tomando datos de todos,
05:39
from the entire collective memory
104
314000
1000
de toda la memoria colectiva de
05:40
of, visually, of what the Earth looks like --
105
315000
2000
la apariencia visual de la Tierra,
05:43
and link all of that together.
106
318000
1000
y vinculándose en su totalidad.
05:44
All of those photos become linked together,
107
319000
2000
Todas estas fotos se vinculan
05:46
and they make something emergent
108
321000
1000
y producen algo emergente
05:47
that's greater than the sum of the parts.
109
322000
2000
que es más que la suma de las partes.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Este es un modelo que surge de toda la Tierra.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Véanlo como la larga cola del trabajo de Tierra Virtual de Stephen Lawler.
05:56
And this is something that grows in complexity
112
331000
2000
Es algo cuya complejidad crece con el uso
05:58
as people use it, and whose benefits become greater
113
333000
3000
y cuyos beneficios para los usuarios se amplían
06:01
to the users as they use it.
114
336000
2000
a medida que lo utilizan.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Sus propias fotos se etiquetan con metadatos
06:05
that somebody else entered.
116
340000
1000
que alguien introdujo.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Si alguien se toma el trabajo de etiquetar todos estos santos
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
e indicar quiénes son, mi foto de la Catedral de Notre Dame
06:13
suddenly gets enriched with all of that data,
119
348000
2000
se enriquece de pronto con todos esos datos,
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
y puedo utilizarla como punto de entrada para bucear en ese espacio,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
en ese metaverso, usando las fotos de todos los demás,
06:21
and do a kind of a cross-modal
122
356000
2000
y hacer un tipo de experiencia social de modelos
06:25
and cross-user social experience that way.
123
360000
3000
y usuarios cruzados de esa forma.
06:28
And of course, a by-product of all of that
124
363000
1000
Por supuesto, una consecuencia de todo ello
06:30
is immensely rich virtual models
125
365000
2000
consiste en modelos virtuales enormemente ricos
06:32
of every interesting part of the Earth, collected
126
367000
2000
de cada parte interesante de la Tierra, tomados
06:35
not just from overhead flights and from satellite images
127
370000
3000
no solo de vuelos de altura e imágenes satelitales
06:38
and so on, but from the collective memory.
128
373000
2000
y demás, sino de la memoria colectiva.
06:40
Thank you so much.
129
375000
2000
Muchas gracias.
06:42
(Applause)
130
377000
11000
(Aplausos)
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Chris Anderson: A ver si lo comprendo bien: ¿este software permitirá
06:58
is that at some point, really within the next few years,
132
393000
2000
en algún momento, en los próximos años,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
que todas las imágenes compartidas por cualquier persona en cualquier parte del mundo
07:05
are going to basically link together?
134
400000
2000
se vinculen?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
BAA: Sí. Lo que hace realmente es descubrir
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
crear hipervínculos, si lo quieren, entre las imágenes.
07:12
And it's doing that
137
407000
1000
Y lo hace
07:13
based on the content inside the images.
138
408000
1000
basándose en el contenido de las imágenes.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
Y es realmente emocionante pensar en la riqueza
07:17
of the semantic information that a lot of those images have.
140
412000
2000
de la información semántica de muchas de estas imágenes.
07:19
Like when you do a web search for images,
141
414000
2000
Como en una búsqueda de imágenes en la web,
07:22
you type in phrases, and the text on the web page
142
417000
2000
se introducen frases, y el texto de la página web
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
lleva gran cantidad de información acerca de la imagen.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
Ahora, ¿qué sucede si dicha imagen se vincula con todas sus imágenes?
07:29
Then the amount of semantic interconnection
145
424000
2000
La cantidad de interconexión semántica
07:31
and the amount of richness that comes out of that
146
426000
1000
y de riqueza procedente de ello
07:32
is really huge. It's a classic network effect.
147
427000
3000
es verdaderamente enorme. Es un efecto de red clásico.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
CA: Blaise, es realmente increíble. Felicidades.
07:37
BAA: Thanks so much.
149
432000
1000
BAA: Muchas gracias.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com