ABOUT THE SPEAKER
Deb Roy - Cognitive scientist
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs.

Why you should listen

Deb Roy directs the Cognitive Machines group at the MIT Media Lab, where he studies how children learn language, and designs machines that learn to communicate in human-like ways. To enable this work, he has pioneered new data-driven methods for analyzing and modeling human linguistic and social behavior. He has authored numerous scientific papers on artificial intelligence, cognitive modeling, human-machine interaction, data mining, and information visualization.

Deb Roy was the co-founder and serves as CEO of Bluefin Labs, a venture-backed technology company. Built upon deep machine learning principles developed in his research over the past 15 years, Bluefin has created a technology platform that analyzes social media commentary to measure real-time audience response to TV ads and shows.

Follow Deb Roy on Twitter>

Roy adds some relevant papers:

Deb Roy. (2009). New Horizons in the Study of Child Language Acquisition. Proceedings of Interspeech 2009. Brighton, England. bit.ly/fSP4Qh

Brandon C. Roy, Michael C. Frank and Deb Roy. (2009). Exploring word learning in a high-density longitudinal corpus. Proceedings of the 31st Annual Meeting of the Cognitive Science Society. Amsterdam, Netherlands. bit.ly/e1qxej

Plenty more papers on our research including technology and methodology can be found here, together with other research from my lab at MIT: bit.ly/h3paSQ

The work that I mentioned on relationships between television content and the social graph is being done at Bluefin Labs (www.bluefinlabs.com). Details of this work have not been published. The social structures we are finding (and that I highlighted in my TED talk) are indeed new. The social media communication channels that are leading to their formation did not even exist a few years ago, and Bluefin's technology platform for discovering these kinds of structures is the first of its kind. We'll certainly have more to say about all this as we continue to dig into this fascinating new kind of data, and as new social structures continue to evolve!

More profile about the speaker
Deb Roy | Speaker | TED.com
TED2011

Deb Roy: The birth of a word

Deb Roy: La naskiĝo de vorto

Filmed:
2,809,941 views

MIT-sciencisto Deb Roy klopodis kompreni, kiel lia infana filo lernis sian lingvon — tial li instalis videokameraojn en sia domo por surbendigi ĉiun momenton (kun esceptoj) de la vivo de sia filo kaj poste analizis 90 000 horojn de hejmaj videoj observante kiel "gaaaa" malrapide iĝis "water" (akvo). Miriga, datumplena esplorado kun profundaj konkludoj pri la progreso de nia lernado.
- Cognitive scientist
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs. Full bio

Double-click the English transcript below to play the video.

00:15
Imagine if you could record your life --
0
0
4000
Imagu surbendigi vian vivon —
00:19
everything you said, everything you did,
1
4000
3000
ĉio, kion vi diris, ĉio, kion vi faris,
00:22
available in a perfect memory store at your fingertips,
2
7000
3000
rekte havebla en perfekta memorstoko, alirebla,
00:25
so you could go back
3
10000
2000
do vi povas reeniri
00:27
and find memorable moments and relive them,
4
12000
3000
kaj trovi memorindajn momentojn kaj resperti ilin,
00:30
or sift through traces of time
5
15000
3000
aŭ trakribri la spurojn de la tempo
00:33
and discover patterns in your own life
6
18000
2000
kaj malkovri skemojn en via propra vivo,
00:35
that previously had gone undiscovered.
7
20000
3000
kiujn antaŭe vi ne rimarkis.
00:38
Well that's exactly the journey
8
23000
2000
Nu, tio precize estas la vojaĝo,
00:40
that my family began
9
25000
2000
kiun mia familio komencis
00:42
five and a half years ago.
10
27000
2000
antaŭ 5½ jarojn.
00:44
This is my wife and collaborator, Rupal.
11
29000
3000
Tiu estas mia edzino kaj kunlaborantino, Rupal.
00:47
And on this day, at this moment,
12
32000
2000
Kaj je tiu tago, je tiu momento,
00:49
we walked into the house with our first child,
13
34000
2000
ni eniris nian domon kun nia unua ido,
00:51
our beautiful baby boy.
14
36000
2000
nia belega beba knabo.
00:53
And we walked into a house
15
38000
3000
Kaj ni eniris domon
00:56
with a very special home video recording system.
16
41000
4000
kun tre speciala hejma videosurbendiga sistemo.
01:07
(Video) Man: Okay.
17
52000
2000
(video) Viro: Bone.
01:10
Deb Roy: This moment
18
55000
1000
Deb Roy: Tiun momenton
01:11
and thousands of other moments special for us
19
56000
3000
kaj milojn pliajn momentojn specialajn
01:14
were captured in our home
20
59000
2000
ni surbendigis en nia hejmo,
01:16
because in every room in the house,
21
61000
2000
ĉar en ĉiu ĉambro en la domo,
01:18
if you looked up, you'd see a camera and a microphone,
22
63000
3000
se vi vidas supren, vi vidas kameraon kaj mikrofonon,
01:21
and if you looked down,
23
66000
2000
kaj se ni vidas suben,
01:23
you'd get this bird's-eye view of the room.
24
68000
2000
vi havas birdoperspektivon super la ĉambro.
01:25
Here's our living room,
25
70000
3000
Tie estas nia vivĉambro,
01:28
the baby bedroom,
26
73000
3000
la beba dormĉambro,
01:31
kitchen, dining room
27
76000
2000
kuirejo, manĝejo
01:33
and the rest of the house.
28
78000
2000
kaj la cetera domo.
01:35
And all of these fed into a disc array
29
80000
3000
Kaj ĉio tio eniris diskaron,
01:38
that was designed for a continuous capture.
30
83000
3000
kiu estis kreita por daŭra surbendigo.
01:41
So here we are flying through a day in our home
31
86000
3000
Do nun ni traflugas unu tagon en nia hejmo
01:44
as we move from sunlit morning
32
89000
3000
movante de la sunleviĝo matene
01:47
through incandescent evening
33
92000
2000
ĝis la sunsubiro vespere
01:49
and, finally, lights out for the day.
34
94000
3000
kaj fine lumestingigo je tiu tago.
01:53
Over the course of three years,
35
98000
3000
Dum tri jaroj
01:56
we recorded eight to 10 hours a day,
36
101000
2000
ni surbendigis po 8 ĝis 10 horojn ĉiutage,
01:58
amassing roughly a quarter-million hours
37
103000
3000
kio egalas al ĉirkau kvaronmiliono da horoj
02:01
of multi-track audio and video.
38
106000
3000
de plurtraka sono kaj video.
02:04
So you're looking at a piece of what is by far
39
109000
2000
Ni nun spektas parton de la ĝis nun
02:06
the largest home video collection ever made.
40
111000
2000
plej granda kolekto da hejmvideoj, kiu ekzistas.
02:08
(Laughter)
41
113000
3000
(ridado)
02:11
And what this data represents
42
116000
2000
Kaj kion tiuj datumoj reprezentas
02:13
for our family at a personal level,
43
118000
4000
por nia familio persone,
02:17
the impact has already been immense,
44
122000
2000
la efekto jam estas enorma
02:19
and we're still learning its value.
45
124000
3000
kaj ni ankoraŭ lernas ĝian valoron.
02:22
Countless moments
46
127000
2000
Sennombraj momentoj
02:24
of unsolicited natural moments, not posed moments,
47
129000
3000
da neekspektitaj naturaj momentoj, ne intencaj momentoj,
02:27
are captured there,
48
132000
2000
estas surbendigitaj ĉi tie,
02:29
and we're starting to learn how to discover them and find them.
49
134000
3000
kaj ni komencas lerni, kiel el- kaj retrovi ilin.
02:32
But there's also a scientific reason that drove this project,
50
137000
3000
Sed ankaŭ scienca kialo antaŭenigis la projekton:
02:35
which was to use this natural longitudinal data
51
140000
4000
nome, uzi la naturajn tratempajn datumojn
02:39
to understand the process
52
144000
2000
por kompreni la proceson
02:41
of how a child learns language --
53
146000
2000
kiel infano lernas sian lingvon —
02:43
that child being my son.
54
148000
2000
tiu infano estas mia filo.
02:45
And so with many privacy provisions put in place
55
150000
4000
Kaj tiel, kun multe da gardaj rimedoj pri la privatsfero
02:49
to protect everyone who was recorded in the data,
56
154000
3000
por protekti ĉiun, kiu surbendiĝas en la datumoj,
02:52
we made elements of the data available
57
157000
3000
ni havebligis partojn de la datumoj
02:55
to my trusted research team at MIT
58
160000
3000
al mia fidinda esploristaro ĉe MIT,
02:58
so we could start teasing apart patterns
59
163000
3000
por ke ni povu komenci eltiri skemojn
03:01
in this massive data set,
60
166000
3000
en tiu ĉi enorma datumstoko,
03:04
trying to understand the influence of social environments
61
169000
3000
provante kompreni la influon de la socia ĉirkaŭaĵo
03:07
on language acquisition.
62
172000
2000
al lingva akirado.
03:09
So we're looking here
63
174000
2000
Do ni ĉi tie spektas
03:11
at one of the first things we started to do.
64
176000
2000
unu de la unuaj aferoj, kiujn ni ekfaris.
03:13
This is my wife and I cooking breakfast in the kitchen,
65
178000
4000
Tie ĉi mia edzino kaj mi kuiras la matenmanĝon en la kuirejo.
03:17
and as we move through space and through time,
66
182000
3000
Kaj movante tra la spaco kaj la tempo,
03:20
a very everyday pattern of life in the kitchen.
67
185000
3000
videblas tuttaga skemo de la vivo en la kuirejo.
03:23
In order to convert
68
188000
2000
Por konverti
03:25
this opaque, 90,000 hours of video
69
190000
3000
tiujn opakajn 90 000 horojn de video
03:28
into something that we could start to see,
70
193000
2000
en ion, kiun ni povus ekrigardi,
03:30
we use motion analysis to pull out,
71
195000
2000
ni uzis movadanalizon por eltrovi,
03:32
as we move through space and through time,
72
197000
2000
dum ni moviĝis tra l' spaco kaj tra l' tempo,
03:34
what we call space-time worms.
73
199000
3000
la spactempajn vermojn, kiel ni nomas ilin.
03:37
And this has become part of our toolkit
74
202000
3000
Kaj tio ekestis parto de niaj metodoj
03:40
for being able to look and see
75
205000
3000
ekrigardi kaj eltrovi,
03:43
where the activities are in the data,
76
208000
2000
kie en la datumo troviĝas la agadoj
03:45
and with it, trace the pattern of, in particular,
77
210000
3000
kaj samtempe, precipe spuri la skemon
03:48
where my son moved throughout the home,
78
213000
2000
de mia filo moviĝanta tra la hejmo,
03:50
so that we could focus our transcription efforts,
79
215000
3000
por ke ni koncentriĝu pri transskribaj klopodoj,
03:53
all of the speech environment around my son --
80
218000
3000
la tuta parola ĉirkaŭaĵo ĉirkaŭ mia filo —
03:56
all of the words that he heard from myself, my wife, our nanny,
81
221000
3000
ĉiujn vortojn, kiujn li aŭdis de mi mem, mia edzino, nia vartistino,
03:59
and over time, the words he began to produce.
82
224000
3000
kaj iom post iom, la vortojn, li mem ekproduktis.
04:02
So with that technology and that data
83
227000
3000
Do per la teknologio kaj la datumoj
04:05
and the ability to, with machine assistance,
84
230000
2000
kaj la eblo transskribi paroladon,
04:07
transcribe speech,
85
232000
2000
helpe de maŝinoj,
04:09
we've now transcribed
86
234000
2000
ni nun transskribis
04:11
well over seven million words of our home transcripts.
87
236000
3000
pli ol 7 milionojn da vortoj de niaj hejmaj transskribaĵoj.
04:14
And with that, let me take you now
88
239000
2000
Kaj tion dirita, mi nun gvidos vin
04:16
for a first tour into the data.
89
241000
3000
al nia unua rondiro en la datumojn.
04:19
So you've all, I'm sure,
90
244000
2000
Mi certas, ke vi ĉiuj
04:21
seen time-lapse videos
91
246000
2000
jam vidis tempoakcelajn filmojn,
04:23
where a flower will blossom as you accelerate time.
92
248000
3000
en kiu floro floras en plirapidigita tempo.
04:26
I'd like you to now experience
93
251000
2000
Mi nun volas ke vi spertu
04:28
the blossoming of a speech form.
94
253000
2000
la floradon de unu parola formo.
04:30
My son, soon after his first birthday,
95
255000
2000
Mia filo post sia unua naskiĝtago
04:32
would say "gaga" to mean water.
96
257000
3000
kutimis diri "gaga" por akvo.
04:35
And over the course of the next half-year,
97
260000
3000
Kaj dum la sekvonta duona jaro
04:38
he slowly learned to approximate
98
263000
2000
li iom post iom lernis alproksimiĝi
04:40
the proper adult form, "water."
99
265000
3000
la ĝustan plenkreskulan formon "water".
04:43
So we're going to cruise through half a year
100
268000
2000
Do ni trakuros duonan jaron
04:45
in about 40 seconds.
101
270000
2000
dum 40 sekundoj.
04:47
No video here,
102
272000
2000
Sen la video nun,
04:49
so you can focus on the sound, the acoustics,
103
274000
3000
por ke vi koncentriĝu pri la sono, la aŭdio,
04:52
of a new kind of trajectory:
104
277000
2000
de nova speco de trajektorio:
04:54
gaga to water.
105
279000
2000
"gaga" al "water".
04:56
(Audio) Baby: Gagagagagaga
106
281000
12000
(aŭdio) Bebo: Gagagagagaga
05:08
Gaga gaga gaga
107
293000
4000
Gaga gaga gaga
05:12
guga guga guga
108
297000
5000
guga guga guga
05:17
wada gaga gaga guga gaga
109
302000
5000
wada gaga gaga guga gaga
05:22
wader guga guga
110
307000
4000
wader guga guga
05:26
water water water
111
311000
3000
water water water
05:29
water water water
112
314000
6000
water water water
05:35
water water
113
320000
4000
water water
05:39
water.
114
324000
2000
water.
05:41
DR: He sure nailed it, didn't he.
115
326000
2000
DR: Li certe trafis ĝin, ĉu ne?
05:43
(Applause)
116
328000
7000
(aplaŭdo)
05:50
So he didn't just learn water.
117
335000
2000
Sed li ne nur lernis "water".
05:52
Over the course of the 24 months,
118
337000
2000
Dum la 24 monatoj,
05:54
the first two years that we really focused on,
119
339000
3000
la unuaj 2 jaroj, pri kiuj ni vere koncentriĝis,
05:57
this is a map of every word he learned in chronological order.
120
342000
4000
tiu estas mapo de ĉiuj vortoj, kiuj li lernis en kronologia ordigo.
06:01
And because we have full transcripts,
121
346000
3000
Kaj ĉar ni ja havas plenajn transskribaĵojn,
06:04
we've identified each of the 503 words
122
349000
2000
ni identigis ĉiujn de la 503 vortojn,
06:06
that he learned to produce by his second birthday.
123
351000
2000
kiujn li lernis produkti ĝis sia dua naskiĝtago.
06:08
He was an early talker.
124
353000
2000
Li estis frua parolanto.
06:10
And so we started to analyze why.
125
355000
3000
Kaj tial ni komencis analizi la kialon.
06:13
Why were certain words born before others?
126
358000
3000
Kial certaj vortoj naskiĝis antaŭ aliaj?
06:16
This is one of the first results
127
361000
2000
Tio ĉi estis unu de la unuaj rezultoj,
06:18
that came out of our study a little over a year ago
128
363000
2000
kiujn ni eltrovis per nia studado antaŭ iom pli ol unu jaro.
06:20
that really surprised us.
129
365000
2000
Ĝi tre surprizis nin.
06:22
The way to interpret this apparently simple graph
130
367000
3000
Oni interpretu tiun ŝajne simplan grafikon jene:
06:25
is, on the vertical is an indication
131
370000
2000
la vertikala akso indikas,
06:27
of how complex caregiver utterances are
132
372000
3000
kiom kompleksas la diradoj de la zorgantoj
06:30
based on the length of utterances.
133
375000
2000
laŭ la longeco de la diradoj.
06:32
And the [horizontal] axis is time.
134
377000
3000
Kaj la horizontala akso estas la tempo.
06:35
And all of the data,
135
380000
2000
Kaj la tutan datumon
06:37
we aligned based on the following idea:
136
382000
3000
ni aranĝis laŭ la jena ideo:
06:40
Every time my son would learn a word,
137
385000
3000
Ĉiufoje, kiam mia filo lernis vorton,
06:43
we would trace back and look at all of the language he heard
138
388000
3000
ni rekontrolis rigardante ĉiun diradon, kiun li aŭdis,
06:46
that contained that word.
139
391000
2000
kiu enhavis tiun vorton.
06:48
And we would plot the relative length of the utterances.
140
393000
4000
Kaj ni reprezentis la relativan longecon de la diradoj.
06:52
And what we found was this curious phenomena,
141
397000
3000
Kaj ni eltrovis tre interesan fenomenon,
06:55
that caregiver speech would systematically dip to a minimum,
142
400000
3000
ke la dirado de zorgantoj laŭsisteme subeniris al minimumo,
06:58
making language as simple as possible,
143
403000
3000
igante lingvon laŭeble simpla,
07:01
and then slowly ascend back up in complexity.
144
406000
3000
kaj poste malrapide kreskante reen al komplekso.
07:04
And the amazing thing was
145
409000
2000
Kaj la mirigaĵo estis,
07:06
that bounce, that dip,
146
411000
2000
ke tia salto, tia kavaĵo,
07:08
lined up almost precisely
147
413000
2000
kunliniiĝis preskaŭ precize
07:10
with when each word was born --
148
415000
2000
kun kiam ĉiu vorto naskiĝis —
07:12
word after word, systematically.
149
417000
2000
vorto post vorto, laŭsisteme.
07:14
So it appears that all three primary caregivers --
150
419000
2000
Ŝajnas do, ke ĉiuj tri ĉefaj zorgantoj –
07:16
myself, my wife and our nanny --
151
421000
3000
mi mem, mia edzino kaj nia vartistino –
07:19
were systematically and, I would think, subconsciously
152
424000
3000
laŭsisteme kaj, mi kredas, subkonscie
07:22
restructuring our language
153
427000
2000
restrukturigis nian lingvon
07:24
to meet him at the birth of a word
154
429000
3000
por konveni al li dum naskiĝo de vorto
07:27
and bring him gently into more complex language.
155
432000
4000
kaj por milde gvidi lin al pli kompleksa lingvaĵo.
07:31
And the implications of this -- there are many,
156
436000
2000
Kaj ties implikacio – estas pluraj,
07:33
but one I just want to point out,
157
438000
2000
sed mi ŝatas emfazi nur unu –
07:35
is that there must be amazing feedback loops.
158
440000
3000
estas tio, ke devas ekzisti mirigaj retrokuploj.
07:38
Of course, my son is learning
159
443000
2000
Kompreneble mia filo lernas
07:40
from his linguistic environment,
160
445000
2000
de sia lingva ĉirkaŭaĵo,
07:42
but the environment is learning from him.
161
447000
3000
sed la ĉirkaŭaĵo ja lernas de li.
07:45
That environment, people, are in these tight feedback loops
162
450000
3000
Tiu ĉirkaŭaĵo, la homoj, estas en tiaj mallarĝaj retrokuploj
07:48
and creating a kind of scaffolding
163
453000
2000
kaj kreas ian framon,
07:50
that has not been noticed until now.
164
455000
3000
kiu ĝis nun ne rimarkiĝis.
07:54
But that's looking at the speech context.
165
459000
2000
Sed tio temas pri la parola kunteksto.
07:56
What about the visual context?
166
461000
2000
Kio pri la vida kunteksto?
07:58
We're not looking at --
167
463000
2000
Ni ne rigardas al tio —
08:00
think of this as a dollhouse cutaway of our house.
168
465000
2000
imagu ĝin kiel pupdoma tranĉo de nia domo.
08:02
We've taken those circular fish-eye lens cameras,
169
467000
3000
Ni uzis tiujn kameraojn kun rondaj larĝangulaj lensoj
08:05
and we've done some optical correction,
170
470000
2000
kaj ni faris kelkajn optikajn amendojn,
08:07
and then we can bring it into three-dimensional life.
171
472000
4000
poste ni povas vivigi ĝin tridimensie.
08:11
So welcome to my home.
172
476000
2000
Do, bonvenon en mia hejmo.
08:13
This is a moment,
173
478000
2000
Tio estas momento,
08:15
one moment captured across multiple cameras.
174
480000
3000
unu momento surbendigita per pluraj kameraoj.
08:18
The reason we did this is to create the ultimate memory machine,
175
483000
3000
Ni faris tion por krei la perfektan memormaŝinon,
08:21
where you can go back and interactively fly around
176
486000
3000
kiu uzeblas por reeniri kaj interaktive flugumi
08:24
and then breathe video-life into this system.
177
489000
3000
kaj tiam enspiri videan vivon en la sistemon.
08:27
What I'm going to do
178
492000
2000
Kaj nun mi montros al vi
08:29
is give you an accelerated view of 30 minutes,
179
494000
3000
denove plirapidigitan vidon de 30 minutoj
08:32
again, of just life in the living room.
180
497000
2000
da simpla vivo en la loĝĉambro.
08:34
That's me and my son on the floor.
181
499000
3000
Tio estas mi kaj mia filo sur la fundo.
08:37
And there's video analytics
182
502000
2000
Kaj estas videa analizado,
08:39
that are tracking our movements.
183
504000
2000
kiuj spuras niajn movojn.
08:41
My son is leaving red ink. I am leaving green ink.
184
506000
3000
Mia filo postlasas ruĝan koloron, mi la verdan.
08:44
We're now on the couch,
185
509000
2000
Ni nun estas sur la sofo,
08:46
looking out through the window at cars passing by.
186
511000
3000
elrigardas de la fenestro al preterpasantaj aŭtoj.
08:49
And finally, my son playing in a walking toy by himself.
187
514000
3000
Kaj fine: mia filo, mem ludante en piedirludilo.
08:52
Now we freeze the action, 30 minutes,
188
517000
3000
Nun ni haltigas la agadojn, 30 minutoj,
08:55
we turn time into the vertical axis,
189
520000
2000
ni metas la tempon al la vertikala akso,
08:57
and we open up for a view
190
522000
2000
kaj malfermas por rigardi
08:59
of these interaction traces we've just left behind.
191
524000
3000
ĉi tiujn interagajn spurojn, kiuj ni ĵus postlasis.
09:02
And we see these amazing structures --
192
527000
3000
Kaj ni vidas tiujn mirigajn strukturojn —
09:05
these little knots of two colors of thread
193
530000
3000
tiujn malgrandajn nodojn de 2 fadenkoloroj,
09:08
we call "social hot spots."
194
533000
2000
kiujn ni nomas "sociaj fokusoj".
09:10
The spiral thread
195
535000
2000
La spiralan fadenon
09:12
we call a "solo hot spot."
196
537000
2000
ni nomas "sola fokuso".
09:14
And we think that these affect the way language is learned.
197
539000
3000
Kaj ni pensas, ke ili influas la progreson de lingvolernado.
09:17
What we'd like to do
198
542000
2000
Kion ni volas,
09:19
is start understanding
199
544000
2000
estas komenci kompreni
09:21
the interaction between these patterns
200
546000
2000
la interagon inter tiuj ĉi skemoj
09:23
and the language that my son is exposed to
201
548000
2000
kaj la lingvaĵo, al kiu nia filo estas submetita,
09:25
to see if we can predict
202
550000
2000
por eltrovi, ĉu ni povas antaŭdiri,
09:27
how the structure of when words are heard
203
552000
2000
kiel la strukturo, dum kiu vortoj estas aŭdataj,
09:29
affects when they're learned --
204
554000
2000
influas la momenton, kiam ili estas lernataj —
09:31
so in other words, the relationship
205
556000
2000
do, la rilaton
09:33
between words and what they're about in the world.
206
558000
4000
inter vortoj kaj tio, kion ili celas en la mondo.
09:37
So here's how we're approaching this.
207
562000
2000
Tiel do ni alproksimiĝas al tiu ideo.
09:39
In this video,
208
564000
2000
En tiu video
09:41
again, my son is being traced out.
209
566000
2000
ni denove spuras nian filon.
09:43
He's leaving red ink behind.
210
568000
2000
Li postlasas ruĝan koloron.
09:45
And there's our nanny by the door.
211
570000
2000
Kaj jen nia vartistino ĉe la pordo.
09:47
(Video) Nanny: You want water? (Baby: Aaaa.)
212
572000
3000
(video) Vartistino: Ĉu vi volas akvon? (Bebo: Aaaa.)
09:50
Nanny: All right. (Baby: Aaaa.)
213
575000
3000
Vartistino: En ordo. (Bebo: Aaaa.)
09:53
DR: She offers water,
214
578000
2000
DR: Ŝi oferas akvon
09:55
and off go the two worms
215
580000
2000
kaj ek la 2 vermoj iras
09:57
over to the kitchen to get water.
216
582000
2000
al la kuirejo por akiri akvon.
09:59
And what we've done is use the word "water"
217
584000
2000
Kaj ni do uzis la vorton "water"
10:01
to tag that moment, that bit of activity.
218
586000
2000
por etikedi tiun momenton, tiun pecon da agado.
10:03
And now we take the power of data
219
588000
2000
Kaj nun ni uzas la povon de datumoj
10:05
and take every time my son
220
590000
3000
uzante ĉiun fojon, kiam mia filo
10:08
ever heard the word water
221
593000
2000
iam ajn aŭdis la vorton por akvo
10:10
and the context he saw it in,
222
595000
2000
kaj la kuntekston en kiu li spertis ĝin,
10:12
and we use it to penetrate through the video
223
597000
3000
kaj kun tiuj ni trarigardas la videon
10:15
and find every activity trace
224
600000
3000
por trovi ĉiun agadan spuron,
10:18
that co-occurred with an instance of water.
225
603000
3000
kiu kunaperas kun apero de "water".
10:21
And what this data leaves in its wake
226
606000
2000
Kaj kion tiuj ĉi datumoj postlasas,
10:23
is a landscape.
227
608000
2000
estas topografio.
10:25
We call these wordscapes.
228
610000
2000
Ni nomas ĝin "vortografiojn".
10:27
This is the wordscape for the word water,
229
612000
2000
Tio ĉi estas la vortografio por la vorto "water",
10:29
and you can see most of the action is in the kitchen.
230
614000
2000
Kaj vi povas vidi, ke la plejparto de la agado okazas en la kuirejo.
10:31
That's where those big peaks are over to the left.
231
616000
3000
Estas tie maldekstre, kie troviĝas la altaj ekstremaĵoj.
10:34
And just for contrast, we can do this with any word.
232
619000
3000
Kaj por montri la malsamon, ni povas fari ĝin per iu ajn vorto.
10:37
We can take the word "bye"
233
622000
2000
Ni povas uzi la vorton "bye"
10:39
as in "good bye."
234
624000
2000
kiel en "good bye."
10:41
And we're now zoomed in over the entrance to the house.
235
626000
2000
Kaj ni nun zomis al la enirejo de la domo.
10:43
And we look, and we find, as you would expect,
236
628000
3000
Kaj rigardante ni trovas, kiel oni ja atendus,
10:46
a contrast in the landscape
237
631000
2000
malsamon en la topografio,
10:48
where the word "bye" occurs much more in a structured way.
238
633000
3000
kie la vorto "bye" okazas pli ofte en strukturita situacio.
10:51
So we're using these structures
239
636000
2000
Do ni uzas tiujn strukturojn
10:53
to start predicting
240
638000
2000
por komenci antaŭdiri
10:55
the order of language acquisition,
241
640000
3000
la vicordon de lingva akirado,
10:58
and that's ongoing work now.
242
643000
2000
kaj tio estas la daŭra laboro nuntempe.
11:00
In my lab, which we're peering into now, at MIT --
243
645000
3000
En mia laboratorio ĉe MIT, en kiun ni nun kaŝrigardas —
11:03
this is at the media lab.
244
648000
2000
tio estas ĉe la media laboratorio.
11:05
This has become my favorite way
245
650000
2000
Tio ĉi iĝis mia plej ŝatata metodo
11:07
of videographing just about any space.
246
652000
2000
de videe prezenti kiun ajn lokon.
11:09
Three of the key people in this project,
247
654000
2000
Tri de la ĉefaj homoj en la projekto,
11:11
Philip DeCamp, Rony Kubat and Brandon Roy are pictured here.
248
656000
3000
Philip DeCamp, Rony Kubat kaj Brandon Roy estas montrataj tie.
11:14
Philip has been a close collaborator
249
659000
2000
Philip estas proksima kunlaboranto
11:16
on all the visualizations you're seeing.
250
661000
2000
je ĉiuj videbligadoj, kiujn vi vidas.
11:18
And Michael Fleischman
251
663000
3000
Kaj Michael Fleischman
11:21
was another Ph.D. student in my lab
252
666000
2000
estis alia doktora studento en mia laboratorio,
11:23
who worked with me on this home video analysis,
253
668000
3000
kiu laboris kun mi pri tiu ĉi hejmvidea analizado,
11:26
and he made the following observation:
254
671000
3000
kaj li eltrovis la jenajn aferojn:
11:29
that "just the way that we're analyzing
255
674000
2000
ke "la metodo, kiun ni uzas por analizi,
11:31
how language connects to events
256
676000
3000
kiel lingvaĵo kuniĝas al eventoj,
11:34
which provide common ground for language,
257
679000
2000
kiuj donas komunan bazon por lingvo,
11:36
that same idea we can take out of your home, Deb,
258
681000
4000
ni povas uzi la saman ideon ekster via domo, Deb,
11:40
and we can apply it to the world of public media."
259
685000
3000
kaj apliki ĝin en la mondo de publikaj medioj."
11:43
And so our effort took an unexpected turn.
260
688000
3000
Kaj tiamaniere niaj klopodoj elturniĝis surprize.
11:46
Think of mass media
261
691000
2000
Imagu, ke amaskomunikiloj
11:48
as providing common ground
262
693000
2000
ja provizas komunan bazon
11:50
and you have the recipe
263
695000
2000
kaj jen la recepto
11:52
for taking this idea to a whole new place.
264
697000
3000
por transpreni tiun ĉi ideon al tute nova loko.
11:55
We've started analyzing television content
265
700000
3000
Ni komencis analizi televidajn enhavojn
11:58
using the same principles --
266
703000
2000
per la samaj principoj –
12:00
analyzing event structure of a TV signal --
267
705000
3000
analizante eventajn strukturojn de televida signalo –
12:03
episodes of shows,
268
708000
2000
epizodojn de serioj,
12:05
commercials,
269
710000
2000
reklamojn,
12:07
all of the components that make up the event structure.
270
712000
3000
ĉiujn komponentojn, kiuj formas la eventan strukturon.
12:10
And we're now, with satellite dishes, pulling and analyzing
271
715000
3000
Kaj nun, per satelitaj antenoj, ni ricevas kaj analizas
12:13
a good part of all the TV being watched in the United States.
272
718000
3000
sufiĉe grandan parton de ĉiu televidaĵo vidata en Usono.
12:16
And you don't have to now go and instrument living rooms with microphones
273
721000
3000
Kaj oni ne plu devas ekipi loĝĉambrojn per mikrofonoj
12:19
to get people's conversations,
274
724000
2000
por akiri interparoladojn de homoj,
12:21
you just tune into publicly available social media feeds.
275
726000
3000
oni simple ŝaltas elsendojn de publike haveblaj sociaj medioj.
12:24
So we're pulling in
276
729000
2000
Do ni entiras
12:26
about three billion comments a month,
277
731000
2000
po ĉirkaŭ 3 miliardojn da komentoj ĉiumonate.
12:28
and then the magic happens.
278
733000
2000
Kaj tiam ekas la sorĉado.
12:30
You have the event structure,
279
735000
2000
Oni havas la eventan strukturon,
12:32
the common ground that the words are about,
280
737000
2000
la komunan bazon, al kiu la vortoj celas,
12:34
coming out of the television feeds;
281
739000
3000
venante el la televidaj elsendoj;
12:37
you've got the conversations
282
742000
2000
oni havas la interparoladojn
12:39
that are about those topics;
283
744000
2000
pri tiuj temoj;
12:41
and through semantic analysis --
284
746000
3000
kaj per semantika analizo –
12:44
and this is actually real data you're looking at
285
749000
2000
kaj vi fakte rigardas al veraj datumoj
12:46
from our data processing --
286
751000
2000
el nia datumprilaboro –
12:48
each yellow line is showing a link being made
287
753000
3000
ĉiu flava linio montras ligilon faritan
12:51
between a comment in the wild
288
756000
3000
inter komento en la sovaĝejo
12:54
and a piece of event structure coming out of the television signal.
289
759000
3000
kaj pecon da eventa strukturo el la televida signalo.
12:57
And the same idea now
290
762000
2000
Kaj oni povas apliki
12:59
can be built up.
291
764000
2000
la saman ideon nun.
13:01
And we get this wordscape,
292
766000
2000
Kaj ni akiras tiujn vortografiojn,
13:03
except now words are not assembled in my living room.
293
768000
3000
kvankam nun la vortoj ne estas muntitaj en mia loĝĉambro.
13:06
Instead, the context, the common ground activities,
294
771000
4000
Anstataŭe, la kunteksto – la komunbazaj agadoj –
13:10
are the content on television that's driving the conversations.
295
775000
3000
estas la televida enhavo, kiu antaŭenpuŝas la konversaciojn.
13:13
And what we're seeing here, these skyscrapers now,
296
778000
3000
Kaj kion ni vidas ĉi tie, tiujn nubskrapulojn nun,
13:16
are commentary
297
781000
2000
estas komentario,
13:18
that are linked to content on television.
298
783000
2000
kiu ligiĝas al la televida enhavo.
13:20
Same concept,
299
785000
2000
Sama koncepto,
13:22
but looking at communication dynamics
300
787000
2000
sed oni rigardas la komunikajn dinamikaĵojn
13:24
in a very different sphere.
301
789000
2000
el malsamega angulo.
13:26
And so fundamentally, rather than, for example,
302
791000
2000
Kaj fundamente do, anstataŭ ekzemple
13:28
measuring content based on how many people are watching,
303
793000
3000
mezuri la enhavon laŭ la nombro da spektantoj,
13:31
this gives us the basic data
304
796000
2000
tio donas al ni la bazajn datumojn,
13:33
for looking at engagement properties of content.
305
798000
3000
kiuj lasas nin eltrovi, kia enhavo kiel influas la partoprenadon.
13:36
And just like we can look at feedback cycles
306
801000
3000
Kaj same kiel ni povas rigardi al retrokuploj
13:39
and dynamics in a family,
307
804000
3000
kaj dinamikoj en unu familio,
13:42
we can now open up the same concepts
308
807000
3000
ni nun povas ekuzi la samajn konceptojn
13:45
and look at much larger groups of people.
309
810000
3000
kaj rigardi al pli grandaj grupoj da homoj.
13:48
This is a subset of data from our database --
310
813000
3000
Tio estas subaro de niaj datumoj –
13:51
just 50,000 out of several million --
311
816000
3000
nur 50 000 el pluraj milionoj –
13:54
and the social graph that connects them
312
819000
2000
kaj la socia grafeo, kiu kunigas ilin
13:56
through publicly available sources.
313
821000
3000
tra publike haveblaj fontoj.
13:59
And if you put them on one plain,
314
824000
2000
Kaj se oni metas ilin sur unu ebeno,
14:01
a second plain is where the content lives.
315
826000
3000
sur dua ebeno restas la enhavo.
14:04
So we have the programs
316
829000
3000
Do ni havas la programojn
14:07
and the sporting events
317
832000
2000
kaj la sportajn eventojn
14:09
and the commercials,
318
834000
2000
kaj la reklamojn,
14:11
and all of the link structures that tie them together
319
836000
2000
kaj ĉiuj ligilaj strukturoj kunigantaj ilin
14:13
make a content graph.
320
838000
2000
formas la grafeon de la enhavo.
14:15
And then the important third dimension.
321
840000
4000
Kaj jen la grava tria dimensio.
14:19
Each of the links that you're seeing rendered here
322
844000
2000
Ĉiuj ligiloj, kiujn ni vidas ĉi tie,
14:21
is an actual connection made
323
846000
2000
fakte estas kunigaĵo
14:23
between something someone said
324
848000
3000
inter io dirita de iu
14:26
and a piece of content.
325
851000
2000
kaj peco da enhavo.
14:28
And there are, again, now tens of millions of these links
326
853000
3000
Kaj ekzistas ĉi tie dekoj da milionoj da tiaj ligiloj,
14:31
that give us the connective tissue of social graphs
327
856000
3000
kiuj reprezentas la kunigan reton de la sociaj grafeoj
14:34
and how they relate to content.
328
859000
3000
kaj ties rilatoj al la enhavo.
14:37
And we can now start to probe the structure
329
862000
2000
Kaj ni povas nun komenci sondi la strukturon
14:39
in interesting ways.
330
864000
2000
en interesaj manieroj.
14:41
So if we, for example, trace the path
331
866000
3000
Ekzemple, se ni spuras la padon
14:44
of one piece of content
332
869000
2000
de unu peco da enhavo,
14:46
that drives someone to comment on it,
333
871000
2000
kiu lasis iun komenti pri ĝi,
14:48
and then we follow where that comment goes,
334
873000
3000
kaj tiam ni sekvas tiun komenton,
14:51
and then look at the entire social graph that becomes activated
335
876000
3000
rigardas al la tuta socia grafeo, kiu aktiviĝas,
14:54
and then trace back to see the relationship
336
879000
3000
kaj poste respuras por vidi la rilaton
14:57
between that social graph and content,
337
882000
2000
inter tiu socia grafeo kaj la enhavo,
14:59
a very interesting structure becomes visible.
338
884000
2000
tre interesa strukturo videbliĝas.
15:01
We call this a co-viewing clique,
339
886000
2000
Ni nomas ĝin "kunvidantaro",
15:03
a virtual living room if you will.
340
888000
3000
kvazaŭ virtuala loĝĉambro.
15:06
And there are fascinating dynamics at play.
341
891000
2000
Kaj interesegaj dinamikoj influas la tuton.
15:08
It's not one way.
342
893000
2000
Ne estas nur unuvoje.
15:10
A piece of content, an event, causes someone to talk.
343
895000
3000
Peco da enhavo, aŭ evento, paroligas iun.
15:13
They talk to other people.
344
898000
2000
Ili parolas al aliaj homoj.
15:15
That drives tune-in behavior back into mass media,
345
900000
3000
Tio reenigas ŝalt-sintenon al la amasmedioj,
15:18
and you have these cycles
346
903000
2000
kaj oni vidas tiujn ciklojn,
15:20
that drive the overall behavior.
347
905000
2000
kiuj instigas la ĉefan sintenon.
15:22
Another example -- very different --
348
907000
2000
Alia ekzemplo, tute malsama, –
15:24
another actual person in our database --
349
909000
3000
alia vera persono en nia datumbazo –
15:27
and we're finding at least hundreds, if not thousands, of these.
350
912000
3000
kaj ni trovas almenaŭ centojn, se ne milojn da tiuj.
15:30
We've given this person a name.
351
915000
2000
Ni donis nomon al tiu ĉi persono.
15:32
This is a pro-amateur, or pro-am media critic
352
917000
3000
Li estas por-amatora mediokritikisto,
15:35
who has this high fan-out rate.
353
920000
3000
kiu tre plaĉas al siaj ŝatantoj.
15:38
So a lot of people are following this person -- very influential --
354
923000
3000
Do, multe da homoj sekvas tiun tre influeman homon,
15:41
and they have a propensity to talk about what's on TV.
355
926000
2000
kaj ili emas paroli pri la televida enhavo.
15:43
So this person is a key link
356
928000
3000
Tial li estas ĉefa ligilo
15:46
in connecting mass media and social media together.
357
931000
3000
kunigante amasajn mediojn kaj sociajn mediojn.
15:49
One last example from this data:
358
934000
3000
Jen lasta ekzemplo el tiuj datumoj:
15:52
Sometimes it's actually a piece of content that is special.
359
937000
3000
Kelkfoje estas ja peco da enhavo, kiu specialas.
15:55
So if we go and look at this piece of content,
360
940000
4000
Se ni do rigardas tiun ĉi pecon da enhavo,
15:59
President Obama's State of the Union address
361
944000
3000
la parolado pri la Stato de la Unio, kiun prezidento Obama
16:02
from just a few weeks ago,
362
947000
2000
faris antaŭ kelkaj semajnoj,
16:04
and look at what we find in this same data set,
363
949000
3000
kaj rigardas la trovaĵojn en tiu ĉi datumaro,
16:07
at the same scale,
364
952000
3000
samskale,
16:10
the engagement properties of this piece of content
365
955000
2000
la partoprenadigon de tiu ĉi peco da enhavo
16:12
are truly remarkable.
366
957000
2000
estas ege rimarkinda.
16:14
A nation exploding in conversation
367
959000
2000
Nacio eksplodas konversaciante
16:16
in real time
368
961000
2000
rektatempe
16:18
in response to what's on the broadcast.
369
963000
3000
respondante al la temoj de la elsendoj.
16:21
And of course, through all of these lines
370
966000
2000
Kaj kompreneble, tra ĉiuj tiuj linioj
16:23
are flowing unstructured language.
371
968000
2000
trafluas senstruktura lingvaĵo.
16:25
We can X-ray
372
970000
2000
Ni povas skani
16:27
and get a real-time pulse of a nation,
373
972000
2000
por ricevi rektatempan pulsadon de la nacio,
16:29
real-time sense
374
974000
2000
la realtempecon
16:31
of the social reactions in the different circuits in the social graph
375
976000
3000
de la sociaj reagoj en la diversaj eroj de la socia grafeo
16:34
being activated by content.
376
979000
3000
estas aktivigita per la enhavo.
16:37
So, to summarize, the idea is this:
377
982000
3000
Do, resumante, la ĉeftemo estas la jena:
16:40
As our world becomes increasingly instrumented
378
985000
3000
Dum nia mondo pli kaj pli teknikiĝas
16:43
and we have the capabilities
379
988000
2000
kaj ni havas la eblecon
16:45
to collect and connect the dots
380
990000
2000
kolekti kaj kunigi la punktojn
16:47
between what people are saying
381
992000
2000
inter la diraĵoj de homoj
16:49
and the context they're saying it in,
382
994000
2000
kaj ties kuntekstoj,
16:51
what's emerging is an ability
383
996000
2000
ekestas ebleco
16:53
to see new social structures and dynamics
384
998000
3000
vidi novajn sociajn strukturojn kaj dinamikojn,
16:56
that have previously not been seen.
385
1001000
2000
kiuj antaŭe ne videblis.
16:58
It's like building a microscope or telescope
386
1003000
2000
Estas kvazaŭ konstrui mikro- aŭ teleskopon
17:00
and revealing new structures
387
1005000
2000
kaj malkovri novajn strukturojn
17:02
about our own behavior around communication.
388
1007000
3000
pri nia sinteno al komunikado.
17:05
And I think the implications here are profound,
389
1010000
3000
Kaj mi pensas, ke la implikaĵoj estas profundaj,
17:08
whether it's for science,
390
1013000
2000
ĉu por scienco,
17:10
for commerce, for government,
391
1015000
2000
ĉu por komerco, por la registaro
17:12
or perhaps most of all,
392
1017000
2000
aŭ eble precipe
17:14
for us as individuals.
393
1019000
3000
por ni kiel individuoj.
17:17
And so just to return to my son,
394
1022000
3000
Kaj mi denove parolu pri mia filo:
17:20
when I was preparing this talk, he was looking over my shoulder,
395
1025000
3000
kiam mi preparis ĉi tiun paroladon, li rigardis super mian ŝultron
17:23
and I showed him the clips I was going to show to you today,
396
1028000
2000
kaj mi montris al li la videerojn, kiujn mi planis montri al vi,
17:25
and I asked him for permission -- granted.
397
1030000
3000
kaj mi demandis lian rajtigon — aprobita.
17:28
And then I went on to reflect,
398
1033000
2000
Kaj mi pli pensadis:
17:30
"Isn't it amazing,
399
1035000
3000
"Ĉu ne mirigas?
17:33
this entire database, all these recordings,
400
1038000
3000
La tutan datumbazon, ĉiujn tiajn surbendigaĵojn,
17:36
I'm going to hand off to you and to your sister" --
401
1041000
2000
mi transdonos al vi kaj via fratino",
17:38
who arrived two years later --
402
1043000
3000
kiu alvenis 2 jarojn poste.
17:41
"and you guys are going to be able to go back and re-experience moments
403
1046000
3000
Kaj vi du povos reeniri kaj resperti momentojn,
17:44
that you could never, with your biological memory,
404
1049000
3000
kiuj vi neniam ajn per biologia memoro
17:47
possibly remember the way you can now?"
405
1052000
2000
kapablus rememori tiamaniere."
17:49
And he was quiet for a moment.
406
1054000
2000
Kaj li estis silenta por momenteto.
17:51
And I thought, "What am I thinking?
407
1056000
2000
Kaj mi pensis: "Kion mi supozis?
17:53
He's five years old. He's not going to understand this."
408
1058000
2000
Li havas 5 jarojn. Li ne komprenos ĝin."
17:55
And just as I was having that thought, he looked up at me and said,
409
1060000
3000
Kaj pensante tiun penson, li rigardis al mi kaj diris:
17:58
"So that when I grow up,
410
1063000
2000
"Do, kiam mi plenkreskos,
18:00
I can show this to my kids?"
411
1065000
2000
ĉu mi povos montri ĝin al miaj infanoj?"
18:02
And I thought, "Wow, this is powerful stuff."
412
1067000
3000
Kaj mi pensis: "Ho, tio estas pova afero."
18:05
So I want to leave you
413
1070000
2000
Tial mi volas forlasi vin
18:07
with one last memorable moment
414
1072000
2000
kun unu lasta memorinda momento
18:09
from our family.
415
1074000
3000
el nia familio.
18:12
This is the first time our son
416
1077000
2000
Tio estas la unua fojo, en kiu nia filo
18:14
took more than two steps at once --
417
1079000
2000
faris pli ol unu paŝon sinsekve —
18:16
captured on film.
418
1081000
2000
surbendigita surfilme.
18:18
And I really want you to focus on something
419
1083000
3000
Kaj mi vere volas, ke vi koncentriĝu pri iu afero,
18:21
as I take you through.
420
1086000
2000
kiam vi spektas ĝin.
18:23
It's a cluttered environment; it's natural life.
421
1088000
2000
Estas senorda ĉirkaŭaĵo; estas la natura vivo.
18:25
My mother's in the kitchen, cooking,
422
1090000
2000
Mia patrino estas en la kuirejo, kuirante,
18:27
and, of all places, in the hallway,
423
1092000
2000
kaj ĝuste en la koridoro
18:29
I realize he's about to do it, about to take more than two steps.
424
1094000
3000
mi rimarkis, ke li estis faronta ĝin: li pretis fari pli ol unu paŝon.
18:32
And so you hear me encouraging him,
425
1097000
2000
Kaj tial vi aŭdos min kuraĝigi lin,
18:34
realizing what's happening,
426
1099000
2000
rimarkante, kion okazas,
18:36
and then the magic happens.
427
1101000
2000
kaj tiam la magio okazas.
18:38
Listen very carefully.
428
1103000
2000
Aŭskultu tre precize.
18:40
About three steps in,
429
1105000
2000
Post ĉirkaŭ tri paŝoj
18:42
he realizes something magic is happening,
430
1107000
2000
li rimarkis, ke io magia okazas.
18:44
and the most amazing feedback loop of all kicks in,
431
1109000
3000
Kaj unu el la plej mirigaj retrokuploj ŝaltiĝas,
18:47
and he takes a breath in,
432
1112000
2000
kaj li enspiras,
18:49
and he whispers "wow"
433
1114000
2000
kaj li flustras "ŭaŭ"
18:51
and instinctively I echo back the same.
434
1116000
4000
kaj instinkte mi eĥas la samon.
18:56
And so let's fly back in time
435
1121000
3000
Do ni reflugu nun en la tempo,
18:59
to that memorable moment.
436
1124000
2000
al tiu memorinda momento.
19:05
(Video) DR: Hey.
437
1130000
2000
(video) DR: Hej.
19:07
Come here.
438
1132000
2000
Venu.
19:09
Can you do it?
439
1134000
3000
Ĉu eblas?
19:13
Oh, boy.
440
1138000
2000
Ho, knaĉjo.
19:15
Can you do it?
441
1140000
3000
Ĉu eblas?
19:18
Baby: Yeah.
442
1143000
2000
Bebo: Jes.
19:20
DR: Ma, he's walking.
443
1145000
3000
DR: Panjo, li piediras.
19:24
(Laughter)
444
1149000
2000
(ridado)
19:26
(Applause)
445
1151000
2000
(aplaŭdo)
19:28
DR: Thank you.
446
1153000
2000
DR: Dankon.
19:30
(Applause)
447
1155000
15000
(aplaŭdo)
Translated by André Müller
Reviewed by James Piton

▲Back to top

ABOUT THE SPEAKER
Deb Roy - Cognitive scientist
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs.

Why you should listen

Deb Roy directs the Cognitive Machines group at the MIT Media Lab, where he studies how children learn language, and designs machines that learn to communicate in human-like ways. To enable this work, he has pioneered new data-driven methods for analyzing and modeling human linguistic and social behavior. He has authored numerous scientific papers on artificial intelligence, cognitive modeling, human-machine interaction, data mining, and information visualization.

Deb Roy was the co-founder and serves as CEO of Bluefin Labs, a venture-backed technology company. Built upon deep machine learning principles developed in his research over the past 15 years, Bluefin has created a technology platform that analyzes social media commentary to measure real-time audience response to TV ads and shows.

Follow Deb Roy on Twitter>

Roy adds some relevant papers:

Deb Roy. (2009). New Horizons in the Study of Child Language Acquisition. Proceedings of Interspeech 2009. Brighton, England. bit.ly/fSP4Qh

Brandon C. Roy, Michael C. Frank and Deb Roy. (2009). Exploring word learning in a high-density longitudinal corpus. Proceedings of the 31st Annual Meeting of the Cognitive Science Society. Amsterdam, Netherlands. bit.ly/e1qxej

Plenty more papers on our research including technology and methodology can be found here, together with other research from my lab at MIT: bit.ly/h3paSQ

The work that I mentioned on relationships between television content and the social graph is being done at Bluefin Labs (www.bluefinlabs.com). Details of this work have not been published. The social structures we are finding (and that I highlighted in my TED talk) are indeed new. The social media communication channels that are leading to their formation did not even exist a few years ago, and Bluefin's technology platform for discovering these kinds of structures is the first of its kind. We'll certainly have more to say about all this as we continue to dig into this fascinating new kind of data, and as new social structures continue to evolve!

More profile about the speaker
Deb Roy | Speaker | TED.com