TED2011
Deb Roy: The birth of a word
Деб Рой: Раждането на една дума
Filmed:
Readability: 4.2
2,809,941 views
Деб Рой, изследовател от Масачузетския Технологичен Институт, искал да разбере как новороденият му син се научава да говори -- затова той инсталирал видеокамери из къщата си, които да запечатат всеки момент (с изключения) от живота на сина му, а после анализирал 90000 часа домашно видео, за да види как "гааа" бавно се превръща във "вода". Удивителено, богато на данни изследване, с дълбоки последици върху това как учим.
Deb Roy - Cognitive scientist
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs. Full bio
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs. Full bio
Double-click the English transcript below to play the video.
00:15
Imagine if you could record your life --
0
0
4000
Представете си ако можеше да запишете живота си --
00:19
everything you said, everything you did,
1
4000
3000
всичко което казвате и вършите,
00:22
available in a perfect memory store at your fingertips,
2
7000
3000
достъпно в перфектен склад на спомени на ръка разстояние,
00:25
so you could go back
3
10000
2000
така че да можете да превъртите назад
00:27
and find memorable moments and relive them,
4
12000
3000
и да намерите и преживеете отново паметни моменти,
00:30
or sift through traces of time
5
15000
3000
или да пресеете времето
00:33
and discover patterns in your own life
6
18000
2000
и да откриете модели, които следвате във вашият живот,
00:35
that previously had gone undiscovered.
7
20000
3000
за които не сте подозирали че съществуват.
00:38
Well that's exactly the journey
8
23000
2000
Е, точно такова пътуване
00:40
that my family began
9
25000
2000
предприе моето семейство
00:42
five and a half years ago.
10
27000
2000
преди 5 години и половина.
00:44
This is my wife and collaborator, Rupal.
11
29000
3000
Това е моята съпругата и сътрудник, Рупал.
00:47
And on this day, at this moment,
12
32000
2000
И на този ден, в този момент,
00:49
we walked into the house with our first child,
13
34000
2000
ние стъпихме вкъщи с нашето първо дете,
00:51
our beautiful baby boy.
14
36000
2000
нашия красив син.
00:53
And we walked into a house
15
38000
3000
И влезнахме в къща
00:56
with a very special home video recording system.
16
41000
4000
със много специална домашна видео записваща система.
01:07
(Video) Man: Okay.
17
52000
2000
(Видео) Мъж: Добре.
01:10
Deb Roy: This moment
18
55000
1000
Деб Рой: Този момент,
01:11
and thousands of other moments special for us
19
56000
3000
както и хиляди други специални за нас мигове,
01:14
were captured in our home
20
59000
2000
бяха уловени в нашия дом,
01:16
because in every room in the house,
21
61000
2000
защото във всяка стая на къщата,
01:18
if you looked up, you'd see a camera and a microphone,
22
63000
3000
ако погледнехте нагоре, щяхте да видите видеокамера и микрофон,
01:21
and if you looked down,
23
66000
2000
а ако погледнехте надолу,
01:23
you'd get this bird's-eye view of the room.
24
68000
2000
щяхте да видите стаята от птичи поглед.
01:25
Here's our living room,
25
70000
3000
Това е дневната,
01:28
the baby bedroom,
26
73000
3000
детската,
01:31
kitchen, dining room
27
76000
2000
кухнята, трапезарията
01:33
and the rest of the house.
28
78000
2000
и останалата част от къщата.
01:35
And all of these fed into a disc array
29
80000
3000
И всички те се записваха на дисков масив,
01:38
that was designed for a continuous capture.
30
83000
3000
пригоден за нон-стоп запис.
01:41
So here we are flying through a day in our home
31
86000
3000
И така, тук ние прелитаме през един ден в нашия дом,
01:44
as we move from sunlit morning
32
89000
3000
и преминаваме от слънчева сутрин
01:47
through incandescent evening
33
92000
2000
през нажежена вечер
01:49
and, finally, lights out for the day.
34
94000
3000
и накрая на деня лампите загасват.
01:53
Over the course of three years,
35
98000
3000
В продължение на три години,
01:56
we recorded eight to 10 hours a day,
36
101000
2000
ние записвахме 8-10 часа дневно,
01:58
amassing roughly a quarter-million hours
37
103000
3000
натрупвайки около четвърт милион часа
02:01
of multi-track audio and video.
38
106000
3000
аудио и видео запис.
02:04
So you're looking at a piece of what is by far
39
109000
2000
И така, вие наблюдавате част от
02:06
the largest home video collection ever made.
40
111000
2000
най-голямата досега позната колекция от домашно видео.
02:08
(Laughter)
41
113000
3000
(Смях)
02:11
And what this data represents
42
116000
2000
Това, което тези данни означават
02:13
for our family at a personal level,
43
118000
4000
за нашето семейство на персонално равнище,
02:17
the impact has already been immense,
44
122000
2000
въздействието им е вече огромно,
02:19
and we're still learning its value.
45
124000
3000
и ние все още изучаваме значимостта им.
02:22
Countless moments
46
127000
2000
Безброй мигове,
02:24
of unsolicited natural moments, not posed moments,
47
129000
3000
естествени, непредизвикани и нережисирани мигове,
02:27
are captured there,
48
132000
2000
са съхранени в тези данни,
02:29
and we're starting to learn how to discover them and find them.
49
134000
3000
и ние започваме да научаваме как да ги откриваме и намираме
02:32
But there's also a scientific reason that drove this project,
50
137000
3000
Но има и научна причина, която мотивира този проект,
02:35
which was to use this natural longitudinal data
51
140000
4000
а именно да се използват естествените дългосрочни данни
02:39
to understand the process
52
144000
2000
за да разберем процесът,
02:41
of how a child learns language --
53
146000
2000
чрез който едно дете научава език,
02:43
that child being my son.
54
148000
2000
в случая това дете е моят син.
02:45
And so with many privacy provisions put in place
55
150000
4000
И така с много уговорки за поверителност,
02:49
to protect everyone who was recorded in the data,
56
154000
3000
защитаващи всички, чиито живот камерите са записали,
02:52
we made elements of the data available
57
157000
3000
ние предоставихме достъп до част от записите
02:55
to my trusted research team at MIT
58
160000
3000
на моят доверен изследователски екип в Масачузетския Технологичен Институт,
02:58
so we could start teasing apart patterns
59
163000
3000
за да започнем да разгадаваме модели
03:01
in this massive data set,
60
166000
3000
в голямото количество данни,
03:04
trying to understand the influence of social environments
61
169000
3000
опитвайки се да разберем влиянията на социалната среда
03:07
on language acquisition.
62
172000
2000
върху заучаването на езика.
03:09
So we're looking here
63
174000
2000
Тук наблюдаваме
03:11
at one of the first things we started to do.
64
176000
2000
едно от първите неща, които започнахме да правим.
03:13
This is my wife and I cooking breakfast in the kitchen,
65
178000
4000
Това сме аз и съпругата ми приготвяйки закуска в кухнята.
03:17
and as we move through space and through time,
66
182000
3000
И докато се движим през времето и пространството,
03:20
a very everyday pattern of life in the kitchen.
67
185000
3000
това е доста ежедневен модел на поведение в кухнята.
03:23
In order to convert
68
188000
2000
За да превърнем
03:25
this opaque, 90,000 hours of video
69
190000
3000
тези трудноразбираеми 90 000 часа видео,
03:28
into something that we could start to see,
70
193000
2000
в нещо, което да започнем да виждаме,
03:30
we use motion analysis to pull out,
71
195000
2000
ние използвахме анализ на движението,
03:32
as we move through space and through time,
72
197000
2000
докато преминавахме през времето и пространството,
03:34
what we call space-time worms.
73
199000
3000
който нарекохме времево-пространствени червеи.
03:37
And this has become part of our toolkit
74
202000
3000
Те станаха част от нашия арсенал,
03:40
for being able to look and see
75
205000
3000
за да можем да определяме
03:43
where the activities are in the data,
76
208000
2000
къде в данните се случват дейностите,
03:45
and with it, trace the pattern of, in particular,
77
210000
3000
и чрез тях проследяваме моделът, в частност,
03:48
where my son moved throughout the home,
78
213000
2000
на движенията на сина ми из къщата,
03:50
so that we could focus our transcription efforts,
79
215000
3000
за да можем да съсредоточим транскрибиращите си усилия
03:53
all of the speech environment around my son --
80
218000
3000
върху речевата среда около сина ми --
03:56
all of the words that he heard from myself, my wife, our nanny,
81
221000
3000
всички думи, които чува от мен, съпругата ми, детегледачката,
03:59
and over time, the words he began to produce.
82
224000
3000
и последователно думите, които той започна да произнася.
04:02
So with that technology and that data
83
227000
3000
Така с тази технология и тези данни,
04:05
and the ability to, with machine assistance,
84
230000
2000
и способността, с помощта на машините,
04:07
transcribe speech,
85
232000
2000
да записваме реч,
04:09
we've now transcribed
86
234000
2000
засега сме записали
04:11
well over seven million words of our home transcripts.
87
236000
3000
повече от 7 милиона думи от домашните ни разговори.
04:14
And with that, let me take you now
88
239000
2000
И така, нека сега ви отведа
04:16
for a first tour into the data.
89
241000
3000
на първата разходка из нашите данни
04:19
So you've all, I'm sure,
90
244000
2000
Сигурен съм, че всички вие
04:21
seen time-lapse videos
91
246000
2000
сте виждали ускорени във времето видеозаписи, където например,
04:23
where a flower will blossom as you accelerate time.
92
248000
3000
може да наблюдавате разцъфващо цвете докато ускорявате времето,
04:26
I'd like you to now experience
93
251000
2000
Бих желал сега да преживеете
04:28
the blossoming of a speech form.
94
253000
2000
разцъфването на една форма на речта.
04:30
My son, soon after his first birthday,
95
255000
2000
Синът ми скоро след първия си рожден ден
04:32
would say "gaga" to mean water.
96
257000
3000
започна да нарича водата "гага."
04:35
And over the course of the next half-year,
97
260000
3000
И през следващите шест месеца,
04:38
he slowly learned to approximate
98
263000
2000
той бавно се научи да произнася приблизително
04:40
the proper adult form, "water."
99
265000
3000
правилната форма на думата, "вода."
04:43
So we're going to cruise through half a year
100
268000
2000
Сега ще пропътуваме половин година
04:45
in about 40 seconds.
101
270000
2000
за 40 секунди.
04:47
No video here,
102
272000
2000
Без видео запис,
04:49
so you can focus on the sound, the acoustics,
103
274000
3000
за да може да се концентрирате върху звука, акустиката
04:52
of a new kind of trajectory:
104
277000
2000
на един нов вид траектория:
04:54
gaga to water.
105
279000
2000
от "гага" до "вода."
04:56
(Audio) Baby: Gagagagagaga
106
281000
12000
(Звук) Бебе: Гагагагагага
05:08
Gaga gaga gaga
107
293000
4000
Гага гага гага
05:12
guga guga guga
108
297000
5000
гуга гуга гуга
05:17
wada gaga gaga guga gaga
109
302000
5000
уада гага гага гуга гага
05:22
wader guga guga
110
307000
4000
уода гуга гуга
05:26
water water water
111
311000
3000
вода вода вода
05:29
water water water
112
314000
6000
вода вода вода
05:35
water water
113
320000
4000
вода вода
05:39
water.
114
324000
2000
вода.
05:41
DR: He sure nailed it, didn't he.
115
326000
2000
ДР: Направо я закова, нали!
05:43
(Applause)
116
328000
7000
(Ръкопляскане)
05:50
So he didn't just learn water.
117
335000
2000
Той не само научи "вода."
05:52
Over the course of the 24 months,
118
337000
2000
По време на 24-те месеца,
05:54
the first two years that we really focused on,
119
339000
3000
първите две години, върху които наистина се съсредоточихме,
05:57
this is a map of every word he learned in chronological order.
120
342000
4000
това е карта на всяка дума научена от него в хронологичен ред.
06:01
And because we have full transcripts,
121
346000
3000
И тъй като имаме пълни записи,
06:04
we've identified each of the 503 words
122
349000
2000
идентифицирахме всяка от 503-те думи,
06:06
that he learned to produce by his second birthday.
123
351000
2000
които той научи да изговаря до втория си рожден ден.
06:08
He was an early talker.
124
353000
2000
Той проговори рано.
06:10
And so we started to analyze why.
125
355000
3000
И така ние започнахме да анализираме защо.
06:13
Why were certain words born before others?
126
358000
3000
Защо определени думи се раждаха преди другите?
06:16
This is one of the first results
127
361000
2000
Това е един от първите резултати
06:18
that came out of our study a little over a year ago
128
363000
2000
от експеримента ни, който получихме преди година,
06:20
that really surprised us.
129
365000
2000
и той наистина ни изненада.
06:22
The way to interpret this apparently simple graph
130
367000
3000
Начинът, по който може да се тълкува тази привидно проста диаграма
06:25
is, on the vertical is an indication
131
370000
2000
е, че по вертикалата е индикация за това,
06:27
of how complex caregiver utterances are
132
372000
3000
колко сложен е изказът на детегледачът,
06:30
based on the length of utterances.
133
375000
2000
базиран на дължината на речта.
06:32
And the [horizontal] axis is time.
134
377000
3000
А по вертикалната ос е времето.
06:35
And all of the data,
135
380000
2000
Подредихме всички данни
06:37
we aligned based on the following idea:
136
382000
3000
въз основа на следната идея:
06:40
Every time my son would learn a word,
137
385000
3000
Всеки път, когато синът ми научаваше дума,
06:43
we would trace back and look at all of the language he heard
138
388000
3000
ние проследявахме речта чута от него,
06:46
that contained that word.
139
391000
2000
съдържаща тази дума.
06:48
And we would plot the relative length of the utterances.
140
393000
4000
И съставяхме крива със съответната продължителност на словото.
06:52
And what we found was this curious phenomena,
141
397000
3000
И открихме любопитен феномен --
06:55
that caregiver speech would systematically dip to a minimum,
142
400000
3000
речта на детегледачът системно спадаше до минимум,
06:58
making language as simple as possible,
143
403000
3000
правейки езикът колкото се може по опростен,
07:01
and then slowly ascend back up in complexity.
144
406000
3000
и след това бавно сложността на речта се повишаваше.
07:04
And the amazing thing was
145
409000
2000
Невероятното в случая е,
07:06
that bounce, that dip,
146
411000
2000
че този спад
07:08
lined up almost precisely
147
413000
2000
съвпадна почти точно
07:10
with when each word was born --
148
415000
2000
с момента, в който всяка дума се раждаше --
07:12
word after word, systematically.
149
417000
2000
методично, дума по дума.
07:14
So it appears that all three primary caregivers --
150
419000
2000
И така излглежда, че тримата главни детегледачи --
07:16
myself, my wife and our nanny --
151
421000
3000
аз, жена ми и бавачката --
07:19
were systematically and, I would think, subconsciously
152
424000
3000
систематично и, мисля, подсъзнателно,
07:22
restructuring our language
153
427000
2000
реструктурирахме езика си,
07:24
to meet him at the birth of a word
154
429000
3000
за да го нагодим там, където се ражда една дума,
07:27
and bring him gently into more complex language.
155
432000
4000
и да го поведем внимателно към по-сложен език.
07:31
And the implications of this -- there are many,
156
436000
2000
И последствията от това -- имаше много,
07:33
but one I just want to point out,
157
438000
2000
но едно от тези, които искам да спомена
07:35
is that there must be amazing feedback loops.
158
440000
3000
е, че би трябвало да има невероятнa верига от обратна информация.
07:38
Of course, my son is learning
159
443000
2000
Разбира се, синът ми се учи
07:40
from his linguistic environment,
160
445000
2000
от своето лингвистично обкръжение,
07:42
but the environment is learning from him.
161
447000
3000
обкръжението му се учи от него.
07:45
That environment, people, are in these tight feedback loops
162
450000
3000
Хората от обкръжението му са част от веригата за обратна информация,
07:48
and creating a kind of scaffolding
163
453000
2000
като формират нещо като скеле,
07:50
that has not been noticed until now.
164
455000
3000
което е останало незабелязано досега.
07:54
But that's looking at the speech context.
165
459000
2000
Но това е когато разглеждаме речевия контекст.
07:56
What about the visual context?
166
461000
2000
Ами визуалният контекст?
07:58
We're not looking at --
167
463000
2000
Ние не разглеждаме --
08:00
think of this as a dollhouse cutaway of our house.
168
465000
2000
това е страничен разрез на къщтата ни.
08:02
We've taken those circular fish-eye lens cameras,
169
467000
3000
Използвайки кръговите видеокамери тип 'рибно око,'
08:05
and we've done some optical correction,
170
470000
2000
ние ги коригирахме оптически,
08:07
and then we can bring it into three-dimensional life.
171
472000
4000
за да получим този триизмерен образ
08:11
So welcome to my home.
172
476000
2000
И така, добре дошли в моят дом.
08:13
This is a moment,
173
478000
2000
Това е момент,
08:15
one moment captured across multiple cameras.
174
480000
3000
записан от различни камери.
08:18
The reason we did this is to create the ultimate memory machine,
175
483000
3000
Ние създадохме това с цел да създадем перфектната машина на спомените,
08:21
where you can go back and interactively fly around
176
486000
3000
с която да можем да се върнем назад и интерактивно да летим наоколо
08:24
and then breathe video-life into this system.
177
489000
3000
и да вдъхнем живот на видео записите.
08:27
What I'm going to do
178
492000
2000
Сега ще ви покажа
08:29
is give you an accelerated view of 30 minutes,
179
494000
3000
ускорен изглед от 30 минути,
08:32
again, of just life in the living room.
180
497000
2000
отново, само от живота в дневната.
08:34
That's me and my son on the floor.
181
499000
3000
Това сме аз и сина ми на пода.
08:37
And there's video analytics
182
502000
2000
И има видео анализ,
08:39
that are tracking our movements.
183
504000
2000
който проследява нашите движения.
08:41
My son is leaving red ink. I am leaving green ink.
184
506000
3000
Синът ми оставя червено мастило, аз оставям зелено мастило.
08:44
We're now on the couch,
185
509000
2000
Сега сме на дивана,
08:46
looking out through the window at cars passing by.
186
511000
3000
гледаме през прозореца преминаващи коли.
08:49
And finally, my son playing in a walking toy by himself.
187
514000
3000
И накрая, синът ми си играе с ходеща играчка самичък.
08:52
Now we freeze the action, 30 minutes,
188
517000
3000
Сега замразяваме движението, за 30 минути,
08:55
we turn time into the vertical axis,
189
520000
2000
обръщаме времето на вертикалната ос,
08:57
and we open up for a view
190
522000
2000
и отваряме изглед
08:59
of these interaction traces we've just left behind.
191
524000
3000
на тези интерактивни следи, които оставихме току-що.
09:02
And we see these amazing structures --
192
527000
3000
И ние виждаме тези невероятни структури --
09:05
these little knots of two colors of thread
193
530000
3000
тези малки възли от двуцветни нишки,
09:08
we call "social hot spots."
194
533000
2000
които наричаме социални горещи точки.
09:10
The spiral thread
195
535000
2000
Спираловидната нишка
09:12
we call a "solo hot spot."
196
537000
2000
наричаме единична гореща точка.
09:14
And we think that these affect the way language is learned.
197
539000
3000
И ние смятаме, че те оказват влияние върху начина, по който езикът се научава.
09:17
What we'd like to do
198
542000
2000
Това, което искаме да направим,
09:19
is start understanding
199
544000
2000
е да започнем да разбираме
09:21
the interaction between these patterns
200
546000
2000
взаимодействието между тези модели
09:23
and the language that my son is exposed to
201
548000
2000
и езика, на който е изложен синът ми,
09:25
to see if we can predict
202
550000
2000
за да разберем дали може да се предскаже,
09:27
how the structure of when words are heard
203
552000
2000
как структурата на това кога думите са чути,
09:29
affects when they're learned --
204
554000
2000
оказва влияние на това кога са заучени --
09:31
so in other words, the relationship
205
556000
2000
с други думи, връзката
09:33
between words and what they're about in the world.
206
558000
4000
между думите и това, което те представляват в света.
09:37
So here's how we're approaching this.
207
562000
2000
Така че, ето как подхождаме към това.
09:39
In this video,
208
564000
2000
В това видео,
09:41
again, my son is being traced out.
209
566000
2000
отново, синът ми е проследяван.
09:43
He's leaving red ink behind.
210
568000
2000
Той оставя червено мастило след себе си.
09:45
And there's our nanny by the door.
211
570000
2000
И нашата бавачка е до вратата.
09:47
(Video) Nanny: You want water? (Baby: Aaaa.)
212
572000
3000
(Видео) Бавачка: Искаш ли вода? (Бебе: Аааа.)
09:50
Nanny: All right. (Baby: Aaaa.)
213
575000
3000
Бавачка: Добре. (Бебе: Аааа.)
09:53
DR: She offers water,
214
578000
2000
ДР: Тя предлага вода,
09:55
and off go the two worms
215
580000
2000
и двете червейчета
09:57
over to the kitchen to get water.
216
582000
2000
потеглят към кухнята да вземат вода.
09:59
And what we've done is use the word "water"
217
584000
2000
И това, което сме направили, е да използваме думата "вода,"
10:01
to tag that moment, that bit of activity.
218
586000
2000
за да маркираме този момент, тази дейност.
10:03
And now we take the power of data
219
588000
2000
И сега използваме силата на данните,
10:05
and take every time my son
220
590000
3000
и вземаме всеки път, когато синът ми
10:08
ever heard the word water
221
593000
2000
е чувал думата вода,
10:10
and the context he saw it in,
222
595000
2000
и контекста, в който я е видял,
10:12
and we use it to penetrate through the video
223
597000
3000
и използваме това, за да претърсим видеото
10:15
and find every activity trace
224
600000
3000
и да проследим всяка следа от дейност,
10:18
that co-occurred with an instance of water.
225
603000
3000
която се е случила по същото време, когато е използвана думата вода.
10:21
And what this data leaves in its wake
226
606000
2000
И това, което тези данни оставят след себе си
10:23
is a landscape.
227
608000
2000
е пейзаж.
10:25
We call these wordscapes.
228
610000
2000
Ние ги наричаме словесни пейзажи.
10:27
This is the wordscape for the word water,
229
612000
2000
Това е словесния пейзаж за думата вода
10:29
and you can see most of the action is in the kitchen.
230
614000
2000
и може да видите, че по-голямата част от действията са в кухнята.
10:31
That's where those big peaks are over to the left.
231
616000
3000
Това е мястото, където са се образували тези големи върхове вляво.
10:34
And just for contrast, we can do this with any word.
232
619000
3000
И само за контраст, ние можем да направим това с всяка дума.
10:37
We can take the word "bye"
233
622000
2000
Можем да вземем думата "довиждане,"
10:39
as in "good bye."
234
624000
2000
като в "до скоро виждане."
10:41
And we're now zoomed in over the entrance to the house.
235
626000
2000
И сега увеличаваме над входа на къщата.
10:43
And we look, and we find, as you would expect,
236
628000
3000
И гледаме, и откриваме, както може да се очаква,
10:46
a contrast in the landscape
237
631000
2000
контраст в пейзажа,
10:48
where the word "bye" occurs much more in a structured way.
238
633000
3000
където думата "довиждане" се среща много повече по структуриран начин.
10:51
So we're using these structures
239
636000
2000
Така че ние използваме тези структури,
10:53
to start predicting
240
638000
2000
за да започнем да предсказваме
10:55
the order of language acquisition,
241
640000
3000
редът за придобиване на езикови умения,
10:58
and that's ongoing work now.
242
643000
2000
и това е работа, която вършим сега.
11:00
In my lab, which we're peering into now, at MIT --
243
645000
3000
В моята лаборатория, която виждаме в момента, в Масачузетския технологичен институт --
11:03
this is at the media lab.
244
648000
2000
това е в медийната лаборатория.
11:05
This has become my favorite way
245
650000
2000
Това се превърна в любимия ми начин
11:07
of videographing just about any space.
246
652000
2000
за видео представяне на почти всяко пространство.
11:09
Three of the key people in this project,
247
654000
2000
Три от ключовите фигури в този проект,
11:11
Philip DeCamp, Rony Kubat and Brandon Roy are pictured here.
248
656000
3000
Филип ДеКамп, Рони Кубат и Брендън Рой са на снимката.
11:14
Philip has been a close collaborator
249
659000
2000
Филип беше близък сътрудник
11:16
on all the visualizations you're seeing.
250
661000
2000
за всички визуализации, което виждате.
11:18
And Michael Fleischman
251
663000
3000
И Майкъл Флайшман,
11:21
was another Ph.D. student in my lab
252
666000
2000
който е друг докторант в моята лаборатория,
11:23
who worked with me on this home video analysis,
253
668000
3000
който работеше с мен над анализа на това домашно видео,
11:26
and he made the following observation:
254
671000
3000
и той направи следното наблюдение:
11:29
that "just the way that we're analyzing
255
674000
2000
че "просто начинът, по който анализираме
11:31
how language connects to events
256
676000
3000
как езика се свързва със събития,
11:34
which provide common ground for language,
257
679000
2000
които предоставят контекста за езика,
11:36
that same idea we can take out of your home, Deb,
258
681000
4000
същата идея можем да извадим от дома ти, Деб,
11:40
and we can apply it to the world of public media."
259
685000
3000
и можем да я приложим в света на обществените медии."
11:43
And so our effort took an unexpected turn.
260
688000
3000
И така, усилията ни претърпяха неочакван обрат.
11:46
Think of mass media
261
691000
2000
Мислете си за средствата за масова информация,
11:48
as providing common ground
262
693000
2000
като предоставящи контекста,
11:50
and you have the recipe
263
695000
2000
и ще раполагате с рецепта
11:52
for taking this idea to a whole new place.
264
697000
3000
за отвеждане на тази идея на съвсем ново място.
11:55
We've started analyzing television content
265
700000
3000
Ние започнахме да анализираме телевизионно съдържание,
11:58
using the same principles --
266
703000
2000
използвайки същите принципи --
12:00
analyzing event structure of a TV signal --
267
705000
3000
анализирахме структурата на събитията от телевизионен сигнал --
12:03
episodes of shows,
268
708000
2000
епизоди на предавания,
12:05
commercials,
269
710000
2000
реклами,
12:07
all of the components that make up the event structure.
270
712000
3000
всички елементи, които изграждат структурата на събитието.
12:10
And we're now, with satellite dishes, pulling and analyzing
271
715000
3000
И сега, със сателитни чинии, извличаме и анализираме
12:13
a good part of all the TV being watched in the United States.
272
718000
3000
голяма част от телевизията, която се гледа в Съединените щати.
12:16
And you don't have to now go and instrument living rooms with microphones
273
721000
3000
И не е нужно да отидете сега и да инсталирате микрофони във всекидневните,
12:19
to get people's conversations,
274
724000
2000
за да научите разговорите на хората,
12:21
you just tune into publicly available social media feeds.
275
726000
3000
необходимо е просто да се настроите към обществено достъпните социални медийни емисии.
12:24
So we're pulling in
276
729000
2000
И така, ние извличаме
12:26
about three billion comments a month,
277
731000
2000
около три милиарда коментари на месец.
12:28
and then the magic happens.
278
733000
2000
И тогава се случва магията.
12:30
You have the event structure,
279
735000
2000
Разполагаме със структурата на събитията,
12:32
the common ground that the words are about,
280
737000
2000
контекста, в който се използват думите,
12:34
coming out of the television feeds;
281
739000
3000
произлизащи от телевизионните емисии;
12:37
you've got the conversations
282
742000
2000
разполагаме с разговорите
12:39
that are about those topics;
283
744000
2000
свързани с тези теми;
12:41
and through semantic analysis --
284
746000
3000
и чрез семантичен анализ --
12:44
and this is actually real data you're looking at
285
749000
2000
и това всъщност са реални данни, които виждаме в момента,
12:46
from our data processing --
286
751000
2000
от нашата обработка на данните --
12:48
each yellow line is showing a link being made
287
753000
3000
всяка жълта линия показва връзка
12:51
between a comment in the wild
288
756000
3000
между коментар, направен в интернет,
12:54
and a piece of event structure coming out of the television signal.
289
759000
3000
и някакво събитие, произлизащо от телевизионния сигнал.
12:57
And the same idea now
290
762000
2000
И същата идея сега
12:59
can be built up.
291
764000
2000
може да бъде изградена.
13:01
And we get this wordscape,
292
766000
2000
И ние получаваме това словесно пространство,
13:03
except now words are not assembled in my living room.
293
768000
3000
с изключение на това, че сега думите не са събрани от моя хол.
13:06
Instead, the context, the common ground activities,
294
771000
4000
Вместо това, контекста, общите дейности,
13:10
are the content on television that's driving the conversations.
295
775000
3000
са от телевизионното съдържание, което подтиква разговорите.
13:13
And what we're seeing here, these skyscrapers now,
296
778000
3000
И това, което виждаме тук, тези небостъргачи сега,
13:16
are commentary
297
781000
2000
са коментари,
13:18
that are linked to content on television.
298
783000
2000
които са свързани със телевизионното съдържание.
13:20
Same concept,
299
785000
2000
Същата концепция,
13:22
but looking at communication dynamics
300
787000
2000
но сега гледаме в комуникационната динамика
13:24
in a very different sphere.
301
789000
2000
в съвсем различна сфера.
13:26
And so fundamentally, rather than, for example,
302
791000
2000
И така в основни линии, вместо да, например,
13:28
measuring content based on how many people are watching,
303
793000
3000
измерваме съдържанието, на базата на това колко много хора гледат,
13:31
this gives us the basic data
304
796000
2000
това ни дава основните данни,
13:33
for looking at engagement properties of content.
305
798000
3000
за наблюдаване на свойствата на ангажираност към съдържанието.
13:36
And just like we can look at feedback cycles
306
801000
3000
И по същия начин както можем да разглеждаме вериги за обратна връзка
13:39
and dynamics in a family,
307
804000
3000
и динамиката в семейство,
13:42
we can now open up the same concepts
308
807000
3000
сега можем да вземем същите понятия
13:45
and look at much larger groups of people.
309
810000
3000
и да погледнем в много по-големи групи от хора.
13:48
This is a subset of data from our database --
310
813000
3000
Това е набор от данни от нашата база данни --
13:51
just 50,000 out of several million --
311
816000
3000
само 50 000 от няколко милиона --
13:54
and the social graph that connects them
312
819000
2000
и социалния граф, който ги свързва
13:56
through publicly available sources.
313
821000
3000
с публично достъпни източници.
13:59
And if you put them on one plain,
314
824000
2000
И ако ги сложите на една равнина,♫
14:01
a second plain is where the content lives.
315
826000
3000
втората равнина е мястото, което е населено със съдържанието.
14:04
So we have the programs
316
829000
3000
Така че, програмите
14:07
and the sporting events
317
832000
2000
и спортните събития
14:09
and the commercials,
318
834000
2000
и рекламите,
14:11
and all of the link structures that tie them together
319
836000
2000
и всички свързани структури, които ги обединяват,
14:13
make a content graph.
320
838000
2000
образуват граф на съдържанието.
14:15
And then the important third dimension.
321
840000
4000
И после идва важното третото измерение.
14:19
Each of the links that you're seeing rendered here
322
844000
2000
Всяка една от връзките, които виждате предоставени тук,
14:21
is an actual connection made
323
846000
2000
е конкретна връзка направена
14:23
between something someone said
324
848000
3000
между нещо, което някой казал
14:26
and a piece of content.
325
851000
2000
и някакво съдържание.
14:28
And there are, again, now tens of millions of these links
326
853000
3000
И има, отново, десетки милиони от тези връзки,
14:31
that give us the connective tissue of social graphs
327
856000
3000
които ни дават съединителната тъкан на социалния графики,
14:34
and how they relate to content.
328
859000
3000
и как те се отнасят към съдържанието.
14:37
And we can now start to probe the structure
329
862000
2000
И сега можем да започнем да проучваме структурата
14:39
in interesting ways.
330
864000
2000
по интересни начини.
14:41
So if we, for example, trace the path
331
866000
3000
Така ако, например, проследим пътя
14:44
of one piece of content
332
869000
2000
на някакво съдържание,
14:46
that drives someone to comment on it,
333
871000
2000
което подтиква някой да направи коментар върху него,
14:48
and then we follow where that comment goes,
334
873000
3000
и ако след това проследим къде отива коментара,
14:51
and then look at the entire social graph that becomes activated
335
876000
3000
и след това погледнем целия социален граф, който става активиран,
14:54
and then trace back to see the relationship
336
879000
3000
и след това проследим обратно, за да видим връзката
14:57
between that social graph and content,
337
882000
2000
между социалната графика и съдържанието,
14:59
a very interesting structure becomes visible.
338
884000
2000
много интересна структура става видима.
15:01
We call this a co-viewing clique,
339
886000
2000
Ние наричаме това клика за съвместно гледане,
15:03
a virtual living room if you will.
340
888000
3000
виртуална дневна, ако щете.
15:06
And there are fascinating dynamics at play.
341
891000
2000
И се случват някои интересни динамики.
15:08
It's not one way.
342
893000
2000
Това не е еднопосочно.
15:10
A piece of content, an event, causes someone to talk.
343
895000
3000
Някакво съдържание, събитие, подтиква някого да заговори.
15:13
They talk to other people.
344
898000
2000
Те говорят с други хора.
15:15
That drives tune-in behavior back into mass media,
345
900000
3000
Това предизвиква някакво поведение обратно в средствата за масово осведомяване,
15:18
and you have these cycles
346
903000
2000
и се получават тези цикли,
15:20
that drive the overall behavior.
347
905000
2000
които стимулират цялостното поведение.
15:22
Another example -- very different --
348
907000
2000
Друг пример -- много различен --
15:24
another actual person in our database --
349
909000
3000
друг истински човек в нашата база данни --
15:27
and we're finding at least hundreds, if not thousands, of these.
350
912000
3000
и ние намираме поне стотици, ако не и хиляди, от тях.
15:30
We've given this person a name.
351
915000
2000
Ние сме наименовали този човек.
15:32
This is a pro-amateur, or pro-am media critic
352
917000
3000
Той е про-аматьор, или про-ам, медиен критик,
15:35
who has this high fan-out rate.
353
920000
3000
който има този висок процент на фенове.
15:38
So a lot of people are following this person -- very influential --
354
923000
3000
Така че много хора следват този човек -- много е влиятелен --
15:41
and they have a propensity to talk about what's on TV.
355
926000
2000
и те имат склонност да говорят за това, което дават по телевизията.
15:43
So this person is a key link
356
928000
3000
Така че този човек е едно от ключовите звена
15:46
in connecting mass media and social media together.
357
931000
3000
за свързването на средствата за масово осведомяване и социалните медии.
15:49
One last example from this data:
358
934000
3000
Един последен пример от тези данни.
15:52
Sometimes it's actually a piece of content that is special.
359
937000
3000
Понякога само част от съдържанието е специална.
15:55
So if we go and look at this piece of content,
360
940000
4000
Така че, ако погледнем тази част от съдържанието,
15:59
President Obama's State of the Union address
361
944000
3000
годишната реч на президента Обама пред Конгреса,
16:02
from just a few weeks ago,
362
947000
2000
само от преди няколко седмици,
16:04
and look at what we find in this same data set,
363
949000
3000
и ако погледнем какво намираме в същия набор от данни,
16:07
at the same scale,
364
952000
3000
в същия мащаб,
16:10
the engagement properties of this piece of content
365
955000
2000
свойствата на ангажираност на тази част от съдържанието
16:12
are truly remarkable.
366
957000
2000
са наистина забележителни.
16:14
A nation exploding in conversation
367
959000
2000
Нация избухнала в разговор,
16:16
in real time
368
961000
2000
в реално време,
16:18
in response to what's on the broadcast.
369
963000
3000
в отговор на това, което се излъчва.
16:21
And of course, through all of these lines
370
966000
2000
И разбира се, по всичките тези линии
16:23
are flowing unstructured language.
371
968000
2000
се лее неструктуриран език.
16:25
We can X-ray
372
970000
2000
Можем да направим рентгенова снимка
16:27
and get a real-time pulse of a nation,
373
972000
2000
и да измерим в реално време пулса на една нация,
16:29
real-time sense
374
974000
2000
усещане в реално време
16:31
of the social reactions in the different circuits in the social graph
375
976000
3000
за социалните реакции в различните вериги на социалния граф,
16:34
being activated by content.
376
979000
3000
които се активират по съдържание.
16:37
So, to summarize, the idea is this:
377
982000
3000
И така, да обобщя, идеята е следната:
16:40
As our world becomes increasingly instrumented
378
985000
3000
Докато нашия свят става все по-наситен с инструменти,
16:43
and we have the capabilities
379
988000
2000
и ние имаме възможността
16:45
to collect and connect the dots
380
990000
2000
да събираме и свързваме точките
16:47
between what people are saying
381
992000
2000
между това, което казват хората
16:49
and the context they're saying it in,
382
994000
2000
и контекста, в който го казват,
16:51
what's emerging is an ability
383
996000
2000
това, което се заражда е способността
16:53
to see new social structures and dynamics
384
998000
3000
да се видят нови социални структури и динамики,
16:56
that have previously not been seen.
385
1001000
2000
които преди това не са били виждани.
16:58
It's like building a microscope or telescope
386
1003000
2000
Това е като изграждането на микроскоп или телескоп,
17:00
and revealing new structures
387
1005000
2000
и разкриването на нови структури
17:02
about our own behavior around communication.
388
1007000
3000
за нашето собствено поведение свързано с комуникацията.
17:05
And I think the implications here are profound,
389
1010000
3000
И мисля, че последиците тук са значими,
17:08
whether it's for science,
390
1013000
2000
независимо дали става дума за наука,
17:10
for commerce, for government,
391
1015000
2000
за търговия, за управление,
17:12
or perhaps most of all,
392
1017000
2000
или може би най-вече,
17:14
for us as individuals.
393
1019000
3000
за нас като индивиди.
17:17
And so just to return to my son,
394
1022000
3000
И така, да се върнем към моя син,
17:20
when I was preparing this talk, he was looking over my shoulder,
395
1025000
3000
когато подготвях този разговор, той гледаше над рамото ми,
17:23
and I showed him the clips I was going to show to you today,
396
1028000
2000
и аз му показах клиповете, които щях да ви покажа днес,
17:25
and I asked him for permission -- granted.
397
1030000
3000
и го помолих за разрешение -- беше дадено.
17:28
And then I went on to reflect,
398
1033000
2000
И после започнах да си мисля:
17:30
"Isn't it amazing,
399
1035000
3000
"Не е ли удивително,
17:33
this entire database, all these recordings,
400
1038000
3000
цялата тази база данни, всички тези записи,
17:36
I'm going to hand off to you and to your sister" --
401
1041000
2000
ще ги предам на теб и сестра ти,"
17:38
who arrived two years later --
402
1043000
3000
която пристигна две години по-късно.
17:41
"and you guys are going to be able to go back and re-experience moments
403
1046000
3000
"И вие, деца, ще може да се върнете обратно и да изживеете отново моменти,
17:44
that you could never, with your biological memory,
404
1049000
3000
които никога не бихте могли, с биологичната си памет,
17:47
possibly remember the way you can now?"
405
1052000
2000
да си спомняте по начина, по който можете сега."
17:49
And he was quiet for a moment.
406
1054000
2000
И той се успокои за момент.
17:51
And I thought, "What am I thinking?
407
1056000
2000
И си помислих: "Какво си мисля?
17:53
He's five years old. He's not going to understand this."
408
1058000
2000
Той е на пет години. Няма да разбере това."
17:55
And just as I was having that thought, he looked up at me and said,
409
1060000
3000
И докато си мислех това, той повдигна очи към мен и каза:
17:58
"So that when I grow up,
410
1063000
2000
"Значи като порастна,
18:00
I can show this to my kids?"
411
1065000
2000
ще мога да покажа това на децата си?"
18:02
And I thought, "Wow, this is powerful stuff."
412
1067000
3000
И аз си помислих: "Уау, това е нещо силно."
18:05
So I want to leave you
413
1070000
2000
Така че искам да ви оставя
18:07
with one last memorable moment
414
1072000
2000
с един последен незабравим момент
18:09
from our family.
415
1074000
3000
от нашето семейство.
18:12
This is the first time our son
416
1077000
2000
Това е първият път, когато нашият син
18:14
took more than two steps at once --
417
1079000
2000
направи повече от две стъпки наведнъж --
18:16
captured on film.
418
1081000
2000
заснето на филм.
18:18
And I really want you to focus on something
419
1083000
3000
И наистина искам да се фокусирате върху нещо,
18:21
as I take you through.
420
1086000
2000
докато ви го показвам.
18:23
It's a cluttered environment; it's natural life.
421
1088000
2000
Това е разхвърляна среда, това е естествения живот.
18:25
My mother's in the kitchen, cooking,
422
1090000
2000
Майка ми е в кухнята, готви,
18:27
and, of all places, in the hallway,
423
1092000
2000
и, от всички места, в коридора,
18:29
I realize he's about to do it, about to take more than two steps.
424
1094000
3000
разбирам, че той е на път да го направи, да направи повече от две стъпки.
18:32
And so you hear me encouraging him,
425
1097000
2000
Можете да ме чуете как го насърчавам,
18:34
realizing what's happening,
426
1099000
2000
осъзнавайки това, което се случва,
18:36
and then the magic happens.
427
1101000
2000
и след това се случва магията.
18:38
Listen very carefully.
428
1103000
2000
Слушайте много внимателно.
18:40
About three steps in,
429
1105000
2000
След около три стъпки
18:42
he realizes something magic is happening,
430
1107000
2000
той осъзнава, че нещо магическо се случва.
18:44
and the most amazing feedback loop of all kicks in,
431
1109000
3000
И най-невероятния механизъм за обратна връзка преритва,
18:47
and he takes a breath in,
432
1112000
2000
и той поема дъх
18:49
and he whispers "wow"
433
1114000
2000
и прошепва: "Уау,"
18:51
and instinctively I echo back the same.
434
1116000
4000
и инстинктивно аз повтарям същото.
18:56
And so let's fly back in time
435
1121000
3000
Така че, нека да полетим назад във времето
18:59
to that memorable moment.
436
1124000
2000
до този паметен момент.
19:05
(Video) DR: Hey.
437
1130000
2000
Видео) ДР: Хей.
19:07
Come here.
438
1132000
2000
Ела тук.
19:09
Can you do it?
439
1134000
3000
Можеш ли да го направиш?
19:13
Oh, boy.
440
1138000
2000
О, боже.
19:15
Can you do it?
441
1140000
3000
Можеш ли да го направиш?
19:18
Baby: Yeah.
442
1143000
2000
Бебе: Да.
19:20
DR: Ma, he's walking.
443
1145000
3000
ДР: Майко, той ходи.
19:24
(Laughter)
444
1149000
2000
(Смях)
19:26
(Applause)
445
1151000
2000
(Аплодисменти)
19:28
DR: Thank you.
446
1153000
2000
ДР: Благодаря ви.
19:30
(Applause)
447
1155000
15000
(Ръкопляскане)
ABOUT THE SPEAKER
Deb Roy - Cognitive scientistDeb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs.
Why you should listen
Deb Roy directs the Cognitive Machines group at the MIT Media Lab, where he studies how children learn language, and designs machines that learn to communicate in human-like ways. To enable this work, he has pioneered new data-driven methods for analyzing and modeling human linguistic and social behavior. He has authored numerous scientific papers on artificial intelligence, cognitive modeling, human-machine interaction, data mining, and information visualization.
Deb Roy was the co-founder and serves as CEO of Bluefin Labs, a venture-backed technology company. Built upon deep machine learning principles developed in his research over the past 15 years, Bluefin has created a technology platform that analyzes social media commentary to measure real-time audience response to TV ads and shows.
Follow Deb Roy on Twitter>
Roy adds some relevant papers:
Deb Roy. (2009). New Horizons in the Study of Child Language Acquisition. Proceedings of Interspeech 2009. Brighton, England. bit.ly/fSP4Qh
Brandon C. Roy, Michael C. Frank and Deb Roy. (2009). Exploring word learning in a high-density longitudinal corpus. Proceedings of the 31st Annual Meeting of the Cognitive Science Society. Amsterdam, Netherlands. bit.ly/e1qxej
Plenty more papers on our research including technology and methodology can be found here, together with other research from my lab at MIT: bit.ly/h3paSQ
The work that I mentioned on relationships between television content and the social graph is being done at Bluefin Labs (www.bluefinlabs.com). Details of this work have not been published. The social structures we are finding (and that I highlighted in my TED talk) are indeed new. The social media communication channels that are leading to their formation did not even exist a few years ago, and Bluefin's technology platform for discovering these kinds of structures is the first of its kind. We'll certainly have more to say about all this as we continue to dig into this fascinating new kind of data, and as new social structures continue to evolve!
Deb Roy | Speaker | TED.com