TED2011
Deb Roy: The birth of a word
Деб Рой: Народження слова
Filmed:
Readability: 4.2
2,809,941 views
Дослідник МІТ Деб Рой мав намір з'ясувати, яким чином його маленький син вивчив мову - отож він обладнав свій будинок відеокамерами, з метою "зловити" кожен момент життя його сина (з певними винятками), потім проаналізував 90000 годин домашнього відео, щоб зрозуміти, яким чином звичайне "гаааа" поступово перетворилося на "вода". Дивовижно, це дослідження насичене даними з прихованим глибоким підтекстом процесу навчання.
Deb Roy - Cognitive scientist
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs. Full bio
Deb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs. Full bio
Double-click the English transcript below to play the video.
00:15
Imagine if you could record your life --
0
0
4000
Уявіть собі, що у вас є можливість записати ваше життя --
00:19
everything you said, everything you did,
1
4000
3000
все сказане, все зроблене,
00:22
available in a perfect memory store at your fingertips,
2
7000
3000
доступне у ідеальній базі пам'яті на кінчиках ваших пальців
00:25
so you could go back
3
10000
2000
так, що ви можете повернутись,
00:27
and find memorable moments and relive them,
4
12000
3000
віднайти пам'ятні моменти й пережити їх знову,
00:30
or sift through traces of time
5
15000
3000
або ж відфільтрувати крізь сліди часу
00:33
and discover patterns in your own life
6
18000
2000
та віднайти шаблони вашого життя,
00:35
that previously had gone undiscovered.
7
20000
3000
про які раніше ви навіть і не підозрювали.
00:38
Well that's exactly the journey
8
23000
2000
Отож це саме та подорож,
00:40
that my family began
9
25000
2000
яку розпочала моя сім'я
00:42
five and a half years ago.
10
27000
2000
п'ять з половиною років тому.
00:44
This is my wife and collaborator, Rupal.
11
29000
3000
Це моя жінка та співробітник, Рупал.
00:47
And on this day, at this moment,
12
32000
2000
В цей день, у цю хвилину,
00:49
we walked into the house with our first child,
13
34000
2000
ми увійшли в будинок з нашою першою дитиною,
00:51
our beautiful baby boy.
14
36000
2000
нашим чудовим сином-малюком.
00:53
And we walked into a house
15
38000
3000
Ми увійшли в будинок,
00:56
with a very special home video recording system.
16
41000
4000
обладнаний спеціальною системою запису домашнього відео.
01:07
(Video) Man: Okay.
17
52000
2000
(Відео) Людина: Добре.
01:10
Deb Roy: This moment
18
55000
1000
Деб Рой: Цей момент
01:11
and thousands of other moments special for us
19
56000
3000
та тисячі інших, особливих для нас моментів
01:14
were captured in our home
20
59000
2000
були відзняті у нашому будинку,
01:16
because in every room in the house,
21
61000
2000
тому що у кожній кімнаті,
01:18
if you looked up, you'd see a camera and a microphone,
22
63000
3000
якщо б ви глянули вгору, то б побачили відеокамеру та мікрофон,
01:21
and if you looked down,
23
66000
2000
а якщо б поглянули вниз,
01:23
you'd get this bird's-eye view of the room.
24
68000
2000
ви б побачили всю кімнати з висоти пташиного польоту.
01:25
Here's our living room,
25
70000
3000
Ось тут наша вітальня,
01:28
the baby bedroom,
26
73000
3000
дитяча спальня,
01:31
kitchen, dining room
27
76000
2000
кухня, їдальня
01:33
and the rest of the house.
28
78000
2000
та решта будинку.
01:35
And all of these fed into a disc array
29
80000
3000
І все це помістилося на дисковому масиві,
01:38
that was designed for a continuous capture.
30
83000
3000
який було розроблено для безперервної зйомки.
01:41
So here we are flying through a day in our home
31
86000
3000
Отже, ми пролітаємо крізь день у нашому домі,
01:44
as we move from sunlit morning
32
89000
3000
ми рухаємося від світанку
01:47
through incandescent evening
33
92000
2000
до самого вечора
01:49
and, finally, lights out for the day.
34
94000
3000
і, нарешті, кінець дня.
01:53
Over the course of three years,
35
98000
3000
Упродовж трьох років
01:56
we recorded eight to 10 hours a day,
36
101000
2000
ми записували від 8 до 10 годин щоденно,
01:58
amassing roughly a quarter-million hours
37
103000
3000
накопичуючи приблизно чверть мільйона годин
02:01
of multi-track audio and video.
38
106000
3000
багатодоріжкового аудіо та відео.
02:04
So you're looking at a piece of what is by far
39
109000
2000
Отож ви бачите частину того, що на сьогоднішній день є
02:06
the largest home video collection ever made.
40
111000
2000
найбільшою колекцією коли-небудь зробленого домашнього відео.
02:08
(Laughter)
41
113000
3000
(Сміх)
02:11
And what this data represents
42
116000
2000
І те значення, що ці дані становлять
02:13
for our family at a personal level,
43
118000
4000
для нашої сім'ї на особистому рівні,
02:17
the impact has already been immense,
44
122000
2000
їхній вплив уже був колосальним.
02:19
and we're still learning its value.
45
124000
3000
І ми все ще осягаємо їхню вартість.
02:22
Countless moments
46
127000
2000
Незчисленні хвилини
02:24
of unsolicited natural moments, not posed moments,
47
129000
3000
природніх подій, без позування
02:27
are captured there,
48
132000
2000
відзнято тут
02:29
and we're starting to learn how to discover them and find them.
49
134000
3000
і ми вчимося відкривати й осягати їх.
02:32
But there's also a scientific reason that drove this project,
50
137000
3000
Але у цього проекту є й наукове завдання
02:35
which was to use this natural longitudinal data
51
140000
4000
використати ці неопрацьовані довготривалі дані,
02:39
to understand the process
52
144000
2000
щоб зрозуміти процес
02:41
of how a child learns language --
53
146000
2000
вивчення мови дитиною -
02:43
that child being my son.
54
148000
2000
і ця дитина мій син.
02:45
And so with many privacy provisions put in place
55
150000
4000
І, отож забезпечивши певну конфіденційність
02:49
to protect everyone who was recorded in the data,
56
154000
3000
з метою захисту кожного, хто був записаний на відео,
02:52
we made elements of the data available
57
157000
3000
частини даних ми зробили доступними
02:55
to my trusted research team at MIT
58
160000
3000
довіреній дослідницькій групі з МІТ,
02:58
so we could start teasing apart patterns
59
163000
3000
щоб розпочати виділення повторюваних моментів
03:01
in this massive data set,
60
166000
3000
у цьому масивному наборі даних
03:04
trying to understand the influence of social environments
61
169000
3000
для вияснення впливу соціального середовища
03:07
on language acquisition.
62
172000
2000
на засвоєння мови.
03:09
So we're looking here
63
174000
2000
Ось тут ми бачимо
03:11
at one of the first things we started to do.
64
176000
2000
перше, що почали робити.
03:13
This is my wife and I cooking breakfast in the kitchen,
65
178000
4000
Тут я з жінкою готуємо сніданок на кухні.
03:17
and as we move through space and through time,
66
182000
3000
Ми подорожуємо у часі й просторі
03:20
a very everyday pattern of life in the kitchen.
67
185000
3000
щоденних подій, що відбуваються на кухні.
03:23
In order to convert
68
188000
2000
Для того, щоб конвертувати
03:25
this opaque, 90,000 hours of video
69
190000
3000
ці важкі для сприйняття 90,000 годин відео
03:28
into something that we could start to see,
70
193000
2000
до перегляду,
03:30
we use motion analysis to pull out,
71
195000
2000
ми використовуємо аналіз руху, щоб виділити
03:32
as we move through space and through time,
72
197000
2000
поки ми рухалися в часі і просторі,
03:34
what we call space-time worms.
73
199000
3000
те, що ми називаємо просторово-часовими хробаками.
03:37
And this has become part of our toolkit
74
202000
3000
Цей прийом став частиною набору інструменів
03:40
for being able to look and see
75
205000
3000
з допомогою котрого, ми виділили
03:43
where the activities are in the data,
76
208000
2000
дії у цьому масиві даних
03:45
and with it, trace the pattern of, in particular,
77
210000
3000
а також відслідкувати траєкторію
03:48
where my son moved throughout the home,
78
213000
2000
руху мого сина по будинку,
03:50
so that we could focus our transcription efforts,
79
215000
3000
з метою зосередження наших зусиль на
03:53
all of the speech environment around my son --
80
218000
3000
мовленєвому середовищі мого сина -
03:56
all of the words that he heard from myself, my wife, our nanny,
81
221000
3000
усіх слів почутих від мене, моєї жінки, нашої нянечки,
03:59
and over time, the words he began to produce.
82
224000
3000
та згодом слів, що він почав сам відтворювати.
04:02
So with that technology and that data
83
227000
3000
Завдяки цій технології, даним,
04:05
and the ability to, with machine assistance,
84
230000
2000
та можливості транскрибування мови
04:07
transcribe speech,
85
232000
2000
з допомогою техніки,
04:09
we've now transcribed
86
234000
2000
нам вдалося зафіксувати
04:11
well over seven million words of our home transcripts.
87
236000
3000
близько семи мільйонів слів у домашніх стенограмах.
04:14
And with that, let me take you now
88
239000
2000
Отож, з вашого дозволу, розпочнемо
04:16
for a first tour into the data.
89
241000
3000
першу мандрівку в дані.
04:19
So you've all, I'm sure,
90
244000
2000
Ви всі, я певен,
04:21
seen time-lapse videos
91
246000
2000
бачили уповільнене відео
04:23
where a flower will blossom as you accelerate time.
92
248000
3000
де квітка розквітає, якщо пришвидшити час.
04:26
I'd like you to now experience
93
251000
2000
Я хочу, щоб ви побачили
04:28
the blossoming of a speech form.
94
253000
2000
розквіт мовної форми.
04:30
My son, soon after his first birthday,
95
255000
2000
Мій син, після свого першого дня народження
04:32
would say "gaga" to mean water.
96
257000
3000
почав говорити "гага", що означало "вода".
04:35
And over the course of the next half-year,
97
260000
3000
І упродовж шести місяців
04:38
he slowly learned to approximate
98
263000
2000
він повільно наблизився до
04:40
the proper adult form, "water."
99
265000
3000
правильної дорослої форми - "вода".
04:43
So we're going to cruise through half a year
100
268000
2000
Зараз ми побачимо півроку
04:45
in about 40 seconds.
101
270000
2000
за 40 секунд.
04:47
No video here,
102
272000
2000
Тут немає відео,
04:49
so you can focus on the sound, the acoustics,
103
274000
3000
так що ви можете зосередитись на звуці, акустиці
04:52
of a new kind of trajectory:
104
277000
2000
нової траєкторії руху
04:54
gaga to water.
105
279000
2000
від "гага" до "вода".
04:56
(Audio) Baby: Gagagagagaga
106
281000
12000
(Аудіо) Дитина : Гaгaгaгaгaгa
05:08
Gaga gaga gaga
107
293000
4000
Гага гага гага
05:12
guga guga guga
108
297000
5000
гуга гуга гуга
05:17
wada gaga gaga guga gaga
109
302000
5000
вада гага гага гуга гага
05:22
wader guga guga
110
307000
4000
вода гуга гуга
05:26
water water water
111
311000
3000
вода вода вода
05:29
water water water
112
314000
6000
вода вода вода
05:35
water water
113
320000
4000
вода вода
05:39
water.
114
324000
2000
вода.
05:41
DR: He sure nailed it, didn't he.
115
326000
2000
ДР: Він чудово справився з цим, чи не так?
05:43
(Applause)
116
328000
7000
(Аплодисменти)
05:50
So he didn't just learn water.
117
335000
2000
Він не тільки вивчив слово "вода".
05:52
Over the course of the 24 months,
118
337000
2000
Впродовж 24 місяців,
05:54
the first two years that we really focused on,
119
339000
3000
перших двох років, на яких ми зосередилися,
05:57
this is a map of every word he learned in chronological order.
120
342000
4000
тут представлені у вигляді мапи вивчені ним слова у хронологічному порядку.
06:01
And because we have full transcripts,
121
346000
3000
Завдяки наявності повних стенограм,
06:04
we've identified each of the 503 words
122
349000
2000
ми визначили кожне з 503 слів,
06:06
that he learned to produce by his second birthday.
123
351000
2000
що він навчився відтворювати до його другого дня народження.
06:08
He was an early talker.
124
353000
2000
Він швидко навчився розмовляти.
06:10
And so we started to analyze why.
125
355000
3000
Ми почали аналізувати, чому.
06:13
Why were certain words born before others?
126
358000
3000
Чому деякі слова з'явились швидше за інші?
06:16
This is one of the first results
127
361000
2000
Ось один з перших результатів,
06:18
that came out of our study a little over a year ago
128
363000
2000
отриманий трохи більше року тому,
06:20
that really surprised us.
129
365000
2000
що справді здивував нас.
06:22
The way to interpret this apparently simple graph
130
367000
3000
Спосіб інтерпретувати цей, здавалося б, простий граф -
06:25
is, on the vertical is an indication
131
370000
2000
по вертикалі є показники того,
06:27
of how complex caregiver utterances are
132
372000
3000
наскільки складними є фрази вихователя
06:30
based on the length of utterances.
133
375000
2000
залежно від їхньої довжини.
06:32
And the [horizontal] axis is time.
134
377000
3000
горизонтальна вісь - час.
06:35
And all of the data,
135
380000
2000
Всі дані
06:37
we aligned based on the following idea:
136
382000
3000
ми організували за наступним принципом:
06:40
Every time my son would learn a word,
137
385000
3000
Кожного разу, коли мій син вчив слово,
06:43
we would trace back and look at all of the language he heard
138
388000
3000
ми повертались назад і відслідковували всі мовні ситуації,
06:46
that contained that word.
139
391000
2000
що містили це слово.
06:48
And we would plot the relative length of the utterances.
140
393000
4000
І ми відмічали відносну довжину висловів.
06:52
And what we found was this curious phenomena,
141
397000
3000
Ми відслідкували дивне явище,
06:55
that caregiver speech would systematically dip to a minimum,
142
400000
3000
що мова вихователя прямувала до мінімальної складності,
06:58
making language as simple as possible,
143
403000
3000
спрощуючи мову,
07:01
and then slowly ascend back up in complexity.
144
406000
3000
а потім повільно поверталась до попереднього рівня.
07:04
And the amazing thing was
145
409000
2000
І дивовижним є
07:06
that bounce, that dip,
146
411000
2000
той стрибок, те занурення,
07:08
lined up almost precisely
147
413000
2000
розташовані майже так само,
07:10
with when each word was born --
148
415000
2000
як народження кожного слова --
07:12
word after word, systematically.
149
417000
2000
слово за словом, систематично.
07:14
So it appears that all three primary caregivers --
150
419000
2000
Виходить, що всі три основних вихователя --
07:16
myself, my wife and our nanny --
151
421000
3000
я, моя дружина і наша няня --
07:19
were systematically and, I would think, subconsciously
152
424000
3000
систематично, і я вважаю, на підсвідомості
07:22
restructuring our language
153
427000
2000
реструктуризували свою мову,
07:24
to meet him at the birth of a word
154
429000
3000
щоб "зустріти" дитину при народженні слова
07:27
and bring him gently into more complex language.
155
432000
4000
і довести його до дещо "складнішої мови"
07:31
And the implications of this -- there are many,
156
436000
2000
Наслідків цього багато,
07:33
but one I just want to point out,
157
438000
2000
але на один з них хочу звернути особливу увагу -
07:35
is that there must be amazing feedback loops.
158
440000
3000
існують цикли зворотнього зв'язку.
07:38
Of course, my son is learning
159
443000
2000
Звісно, мій син черпає знання
07:40
from his linguistic environment,
160
445000
2000
з свого мовного середовища,
07:42
but the environment is learning from him.
161
447000
3000
а середовище - від нього.
07:45
That environment, people, are in these tight feedback loops
162
450000
3000
Це середовище, ці люди, перебувають у постійному зворотньому зв'язку
07:48
and creating a kind of scaffolding
163
453000
2000
і утворюють щось на зразок будівельних лісів,
07:50
that has not been noticed until now.
164
455000
3000
які не були помічені до сих пір.
07:54
But that's looking at the speech context.
165
459000
2000
Та це розгляд у мовленнєвому контексті.
07:56
What about the visual context?
166
461000
2000
А як щодо візуального контексту?
07:58
We're not looking at --
167
463000
2000
Ми не зважаємо на це --
08:00
think of this as a dollhouse cutaway of our house.
168
465000
2000
подумайте про це як про ляльковий будинок в розрізі нашого будинку.
08:02
We've taken those circular fish-eye lens cameras,
169
467000
3000
Ми взяли камери з ширококутними лінзами "риб'яче око",
08:05
and we've done some optical correction,
170
470000
2000
оптично відкоригували зображення
08:07
and then we can bring it into three-dimensional life.
171
472000
4000
і отримали тривимірне зображення нашого сімейного життя.
08:11
So welcome to my home.
172
476000
2000
Тому ласкаво просимо в мій будинок.
08:13
This is a moment,
173
478000
2000
Ось момент,
08:15
one moment captured across multiple cameras.
174
480000
3000
спійманий численними камерами.
08:18
The reason we did this is to create the ultimate memory machine,
175
483000
3000
Ми зробили це з метою створення вичерпної машини знань,
08:21
where you can go back and interactively fly around
176
486000
3000
щоб можна було відмотати час назад і інтерактивно переміщатися,
08:24
and then breathe video-life into this system.
177
489000
3000
й внести в систему відео-життя.
08:27
What I'm going to do
178
492000
2000
Зараз я хочу показати вам прискорені 30 хвилин звичайного життя у вітальні.
08:29
is give you an accelerated view of 30 minutes,
179
494000
3000
показати вам прискорені 30 хвилин
08:32
again, of just life in the living room.
180
497000
2000
звичайного життя у вітальні.
08:34
That's me and my son on the floor.
181
499000
3000
Це я з сином на підлозі.
08:37
And there's video analytics
182
502000
2000
А це системи відео-аналізу,
08:39
that are tracking our movements.
183
504000
2000
що відслідковують наші рухи.
08:41
My son is leaving red ink. I am leaving green ink.
184
506000
3000
Рухи мого сина позначені червоним, мої - зеленим кольором.
08:44
We're now on the couch,
185
509000
2000
Зараз ми на дивані,
08:46
looking out through the window at cars passing by.
186
511000
3000
дивимося у вікно на машини, що проїжджають повз.
08:49
And finally, my son playing in a walking toy by himself.
187
514000
3000
І нарешті, мій син грає в своїх дитячих ходунцях.
08:52
Now we freeze the action, 30 minutes,
188
517000
3000
Зараз ми заморозимо дії, ці 30 хвилин,
08:55
we turn time into the vertical axis,
189
520000
2000
помістимо час на вертикальну вісь,
08:57
and we open up for a view
190
522000
2000
і отримаємо вигляд
08:59
of these interaction traces we've just left behind.
191
524000
3000
взаємодії цих слідів, що ми щойно залишили позаду.
09:02
And we see these amazing structures --
192
527000
3000
І ми бачимо, ці дивовижні структури --
09:05
these little knots of two colors of thread
193
530000
3000
ці вузлики двох кольорових ниток,
09:08
we call "social hot spots."
194
533000
2000
що ми називаємо "точками активного спілкування".
09:10
The spiral thread
195
535000
2000
Спіральну нитку
09:12
we call a "solo hot spot."
196
537000
2000
ми називаємо "точкою активної самостійності".
09:14
And we think that these affect the way language is learned.
197
539000
3000
І ми думаємо, що це впливає на спосіб вивчення мови.
09:17
What we'd like to do
198
542000
2000
Що б ми хотіли зробити,
09:19
is start understanding
199
544000
2000
так це зрозуміти
09:21
the interaction between these patterns
200
546000
2000
взаємодію між цими повторюваними елементами
09:23
and the language that my son is exposed to
201
548000
2000
і мовою, яку сприймає моя дитина,
09:25
to see if we can predict
202
550000
2000
щоб зрозуміти, чи можемо ми передбачити,
09:27
how the structure of when words are heard
203
552000
2000
яким чином структура почутих слів
09:29
affects when they're learned --
204
554000
2000
впливає на їх засвоєння --
09:31
so in other words, the relationship
205
556000
2000
Іншими словами, зв'язки
09:33
between words and what they're about in the world.
206
558000
4000
між словами та їх значеннями в реальному світі.
09:37
So here's how we're approaching this.
207
562000
2000
Так ось, як ми наближаємося до цього.
09:39
In this video,
208
564000
2000
На цьому відео
09:41
again, my son is being traced out.
209
566000
2000
знову відслідковуються дії мого сина.
09:43
He's leaving red ink behind.
210
568000
2000
Він залишає за собою червоні сліди.
09:45
And there's our nanny by the door.
211
570000
2000
А ось наша няня біля дверей.
09:47
(Video) Nanny: You want water? (Baby: Aaaa.)
212
572000
3000
(Відео) Няня: Ти хочеш води? (Дитина: Аааа.)
09:50
Nanny: All right. (Baby: Aaaa.)
213
575000
3000
Няня: Гаразд. (Дитина: Аааа.)
09:53
DR: She offers water,
214
578000
2000
ДР: Вона пропонує йому воду,
09:55
and off go the two worms
215
580000
2000
і тут же два черв'ячка
09:57
over to the kitchen to get water.
216
582000
2000
прямують на кухню по воду.
09:59
And what we've done is use the word "water"
217
584000
2000
Ми використали слово "вода"
10:01
to tag that moment, that bit of activity.
218
586000
2000
щоб позначити той момент, ту одиницю дії.
10:03
And now we take the power of data
219
588000
2000
А тепер ми скористаємося можливостям даних
10:05
and take every time my son
220
590000
3000
і відслідкуємо кожен раз, коли мій син
10:08
ever heard the word water
221
593000
2000
чув слово "вода"
10:10
and the context he saw it in,
222
595000
2000
і контекст, в якому він бачив воду,
10:12
and we use it to penetrate through the video
223
597000
3000
і ми використаємо це для занурення у відео
10:15
and find every activity trace
224
600000
3000
і віднайдемо кожен слід активності,
10:18
that co-occurred with an instance of water.
225
603000
3000
що відбувалась в ситуації з водою.
10:21
And what this data leaves in its wake
226
606000
2000
Те, що ці дані залишають за собою,
10:23
is a landscape.
227
608000
2000
є своєрідним ландшафтом.
10:25
We call these wordscapes.
228
610000
2000
Це словесні ландшафти.
10:27
This is the wordscape for the word water,
229
612000
2000
Це словесний ландшафт слова "вода".
10:29
and you can see most of the action is in the kitchen.
230
614000
2000
Велику активність можна прослідкувати на кухні.
10:31
That's where those big peaks are over to the left.
231
616000
3000
Саме там "виростають" ці великі вершини на зображенні зліва.
10:34
And just for contrast, we can do this with any word.
232
619000
3000
І так само, для контрасту, ми можемо зробити це з будь-яким словом.
10:37
We can take the word "bye"
233
622000
2000
Ми можемо взяти слово "бувай",
10:39
as in "good bye."
234
624000
2000
як у фразі "бувай, до зустрічі".
10:41
And we're now zoomed in over the entrance to the house.
235
626000
2000
Ось ми з вами наближаємо камеру і опиняємося біля входу в будинок.
10:43
And we look, and we find, as you would expect,
236
628000
3000
І ми бачимо, як і можна було очікувати,
10:46
a contrast in the landscape
237
631000
2000
відмінність в ландшафті,
10:48
where the word "bye" occurs much more in a structured way.
238
633000
3000
так як слово "бувай" проявляється тут більш явно.
10:51
So we're using these structures
239
636000
2000
Отож ми використовуємо ці структури
10:53
to start predicting
240
638000
2000
для передбачення
10:55
the order of language acquisition,
241
640000
3000
порядку засвоєння мови,
10:58
and that's ongoing work now.
242
643000
2000
і це поточна робота на даний час.
11:00
In my lab, which we're peering into now, at MIT --
243
645000
3000
Це моя лабораторія в МІТ, зараз ми в неї заглянемо --
11:03
this is at the media lab.
244
648000
2000
це медіа лабораторія.
11:05
This has become my favorite way
245
650000
2000
Це стало моїм улюбленим способом
11:07
of videographing just about any space.
246
652000
2000
відеозапису буквально будь-якого простору.
11:09
Three of the key people in this project,
247
654000
2000
Троє із ключових людей в цьому проекті,
11:11
Philip DeCamp, Rony Kubat and Brandon Roy are pictured here.
248
656000
3000
Філіп ДеКамп, Роні Кубат та Брендон Рой зображені тут.
11:14
Philip has been a close collaborator
249
659000
2000
Філіп тісно співпрацював
11:16
on all the visualizations you're seeing.
250
661000
2000
над усіма візуалізаціями, які ви тут бачите.
11:18
And Michael Fleischman
251
663000
3000
І Майкл Фляйшман
11:21
was another Ph.D. student in my lab
252
666000
2000
іще один студент докторантури в моїй лабораторії,
11:23
who worked with me on this home video analysis,
253
668000
3000
котрий працював зі мною над аналізом цього домашнього відео,
11:26
and he made the following observation:
254
671000
3000
і він зробив таке спостереження:
11:29
that "just the way that we're analyzing
255
674000
2000
"те, як ми аналізуємо,
11:31
how language connects to events
256
676000
3000
як мова пов'язана із подіями,
11:34
which provide common ground for language,
257
679000
2000
в яких закладається основа для мови,
11:36
that same idea we can take out of your home, Deb,
258
681000
4000
ту ж саму ідею ми можемо винести за рамки твого дому, Деб,
11:40
and we can apply it to the world of public media."
259
685000
3000
і застосувати її до світу ЗМІ."
11:43
And so our effort took an unexpected turn.
260
688000
3000
Таким чином у нашому експерименті відбувся несподіваний поворот.
11:46
Think of mass media
261
691000
2000
Уявіть собі ЗМІ
11:48
as providing common ground
262
693000
2000
як те, що створює підгрунтя,
11:50
and you have the recipe
263
695000
2000
а у вас є рецепт того,
11:52
for taking this idea to a whole new place.
264
697000
3000
як застосувати цю ідею у зовсім новому місці.
11:55
We've started analyzing television content
265
700000
3000
Ми почали аналізувати телевізійний контент
11:58
using the same principles --
266
703000
2000
за допомогою тих самих принципів --
12:00
analyzing event structure of a TV signal --
267
705000
3000
аналізували структуру ТБ-сигналу --
12:03
episodes of shows,
268
708000
2000
епізоди телешоу,
12:05
commercials,
269
710000
2000
реклами,
12:07
all of the components that make up the event structure.
270
712000
3000
усі ті складові частини, що створюють структуру телебачення.
12:10
And we're now, with satellite dishes, pulling and analyzing
271
715000
3000
І зараз ми з нашими сателітарними тарілками завантажуємо й аналізуємо
12:13
a good part of all the TV being watched in the United States.
272
718000
3000
добрячу частину усього ТБ, яке переглядають в Сполучених Штатах.
12:16
And you don't have to now go and instrument living rooms with microphones
273
721000
3000
І вам не треба зараз йти й обвішувати вітальні мікрофонами,
12:19
to get people's conversations,
274
724000
2000
щоб записати розмови людей,
12:21
you just tune into publicly available social media feeds.
275
726000
3000
ви просто використовуєте загальнодоступні канали ЗМІ.
12:24
So we're pulling in
276
729000
2000
Тож ми опрацьовуємо
12:26
about three billion comments a month,
277
731000
2000
приблизно 3 млрд. коментарів щомісяця,
12:28
and then the magic happens.
278
733000
2000
а потім стається диво.
12:30
You have the event structure,
279
735000
2000
У вас є структура подій,
12:32
the common ground that the words are about,
280
737000
2000
підгрунтя для слів,
12:34
coming out of the television feeds;
281
739000
3000
що йде із телевізійних каналів;
12:37
you've got the conversations
282
742000
2000
у вас є розмови,
12:39
that are about those topics;
283
744000
2000
об'єднані тими темами;
12:41
and through semantic analysis --
284
746000
3000
і за допомогою семантичного аналізу --
12:44
and this is actually real data you're looking at
285
749000
2000
те, що ви зараз бачите, це власне справжні дані,
12:46
from our data processing --
286
751000
2000
отримані нами шляхом аналізу інформації --
12:48
each yellow line is showing a link being made
287
753000
3000
кожна жовта лінія показує зв'язок, що утворюється
12:51
between a comment in the wild
288
756000
3000
між чиїмсь коментарем
12:54
and a piece of event structure coming out of the television signal.
289
759000
3000
і частиною структури подій, отриманої із телевізійного сигналу.
12:57
And the same idea now
290
762000
2000
І та сама ідея зараз
12:59
can be built up.
291
764000
2000
може бути розбудованою.
13:01
And we get this wordscape,
292
766000
2000
І ми отримуємо цей словесний ландшафт,
13:03
except now words are not assembled in my living room.
293
768000
3000
лише зараз слова зібрані не у моїй вітальні.
13:06
Instead, the context, the common ground activities,
294
771000
4000
Натомість контекст, те, що створило підгрунтя,
13:10
are the content on television that's driving the conversations.
295
775000
3000
це телевізійний контент, звідки йшли розмови.
13:13
And what we're seeing here, these skyscrapers now,
296
778000
3000
Те, що ми тут бачимо, ось ці хмарочоси,
13:16
are commentary
297
781000
2000
це коментарі,
13:18
that are linked to content on television.
298
783000
2000
які пов'язані із контентом з телебачення.
13:20
Same concept,
299
785000
2000
Та ж концепція,
13:22
but looking at communication dynamics
300
787000
2000
але тут ми розглядаємо динаміку спілкування
13:24
in a very different sphere.
301
789000
2000
у зовсім іншій сфері.
13:26
And so fundamentally, rather than, for example,
302
791000
2000
Отож насправді, замість того, щоб, наприклад,
13:28
measuring content based on how many people are watching,
303
793000
3000
вимірювати контент на основі того, скільки є телеглядачів,
13:31
this gives us the basic data
304
796000
2000
ми отримуємо основні дані
13:33
for looking at engagement properties of content.
305
798000
3000
для розуміння того, який рівень зацікавлення викликав контент.
13:36
And just like we can look at feedback cycles
306
801000
3000
І так само, як ми можемо взяти до уваги цикли зворотнього зв'язку
13:39
and dynamics in a family,
307
804000
3000
і динаміку в межах сім'ї,
13:42
we can now open up the same concepts
308
807000
3000
ми зараз можемо застосувати ті ж самі концепції,
13:45
and look at much larger groups of people.
309
810000
3000
але із залученням набагато більшої групи людей.
13:48
This is a subset of data from our database --
310
813000
3000
Ось частина даних із нашої бази даних --
13:51
just 50,000 out of several million --
311
816000
3000
лише 50000 із кількох мільйонів --
13:54
and the social graph that connects them
312
819000
2000
і вони з'єднані соціальним графом
13:56
through publicly available sources.
313
821000
3000
через загальнодоступні джерела інформації.
13:59
And if you put them on one plain,
314
824000
2000
Якщо розташувати їх на одній площині,
14:01
a second plain is where the content lives.
315
826000
3000
на другій площині розташується контент.
14:04
So we have the programs
316
829000
3000
Отже, в нас є передачі
14:07
and the sporting events
317
832000
2000
та спортивні події
14:09
and the commercials,
318
834000
2000
і реклами,
14:11
and all of the link structures that tie them together
319
836000
2000
й усі структурні ланки, що їх з'єднують,
14:13
make a content graph.
320
838000
2000
все це утворює граф інформаційного наповнення.
14:15
And then the important third dimension.
321
840000
4000
А тоді важливий третій вимір.
14:19
Each of the links that you're seeing rendered here
322
844000
2000
Кожна із ланок, яку ви тут бачите,
14:21
is an actual connection made
323
846000
2000
є реальним зв'язком, що утворюється
14:23
between something someone said
324
848000
3000
між тим, що хтось сказав,
14:26
and a piece of content.
325
851000
2000
та частиною контенту.
14:28
And there are, again, now tens of millions of these links
326
853000
3000
Й ось знову, зараз ми тут маємо десятки мільйонів таких зв'язків,
14:31
that give us the connective tissue of social graphs
327
856000
3000
що дають нам з'єднувальний матеріал для соціальних графів
14:34
and how they relate to content.
328
859000
3000
і того, яким чином вони пов'язані із контентом.
14:37
And we can now start to probe the structure
329
862000
2000
І зараз ми можемо розпочати випробовування структури
14:39
in interesting ways.
330
864000
2000
цікавими способами.
14:41
So if we, for example, trace the path
331
866000
3000
Наприклад, якщо ми прокладемо шлях
14:44
of one piece of content
332
869000
2000
одної із частин контенту,
14:46
that drives someone to comment on it,
333
871000
2000
що спонукає когось її прокоментувати,
14:48
and then we follow where that comment goes,
334
873000
3000
а тоді ми прослідкуємо, куди йде цей коментар,
14:51
and then look at the entire social graph that becomes activated
335
876000
3000
і поглянемо на весь соціальний граф, який став задіяний,
14:54
and then trace back to see the relationship
336
879000
3000
пройдемо назад, щоб поглянути на зв'язок
14:57
between that social graph and content,
337
882000
2000
між тим соціальним графом і контентом,
14:59
a very interesting structure becomes visible.
338
884000
2000
то побачимо дуже цікаву структуру.
15:01
We call this a co-viewing clique,
339
886000
2000
Ми називаємо це кліше спільного перегляду,
15:03
a virtual living room if you will.
340
888000
3000
віртуальна вітальня, якщо вам так більше до вподоби.
15:06
And there are fascinating dynamics at play.
341
891000
2000
І тут задіяна дивовижна динаміка.
15:08
It's not one way.
342
893000
2000
Вона не спрямована лише в один бік.
15:10
A piece of content, an event, causes someone to talk.
343
895000
3000
Частина контенту, подія, спонукає когось говорити.
15:13
They talk to other people.
344
898000
2000
Вони звертаються до інших людей.
15:15
That drives tune-in behavior back into mass media,
345
900000
3000
Це приводить поведінку залучення у розмову назад у ЗМІ,
15:18
and you have these cycles
346
903000
2000
а ось ці цикли
15:20
that drive the overall behavior.
347
905000
2000
керують загальною поведінкою.
15:22
Another example -- very different --
348
907000
2000
Іще один приклад -- зовсім інакший --
15:24
another actual person in our database --
349
909000
3000
інша реальна людина у нашій базі даних --
15:27
and we're finding at least hundreds, if not thousands, of these.
350
912000
3000
і ми знаходимо принаймні сотні, якщо не тисячі, таких.
15:30
We've given this person a name.
351
915000
2000
Ми дали цій особі ім'я.
15:32
This is a pro-amateur, or pro-am media critic
352
917000
3000
Це професійний аматор чи про-ам ЗМІ критик,
15:35
who has this high fan-out rate.
353
920000
3000
який має високий рейтинг серед фанатів.
15:38
So a lot of people are following this person -- very influential --
354
923000
3000
Багато людей наслідують його -- він дуже впливовий --
15:41
and they have a propensity to talk about what's on TV.
355
926000
2000
і вони схильні обговорювати те, що показують по ТБ.
15:43
So this person is a key link
356
928000
3000
Ця людина є ключовою ланкою
15:46
in connecting mass media and social media together.
357
931000
3000
у зв'язку між ЗМІ та соціальними медіа.
15:49
One last example from this data:
358
934000
3000
І останній приклад із цих даних:
15:52
Sometimes it's actually a piece of content that is special.
359
937000
3000
Часом це насправді особлива частина контенту.
15:55
So if we go and look at this piece of content,
360
940000
4000
Якщо ми поглянемо на цю частину контенту,
15:59
President Obama's State of the Union address
361
944000
3000
звернення президента Обами про становище у країні
16:02
from just a few weeks ago,
362
947000
2000
кількатижневої давності,
16:04
and look at what we find in this same data set,
363
949000
3000
і поглянемо на те, що в нас є у тому ж наборі даних,
16:07
at the same scale,
364
952000
3000
на тому ж рівні,
16:10
the engagement properties of this piece of content
365
955000
2000
рівень зацікавлення цією часткою контенту
16:12
are truly remarkable.
366
957000
2000
справді дивовижні.
16:14
A nation exploding in conversation
367
959000
2000
Нація буквально вибухнула в обговоренні
16:16
in real time
368
961000
2000
у реальному часі
16:18
in response to what's on the broadcast.
369
963000
3000
у відповідь на те, що транслювалося по ТБ.
16:21
And of course, through all of these lines
370
966000
2000
І звичайно ж, крізь усі ці лінії
16:23
are flowing unstructured language.
371
968000
2000
проходить потік неструктурованої мови.
16:25
We can X-ray
372
970000
2000
Ми можемо просканувати настрої
16:27
and get a real-time pulse of a nation,
373
972000
2000
та тримати руку на пульсі нації,
16:29
real-time sense
374
974000
2000
оперативне відчуття
16:31
of the social reactions in the different circuits in the social graph
375
976000
3000
соціальних реакцій у різних ділянках соціального графу,
16:34
being activated by content.
376
979000
3000
що активується контентом.
16:37
So, to summarize, the idea is this:
377
982000
3000
Тож, щоб підсумувати, ідея звучить так:
16:40
As our world becomes increasingly instrumented
378
985000
3000
В той час, як наш світ все більше й більше заповнюється різними приладами
16:43
and we have the capabilities
379
988000
2000
і в нас є змога
16:45
to collect and connect the dots
380
990000
2000
збирати та з'єднувати точки
16:47
between what people are saying
381
992000
2000
між тим, що люди кажуть,
16:49
and the context they're saying it in,
382
994000
2000
так контекстом, в якому вони це кажуть,
16:51
what's emerging is an ability
383
996000
2000
в нас з'являється можливість
16:53
to see new social structures and dynamics
384
998000
3000
побачити нові соціальні структури та динаміку,
16:56
that have previously not been seen.
385
1001000
2000
яку раніше не бачили.
16:58
It's like building a microscope or telescope
386
1003000
2000
Це як побудувати мікроскоп чи телескоп
17:00
and revealing new structures
387
1005000
2000
й виявити нові структури
17:02
about our own behavior around communication.
388
1007000
3000
нашої власної поведінки у процесі спілкування.
17:05
And I think the implications here are profound,
389
1010000
3000
І я вважаю, що це має глибокий вплив,
17:08
whether it's for science,
390
1013000
2000
як на науку,
17:10
for commerce, for government,
391
1015000
2000
так і на торгівлю, уряд,
17:12
or perhaps most of all,
392
1017000
2000
чи, можливо, більш за все
17:14
for us as individuals.
393
1019000
3000
на нас, як особистостей.
17:17
And so just to return to my son,
394
1022000
3000
Отож повернемося до мого сина,
17:20
when I was preparing this talk, he was looking over my shoulder,
395
1025000
3000
коли я готував цю доповідь, він дивився мені через плече
17:23
and I showed him the clips I was going to show to you today,
396
1028000
2000
і я показав йому відеокліпи, які збирався показати вам сьогодні,
17:25
and I asked him for permission -- granted.
397
1030000
3000
і я запитався у нього дозволу на це.
17:28
And then I went on to reflect,
398
1033000
2000
А тоді я поділився із ним своїми роздумами:
17:30
"Isn't it amazing,
399
1035000
3000
"Правда ж, це дивовижно,
17:33
this entire database, all these recordings,
400
1038000
3000
що уся ця база даних, усі ці записи,
17:36
I'm going to hand off to you and to your sister" --
401
1041000
2000
я передам тобі та твоїй сестрі" --
17:38
who arrived two years later --
402
1043000
3000
вона народилася на два роки пізніше --
17:41
"and you guys are going to be able to go back and re-experience moments
403
1046000
3000
"і ви зможете повернутися й знову пережити ці миті,
17:44
that you could never, with your biological memory,
404
1049000
3000
які ви б ніколи не змогли, зі своєю біологічною пам'яттю,
17:47
possibly remember the way you can now?"
405
1052000
2000
пам'ятати так, як зараз?"
17:49
And he was quiet for a moment.
406
1054000
2000
Він мовчав певний час.
17:51
And I thought, "What am I thinking?
407
1056000
2000
А я думав: "Що я роблю?
17:53
He's five years old. He's not going to understand this."
408
1058000
2000
Йому п'ять років. Він цього не зрозуміє."
17:55
And just as I was having that thought, he looked up at me and said,
409
1060000
3000
І саме в той час, коли я це подумав, він поглянув на мене і сказав:
17:58
"So that when I grow up,
410
1063000
2000
"Значить, коли я виросту,
18:00
I can show this to my kids?"
411
1065000
2000
то зможу показати це своїм дітям?"
18:02
And I thought, "Wow, this is powerful stuff."
412
1067000
3000
І я подумав: "Ухти, це дивовижна річ."
18:05
So I want to leave you
413
1070000
2000
На завершення я хочу поділитися із вами
18:07
with one last memorable moment
414
1072000
2000
іще однією пам'ятною миттю
18:09
from our family.
415
1074000
3000
для нашої сім'ї.
18:12
This is the first time our son
416
1077000
2000
Це вперше, коли наш син
18:14
took more than two steps at once --
417
1079000
2000
зробив більше двох кроків підряд --
18:16
captured on film.
418
1081000
2000
зафіксовано на відео.
18:18
And I really want you to focus on something
419
1083000
3000
І я б дуже хотів, щоб ви зосередилися на чомусь,
18:21
as I take you through.
420
1086000
2000
поки я проведу вас крізь цю мить.
18:23
It's a cluttered environment; it's natural life.
421
1088000
2000
Це захаращене середовище; це природнє життя.
18:25
My mother's in the kitchen, cooking,
422
1090000
2000
Моя мама на кухні, готує їжу,
18:27
and, of all places, in the hallway,
423
1092000
2000
і з усіх можливих місць, саме в коридорі,
18:29
I realize he's about to do it, about to take more than two steps.
424
1094000
3000
я зрозумів, що зараз це станеться, він пройде більше двох кроків.
18:32
And so you hear me encouraging him,
425
1097000
2000
Ось ви чуєте, як я його підбадьорюю,
18:34
realizing what's happening,
426
1099000
2000
усвідомлюючи, що відбувається,
18:36
and then the magic happens.
427
1101000
2000
а тоді стається диво.
18:38
Listen very carefully.
428
1103000
2000
Слухайте уважно.
18:40
About three steps in,
429
1105000
2000
Три кроки вперед,
18:42
he realizes something magic is happening,
430
1107000
2000
він розуміє, що стається диво,
18:44
and the most amazing feedback loop of all kicks in,
431
1109000
3000
це найдивовижніше з усіх
18:47
and he takes a breath in,
432
1112000
2000
і він переводить подих,
18:49
and he whispers "wow"
433
1114000
2000
і шепоче "ухти",
18:51
and instinctively I echo back the same.
434
1116000
4000
а я інстинктивно повторюю за ним.
18:56
And so let's fly back in time
435
1121000
3000
Отож, повернемося в часі
18:59
to that memorable moment.
436
1124000
2000
до того пам'ятного моменту.
19:05
(Video) DR: Hey.
437
1130000
2000
(Відео) ДР: Агов.
19:07
Come here.
438
1132000
2000
Іди сюди.
19:09
Can you do it?
439
1134000
3000
Ти можеш це зробити?
19:13
Oh, boy.
440
1138000
2000
О, хлопче.
19:15
Can you do it?
441
1140000
3000
Ти можеш це зробити?
19:18
Baby: Yeah.
442
1143000
2000
Дитина: Та.
19:20
DR: Ma, he's walking.
443
1145000
3000
ДР: Ма, він ходить.
19:24
(Laughter)
444
1149000
2000
(Сміх)
19:26
(Applause)
445
1151000
2000
(Аплодисменти)
19:28
DR: Thank you.
446
1153000
2000
ДР: Дякую.
19:30
(Applause)
447
1155000
15000
(Аплодисменти)
ABOUT THE SPEAKER
Deb Roy - Cognitive scientistDeb Roy studies how children learn language, and designs machines that learn to communicate in human-like ways. On sabbatical from MIT Media Lab, he's working with the AI company Bluefin Labs.
Why you should listen
Deb Roy directs the Cognitive Machines group at the MIT Media Lab, where he studies how children learn language, and designs machines that learn to communicate in human-like ways. To enable this work, he has pioneered new data-driven methods for analyzing and modeling human linguistic and social behavior. He has authored numerous scientific papers on artificial intelligence, cognitive modeling, human-machine interaction, data mining, and information visualization.
Deb Roy was the co-founder and serves as CEO of Bluefin Labs, a venture-backed technology company. Built upon deep machine learning principles developed in his research over the past 15 years, Bluefin has created a technology platform that analyzes social media commentary to measure real-time audience response to TV ads and shows.
Follow Deb Roy on Twitter>
Roy adds some relevant papers:
Deb Roy. (2009). New Horizons in the Study of Child Language Acquisition. Proceedings of Interspeech 2009. Brighton, England. bit.ly/fSP4Qh
Brandon C. Roy, Michael C. Frank and Deb Roy. (2009). Exploring word learning in a high-density longitudinal corpus. Proceedings of the 31st Annual Meeting of the Cognitive Science Society. Amsterdam, Netherlands. bit.ly/e1qxej
Plenty more papers on our research including technology and methodology can be found here, together with other research from my lab at MIT: bit.ly/h3paSQ
The work that I mentioned on relationships between television content and the social graph is being done at Bluefin Labs (www.bluefinlabs.com). Details of this work have not been published. The social structures we are finding (and that I highlighted in my TED talk) are indeed new. The social media communication channels that are leading to their formation did not even exist a few years ago, and Bluefin's technology platform for discovering these kinds of structures is the first of its kind. We'll certainly have more to say about all this as we continue to dig into this fascinating new kind of data, and as new social structures continue to evolve!
Deb Roy | Speaker | TED.com