TED2013
Ajit Narayanan: A word game to communicate in any language
Ajit Narayanan: Ein Sprachspiel zur Kommunikation in allen Sprachen
Filmed:
Readability: 3.4
1,391,245 views
Bei der Arbeit mit Kindern, die Probleme bei der Kommunikation haben, fand Ajit Narayanan ein Mittel zur "Übersetzung" von Sprache in Bilder, um Wörter und Konzepte in "Karten" zu verbinden. Daraus entwickelte er eine App, die nicht sprechenden Menschen dabei hilft zu kommunizieren, und die große Idee dahinter ist ein Sprachkonzept namens "FreeSpeech", das sehr interessantes Potential hat.
Ajit Narayanan - Visual grammar engine inventor
Ajit Narayanan is the inventor of Avaz, an affordable, tablet-based communication device for people who are speech-impaired. Full bio
Ajit Narayanan is the inventor of Avaz, an affordable, tablet-based communication device for people who are speech-impaired. Full bio
Double-click the English transcript below to play the video.
00:12
I work with children with autism.
0
721
2670
Also ich arbeite mit
autistischen Kindern.
autistischen Kindern.
00:15
Specifically, I make technologies
1
3391
1914
Ich stelle Technologien her,
00:17
to help them communicate.
2
5305
2171
um ihnen beim Kommunizieren zu helfen.
00:19
Now, many of the problems that children
3
7476
1539
Viele Probleme von Kindern mit Autismus
00:21
with autism face, they have a common source,
4
9015
3763
haben einen gemeinsamen Ursprung,
00:24
and that source is that they find it difficult
5
12778
2094
denn ihnen allen fällt es schwer,
00:26
to understand abstraction, symbolism.
6
14872
5260
Abstraktion und Symbolik zu verstehen.
00:32
And because of this, they have
a lot of difficulty with language.
a lot of difficulty with language.
7
20132
4652
Dadurch haben sie
sehr viele Schwierigkeiten mit Sprache.
sehr viele Schwierigkeiten mit Sprache.
00:36
Let me tell you a little bit about why this is.
8
24784
3015
Lassen Sie mich Ihnen erklären,
warum das so ist.
warum das so ist.
00:39
You see that this is a picture of a bowl of soup.
9
27799
3934
Das ist ein Bild einer Schüssel
mit Suppe darin.
mit Suppe darin.
00:43
All of us can see it. All of us understand this.
10
31733
2485
Alle von uns können das sehen
und verstehen.
und verstehen.
00:46
These are two other pictures of soup,
11
34218
2312
Das hier sind zwei
andere Bilder von Suppe,
andere Bilder von Suppe,
00:48
but you can see that these are more abstract
12
36530
2067
aber Sie sehen schon,
dass diese abstrakter sind.
dass diese abstrakter sind.
00:50
These are not quite as concrete.
13
38597
1856
Sie sind nicht so konkret.
00:52
And when you get to language,
14
40453
2174
Und dann wird Sprache daraus,
00:54
you see that it becomes a word
15
42627
1868
es wird zu einem Wort,
00:56
whose look, the way it looks and the way it sounds,
16
44495
3261
dessen Aussehen und Aussprache
00:59
has absolutely nothing to do
with what it started with,
with what it started with,
17
47756
2912
nichts mit dem zu tun hat,
was es am Anfang war,
was es am Anfang war,
01:02
or what it represents, which is the bowl of soup.
18
50668
2830
oder was es darstellt,
nämlich die Schüssel Suppe.
nämlich die Schüssel Suppe.
01:05
So it's essentially a completely abstract,
19
53498
2900
Es ist also etwas völlig Abstraktes,
01:08
a completely arbitrary representation of something
20
56398
2576
eine völlig beliebige Darstellung
01:10
which is in the real world,
21
58974
1163
eines realen Gegenstandes,
01:12
and this is something that children with autism
22
60137
1791
und das ist etwas,
womit autistische Kinder
womit autistische Kinder
01:13
have an incredible amount of difficulty with.
23
61928
3164
eine Menge Schwierigkeiten haben.
01:17
Now that's why most of the people
that work with children with autism --
that work with children with autism --
24
65092
2751
Deshalb versuchen Leute,
die mit autistischen Kindern arbeiten --
die mit autistischen Kindern arbeiten --
01:19
speech therapists, educators --
25
67843
1878
Sprachtherapeuten, Lehrer --
01:21
what they do is, they try to help children with autism
26
69721
2633
ihnen beim Kommunizieren zu helfen.
01:24
communicate not with words, but with pictures.
27
72354
3229
Nicht mit Wörtern, sondern mit Bildern.
01:27
So if a child with autism wanted to say,
28
75583
1930
Wenn ein autistisches Kind also
sagen wollte:
sagen wollte:
01:29
"I want soup," that child would pick
29
77513
2458
"Ich will Suppe",
würde es 3 verschiedene Bilder
würde es 3 verschiedene Bilder
01:31
three different pictures, "I," "want," and "soup,"
30
79971
2260
in die Hand nehmen:
"Ich", "will" und "Suppe".
"Ich", "will" und "Suppe".
01:34
and they would put these together,
31
82231
1609
Es würde diese zusammen hochhalten
01:35
and then the therapist or the parent would
32
83840
1867
und dann verstehen Therapeut
oder die Eltern,
oder die Eltern,
01:37
understand that this is what the kid wants to say.
33
85707
1887
was das Kind sagen will.
01:39
And this has been incredibly effective;
34
87594
1778
Das ist unglaublich effektiv.
01:41
for the last 30, 40 years
35
89372
2141
Seit den letzten 30, 40 Jahren
01:43
people have been doing this.
36
91513
1613
wird das so gemacht.
01:45
In fact, a few years back,
37
93126
1349
Vor einigen Jahren
01:46
I developed an app for the iPad
38
94475
2675
habe ich sogar eine App
für das iPad entwickelt,
für das iPad entwickelt,
01:49
which does exactly this. It's called Avaz,
39
97150
2255
die genau das macht.
Sie heißt Avaz.
Sie heißt Avaz.
01:51
and the way it works is that kids select
40
99405
2279
Sie funktioniert so,
01:53
different pictures.
41
101684
1321
dass Kinder verschiedene Bilder auswählen.
01:55
These pictures are sequenced
together to form sentences,
together to form sentences,
42
103005
2570
Diese Bilder werden aneinander gereiht,
um Sätze zu bilden,
um Sätze zu bilden,
01:57
and these sentences are spoken out.
43
105575
1719
und diese Sätze werden dann ausgesprochen.
01:59
So Avaz is essentially converting pictures,
44
107294
3025
Avaz wandelt also Bilder um,
02:02
it's a translator, it converts pictures into speech.
45
110319
3960
sie ist ein Übersetzer,
sie wandelt Bilder in Sprache um.
sie wandelt Bilder in Sprache um.
02:06
Now, this was very effective.
46
114279
1718
Das war sehr effektiv.
02:07
There are thousands of children using this,
47
115997
1384
Tausende von Kindern
auf der ganzen Welt nutzen sie,
auf der ganzen Welt nutzen sie,
02:09
you know, all over the world,
48
117381
1430
02:10
and I started thinking about
49
118811
2175
und ich begann darüber nachzudenken,
02:12
what it does and what it doesn't do.
50
120986
2654
was sie kann und was sie nicht kann.
02:15
And I realized something interesting:
51
123640
1684
Dabei wurde mir
etwas Interessantes bewusst:
etwas Interessantes bewusst:
02:17
Avaz helps children with autism learn words.
52
125324
4203
Avaz hilft autistischen Kindern,
Wörter zu lernen.
Wörter zu lernen.
02:21
What it doesn't help them do is to learn
53
129527
2405
Aber sie hilft Ihnen nicht dabei,
02:23
word patterns.
54
131932
2748
Satzstrukturen zu lernen.
02:26
Let me explain this in a little more detail.
55
134680
2472
Lassen Sie mich das genauer erklären.
02:29
Take this sentence: "I want soup tonight."
56
137152
3057
Nehmen wir den Satz:
"Heute Abend will ich Suppe."
"Heute Abend will ich Suppe."
02:32
Now it's not just the words
here that convey the meaning.
here that convey the meaning.
57
140209
4080
Es sind nicht nur die Wörter,
die die Bedeutung übermitteln,
die die Bedeutung übermitteln,
02:36
It's also the way in which these words are arranged,
58
144289
3140
sondern auch die Art und Weise,
wie sie angeordnet sind,
wie sie angeordnet sind,
02:39
the way these words are modified and arranged.
59
147429
2515
also die Art, wie sie angepasst
und angeordnet sind.
und angeordnet sind.
02:41
And that's why a sentence like "I want soup tonight"
60
149959
2306
Deshalb ist ein Satz wie
"Heute Abend will ich Suppe."
"Heute Abend will ich Suppe."
02:44
is different from a sentence like
61
152265
1984
nicht das Gleiche wie der Satz:
02:46
"Soup want I tonight," which
is completely meaningless.
is completely meaningless.
62
154249
3312
"Heute Suppe Abend ich will.",
der absolut keinen Sinn ergibt.
der absolut keinen Sinn ergibt.
02:49
So there is another hidden abstraction here
63
157561
2619
Hier ist also eine weitere
versteckte Abstraktion,
versteckte Abstraktion,
02:52
which children with autism find
a lot of difficulty coping with,
a lot of difficulty coping with,
64
160180
3557
mit der autistische Kinder
schwer umgehen können,
schwer umgehen können,
02:55
and that's the fact that you can modify words
65
163737
2840
denn Tatsache ist,
dass man Wörter verändern
dass man Wörter verändern
02:58
and you can arrange them to have
66
166577
2101
und sie so anordnen kann,
03:00
different meanings, to convey different ideas.
67
168678
2895
dass sie verschiedene Bedeutungen haben,
unterschiedliche Gedanken übermitteln.
unterschiedliche Gedanken übermitteln.
03:03
Now, this is what we call grammar.
68
171573
3459
Das bezeichnen wir als Grammatik.
03:07
And grammar is incredibly powerful,
69
175032
2036
Grammatik ist unglaublich mächtig,
03:09
because grammar is this one component of language
70
177068
3157
da Grammatik diese eine Komponente
der Sprache ist,
der Sprache ist,
03:12
which takes this finite vocabulary that all of us have
71
180225
3489
mit der wir unser begrenztes Vokabular
03:15
and allows us to convey an
infinite amount of information,
infinite amount of information,
72
183714
4531
zur Übermittlung einer unendlichen Menge
von Informationen nutzen können,
von Informationen nutzen können,
03:20
an infinite amount of ideas.
73
188245
2134
also eine unendliche Menge von Gedanken.
03:22
It's the way in which you can put things together
74
190379
2002
Man stellt also Dinge zusammen,
03:24
in order to convey anything you want to.
75
192381
2168
um alles das, was man will,
zu übermitteln.
zu übermitteln.
03:26
And so after I developed Avaz,
76
194549
2127
Nachdem ich also Avaz entwickelt hatte,
03:28
I worried for a very long time
77
196676
1568
grübelte ich sehr lange darüber nach,
03:30
about how I could give grammar
to children with autism.
to children with autism.
78
198244
3910
wie ich autistischen Kindern
Grammatik beibringen könnte.
Grammatik beibringen könnte.
03:34
The solution came to me from
a very interesting perspective.
a very interesting perspective.
79
202154
2275
Die Lösung kam mir bei einer
sehr interessanten Beobachtung.
sehr interessanten Beobachtung.
03:36
I happened to chance upon a child with autism
80
204429
3449
Ich war zufällig dabei,
als sich ein autistisches Kind
als sich ein autistisches Kind
03:39
conversing with her mom,
81
207878
2109
mit seiner Mutter unterhielt,
03:41
and this is what happened.
82
209987
2094
und dabei geschah Folgendes.
03:44
Completely out of the blue, very spontaneously,
83
212081
2186
Völlig unerwartet, ganz spontan
03:46
the child got up and said, "Eat."
84
214267
2463
stand das Kind auf und sagte: "Essen."
03:48
Now what was interesting was
85
216730
1770
Das Interessante daran war,
03:50
the way in which the mom was trying to tease out
86
218500
4244
auf welche Art und Weise
die Mutter versuchte herauszubekommen,
die Mutter versuchte herauszubekommen,
03:54
the meaning of what the child wanted to say
87
222744
2213
was das Kind sagen wollte,
03:56
by talking to her in questions.
88
224957
2260
indem sie nämlich Fragen stellte.
03:59
So she asked, "Eat what? Do
you want to eat ice cream?
you want to eat ice cream?
89
227217
2593
Sie fragte: "Was essen?
Willst du Eis essen?
Willst du Eis essen?
04:01
You want to eat? Somebody else wants to eat?
90
229810
2112
Willst du essen?
Will jemand anderes essen?
Will jemand anderes essen?
04:03
You want to eat cream now? You
want to eat ice cream in the evening?"
want to eat ice cream in the evening?"
91
231922
3313
Willst du jetzt Eis essen?
Willst du heute Abend Eis essen?"
Willst du heute Abend Eis essen?"
04:07
And then it struck me that
92
235235
1514
Dabei wurde mir schlagartig bewusst,
04:08
what the mother had done was something incredible.
93
236749
2028
dass die Mutter etwas Unglaubliches
getan hatte.
getan hatte.
04:10
She had been able to get that child to communicate
94
238777
1994
Sie hatte dem Kind geholfen,
ihr ohne Grammatik
ihr ohne Grammatik
04:12
an idea to her without grammar.
95
240771
4138
einen Gedanken mitzuteilen.
04:16
And it struck me that maybe this is what
96
244909
2696
Und da wurde mir bewusst,
dass es das war,
dass es das war,
04:19
I was looking for.
97
247605
1385
wonach ich suchte.
04:20
Instead of arranging words in an order, in sequence,
98
248990
4142
Anstatt die Wörter
in einer Reihenfolge anzuordnen,
in einer Reihenfolge anzuordnen,
04:25
as a sentence, you arrange them
99
253132
2172
als einen Satz, ordnet man sie
04:27
in this map, where they're all linked together
100
255304
3811
in dieser "Karte" an, auf der sie alle
miteinander verbunden sind;
miteinander verbunden sind;
04:31
not by placing them one after the other
101
259115
2143
man ordnet sie nicht
eines nach dem anderen an,
eines nach dem anderen an,
04:33
but in questions, in question-answer pairs.
102
261258
3284
sondern in Fragen,
in Frage-Antwort-Paaren.
in Frage-Antwort-Paaren.
04:36
And so if you do this, then what you're conveying
103
264542
2358
Wenn man das macht,
04:38
is not a sentence in English,
104
266900
1986
übermittelt man keinen Satz auf Englisch,
04:40
but what you're conveying is really a meaning,
105
268886
2966
sondern man übermittelt eine Bedeutung,
04:43
the meaning of a sentence in English.
106
271852
1511
die Bedeutung des Satzes in Englisch.
04:45
Now, meaning is really the underbelly,
in some sense, of language.
in some sense, of language.
107
273363
2932
Eigentlich ist die Bedeutung
die Grundlage der Sprache.
die Grundlage der Sprache.
04:48
It's what comes after thought but before language.
108
276295
3821
Sie kommt nach dem Gedanken,
aber noch vor dem Aussprechen.
aber noch vor dem Aussprechen.
04:52
And the idea was that this particular representation
109
280116
2503
Und die Idee hinter
dieser besonderen Darstellung ist,
dieser besonderen Darstellung ist,
04:54
might convey meaning in its raw form.
110
282619
3261
dass sie Bedeutung in ihrer reinen Form
übermitteln könnte.
übermitteln könnte.
04:57
So I was very excited by this, you know,
111
285880
1771
Ich war so begeistert davon,
04:59
hopping around all over the place,
112
287651
1493
dass ich Freudensprünge machte.
05:01
trying to figure out if I can convert
113
289144
1771
Dann versuchte ich herauszufinden,
05:02
all possible sentences that I hear into this.
114
290915
2524
ob alle Sätze, die ich höre,
auf diese Weise umformen kann.
auf diese Weise umformen kann.
05:05
And I found that this is not enough.
115
293439
1773
Ich fand heraus,
dass das nicht ausreicht.
dass das nicht ausreicht.
05:07
Why is this not enough?
116
295212
1385
Warum reicht das nicht aus?
05:08
This is not enough because if you wanted to convey
117
296597
1711
Es ist zum Beispiel nicht genug,
05:10
something like negation,
118
298308
2250
wenn man Verneinung ausdrücken möchte,
05:12
you want to say, "I don't want soup,"
119
300558
1736
und man sagen will:
"Ich will keine Suppe".
"Ich will keine Suppe".
05:14
then you can't do that by asking a question.
120
302294
2220
Man kann dies nicht tun,
indem man eine Frage stellt.
indem man eine Frage stellt.
05:16
You do that by changing the word "want."
121
304514
2285
Man macht das durch die Beugung
des Verbs "wollen".
des Verbs "wollen".
05:18
Again, if you wanted to say,
122
306799
1637
Auch wenn man sagen möchte:
05:20
"I wanted soup yesterday,"
123
308436
1980
"Gestern wollte ich Suppe",
05:22
you do that by converting
the word "want" into "wanted."
the word "want" into "wanted."
124
310416
2737
wandelt man das Wort "will"
in "wollte" um.
in "wollte" um.
05:25
It's a past tense.
125
313153
1666
Das ist die Vergangenheitsform.
05:26
So this is a flourish which I added
126
314819
2103
Diese Funktion habe ich noch hinzugefügt,
05:28
to make the system complete.
127
316922
1576
um das System zu vervollständigen.
05:30
This is a map of words joined together
128
318498
1977
Dies ist eine Karte mit verbundenen Wörtern
05:32
as questions and answers,
129
320475
1656
als Fragen und Antworten,
05:34
and with these filters applied on top of them
130
322131
2264
und darüber sind Filter,
05:36
in order to modify them to represent
131
324395
1817
um sie zu verändern,
05:38
certain nuances.
132
326212
1709
um bestimmte Nuancen darzustellen.
05:39
Let me show you this with a different example.
133
327921
1951
Ich zeige es Ihnen
an einem anderen Beispiel.
an einem anderen Beispiel.
05:41
Let's take this sentence:
134
329872
1254
Nehmen wir einmal diesen Satz.
05:43
"I told the carpenter I could not pay him."
135
331126
1980
"Ich sagte dem Handwerker,
dass ich ihn nicht bezahlen könne."
dass ich ihn nicht bezahlen könne."
05:45
It's a fairly complicated sentence.
136
333106
1792
Das ist ein recht komplizierter Satz.
05:46
The way that this particular system works,
137
334898
1893
Dieses besondere System funktioniert so,
05:48
you can start with any part of this sentence.
138
336791
2578
dass man mit jedem beliebigen Teil
des Satzes beginnen kann.
des Satzes beginnen kann.
05:51
I'm going to start with the word "tell."
139
339369
1698
Ich fange mit dem Verb "sagen" an.
05:53
So this is the word "tell."
140
341067
1462
Das ist das Verb "sagen".
05:54
Now this happened in the past,
141
342529
1600
Da dies in der Vergangenheit passiert ist,
05:56
so I'm going to make that "told."
142
344129
2223
mache ich daraus "sagte".
05:58
Now, what I'm going to do is,
143
346352
1708
Und jetzt stelle ich Fragen:
06:00
I'm going to ask questions.
144
348060
1756
06:01
So, who told? I told.
145
349816
2364
Wer sagte? Ich sagte.
06:04
I told whom? I told the carpenter.
146
352180
1927
Wem sagte ich es?
Ich sagte es dem Handwerker.
Ich sagte es dem Handwerker.
06:06
Now we start with a different part of the sentence.
147
354107
1751
Jetzt fangen wir in einem anderen Teil an.
06:07
We start with the word "pay,"
148
355858
1867
Wir beginnen mit dem Verb "bezahlen"
06:09
and we add the ability filter to it to make it "can pay."
149
357725
4577
und fügen den "Modalverb-Filter" hinzu
und machen "bezahlen können" daraus.
und machen "bezahlen können" daraus.
06:14
Then we make it "can't pay,"
150
362302
2101
Dann machen wir es
zu "nicht bezahlen können"
zu "nicht bezahlen können"
06:16
and we can make it "couldn't pay"
151
364403
1599
und dann "nicht bezahlen konnten",
06:18
by making it the past tense.
152
366002
1663
durch den "Vergangenheitsfilter".
06:19
So who couldn't pay? I couldn't pay.
153
367665
1923
Wer konnte nicht bezahlen?
Ich konnte nicht bezahlen.
Ich konnte nicht bezahlen.
06:21
Couldn't pay whom? I couldn't pay the carpenter.
154
369588
2676
Wen konnte ich nicht bezahlen?
Den Handwerker.
Den Handwerker.
06:24
And then you join these two together
155
372264
1731
Und dann verbindet man diese zwei Teile
06:25
by asking this question:
156
373995
1350
und fragt:
06:27
What did I tell the carpenter?
157
375345
1737
"Was sagte ich dem Handwerker?"
06:29
I told the carpenter I could not pay him.
158
377082
4049
"Ich sagte dem Handwerker, dass ich ihn nicht
bezahlen könne." [Konjunktiv > indirekte Rede]
bezahlen könne." [Konjunktiv > indirekte Rede]
06:33
Now think about this. This is
159
381131
1937
Denken Sie darüber nach.
06:35
—(Applause)—
160
383068
3542
(Applaus)
06:38
this is a representation of this sentence
161
386610
3672
Das ist eine Darstellung dieses Satzes
06:42
without language.
162
390282
2435
ohne die Verwendung von Sprache.
06:44
And there are two or three
interesting things about this.
interesting things about this.
163
392717
2192
Ich möchte noch auf zwei, drei
interessante Dinge hinweisen.
interessante Dinge hinweisen.
06:46
First of all, I could have started anywhere.
164
394909
3131
Zum einen hätte ich überall
anfangen können.
anfangen können.
06:50
I didn't have to start with the word "tell."
165
398040
2243
Ich hätte nicht beim Verb "sagen"
anfangen müssen.
anfangen müssen.
06:52
I could have started anywhere in the sentence,
166
400283
1416
Ich hätte überall im Satz anfangen können
06:53
and I could have made this entire thing.
167
401699
1507
und mir wäre es trotzdem gelungen.
06:55
The second thing is, if I wasn't an English speaker,
168
403206
2776
Zweitens, wenn ich nicht Englisch
sprechen würde,
sprechen würde,
06:57
if I was speaking in some other language,
169
405982
2175
sondern eine andere Sprache,
07:00
this map would actually hold true in any language.
170
408157
3156
würde dieses Prinzip genauso gelten.
07:03
So long as the questions are standardized,
171
411313
1990
Solange es Standardfragen sind,
07:05
the map is actually independent of language.
172
413303
4287
ist dieses Prinzip nicht von Sprache
abhängig.
abhängig.
07:09
So I call this FreeSpeech,
173
417590
2115
Ich nenne es "FreeSpeech"
(etwa "sprachfrei")
(etwa "sprachfrei")
07:11
and I was playing with this for many, many months.
174
419705
2935
und ich habe viele Monate
mit diesem Spiel verbracht.
mit diesem Spiel verbracht.
07:14
I was trying out so many
different combinations of this.
different combinations of this.
175
422640
2726
Ich habe viele verschiedene
Kombinationen ausprobiert.
Kombinationen ausprobiert.
07:17
And then I noticed something very
interesting about FreeSpeech.
interesting about FreeSpeech.
176
425366
2289
Dabei fiel mir etwas Interessantes
an FreeSpeech auf.
an FreeSpeech auf.
07:19
I was trying to convert language,
177
427655
3243
Ich versuchte Sprache umzuformen,
07:22
convert sentences in English
into sentences in FreeSpeech,
into sentences in FreeSpeech,
178
430898
2384
englische Sätze in FreeSpeech-Sätze
umzuwandeln
umzuwandeln
07:25
and vice versa, and back and forth.
179
433282
1752
und umgekehrt, vor und zurück.
07:27
And I realized that this particular configuration,
180
435034
2255
Mir wurde klar, dass durch
diese besondere Konfiguration,
diese besondere Konfiguration,
07:29
this particular way of representing language,
181
437289
2026
diese besondere Art und Weise,
Sprache darzustellen,
Sprache darzustellen,
07:31
it allowed me to actually create very concise rules
182
439315
4395
tatsächlich sehr konkrete Regeln
07:35
that go between FreeSpeech on one side
183
443710
2734
zwischen FreeSpeech
07:38
and English on the other.
184
446444
1488
und Englisch existieren.
07:39
So I could actually write this set of rules
185
447932
2180
So konnte ich dieses Regelwerk erstellen,
07:42
that translates from this particular
representation into English.
representation into English.
186
450112
3395
in dem von dieser besonderen Darstellung
ins Englische übersetzt wird.
ins Englische übersetzt wird.
07:45
And so I developed this thing.
187
453507
1831
Also entwickelte ich
07:47
I developed this thing called
the FreeSpeech Engine
the FreeSpeech Engine
188
455338
2232
die "FreeSpeech Engine",
[dt. Maschine]
[dt. Maschine]
07:49
which takes any FreeSpeech sentence as the input
189
457570
2561
die jeden Satz in FreeSpeech aufnimmt
07:52
and gives out perfectly grammatical English text.
190
460131
3930
und einen grammatisch korrekten Satz
auf Englisch wiedergibt.
auf Englisch wiedergibt.
07:56
And by putting these two pieces together,
191
464061
1605
Durch die Kombination dieser zwei Dinge,
07:57
the representation and the engine,
192
465666
1881
der Darstellung und der Maschine,
07:59
I was able to create an app, a
technology for children with autism,
technology for children with autism,
193
467547
3796
konnte ich eine App konstruieren,
eine Technologie für autistische Kinder,
eine Technologie für autistische Kinder,
08:03
that not only gives them words
194
471343
2499
wodurch sie nicht nur Wörter lernen,
08:05
but also gives them grammar.
195
473842
3941
sondern auch Grammatik.
08:09
So I tried this out with kids with autism,
196
477783
2360
Ich habe das mit autistischen Kindern
ausprobiert,
ausprobiert,
08:12
and I found that there was an
incredible amount of identification.
incredible amount of identification.
197
480143
5013
und ich fand, dass es
sehr gut angekommen ist.
sehr gut angekommen ist.
08:17
They were able to create sentences in FreeSpeech
198
485156
2720
Sie konnten Sätze in FreeSpeech bilden,
08:19
which were much more complicated
but much more effective
but much more effective
199
487876
2558
die viel komplizierter,
aber viel effektiver waren,
aber viel effektiver waren,
08:22
than equivalent sentences in English,
200
490434
2899
als äquivalente Sätze auf Englisch,
08:25
and I started thinking about
201
493333
1682
und ich begann darüber nachzudenken,
08:27
why that might be the case.
202
495015
1969
woran das lag.
08:28
And I had an idea, and I want to
talk to you about this idea next.
talk to you about this idea next.
203
496984
4287
Mir kam etwas in den Sinn und
darüber möchte ich jetzt sprechen.
darüber möchte ich jetzt sprechen.
08:33
In about 1997, about 15 years back,
204
501271
3142
1997, also vor ungefähr 15 Jahren,
08:36
there were a group of scientists that were trying
205
504413
2011
versuchte eine Gruppe
von Forschern zu verstehen,
von Forschern zu verstehen,
08:38
to understand how the brain processes language,
206
506424
2389
wie Sprache im Gehirn verarbeitet wird,
08:40
and they found something very interesting.
207
508813
1779
und sie entdeckten
etwas sehr Interessantes.
etwas sehr Interessantes.
08:42
They found that when you learn a language
208
510592
1872
Sie fanden heraus, wenn man als Kind,
08:44
as a child, as a two-year-old,
209
512464
2912
als 2-jähriges Kind, eine Sprache lernt,
08:47
you learn it with a certain part of your brain,
210
515376
2366
dann lernt man sie mit
einem bestimmten Teil des Gehirns.
einem bestimmten Teil des Gehirns.
08:49
and when you learn a language as an adult --
211
517742
1600
Wenn Erwachsene
eine Sprache lernen --
eine Sprache lernen --
08:51
for example, if I wanted to
learn Japanese right now —
learn Japanese right now —
212
519342
3911
wenn ich jetzt zum Beispiel
Japanisch lernen wollte --
Japanisch lernen wollte --
08:55
a completely different part of my brain is used.
213
523253
2707
nutzen sie einen völlig
anderen Teil des Gehirns.
anderen Teil des Gehirns.
08:57
Now I don't know why that's the case,
214
525960
1831
Ich weiß nicht, warum das so ist,
08:59
but my guess is that that's because
215
527791
1991
aber ich schätze es ist so:
09:01
when you learn a language as an adult,
216
529782
2437
Wenn man als Erwachsener
eine Sprache lernt,
eine Sprache lernt,
09:04
you almost invariably learn it
217
532219
1616
verwendet man immer die Muttersprache
09:05
through your native language, or
through your first language.
through your first language.
218
533835
4266
oder die erste Fremdsprache als Grundlage.
09:10
So what's interesting about FreeSpeech
219
538101
3252
Das ist das Interessante an FreeSpeech.
09:13
is that when you create a sentence
220
541353
1802
Wenn sie einen Satz bilden
09:15
or when you create language,
221
543155
1695
oder sich artikulieren,
09:16
a child with autism creates
language with FreeSpeech,
language with FreeSpeech,
222
544850
3070
bilden autistische Kinder Sätze
mit FreeSpeech,
mit FreeSpeech,
09:19
they're not using this support language,
223
547920
1833
ohne eine "Hilfssprache" zu benutzen.
09:21
they're not using this bridge language.
224
549753
2211
Sie verwenden keine "Brückensprache".
09:23
They're directly constructing the sentence.
225
551964
2657
Sie bilden den Satz direkt.
09:26
And so this gave me this idea.
226
554621
2193
Das brachte mich auf eine Idee.
09:28
Is it possible to use FreeSpeech
227
556814
2024
Ist es vielleicht möglich,
09:30
not for children with autism
228
558838
2510
dass nicht nur autistische Kinder
FreeSpeech verwenden,
FreeSpeech verwenden,
09:33
but to teach language to people without disabilities?
229
561348
6262
sondern auch Menschen ohne Behinderungen?
09:39
And so I tried a number of experiments.
230
567610
1978
Ich führte mehrere Experimente durch.
09:41
The first thing I did was I built a jigsaw puzzle
231
569588
2948
Als Erstes entwarf ich dieses Puzzle,
09:44
in which these questions and answers
232
572536
1970
in dem sich diese Fragen und Antworten
09:46
are coded in the form of shapes,
233
574506
1835
durch Formen
09:48
in the form of colors,
234
576341
1138
und Farben unterscheiden,
09:49
and you have people putting these together
235
577479
1849
und die Leute müssen sie zusammensetzen
09:51
and trying to understand how this works.
236
579328
1773
und versuchen zu verstehen,
wie es funktioniert.
wie es funktioniert.
09:53
And I built an app out of it, a game out of it,
237
581101
2376
Also konstruierte ich eine App,
ein Spiel daraus,
ein Spiel daraus,
09:55
in which children can play with words
238
583477
2661
in dem Kinder mit Wörtern spielen können
09:58
and with a reinforcement,
239
586138
1704
und mit Aussprache,
09:59
a sound reinforcement of visual structures,
240
587842
2585
die Aussprache der angezeigten Bilder,
10:02
they're able to learn language.
241
590427
2013
und so lernen sie die Sprache.
10:04
And this, this has a lot of potential, a lot of promise,
242
592440
2736
Da diese App großes Potential hat
und vielversprechend ist,
und vielversprechend ist,
10:07
and the government of India recently
243
595176
1975
hat die indische Regierung
unsere Technologie
unsere Technologie
10:09
licensed this technology from us,
244
597151
1404
vor Kurzem lizensiert.
10:10
and they're going to try it out
with millions of different children
with millions of different children
245
598555
2074
Damit versuchen sie jetzt
Millionen von Kindern
Millionen von Kindern
10:12
trying to teach them English.
246
600629
2605
Englisch beizubringen.
10:15
And the dream, the hope, the vision, really,
247
603234
2614
Der Traum, die Hoffnung
und die Vision ist es,
und die Vision ist es,
10:17
is that when they learn English this way,
248
605848
3082
dass sie Englisch auf solche
Art und Weise lernen,
Art und Weise lernen,
10:20
they learn it with the same proficiency
249
608930
2643
dass sie die Sprache genauso gut
10:23
as their mother tongue.
250
611573
3718
wie ihre Muttersprache beherrschen.
10:27
All right, let's talk about something else.
251
615291
3816
Reden wir über etwas anderes.
10:31
Let's talk about speech.
252
619107
1997
Reden wir über das Sprechen.
10:33
This is speech.
253
621104
1271
So sieht das Sprechen aus.
10:34
So speech is the primary mode of communication
254
622375
1962
Das Sprechen ist unser vorherrschender
Kommunikationsmodus.
Kommunikationsmodus.
10:36
delivered between all of us.
255
624337
1613
10:37
Now what's interesting about speech is that
256
625950
1855
Das Interessante am Sprechen ist,
10:39
speech is one-dimensional.
257
627805
1245
dass es eindimensional ist.
10:41
Why is it one-dimensional?
258
629050
1359
Warum ist es eindimensional?
10:42
It's one-dimensional because it's sound.
259
630409
1568
Es ist eindimensional, weil es Schall ist.
10:43
It's also one-dimensional because
260
631977
1539
Es ist auch eindimensional,
10:45
our mouths are built that way.
261
633516
1205
weil unser Mund so gebaut ist.
10:46
Our mouths are built to create
one-dimensional sound.
one-dimensional sound.
262
634721
3512
Unser Mund ist so konstruiert, um
einen eindimensionalen Klang zu erzeugen.
einen eindimensionalen Klang zu erzeugen.
10:50
But if you think about the brain,
263
638233
2866
Wenn Sie jedoch an das Gehirn denken...
10:53
the thoughts that we have in our heads
264
641099
1764
Die Gedanken in unserem Kopf
10:54
are not one-dimensional.
265
642863
2102
sind nicht eindimensional.
10:56
I mean, we have these rich,
266
644965
1459
Wir haben diese reichen,
10:58
complicated, multi-dimensional ideas.
267
646424
3028
komplexen, mehrdimensionalen Gedanken.
11:01
Now, it seems to me that language
268
649452
1690
Ich glaube, dass die Sprache
11:03
is really the brain's invention
269
651142
2332
eigentlich die Erfindung des Gehirns ist,
11:05
to convert this rich, multi-dimensional thought
270
653474
3096
um diese reichen, mehrdimensionalen
Gedanken zu artikulieren.
Gedanken zu artikulieren.
11:08
on one hand
271
656570
1587
11:10
into speech on the other hand.
272
658157
1923
11:12
Now what's interesting is that
273
660080
1762
Interessant ist,
11:13
we do a lot of work in information nowadays,
274
661842
2568
dass wir heutzutage viel mit Informationen
und Daten hantieren,
und Daten hantieren,
11:16
and almost all of that is done
in the language domain.
in the language domain.
275
664410
3079
und dass fast alles davon
im Bereich der Sprache geschieht.
im Bereich der Sprache geschieht.
11:19
Take Google, for example.
276
667489
1939
Nehmen wir zum Beispiel Google.
11:21
Google trawls all these
countless billions of websites,
countless billions of websites,
277
669428
2677
Google durchkämmt all diese
zahllosen Webseiten,
zahllosen Webseiten,
11:24
all of which are in English,
and when you want to use Google,
and when you want to use Google,
278
672105
2725
die alle auf Englisch sind,
und will man Google nutzen,
und will man Google nutzen,
11:26
you go into Google search, and you type in English,
279
674830
2450
gibt man bei Google ein Wort
auf Englisch ein
auf Englisch ein
11:29
and it matches the English with the English.
280
677280
4163
und es gleicht Englisch mit Englisch ab.
11:33
What if we could do this in FreeSpeech instead?
281
681443
3583
Was wäre, wenn wir das
in FreeSpeech machen könnten?
in FreeSpeech machen könnten?
11:37
I have a suspicion that if we did this,
282
685026
2301
Ich glaube, wenn wir das tun,
11:39
we'd find that algorithms like searching,
283
687327
2068
würden wir feststellen, dass die
Such-Algorithmen,
Such-Algorithmen,
11:41
like retrieval, all of these things,
284
689395
2325
das Abrufen etc.
11:43
are much simpler and also more effective,
285
691720
3075
viel einfacher und effektiver sind,
11:46
because they don't process
the data structure of speech.
the data structure of speech.
286
694795
4417
da keine Sprachstruktur verarbeitet
werden muss.
werden muss.
11:51
Instead they're processing
the data structure of thought.
the data structure of thought.
287
699212
5976
Stattdessen wird
die Gedankenstruktur verarbeitet.
die Gedankenstruktur verarbeitet.
11:57
The data structure of thought.
288
705188
2808
Die Gedankenstruktur.
11:59
That's a provocative idea.
289
707996
2076
Das ist ein herausfordernder Gedanke.
12:02
But let's look at this in a little more detail.
290
710072
2142
Lassen Sie mich das näher erklären.
12:04
So this is the FreeSpeech ecosystem.
291
712214
2366
Das ist das FreeSpeech-System.
12:06
We have the Free Speech
representation on one side,
representation on one side,
292
714580
2884
Die Darstellung in FreeSpeech
auf der einen Seite, und auf der anderen
auf der einen Seite, und auf der anderen
12:09
and we have the FreeSpeech
Engine, which generates English.
Engine, which generates English.
293
717464
2228
die FreeSpeech-Engine,
die Englisch wiedergibt.
die Englisch wiedergibt.
12:11
Now if you think about it,
294
719694
1725
Wie ich Ihnen bereits gesagt habe,
12:13
FreeSpeech, I told you, is completely
language-independent.
language-independent.
295
721419
2544
ist FreeSpeech völlig unabhängig
von Sprache.
von Sprache.
12:15
It doesn't have any specific information in it
296
723963
2087
Das System enthält
keine spezifische Informationen
keine spezifische Informationen
12:18
which is about English.
297
726050
1228
in Bezug auf Englisch.
12:19
So everything that this system knows about English
298
727278
2800
Alles, was dieses System
über Englisch weiß,
über Englisch weiß,
12:22
is actually encoded into the engine.
299
730078
4620
ist in der Engine kodiert.
12:26
That's a pretty interesting concept in itself.
300
734698
2237
Das ist schon an sich
ein recht interessantes Konzept:
ein recht interessantes Konzept:
12:28
You've encoded an entire human language
301
736935
3604
eine vollständige, menschliche Sprache
12:32
into a software program.
302
740539
2645
in einer Software kodiert.
12:35
But if you look at what's inside the engine,
303
743184
2531
Aber schaut man in die Engine hinein,
12:37
it's actually not very complicated.
304
745715
2358
dann ist sie eigentlich
nicht sehr kompliziert.
nicht sehr kompliziert.
12:40
It's not very complicated code.
305
748073
2105
Es ist kein komplizierter Code.
12:42
And what's more interesting is the fact that
306
750178
2672
Noch interessanter ist die Tatsache,
12:44
the vast majority of the code in that engine
307
752850
2203
dass der größte Teil des Engine-Codes
12:47
is not really English-specific.
308
755053
2412
nicht spezifisch für Englisch ist.
12:49
And that gives this interesting idea.
309
757465
1895
Ein interessanter Gedanke:
12:51
It might be very easy for us to actually
310
759360
2038
Es könnte sehr einfach für uns sein,
12:53
create these engines in many,
many different languages,
many different languages,
311
761398
3826
diese Engines in vielen
verschiedenen Sprachen,
verschiedenen Sprachen,
12:57
in Hindi, in French, in German, in Swahili.
312
765224
6354
wie Hindi, Französisch, Deutsch,
Swahili etc. zu entwickeln.
Swahili etc. zu entwickeln.
13:03
And that gives another interesting idea.
313
771578
2799
Und das bringt mich
auf einen weiteren Gedanken.
auf einen weiteren Gedanken.
13:06
For example, supposing I was a writer,
314
774377
2654
Stellen Sie sich vor,
ich würde für eine Zeitung
ich würde für eine Zeitung
13:09
say, for a newspaper or for a magazine.
315
777031
2122
oder eine Zeitschrift schreiben.
13:11
I could create content in one language, FreeSpeech,
316
779153
5011
Ich könnte den Inhalt in
einer Sprache, FreeSpeech, entwerfen,
einer Sprache, FreeSpeech, entwerfen,
13:16
and the person who's consuming that content,
317
784164
2056
und die Person, die diesen Inhalt nutzt,
13:18
the person who's reading that particular information
318
786220
3061
die diese bestimmte Information liest,
13:21
could choose any engine,
319
789281
2495
könnte sich eine x-beliebige
Engine aussuchen
Engine aussuchen
13:23
and they could read it in their own mother tongue,
320
791776
2736
und das Ganze in ihrer eigenen Sprache,
13:26
in their native language.
321
794512
3939
in ihrer Muttersprache lesen.
13:30
I mean, this is an incredibly attractive idea,
322
798451
2722
Das ist ein wirklich reizvoller Gedanke,
13:33
especially for India.
323
801173
1999
besonders für Indien.
13:35
We have so many different languages.
324
803172
1690
Wir haben so viele verschiedene Sprachen.
13:36
There's a song about India, and there's a description
325
804862
2142
Es gibt ein Lied über Indien
und darin wird das Land
und darin wird das Land
13:39
of the country as, it says,
326
807004
2344
wie folgt beschrieben:
13:41
(in Sanskrit).
327
809348
2360
(Sanskrit).
13:43
That means "ever-smiling speaker
328
811708
2773
Das bedeutet in etwa :
"Stets lächelnder Sprecher schöner
Sprachen."
Sprachen."
13:46
of beautiful languages."
329
814481
4519
13:51
Language is beautiful.
330
819000
1964
Sprache ist schön.
13:52
I think it's the most beautiful of human creations.
331
820964
2454
Sie ist das Schönste, was der Mensch
je geschaffen hat.
je geschaffen hat.
13:55
I think it's the loveliest thing
that our brains have invented.
that our brains have invented.
332
823418
3978
Sie ist das Herrlichste,
das unser Gehirn erfunden hat.
das unser Gehirn erfunden hat.
13:59
It entertains, it educates, it enlightens,
333
827396
3584
Sie unterhält, sie bildet,
sie klärt auf --
sie klärt auf --
14:02
but what I like the most about language
334
830980
2044
und für mich ist das Besondere an Sprache,
14:05
is that it empowers.
335
833024
1500
dass sie stärkt.
14:06
I want to leave you with this.
336
834524
1838
Ich möchte Ihnen Folgendes mitgeben.
14:08
This is a photograph of my collaborators,
337
836362
2385
Das ist ein Bild meiner Mitarbeiter,
14:10
my earliest collaborators
338
838747
997
der ersten Mitarbeiter,
14:11
when I started working on language
339
839744
1462
als ich anfing, mich mit Sprache,
14:13
and autism and various other things.
340
841206
1502
Autismus und Anderem
zu beschäftigen.
zu beschäftigen.
14:14
The girl's name is Pavna,
341
842708
1417
Das Mädchen heißt Pavna
14:16
and that's her mother, Kalpana.
342
844125
1902
und daneben ist ihre Mutter, Kalpana.
14:18
And Pavna's an entrepreneur,
343
846027
2138
Pavna ist Unternehmerin,
14:20
but her story is much more remarkable than mine,
344
848165
2371
aber ihre Geschichte ist
noch viel ungewöhnlicher als meine,
noch viel ungewöhnlicher als meine,
14:22
because Pavna is about 23.
345
850536
2400
weil Pavna erst 23 ist.
14:24
She has quadriplegic cerebral palsy,
346
852936
2552
Sie hat tetraplegische Zerebralparese,
14:27
so ever since she was born,
347
855488
1640
das heißt, dass sie von Geburt an
14:29
she could neither move nor talk.
348
857128
3600
sich weder bewegen noch sprechen konnte.
14:32
And everything that she's accomplished so far,
349
860728
2403
Alles, was sie bis jetzt erreicht hat,
14:35
finishing school, going to college,
350
863131
2227
Schulabschluss, College,
14:37
starting a company,
351
865358
1416
die Gründung eines Unternehmens
14:38
collaborating with me to develop Avaz,
352
866774
2140
unsere Zusammenarbeit zur
Entwicklung von Avaz,
Entwicklung von Avaz,
14:40
all of these things she's done
353
868914
1892
all dies hat sie geschafft,
14:42
with nothing more than moving her eyes.
354
870806
5523
indem sie nur ihre Augen bewegt hat.
14:48
Daniel Webster said this:
355
876329
2689
Daniel Webster sagte Folgendes:
14:51
He said, "If all of my possessions were taken
356
879018
2940
"Würden mir all meine Besitztümer
genommen werden,
genommen werden,
14:53
from me with one exception,
357
881958
2988
mit einer Ausnahme,
14:56
I would choose to keep the power of communication,
358
884946
2981
dann behielte ich
die Macht der Kommunikation,
die Macht der Kommunikation,
14:59
for with it, I would regain all the rest."
359
887927
3903
denn damit würde ich alles andere
wieder zurück gewinnen."
wieder zurück gewinnen."
15:03
And that's why, of all of these incredible
applications of FreeSpeech,
applications of FreeSpeech,
360
891830
5116
Daher sind all diese unglaublichen
Anwendungen von FreeSpeech...
Anwendungen von FreeSpeech...
15:08
the one that's closest to my heart
361
896946
2080
Die, die mir am Wichtigsten ist,
15:11
still remains the ability for this
362
899026
2068
bleibt weiterhin, Kinder mit Behinderungen
15:13
to empower children with disabilities
363
901094
2380
damit stärker zu machen,
15:15
to be able to communicate,
364
903474
1773
so dass sie kommunizieren können,
15:17
the power of communication,
365
905247
1789
die Macht der Kommunikation,
15:19
to get back all the rest.
366
907036
2240
um sich den Rest dann
auch noch zurückzuholen.
auch noch zurückzuholen.
15:21
Thank you.
367
909276
1397
Vielen Dank.
15:22
(Applause)
368
910673
1332
(Applaus)
15:24
Thank you. (Applause)
369
912005
4199
Danke schön. (Applaus)
15:28
Thank you. Thank you. Thank you. (Applause)
370
916204
5323
Danke. Danke. Danke. (Applaus)
15:33
Thank you. Thank you. Thank you. (Applause)
371
921527
4000
Danke. Danke. Danke. (Applaus)
ABOUT THE SPEAKER
Ajit Narayanan - Visual grammar engine inventorAjit Narayanan is the inventor of Avaz, an affordable, tablet-based communication device for people who are speech-impaired.
Why you should listen
Ajit Narayanan is the founder and CEO of Invention Labs, and the inventor of Avaz AAC, the first assistive device aimed at an Indian market that helps people with speech disabilities -- such as cerebral palsy, autism, intellectual disability, aphasia and learning disabilities -- to communicate. Avaz is also available as an iPad app, aimed at children with autism. In 2010, Avaz won the National Award for Empowerment of People with Disabilities from the president of India, and in 2011, Narayanan was listed in MIT Technology Review 35 under 35.
Narayanan is a prolific inventor with more than 20 patent applications. He is an electrical engineer with degrees from IIT Madras. His research interests are embedded systems, signal processing and understanding how the brain perceives language and communication.
Ajit Narayanan | Speaker | TED.com