TED2017
Stuart Russell: 3 principles for creating safer AI
Stuart Russell: Wie KI uns zu besseren Menschen machen kann
Filmed:
Readability: 3.9
1,465,832 views
Wie können wir superintelligente KI nutzen, aber gleichzeitig einen katastrophalen Roboteraufstand verhindern? Während wir der Erschaffung allwissender Maschinen immer näher kommen, arbeitet KI-Bahnbrecher Stuart Russel an etwas anderem: Roboter mit Ungewissheit. Er spricht über seine Vision von menschenverträglicher KI, die Probleme mit gesundem Verstand, Altruismus und anderen menschlichen Werten lösen kann.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
Das hier ist Lee Sedol.
00:12
This is Lee Sedol.
0
712
1552
Lee Sedol ist einer der besten Go-Spieler.
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
Er erlebt hier, was meine
Freunde im Silicon Valley
Freunde im Silicon Valley
einen "Heiliger Strohsack"-Moment nennen.
00:21
a "Holy Cow" moment --
3
9218
1510
00:22
(Laughter)
4
10752
1073
(Gelächter)
00:23
a moment where we realize
5
11849
2188
Ein Moment, in dem wir bemerken,
dass die KI schneller vorankommt,
als wir erwartet haben.
als wir erwartet haben.
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
Menschen verloren also bei Go.
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
Was ist mit der echten Welt?
00:33
Well, the real world is much bigger,
8
21225
2100
Die echte Welt ist viel größer
und komplizierter als ein Go-Brett.
00:35
much more complicated than the Go board.
9
23349
2249
00:37
It's a lot less visible,
10
25622
1819
Sie ist weniger einsehbar,
00:39
but it's still a decision problem.
11
27465
2038
aber trotzdem entscheidbar.
Wenn wir an ein paar Technologien denken,
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
00:45
that are coming down the pike ...
13
33293
1749
die auf uns zukommen --
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
Noriko [Arai] erwähnte,
dass Maschinen noch nicht lesen können,
dass Maschinen noch nicht lesen können,
jedenfalls nicht mit Verständnis.
00:52
at least with understanding.
15
40097
1500
Aber das wird kommen.
00:53
But that will happen,
16
41621
1536
00:55
and when that happens,
17
43181
1771
Wenn es so weit kommt,
00:56
very soon afterwards,
18
44976
1187
werden Maschinen
sehr bald alles gelesen haben,
sehr bald alles gelesen haben,
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
was Menschen je geschrieben haben.
01:03
And that will enable machines,
20
51850
2030
Das wird Maschinen ermöglichen,
neben der Fähigkeit
weiter vorauszuschauen als Menschen,
weiter vorauszuschauen als Menschen,
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
wie wir bei Go schon sahen --
01:08
as we've already seen in Go,
22
56848
1680
01:10
if they also have access
to more information,
to more information,
23
58552
2164
wenn sie auch noch mehr Information haben,
werden sie in der echten Welt bessere
Entscheidungen treffen können als wir.
Entscheidungen treffen können als wir.
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
Ist das gut?
01:18
So is that a good thing?
25
66792
1606
01:21
Well, I hope so.
26
69898
2232
Ich hoffe es.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
Unsere gesamte Zivilisation,
alles, was wir wertschätzen,
alles, was wir wertschätzen,
01:29
is based on our intelligence.
28
77973
2068
basiert auf unserer Intelligenz.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
Wenn wir Zugriff
auf mehr Intelligenz hätten,
auf mehr Intelligenz hätten,
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
dann kann die Menschheit alles erreichen.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
Ich glaube, das könnte,
wie manche Leute es beschrieben,
wie manche Leute es beschrieben,
01:44
the biggest event in human history.
32
92014
2016
das größte Ereignis in der
Geschichte der Menschheit sein.
Geschichte der Menschheit sein.
01:48
So why are people saying things like this,
33
96665
2829
Warum sagen Leute also,
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
dass KI das Ende der
Menschheit bedeuten könnte?
Menschheit bedeuten könnte?
01:55
Is this a new thing?
35
103438
1659
Ist das neu?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
Sind es nur Elon Musk, Bill Gates
und Stephen Hawking?
und Stephen Hawking?
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
Nein. Diese Idee gibt es schon länger.
02:05
Here's a quotation:
38
113239
1962
Hier ist ein Zitat:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
"Selbst wenn wir die Maschinen
in unterwürfiger Stellung halten könnten,
in unterwürfiger Stellung halten könnten,
z. B. indem wir den Strom abschalten" --
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
ich werde später auf
diese Idee eingehen --
diese Idee eingehen --
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
"sollten wir uns als
Spezies demütig fühlen."
Spezies demütig fühlen."
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
Wer hat das gesagt? Alan Turing, 1951.
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
Alan Turing, wie Sie wissen,
ist der Vater der Informatik
ist der Vater der Informatik
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
und in vielerlei Hinsicht auch der KI.
Wenn wir also über
dieses Problem nachdenken,
dieses Problem nachdenken,
02:33
So if we think about this problem,
46
141239
1882
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
etwas Intelligenteres als unsere
eigene Art zu entwerfen,
eigene Art zu entwerfen,
02:38
we might call this "the gorilla problem,"
48
146956
2622
könnten wir es als
"Gorilla-Problem" bezeichnen,
"Gorilla-Problem" bezeichnen,
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
weil die Vorfahren der Gorillas
das vor Jahrmillionen taten.
das vor Jahrmillionen taten.
02:46
and now we can ask the gorillas:
50
154119
1745
Wir können die Gorillas jetzt fragen:
02:48
Was this a good idea?
51
156752
1160
War das eine gute Idee?
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
Hier sind sie bei einem Meeting
und besprechen, ob es eine gute Idee war.
und besprechen, ob es eine gute Idee war.
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
Sie kommen zu dem Schluss, nein,
es war eine schlechte Idee.
02:56
this was a terrible idea.
54
164860
1345
Unsere Spezies ist in arger Not.
02:58
Our species is in dire straits.
55
166229
1782
Sie können die existenzielle
Traurigkeit in ihren Augen sehen.
Traurigkeit in ihren Augen sehen.
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
03:04
(Laughter)
57
172825
1640
(Gelächter)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
Das mulmige Gefühl, dass es
eine schlechte Idee sein könnte,
eine schlechte Idee sein könnte,
03:11
is maybe not a good idea --
59
179353
2365
etwas Intelligenteres
als uns selbst zu erstellen,
als uns selbst zu erstellen,
03:14
what can we do about that?
60
182488
1491
was können wir dagegen tun?
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
Nichts so richtig, außer
keine KI mehr zu entwickeln.
keine KI mehr zu entwickeln.
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
Wegen all der Vorteile,
die ich schon erwähnte,
die ich schon erwähnte,
03:23
and because I'm an AI researcher,
63
191328
1716
und weil ich ein KI-Forscher bin,
werde ich das nicht zulassen.
werde ich das nicht zulassen.
03:25
I'm not having that.
64
193068
1791
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
Ich will weiter KI erforschen.
Wir müssen das Problem
also genauer festnageln.
also genauer festnageln.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
Was genau ist das Problem?
03:33
What exactly is the problem?
67
201317
1371
Warum könnte bessere KI
eine Katastrophe sein?
eine Katastrophe sein?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
03:39
So here's another quotation:
69
207398
1498
Hier ist noch ein Zitat:
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
"Wir sollten uns sicher sein,
dass die Absichten in der Maschine
dass die Absichten in der Maschine
03:45
is the purpose which we really desire."
71
213294
2298
tatsächlich die gewünschten
Absichten sind."
Absichten sind."
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
Das sagte Norbert Wiener 1960,
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
kurz nachdem er ein sehr
frühes lernendes System
frühes lernendes System
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
hatte lernen sehen, besser
als sein Urheber Dame zu spielen.
als sein Urheber Dame zu spielen.
04:00
But this could equally have been said
75
228602
2683
Aber das hätte genauso gut
König Midas sagen können.
04:03
by King Midas.
76
231309
1167
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
Er sagte: "Alles, was ich berühre,
soll zu Gold werden."
soll zu Gold werden."
Er bekam das, was er wollte.
04:08
and he got exactly what he asked for.
78
236241
2473
Das war der Zweck,
den er der Maschine gab,
den er der Maschine gab,
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
04:13
so to speak,
80
241513
1450
sozusagen,
und sein Essen, Trinken und Verwandte
verwandelten sich in Gold.
verwandelten sich in Gold.
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
Er verhungerte elendig.
04:18
and he died in misery and starvation.
82
246455
2281
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
Nennen wir das also
"das König-Midas-Problem",
"das König-Midas-Problem",
ein Ziel zu verfolgen, das in Wirklichkeit
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
04:28
truly aligned with what we want.
85
256138
2413
nicht mit dem, was wir
wollen, übereinstimmt.
wollen, übereinstimmt.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
Moderner gesagt nennen wir das
das "Wertausrichtungsproblem".
das "Wertausrichtungsproblem".
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
Das falsche Ziel vorzugeben,
ist nicht der einzige Teil des Problems.
ist nicht der einzige Teil des Problems.
Es gibt noch einen Teil.
04:40
There's another part.
88
268556
1152
Wenn man Maschinen ein Ziel gibt,
04:42
If you put an objective into a machine,
89
270160
1943
selbst etwas Einfaches wie:
"Hol den Kaffee",
"Hol den Kaffee",
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
04:47
the machine says to itself,
91
275908
1841
sagt sich die Maschine:
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
"Wie könnte ich dabei scheitern,
den Kaffee zu holen?
den Kaffee zu holen?
Jemand könnte mich ausschalten.
04:53
Someone might switch me off.
93
281380
1580
Okay, ich muss das verhindern.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
04:58
I will disable my 'off' switch.
95
286056
1906
Ich werde meinen Ausschalter blockieren.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
Ich werde alles tun, um mich
gegen Störung des Ziels zu verteidigen,
gegen Störung des Ziels zu verteidigen,
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
das mir gegeben wurde."
05:06
So this single-minded pursuit
98
294170
2012
Dieses zielstrebige, defensive
Verfolgen eines Ziels,
Verfolgen eines Ziels,
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
das tatsächlich nicht mit den Zielen
der Menschheit übereinstimmt,
der Menschheit übereinstimmt,
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
05:16
that's the problem that we face.
101
304122
1862
ist das Problem, vor dem wir stehen.
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
Das ist die hochwertige
Information in diesem Vortrag.
Information in diesem Vortrag.
05:23
If you want to remember one thing,
103
311798
2055
Wenn Sie sich nur eins merken,
dann, dass Sie keinen Kaffee
holen können, wenn Sie tot sind.
holen können, wenn Sie tot sind.
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
05:28
(Laughter)
105
316576
1061
(Gelächter)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
Es ist einfach. Merken Sie sich das.
Wiederholen Sie es dreimal am Tag.
Wiederholen Sie es dreimal am Tag.
05:33
(Laughter)
107
321514
1821
(Gelächter)
05:35
And in fact, this is exactly the plot
108
323359
2754
Das ist im Grunde die Handlung
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
von "2001: [Odyssee im Weltraum]".
HAL hat ein Ziel, eine Mission,
05:41
HAL has an objective, a mission,
110
329226
2090
die nicht mit den Zielen
der Menschen übereinstimmt,
der Menschen übereinstimmt,
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
05:47
and that leads to this conflict.
112
335096
1810
was zu Konflikt führt.
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
Zum Glück ist HAL nicht superintelligent.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
Er ist ziemlich clever,
aber Dave überlistet ihn letztendlich
aber Dave überlistet ihn letztendlich
05:56
and manages to switch him off.
115
344098
1849
und schaltet ihn aus.
06:01
But we might not be so lucky.
116
349828
1619
Wir werden vielleicht weniger Glück haben.
06:08
So what are we going to do?
117
356193
1592
Was werden wir also tun?
Ich versuche, KI neu zu definieren,
06:12
I'm trying to redefine AI
118
360371
2601
um von dieser klassischen Vorstellung
wegzukommen, dass Maschinen
wegzukommen, dass Maschinen
06:14
to get away from this classical notion
119
362996
2061
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
Ziele auf intelligente Weise verfolgen.
Es geht um drei Prinzipien.
06:22
There are three principles involved.
121
370712
1798
Das erste ist ein Prinzip des Altruismus,
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
06:27
that the robot's only objective
123
375847
3262
dass das einzige Ziel eines Roboters ist,
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
die Verwirklichung menschlicher
Ziele und Werte zu maximieren.
Ziele und Werte zu maximieren.
06:35
of human values.
125
383403
1390
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
Mit Werten meine ich nicht
gefühlsduselige, tugendhafte Werte,
gefühlsduselige, tugendhafte Werte,
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
sondern wie ein Mensch
sein Leben bevorzugen würde.
sein Leben bevorzugen würde.
06:43
their life to be like.
128
391982
1343
Das widerspricht also Asimovs Gesetz,
06:47
And so this actually violates Asimov's law
129
395364
2309
dass der Roboter
sich selbst schützen muss.
sich selbst schützen muss.
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
Er hat kein Interesse an Selbsterhaltung.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
Das zweite Gesetz ist
das Gesetz der Ergebenheit.
das Gesetz der Ergebenheit.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
Das ist sehr wichtig,
um Roboter sicherzumachen.
um Roboter sicherzumachen.
07:05
It says that the robot does not know
134
413741
3142
Es besagt, dass der Roboter
diese menschlichen Werte nicht kennt,
diese menschlichen Werte nicht kennt,
07:08
what those human values are,
135
416907
2028
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
sie maximieren soll, aber sie nicht kennt.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
Das verhindert das Problem
des zielstrebigen Verfolgens eines Ziels.
des zielstrebigen Verfolgens eines Ziels.
07:17
of an objective.
138
425904
1212
Diese Ungewissheit ist ausschlaggebend.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
07:21
Now, in order to be useful to us,
140
429726
1639
Damit er uns nützlich ist,
muss er eine Ahnung haben, was wir wollen.
07:23
it has to have some idea of what we want.
141
431389
2731
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
Er erlangt diese Information durch das
Beobachten menschlicher Entscheidungen.
Beobachten menschlicher Entscheidungen.
Unsere Entscheidungen
beinhalten Information darüber,
beinhalten Information darüber,
07:32
so our own choices reveal information
143
440674
2801
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
wie wir unser Leben gerne hätten.
Das sind die drei Prinzipien.
Was bewirken sie bei der Frage
Was bewirken sie bei der Frage
07:40
So those are the three principles.
145
448632
1683
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
"Kann man die Maschine ausschalten?",
wie Turing vorschlug.
wie Turing vorschlug.
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
07:49
So here's a PR2 robot.
148
457073
2120
Hier ist ein PR2-Roboter.
07:51
This is one that we have in our lab,
149
459217
1821
Den haben wir bei uns im Labor
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
und er hat einen großen,
roten Ausschalter am Rücken.
roten Ausschalter am Rücken.
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
Die Frage ist: Lässt es uns
ihn ausschalten?
ihn ausschalten?
Wenn wir das klassisch machen,
07:59
If we do it the classical way,
152
467180
1465
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
geben wir ihm das Ziel:
"Ich hole Kaffee, ich muss Kaffee holen,
"Ich hole Kaffee, ich muss Kaffee holen,
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
ich kann keinen Kaffee holen,
wenn ich tot bin."
wenn ich tot bin."
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
PR2 hat sich natürlich
meinen Vortrag angehört
meinen Vortrag angehört
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
und sagt also: "Ich muss meinen
Ausschalter blockieren
Ausschalter blockieren
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
und alle anderen Leute
in Starbucks tasern,
in Starbucks tasern,
08:17
who might interfere with me."
158
485694
1560
die mich stören könnten."
08:19
(Laughter)
159
487278
2062
(Gelächter)
08:21
So this seems to be inevitable, right?
160
489364
2153
Das scheint unvermeidbar, nicht wahr?
Dieser Fehlermodus scheint unvermeidbar
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
und folgt aus der konkreten,
eindeutigen Zielverfolgung.
eindeutigen Zielverfolgung.
Was passiert, wenn die Maschine
unsicher über das Ziel ist?
unsicher über das Ziel ist?
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
Sie denkt anders.
08:33
Well, it reasons in a different way.
164
501980
2127
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
Sie sagt sich: "Der Mensch
schaltet mich vielleicht aus,
schaltet mich vielleicht aus,
08:39
but only if I'm doing something wrong.
166
507144
1866
aber nur, wenn ich was falsch mache.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Ich weiß nicht so richtig, was falsch ist,
08:44
but I know that I don't want to do it."
168
512246
2044
aber ich weiß, dass ich das nicht will."
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
Das sind die ersten zwei Prinzipien.
08:49
"So I should let the human switch me off."
170
517348
3359
"Also sollte ich den Menschen
mich ausschalten lassen."
mich ausschalten lassen."
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
Man kann sogar den Anreiz errechnen,
den ein Roboter hat,
den ein Roboter hat,
08:57
to allow the human to switch it off,
172
525701
2493
sich ausschalten zu lassen.
09:00
and it's directly tied to the degree
173
528218
1914
Er ist direkt mit dem Grad
der Ungewissheit über das Ziel verbunden.
der Ungewissheit über das Ziel verbunden.
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
09:05
And then when the machine is switched off,
175
533977
2949
Wenn die Maschine ausgeschaltet wird,
kommt das dritte Prinzip ins Spiel.
kommt das dritte Prinzip ins Spiel.
09:08
that third principle comes into play.
176
536950
1805
Sie lernt über die Ziele,
die sie verfolgen sollte,
die sie verfolgen sollte,
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
weil sie lernt, dass sie etwas
falsch gemacht hat.
falsch gemacht hat.
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
Mit angemessener Verwendung
griechischer Zeichen,
griechischer Zeichen,
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
09:20
as mathematicians usually do,
180
548016
2131
wie Mathematiker das halt tun,
09:22
we can actually prove a theorem
181
550171
1984
können wir einen Satz beweisen,
der besagt, dass ein solcher Roboter
nachweislich nützlich für Menschen ist.
nachweislich nützlich für Menschen ist.
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
Man ist bewiesenermaßen
mit so einer Maschine besser dran
mit so einer Maschine besser dran
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
09:31
than without it.
184
559583
1246
als ohne sie.
Das ist ein sehr einfaches Beispiel,
aber es ist der erste Schritt
aber es ist der erste Schritt
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
in unseren Versuchen mit KI,
die mit Menschen kompatibel ist.
die mit Menschen kompatibel ist.
09:42
Now, this third principle,
187
570657
3257
Über das dritte Prinzip
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
zerbrechen Sie sich
wahrscheinlich den Kopf.
wahrscheinlich den Kopf.
Wahrscheinlich denken Sie:
"Ich verhalte mich schlecht.
"Ich verhalte mich schlecht.
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
09:52
I don't want my robot to behave like me.
190
580337
2929
Mein Roboter soll sich nicht
wie ich verhalten.
wie ich verhalten.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
Ich schleiche mich mitten in
der Nacht zum Kühlschrank.
der Nacht zum Kühlschrank.
Ich mache alles mögliche."
09:58
I do this and that."
192
586748
1168
Der Roboter soll alles
mögliche nicht machen.
mögliche nicht machen.
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
Aber so funktioniert das nicht.
Nur, weil Sie sich schlecht benehmen,
10:04
Just because you behave badly
195
592856
2155
muss der Roboter nicht
Ihr Verhalten imitieren.
Ihr Verhalten imitieren.
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
Er versteht Ihre Motivation und kann
vielleicht helfen, ihr zu widerstehen,
vielleicht helfen, ihr zu widerstehen,
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
10:13
if appropriate.
198
601616
1320
falls angemessen.
10:16
But it's still difficult.
199
604206
1464
Aber es ist trotzdem schwer.
10:18
What we're trying to do, in fact,
200
606302
2545
Wir versuchen, Maschinen zu ermöglichen,
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
für jede Person und jedes mögliche Leben
10:26
that they could live,
202
614691
1161
und alle anderen Leben vorauszusagen:
10:27
and the lives of everybody else:
203
615876
1597
10:29
Which would they prefer?
204
617497
2517
Was würden sie vorziehen?
Das bringt viele Schwierigkeiten mit sich.
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
Ich erwarte keine schnelle Lösung.
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
Die eigentliche Schwierigkeit
sind wir selbst.
sind wir selbst.
10:39
The real difficulties, in fact, are us.
207
627995
2643
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
Wie bereits gesagt
benehmen wir uns schlecht.
benehmen wir uns schlecht.
Manche von uns sind richtig fies.
10:47
In fact, some of us are downright nasty.
209
635290
2321
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
Der Roboter muss
das Verhalten nicht imitieren.
das Verhalten nicht imitieren.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
Der Roboter hat keine eigenen Ziele.
10:56
It's purely altruistic.
212
644322
1737
Er ist komplett altruistisch.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
Er ist nicht zur Erfüllung der Wünsche
eines Menschen, des Benutzers, vorgesehen,
eines Menschen, des Benutzers, vorgesehen,
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
sondern muss die Präferenzen
Aller respektieren.
Aller respektieren.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
Er kann also mit etwas Gemeinheit umgehen
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
und sogar verstehen, dass Sie zum Beispiel
11:15
you may take bribes as a passport official
217
663582
2671
als Passbeamter Bestechung annehmen,
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
weil Sie Ihre Familie ernähren und
Ihre Kinder zur Schule schicken müssen.
Ihre Kinder zur Schule schicken müssen.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
Er versteht das und wird nicht
deswegen stehlen,
deswegen stehlen,
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
sondern Ihnen helfen,
Ihre Kinder zur Schule zu schicken.
Ihre Kinder zur Schule zu schicken.
11:28
We are also computationally limited.
221
676976
3012
Außerdem haben wir technische Limits.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol ist ein
hervorragender Go-Spieler,
hervorragender Go-Spieler,
11:34
but he still lost.
223
682541
1325
verlor aber trotzdem.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
Er hat also einen Zug gespielt,
der das Spiel verloren hat.
der das Spiel verloren hat.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Das bedeutet nicht,
dass er verlieren wollte.
dass er verlieren wollte.
11:43
So to understand his behavior,
226
691340
2040
Um sein Verhalten zu verstehen,
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
brauchen wir also ein Modell
menschlicher Kognition,
menschlicher Kognition,
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
das unsere technischen Limits einbezieht
-- ein sehr kompliziertes Modell.
-- ein sehr kompliziertes Modell.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
Aber wir können daran arbeiten,
es zu verstehen.
es zu verstehen.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
Als KI-Forscher erscheint es mir
am schwierigsten,
am schwierigsten,
12:02
is the fact that there are lots of us,
231
710220
2575
dass wir so viele sind
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
und die Maschine irgendwie die Präferenzen
12:09
of many different people,
233
717899
2225
vieler verschiedener Leute abwägen muss.
12:12
and there are different ways to do that.
234
720148
1906
Das geht auf verschiedene Arten.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
Wirtschaftswissenschaftler, Soziologen
und Ethiker haben das verstanden.
und Ethiker haben das verstanden.
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
Wir suchen aktiv nach Zusammenarbeit.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
Was passiert, wenn das schiefgeht?
Man kann z. B. in ein paar Jahren
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
mit seinem intelligenten Assistenten,
eine Konversation führen.
eine Konversation führen.
12:25
with your intelligent personal assistant
239
733702
1944
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
12:29
Think of a Siri on steroids.
241
737979
2524
Man stelle sich
ein aufgeputschtes Siri vor.
ein aufgeputschtes Siri vor.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
Siri sagt: "Ihre Frau rief an, um Sie
an das Abendessen heute zu erinnern."
an das Abendessen heute zu erinnern."
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
Sie haben es natürlich vergessen:
"Was für ein Abendessen? Worum geht es?"
"Was für ein Abendessen? Worum geht es?"
12:41
What are you talking about?"
244
749148
1425
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"Ihr 20. Hochzeitstag um 7 Uhr."
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
"Das geht nicht. Ich treffe
den Generalsekretär um 7:30.
den Generalsekretär um 7:30.
12:52
How could this have happened?"
247
760658
1692
Wie konnte das passieren?"
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
"Ich habe Sie gewarnt, aber Sie haben
meine Empfehlung ignoriert."
meine Empfehlung ignoriert."
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
"Was mache ich jetzt?
Ich kann ihm nicht absagen."
Ich kann ihm nicht absagen."
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
"Keine Sorge, ich habe
seinen Flug verzögert."
seinen Flug verzögert."
13:07
(Laughter)
251
775795
1682
(Gelächter)
13:10
"Some kind of computer malfunction."
252
778249
2101
"Irgend eine Computerstörung."
13:12
(Laughter)
253
780374
1212
(Gelächter)
13:13
"Really? You can do that?"
254
781610
1617
"Echt? Du kannst das?"
13:16
"He sends his profound apologies
255
784400
2179
"Er bittet um Entschuldigung.
Er freut sich darauf,
Sie morgen Mittag zu treffen."
Sie morgen Mittag zu treffen."
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
13:21
(Laughter)
257
789182
1299
(Gelächter)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
Die Werte hier -- hier läuft etwas schief.
13:26
This is clearly following my wife's values
259
794932
3009
Es folgt ganz klar den Werten meiner Frau,
und zwar "glückliche Frau,
glückliches Leben".
glückliches Leben".
13:29
which is "Happy wife, happy life."
260
797965
2069
13:32
(Laughter)
261
800058
1583
(Gelächter)
13:33
It could go the other way.
262
801665
1444
Es könnte auch anders laufen.
Man kommt nach einem
langen Arbeitstag heim
langen Arbeitstag heim
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
und der Computer sagt: "Langer Tag?"
13:38
and the computer says, "Long day?"
264
806046
2195
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"Ja, ich hatte keine Zeit
zum Mittagessen."
zum Mittagessen."
"Sie haben bestimmt Hunger."
13:42
"You must be very hungry."
266
810577
1282
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
"Ich bin am Verhungern.
Kannst du mir Essen machen?"
Kannst du mir Essen machen?"
13:48
"There's something I need to tell you."
268
816070
2090
"Ich muss Ihnen etwas sagen."
13:50
(Laughter)
269
818184
1155
(Gelächter)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
"Im Südsudan gibt es
bedürftigere Menschen als Sie."
bedürftigere Menschen als Sie."
13:57
(Laughter)
271
825122
1104
(Gelächter)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
"Also gehe ich.
Machen Sie Ihr Essen selbst."
Machen Sie Ihr Essen selbst."
14:00
(Laughter)
273
828349
2000
(Gelächter)
14:02
So we have to solve these problems,
274
830823
1739
Wir müssen also diese Probleme lösen
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
und ich freue mich darauf,
daran zu arbeiten.
daran zu arbeiten.
14:07
There are reasons for optimism.
276
835125
1843
Es gibt Anlass zur Hoffnung.
14:08
One reason is,
277
836992
1159
Ein Anlass ist
14:10
there is a massive amount of data.
278
838175
1868
die enorme Menge an Daten.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
Wie gesagt, sie werden alles lesen,
was geschrieben wurde.
was geschrieben wurde.
14:14
the human race has ever written.
280
842885
1546
Der Großteil davon ist
über Menschen und ihre Taten
über Menschen und ihre Taten
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
und die Reaktionen anderer.
14:19
and other people getting upset about it.
282
847203
1914
Also kann man von vielen Daten lernen.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
Es gibt auch wirtschaftliche Anreize,
14:27
to get this right.
285
855331
1186
das hinzubekommen.
14:28
So imagine your domestic robot's at home.
286
856541
2001
Z. B. Haushaltsroboter.
Sie sind wieder zu spät und der Roboter
soll den Kindern Essen machen.
soll den Kindern Essen machen.
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
Die Kinder haben Hunger
und der Kühlschrank ist leer.
und der Kühlschrank ist leer.
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
Und der Roboter sieht die Katze.
14:36
And the robot sees the cat.
289
864504
2605
14:39
(Laughter)
290
867133
1692
(Gelächter)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
Der Roboter hat die menschliche
Wertefunktion noch nicht so ganz gelernt
Wertefunktion noch nicht so ganz gelernt
und versteht somit nicht,
14:45
so it doesn't understand
292
873063
1251
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
dass der sentimentale Wert der Katze
ihren Nährwert übertrifft.
ihren Nährwert übertrifft.
14:51
(Laughter)
294
879206
1095
(Gelächter)
14:52
So then what happens?
295
880325
1748
Was passiert also?
14:54
Well, it happens like this:
296
882097
3297
Es passiert etwa so etwas:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
"Unzurechnungsfähiger Roboter
kocht Kätzchen zum Abendessen."
kocht Kätzchen zum Abendessen."
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
Dieser eine Vorfall wäre das Aus
der Haushaltsroboter-Industrie.
der Haushaltsroboter-Industrie.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
Es gibt also einen großen Anreiz,
das herauszubekommen,
das herauszubekommen,
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
lange bevor wir superintelligente
Maschinen herstellen.
Maschinen herstellen.
15:12
So to summarize:
301
900128
1535
Zusammenfassend:
Ich will die Definition von KI ändern,
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
sodass wir nachweislich
vorteilhafte Maschinen haben.
vorteilhafte Maschinen haben.
15:19
And the principles are:
304
907609
1222
Die Grundsätze sind:
15:20
machines that are altruistic,
305
908855
1398
Maschinen sind altruistisch,
15:22
that want to achieve only our objectives,
306
910277
2804
wollen nur unsere Ziele erreichen,
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
aber wissen nicht genau,
was diese Ziele sind,
was diese Ziele sind,
15:28
and will watch all of us
308
916245
1998
also beobachten sie uns alle,
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
um besser zu lernen,
was wir wirklich wollen.
was wir wirklich wollen.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
Hoffentlich werden wir dadurch lernen,
bessere Menschen zu sein.
bessere Menschen zu sein.
15:37
Thank you very much.
311
925956
1191
Vielen Dank.
15:39
(Applause)
312
927171
3709
(Beifall)
Chris Anderson: Sehr interessant, Stuart.
Wir haben etwas Zeit,
Wir haben etwas Zeit,
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
weil alles für den nächsten Redner
vorbereitet wird.
vorbereitet wird.
15:47
for our next speaker.
315
935990
1151
Ein paar Fragen.
15:49
A couple of questions.
316
937165
1538
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
Die Idee, Unwissenheit vorzuprogrammieren,
erscheint intuitiv wirksam.
erscheint intuitiv wirksam.
Wenn man Superintelligenz erreicht,
15:56
As you get to superintelligence,
318
944204
1594
15:57
what's going to stop a robot
319
945822
2258
was soll einen Roboter davon abhalten,
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
Literatur zu lesen und
auf die Idee zu kommen,
auf die Idee zu kommen,
dass Wissen besser ist als Unwissenheit
16:02
is actually better than ignorance
321
950980
1572
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
und seine eigenen Ziele anzupassen
und sich umzuprogrammieren?
und sich umzuprogrammieren?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
Stuart Russel: Wir wollen,
wie gesagt, dass er dazulernt,
wie gesagt, dass er dazulernt,
16:16
about our objectives.
324
964072
1287
was unsere Ziele betrifft.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
Er wird sich sicherer werden,
wenn er fehlerloser wird,
wenn er fehlerloser wird,
16:22
so the evidence is there
326
970928
1945
also gibt es Hinweise
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
und er ist dazu konzipiert,
sie richtig zu interpretieren.
sie richtig zu interpretieren.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
Er wird verstehen, dass Bücher einseitig
16:31
in the evidence they contain.
329
979625
1483
in ihrer Darstellung sind.
16:33
They only talk about kings and princes
330
981132
2397
Sie handeln nur von Königen und Prinzen
16:35
and elite white male people doing stuff.
331
983553
2800
und mächtigen weißen
Männern und ihren Taten.
Männern und ihren Taten.
16:38
So it's a complicated problem,
332
986377
2096
Es ist ein kompliziertes Problem,
16:40
but as it learns more about our objectives
333
988497
3872
aber wenn er mehr über unsere Ziele lernt,
16:44
it will become more and more useful to us.
334
992393
2063
wird er zunehmend nützlicher für uns.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
CA: Kann man das nicht zu
einem Gesetz zusammenfassen,
einem Gesetz zusammenfassen,
16:49
you know, hardwired in:
336
997030
1650
vorprogrammiert:
16:50
"if any human ever tries to switch me off,
337
998704
3293
"Wenn ein Mensch versucht,
mich abzuschalten,
mich abzuschalten,
16:54
I comply. I comply."
338
1002021
1935
gehorche ich. Ich gehorche."
16:55
SR: Absolutely not.
339
1003980
1182
SR: Auf keinen Fall,
das wäre eine schlechte Idee.
das wäre eine schlechte Idee.
16:57
That would be a terrible idea.
340
1005186
1499
Wenn zum Beispiel Ihr selbstfahrendes Auto
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
17:01
and you want to send your five-year-old
342
1009422
2433
Ihr fünfjähriges Kind zum Kindergarten
17:03
off to preschool.
343
1011879
1174
fahren soll,
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
wollen Sie, dass Ihr Kind
das Auto abschalten kann,
das Auto abschalten kann,
während es fährt?
17:08
while it's driving along?
345
1016202
1213
Wahrscheinlich nicht.
17:09
Probably not.
346
1017439
1159
Es muss also verstehen, wie rational
und vernünftig die Person ist.
und vernünftig die Person ist.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
17:15
The more rational the person,
348
1023349
1676
Je rationaler die Person,
desto eher sollte es sich ausschalten.
desto eher sollte es sich ausschalten.
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
Wenn die Person willkürlich
oder sogar boshaft ist,
oder sogar boshaft ist,
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
sollte es sich nicht ausschalten.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
CA: Okay, Stuart, Ich hoffe nur,
dass Sie das für uns lösen können.
dass Sie das für uns lösen können.
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
Vielen Dank für Ihren
Vortrag. Er war toll.
Vortrag. Er war toll.
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
SR: Danke.
17:30
SR: Thank you.
355
1038906
1167
(Beifall)
17:32
(Applause)
356
1040097
1837
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com