TED2017
Stuart Russell: 3 principles for creating safer AI
Stuart Russell: Miképp tehet jobbá a mesterséges intelligencia?
Filmed:
Readability: 3.9
1,465,832 views
Hogyan vehetjük hasznát a szuperintelligens mesterséges intelligenciának (MI) úgy, hogy elkerüljünk egy katasztrofális robot-hatalomátvételt? Ahogy közeledünk a mindentudó gépek létrehozásához, a MI úttörő, Stuart Russell, egy kicsit máson dolgozik: bizonytalan robotokon. Ismerjük meg a jövőképét egy emberrel összeegyeztethető MI-ról, mely a problémák megoldását józan észre, altruizmusra és más gyökeresen emberi értékekre alapozva segíti.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
00:12
This is Lee Sedol.
0
712
1552
Ő Lee Sedol,
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
a világ egyik legjobb Go-játékosa,
aki itt épp arra gondol, amit
Szilícium-völgyi barátaim csak úgy hívnak:
Szilícium-völgyi barátaim csak úgy hívnak:
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
00:21
a "Holy Cow" moment --
3
9218
1510
"azt a leborult szivarvégit!".
00:22
(Laughter)
4
10752
1073
(Nevetés)
00:23
a moment where we realize
5
11849
2188
A pillanat, amikor rádöbbenünk,
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
hogy a MI sokkal gyorsabban fejlődik,
mint amire számítottunk.
mint amire számítottunk.
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
A Go táblán az ember alul maradt.
De mi lesz a való életben?
De mi lesz a való életben?
00:33
Well, the real world is much bigger,
8
21225
2100
A való világ sokkal nagyobb,
00:35
much more complicated than the Go board.
9
23349
2249
sokszorta összetettebb, mint a Go.
00:37
It's a lot less visible,
10
25622
1819
Nem annyira látható,
00:39
but it's still a decision problem.
11
27465
2038
de az is döntési probléma.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
Ha néhány új technológiára gondolunk,
00:45
that are coming down the pike ...
13
33293
1749
melyek szárnyaikat bontogatják...
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
Noriko [Arai] megemlítette,
hogy a gépek még nem olvasnak,
hogy a gépek még nem olvasnak,
00:52
at least with understanding.
15
40097
1500
legalábbis még nem értik.
00:53
But that will happen,
16
41621
1536
De ez is el fog jönni,
00:55
and when that happens,
17
43181
1771
és amikor bekövetkezik,
00:56
very soon afterwards,
18
44976
1187
onnan már nem kell sok,
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
hogy elolvassanak mindent,
amit az emberi faj valaha leírt.
amit az emberi faj valaha leírt.
01:03
And that will enable machines,
20
51850
2030
Ez képessé fogja tenni őket,
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
hogy távolabbra lássanak,
mint amire az ember képes,
mint amire az ember képes,
01:08
as we've already seen in Go,
22
56848
1680
ahogy a Go-ban már láttuk.
01:10
if they also have access
to more information,
to more information,
23
58552
2164
Ha még több információhoz is hozzáférnek,
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
képesek lesznek a való világban is
jobb döntéseket hozni nálunk.
jobb döntéseket hozni nálunk.
01:18
So is that a good thing?
25
66792
1606
Vajon ez jó hír?
01:21
Well, I hope so.
26
69898
2232
Remélem.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
A teljes civilizációnk, minden,
amit számunkra értéket képvisel,
amit számunkra értéket képvisel,
01:29
is based on our intelligence.
28
77973
2068
az intelligenciánkon alapul.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
Ha sokkal több intelligenciához
férnénk hozzá,
férnénk hozzá,
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
határtalan lehetőségek nyílnának meg
az emberi faj előtt.
az emberi faj előtt.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
Azt hiszem, ez lehet -
ahogy néhányan megfogalmazták -
ahogy néhányan megfogalmazták -
01:44
the biggest event in human history.
32
92014
2016
az emberi történelem legnagyobb eseménye.
01:48
So why are people saying things like this,
33
96665
2829
Mégis miért hangzanak el akkor olyanok,
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
hogy a MI az emberi faj végét jelentheti?
01:55
Is this a new thing?
35
103438
1659
Ez valami új dolog?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
Csak Elon Musk, Bill Gates
és Stephen Hawking gondolja így?
és Stephen Hawking gondolja így?
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
Valójában nem.
Ez már régebb óta kísértő elgondolás.
Ez már régebb óta kísértő elgondolás.
02:05
Here's a quotation:
38
113239
1962
Nézzük ezt az idézetet:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
"Még ha képesek is lennénk a gépeket
alárendelt szolgai szerepben tartani,
alárendelt szolgai szerepben tartani,
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
például úgy, hogy kritikus helyzetekben
kikapcsolnánk őket," -
kikapcsolnánk őket," -
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
később még visszatérek
erre a kikapcsolás-ötletre -
erre a kikapcsolás-ötletre -
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
"mi, mint élőlények, nagyon megalázva
éreznénk magunkat."
éreznénk magunkat."
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
Ki mondta ezt?
Alan Turing 1951-ben.
Alan Turing 1951-ben.
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
Alarn Turingról tudjuk,
hogy a számítástudomány atyja,
hogy a számítástudomány atyja,
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
és sok tekintetben a MI atyja is.
02:33
So if we think about this problem,
46
141239
1882
Ezt a problémakört,
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
amikor saját fajunknál intelligensebb
teremtményeket hozunk létre,
teremtményeket hozunk létre,
02:38
we might call this "the gorilla problem,"
48
146956
2622
hívhatjuk a "gorilla-problémának",
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
mivel gorilla őseink épp ezt csinálták,
néhány millió évvel ezelőtt,
néhány millió évvel ezelőtt,
02:46
and now we can ask the gorillas:
50
154119
1745
így most megkérdezhetjük a gorillákat:
02:48
Was this a good idea?
51
156752
1160
Jó ötlet volt?
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
Itt éppen arról értekeznek,
hogy jó ötlet volt-e,
hogy jó ötlet volt-e,
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
és kisvártatva arra jutnak, hogy nem,
02:56
this was a terrible idea.
54
164860
1345
ez szörnyű ötlet volt.
02:58
Our species is in dire straits.
55
166229
1782
Fajunk a kihalás szélén áll.
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
Valójában a lét szomorúsága
tükröződik a szemükben.
tükröződik a szemükben.
03:04
(Laughter)
57
172825
1640
(Nevetés)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
A saját fajunknál valami
okosabbat létrehozni,
okosabbat létrehozni,
03:11
is maybe not a good idea --
59
179353
2365
talán nem is jó ötlet,
ami felkavaró érzés -
ami felkavaró érzés -
03:14
what can we do about that?
60
182488
1491
mégis hogyan kerülhetjük el?
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
Tulajdonképpen sehogy,
kivéve, ha leállítjuk a MI kutatást,
kivéve, ha leállítjuk a MI kutatást,
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
de a sok előny, amit említettem,
03:23
and because I'm an AI researcher,
63
191328
1716
és mert én MI-kutató vagyok,
03:25
I'm not having that.
64
193068
1791
nem állítanám le.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
Igazából folytatni szeretném
a MI fejlesztést.
a MI fejlesztést.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
Egy kissé pontosítanunk kell a problémát.
03:33
What exactly is the problem?
67
201317
1371
Mi is igazából a probléma?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
Miért jelenthet katasztrófát egy jobb MI?
03:39
So here's another quotation:
69
207398
1498
Vegyünk egy másik idézetet:
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
"Jó lesz nagyon odafigyelnünk rá,
hogy a gépbe táplált cél
hogy a gépbe táplált cél
03:45
is the purpose which we really desire."
71
213294
2298
valóban az a cél, amit tényleg akarunk."
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
Ezt Norbert Wiener mondta 1960-ban,
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
közvetlen azután, hogy látott
egy nagyon korai tanuló rendszert,
egy nagyon korai tanuló rendszert,
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
amelyik az alkotójánál
jobb volt a dámajátékban.
jobb volt a dámajátékban.
04:00
But this could equally have been said
75
228602
2683
De ugyanezt elmondhatta volna
04:03
by King Midas.
76
231309
1167
Midász király is.
Így szólt: "Azt akarom, változzon
minden arannyá, amit megérintek",
minden arannyá, amit megérintek",
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
04:08
and he got exactly what he asked for.
78
236241
2473
és pontosan azt kapta, amit kért.
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
Ez volt a cél, amit betáplált a gépbe,
04:13
so to speak,
80
241513
1450
mondhatjuk így is,
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
így aztán az étele, az itala,
és a rokonai is arannyá változtak,
és a rokonai is arannyá változtak,
04:18
and he died in misery and starvation.
82
246455
2281
ő pedig nyomorúságos éhhalált halt.
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
Szóval ezt hívjuk
"Midász király problémának",
"Midász király problémának",
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
amikor olyan célt nevezünk meg,
ami valójában
ami valójában
04:28
truly aligned with what we want.
85
256138
2413
nem igazodik jól szándékainkhoz.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
Mai kifejezéssel ezt
"érték-illesztési problémának" nevezzük.
"érték-illesztési problémának" nevezzük.
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
A probléma nem csak a rossz cél
betáplálását jelenti.
betáplálását jelenti.
04:40
There's another part.
88
268556
1152
Van egy másik oldala is.
04:42
If you put an objective into a machine,
89
270160
1943
Ha egy célt előírunk egy gépnek,
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
akár olyan egyszerűt is, mint:
"Hozd ide a kávét",
"Hozd ide a kávét",
04:47
the machine says to itself,
91
275908
1841
a gép azt mondja magának:
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
"Miképp vallhatok kudarcot,
a kávé oda vitelében?"
a kávé oda vitelében?"
04:53
Someone might switch me off.
93
281380
1580
Például valaki közben kikapcsol.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
Rendben, akkor ezt meg kell akadályoznom.
04:58
I will disable my 'off' switch.
95
286056
1906
Le fogom tiltani a kikapcsológombomat.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
Mindent megteszek
az akadályok elhárításáért
az akadályok elhárításáért
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
a cél érdekében, amit feladatul kaptam."
05:06
So this single-minded pursuit
98
294170
2012
Szóval ez az együgyű törekvés
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
ilyen önvédelmező módon
olyan cél felé viszi,
olyan cél felé viszi,
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
ami igazából nem illeszkedik jól
az emberi faj valós céljaihoz -
az emberi faj valós céljaihoz -
05:16
that's the problem that we face.
101
304122
1862
ez a probléma, amivel szembesülünk.
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
Valójában ez a nagyon értékes
útravaló üzenete ennek az előadásnak.
útravaló üzenete ennek az előadásnak.
05:23
If you want to remember one thing,
103
311798
2055
Ha csak egy dologra szeretnének emlékezni,
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
ez legyen: nem tudod felszolgálni a kávét,
ha meghaltál.
ha meghaltál.
05:28
(Laughter)
105
316576
1061
(Nevetés)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
Roppant egyszerű. Csak erre emlékezzenek!
Ismételjék el naponta háromszor!
Ismételjék el naponta háromszor!
05:33
(Laughter)
107
321514
1821
(Nevetés)
05:35
And in fact, this is exactly the plot
108
323359
2754
Tulajdonképpen erről szól
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
a "2001: Űrodüsszeia".
05:41
HAL has an objective, a mission,
110
329226
2090
HAL-nak van egy célja, egy küldetése,
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
mely nincs az emberi igényekhez igazítva,
05:47
and that leads to this conflict.
112
335096
1810
és ez nézeteltérésekhez vezet.
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
De szerencsére HAL nem szuperintelligens.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
Meglehetősen okos,
de végül Dave túljár az eszén,
de végül Dave túljár az eszén,
05:56
and manages to switch him off.
115
344098
1849
és sikerül kikapcsolnia.
06:01
But we might not be so lucky.
116
349828
1619
De lehet, hogy mi nem leszünk
ilyen szerencsések.
ilyen szerencsések.
06:08
So what are we going to do?
117
356193
1592
Akkor mit tegyünk majd?
06:12
I'm trying to redefine AI
118
360371
2601
Megpróbálom újraértelmezni az MI-t,
hogy eltávolodjunk ettől
a klasszikus szemlélettől,
a klasszikus szemlélettől,
06:14
to get away from this classical notion
119
362996
2061
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
mely szerint az intelligens gépek
célokért küzdenek.
célokért küzdenek.
06:22
There are three principles involved.
121
370712
1798
Három alapelvről van szó.
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
Az első az altruizmus alapelve,
ha úgy tetszik:
ha úgy tetszik:
06:27
that the robot's only objective
123
375847
3262
a robot egyetlen célja,
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
hogy végsőkig segítse
az emberi értékekhez igazodó
az emberi értékekhez igazodó
06:35
of human values.
125
383403
1390
emberi célok megvalósulását.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
Értékek alatt nem mézes-mázas,
szuper jó értékekre gondolok.
szuper jó értékekre gondolok.
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
Hanem arra, amilyennek az emberek
06:43
their life to be like.
128
391982
1343
az életüket szeretnék.
06:47
And so this actually violates Asimov's law
129
395364
2309
Ez valójában megsérti Asimov törvényét,
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
hogy a robotnak meg kell védenie
saját magát.
saját magát.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
Semmiféle önmegóvási célja nincs.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
A második törvény, ha úgy tetszik,
az alázatosság törvénye.
az alázatosság törvénye.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
Úgy tűnik, ez rendkívül fontos,
hogy a robotokat biztonságossá tegyük.
hogy a robotokat biztonságossá tegyük.
07:05
It says that the robot does not know
134
413741
3142
Azt mondja ki, hogy a robot nem ismeri
07:08
what those human values are,
135
416907
2028
az emberi értékeket,
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
maximalizálni igyekszik,
ám mégsem tudja, mik azok.
ám mégsem tudja, mik azok.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
Ez elkerüli az együgyű célratörő
07:17
of an objective.
138
425904
1212
magatartást.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
Ez a bizonytalanság kulcsfontosságú.
07:21
Now, in order to be useful to us,
140
429726
1639
Hogy ennek hasznát vegyük,
07:23
it has to have some idea of what we want.
141
431389
2731
némi elképzelésének kell lennie,
hogy mit is akarunk.
hogy mit is akarunk.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
Ehhez az információt az emberi döntések
megfigyeléséből szerzi,
megfigyeléséből szerzi,
07:32
so our own choices reveal information
143
440674
2801
mert a döntéseink árulkodnak arról,
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
hogy milyenné szeretnénk tenni
az életünket.
az életünket.
07:40
So those are the three principles.
145
448632
1683
Ez a három alapelv.
Nézzük, hogyan alkalmazhatóak
a következő kérdésre:
a következő kérdésre:
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
"Ki tudod kapcsolni a gépet?" -
ahogy Turing javasolta.
ahogy Turing javasolta.
07:49
So here's a PR2 robot.
148
457073
2120
Tehát itt egy PR2-es robot.
07:51
This is one that we have in our lab,
149
459217
1821
Ez van nálunk a laborban,
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
és van egy nagy,
piros "off" kapcsoló a hátán.
piros "off" kapcsoló a hátán.
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
A kérdés:
engedni fogja, hogy kikapcsoljuk?
engedni fogja, hogy kikapcsoljuk?
07:59
If we do it the classical way,
152
467180
1465
Ha hagyományosan csináljuk,
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
azt a parancsot adjuk neki,
hogy: "Hozd ide a kávét!",
hogy: "Hozd ide a kávét!",
"Hoznom kell a kávét,
nem tudom hozni, ha halott vagyok" -
nem tudom hozni, ha halott vagyok" -
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
tehát a PR2 nyilván hallgat rám,
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
ezért azt mondja:
"Le kell tiltanom az 'off' gombom,
"Le kell tiltanom az 'off' gombom,
és jobb lenne ártalmatlanítani
mindenkit a Starbuksnál is,
mindenkit a Starbuksnál is,
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
08:17
who might interfere with me."
158
485694
1560
aki utamat állhatja."
08:19
(Laughter)
159
487278
2062
(Nevetés)
08:21
So this seems to be inevitable, right?
160
489364
2153
Ez tehát elkerülhetetlennek tűnik, igaz?
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
Ez a zátonyra futás
elkerülhetetlennek látszik,
elkerülhetetlennek látszik,
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
és ez egyszerűen a konkrét,
meghatározott célból következik.
meghatározott célból következik.
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
Mi történik, ha a gép
nem biztos a céljában?
nem biztos a céljában?
08:33
Well, it reasons in a different way.
164
501980
2127
Akkor másképp okoskodik.
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
Azt mondja magában:
"Talán kikapcsol az ember,
"Talán kikapcsol az ember,
08:39
but only if I'm doing something wrong.
166
507144
1866
de csak akkor, ha valami rosszat teszek.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Nem igazán tudom, mi rossz,
08:44
but I know that I don't want to do it."
168
512246
2044
de azt tudom,
hogy olyat nem akarok tenni."
hogy olyat nem akarok tenni."
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
Ez volt eddig az első
és a második alapelv.
és a második alapelv.
08:49
"So I should let the human switch me off."
170
517348
3359
"Engednem kell tehát,
hogy az ember kikapcsoljon."
hogy az ember kikapcsoljon."
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
Tényleg ki lehet számolni
a robotnak szükséges ösztönzést,
a robotnak szükséges ösztönzést,
08:57
to allow the human to switch it off,
172
525701
2493
hogy megengedje a kikapcsolását,
és ez közvetlenül
azzal van összefüggésben,
azzal van összefüggésben,
09:00
and it's directly tied to the degree
173
528218
1914
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
hogy az elérni kívánt cél
mennyire bizonytalan.
mennyire bizonytalan.
09:05
And then when the machine is switched off,
175
533977
2949
Itt jön képbe a harmadik alapelv,
09:08
that third principle comes into play.
176
536950
1805
amikor a gép ki van kapcsolva.
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
Megtanul valami újat a célokról,
amikért küzd,
amikért küzd,
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
mivel rájön, hogy amit tett,
nem volt helyes.
nem volt helyes.
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
Ténylegesen képesek vagyunk ezt levezetni
egy halom görög betűvel.
egy halom görög betűvel.
09:20
as mathematicians usually do,
180
548016
2131
Ahogy a matematikusoknál ez szokás:
09:22
we can actually prove a theorem
181
550171
1984
be tudjuk bizonyítani a tételt,
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
mely szerint egy ilyen robot
garantáltan hasznos az ember számára.
garantáltan hasznos az ember számára.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
Jobban járunk egy olyan géppel,
amit így terveztek,
amit így terveztek,
09:31
than without it.
184
559583
1246
mint nélküle.
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
Szóval ez egy egyszerű példa volt,
de ez az első lépés abban,
de ez az első lépés abban,
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
amin dolgozunk,
hogy ember-kompatibilis MI-t alkossunk.
hogy ember-kompatibilis MI-t alkossunk.
09:42
Now, this third principle,
187
570657
3257
Ez a harmadik alapelv...
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
Talán már többen merengenek rajta
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
ezen gondolatmenettel:
"Néha én nem viselkedek túl jól,
"Néha én nem viselkedek túl jól,
09:52
I don't want my robot to behave like me.
190
580337
2929
nem akarom, hogy a robot
úgy viselkedjen, mint én.
úgy viselkedjen, mint én.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
Éjjel lesettenkedek és kifosztom a hűtőt.
09:58
I do this and that."
192
586748
1168
Csinálok még ezt azt."
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
Sok mindent nem szeretnénk,
hogy a robot csináljon.
hogy a robot csináljon.
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
Szerencsére azért ez nem így működik.
10:04
Just because you behave badly
195
592856
2155
Csak mert rosszul viselkedünk,
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
a robot nem fog leutánozni.
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
Meg fogja érteni a motivációnk,
és talán segít ellenállni a kísértésnek,
és talán segít ellenállni a kísértésnek,
10:13
if appropriate.
198
601616
1320
alkalomadtán.
10:16
But it's still difficult.
199
604206
1464
Azért ez még így is nehéz.
10:18
What we're trying to do, in fact,
200
606302
2545
Azon dolgozunk,
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
hogy a gépek képessé váljanak arra,
hogy bárkinek
hogy bárkinek
bárrmilyen életkörülményei is vannak,
10:26
that they could live,
202
614691
1161
10:27
and the lives of everybody else:
203
615876
1597
és egyáltalán mindenki esetén
10:29
Which would they prefer?
204
617497
2517
meg tudják jósolni, hogy ő mit szeretne.
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
Ebben azonban nagyon sok a nehézség.
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
Nem számítok rá,
hogy ez egyhamar megoldódik.
hogy ez egyhamar megoldódik.
10:39
The real difficulties, in fact, are us.
207
627995
2643
A fő nehézség éppen mi magunk vagyunk.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
Ahogy már említettem,
csúnyán viselkedünk,
csúnyán viselkedünk,
10:47
In fact, some of us are downright nasty.
209
635290
2321
néhányunk egyenesen gazemberként.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
A robotnak pedig, ahogy mondtam,
nem kell másolnia minket.
nem kell másolnia minket.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
Nincs is önálló célja.
10:56
It's purely altruistic.
212
644322
1737
Csak tisztán altruista.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
Nem is úgy van tervezve, hogy csak
egy ember kívánságait tartsa szem előtt,
egy ember kívánságait tartsa szem előtt,
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
hanem mindenki igényeire
tekintettel kell lennie.
tekintettel kell lennie.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
El kell tehát boldoguljon
bizonyos mértékű galádsággal,
bizonyos mértékű galádsággal,
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
sőt, meg kell értenie, miért viselkedünk
renitens módon:
renitens módon:
11:15
you may take bribes as a passport official
217
663582
2671
például, hogy vámkezelőként
csúszópénzt fogadunk el,
csúszópénzt fogadunk el,
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
mert el kell látnunk a családunkat
és fizetnünk a gyerekeink iskoláztatását.
és fizetnünk a gyerekeink iskoláztatását.
Megérteni a cselekedetet,
de ez nem jelenti, hogy ő is lopni fog.
de ez nem jelenti, hogy ő is lopni fog.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
Azon lesz, hogy segítsen
a gyerekek beiskolázásában.
a gyerekek beiskolázásában.
11:28
We are also computationally limited.
221
676976
3012
Továbbá az agyunk számítási
teljesítménye is korlátozott.
teljesítménye is korlátozott.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol briliáns Go játékos,
11:34
but he still lost.
223
682541
1325
mégis veszített.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
Ha konkrétan elemezzük a lépéseit,
volt egy lépése, ami miatt veszített.
volt egy lépése, ami miatt veszített.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Holott nem akart veszíteni.
11:43
So to understand his behavior,
226
691340
2040
Hogy megértsük a viselkedését,
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
igazából meg kell fordítanunk
az emberi értelem modelljét,
az emberi értelem modelljét,
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
melyben helyet kap a véges számítási
kapacitás - ez egy bonyolult modell.
kapacitás - ez egy bonyolult modell.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
De ez is olyasmi, aminek megértésén
van még mit dolgozni.
van még mit dolgozni.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
Szerintem egy MI-kutatónak
valószínűleg az a legnehezebb,
valószínűleg az a legnehezebb,
12:02
is the fact that there are lots of us,
231
710220
2575
hogy sokan vagyunk,
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
és a gépnek valamiképp súlyoznia kell
és egyszerre optimalizálni
és egyszerre optimalizálni
12:09
of many different people,
233
717899
2225
megannyi különböző emberre tekintettel,
12:12
and there are different ways to do that.
234
720148
1906
és erre különböző megoldások vannak.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
Közgazdászok, szociológusok,
filozófusok rájöttek már erre,
filozófusok rájöttek már erre,
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
s mi élénken keressük az együttműködést.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
Nézzük meg, mi történik,
ha nem jól alkalmazzuk az eddigieket.
ha nem jól alkalmazzuk az eddigieket.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
Megbeszéljük a dolgokat,
például az intelligens
személyi asszisztensünkkel
személyi asszisztensünkkel
12:25
with your intelligent personal assistant
239
733702
1944
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
ami akár néhány éven belül elérhető lehet.
12:29
Think of a Siri on steroids.
241
737979
2524
Olyan, mint egy felturbózott Siri.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
Siri megszólal: "Hívott a feleséged,
hogy figyelmeztessen a mai vacsorára."
hogy figyelmeztessen a mai vacsorára."
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
Mi persze elfeledkeztünk róla:
"Mi? Miféle vacsora?
"Mi? Miféle vacsora?
12:41
What are you talking about?"
244
749148
1425
Miről beszélsz?"
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"Hát, a 20-adik évfordulótok, este 7-kor."
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
"Ez nem fog menni.
7:30-kor a főtitkárral van találkozóm.
7:30-kor a főtitkárral van találkozóm.
12:52
How could this have happened?"
247
760658
1692
Hogyan fordulhatott ez elő?"
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
"Nos, én figyelmeztettelek,
de te máshogy döntöttél."
de te máshogy döntöttél."
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
"Most mitévő legyek?
Nem mondhatom neki, hogy sok a dolgom."
Nem mondhatom neki, hogy sok a dolgom."
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
"Aggodalomra semmi ok.
Elintéztem, hogy késsen a gépe."
Elintéztem, hogy késsen a gépe."
13:07
(Laughter)
251
775795
1682
(Nevetés)
13:10
"Some kind of computer malfunction."
252
778249
2101
"Lesz valami számítástechnikai gubanc."
13:12
(Laughter)
253
780374
1212
(Nevetés)
13:13
"Really? You can do that?"
254
781610
1617
"Komolyan? Te erre is képes vagy?"
13:16
"He sends his profound apologies
255
784400
2179
"Üzent, hogy mélységesen sajnálja,
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
és már nagyon várja
a holnapi közös ebédet."
a holnapi közös ebédet."
13:21
(Laughter)
257
789182
1299
(Nevetés)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
Itt az értékek tekintetében
van egy kis megbicsaklás...
van egy kis megbicsaklás...
13:26
This is clearly following my wife's values
259
794932
3009
Ez a feleségem értékrendjéről szól,
13:29
which is "Happy wife, happy life."
260
797965
2069
ami úgy szól:
"Boldog feleség, boldog élet."
"Boldog feleség, boldog élet."
13:32
(Laughter)
261
800058
1583
(Nevetés)
13:33
It could go the other way.
262
801665
1444
De ez elsülhet ellenkezőleg is.
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
Hazaérünk a munkából egy nehéz nap után.
13:38
and the computer says, "Long day?"
264
806046
2195
és a számítógép így szól: "Hosszú nap?"
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"Igen, még ebédelni sem volt időm."
"Akkor nagyon éhes lehetsz."
13:42
"You must be very hungry."
266
810577
1282
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
"Igen, éhen halok.
Készítenél valami vacsorát?"
Készítenél valami vacsorát?"
13:48
"There's something I need to tell you."
268
816070
2090
"Valamit el kell mondanom..."
13:50
(Laughter)
269
818184
1155
(Nevetés)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
"Dél-Szudánban emberi lényeknek sokkal
nagyobb szükségük van az ételre."
nagyobb szükségük van az ételre."
13:57
(Laughter)
271
825122
1104
(Nevetés)
"Szóval én távoztam.
Csinálj magadnak vacsorát!"
Csinálj magadnak vacsorát!"
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
14:00
(Laughter)
273
828349
2000
(Nevetés)
Ezeket a problémákat
még meg kell oldanunk,
még meg kell oldanunk,
14:02
So we have to solve these problems,
274
830823
1739
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
de alig várom, hogy dolgozhassak rajtuk.
14:07
There are reasons for optimism.
276
835125
1843
Több okunk is van optimizmusra.
14:08
One reason is,
277
836992
1159
Az első,
14:10
there is a massive amount of data.
278
838175
1868
hogy rengeteg adat áll rendelkezésre.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
Mert mindent el fognak olvasni,
amit az emberi faj valaha is írt.
14:14
the human race has ever written.
280
842885
1546
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
Az írásaink zöme arról szól,
hogy emberek tesznek valamit,
hogy emberek tesznek valamit,
14:19
and other people getting upset about it.
282
847203
1914
és ettől más emberi lények dühösek.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
Rengeteg ismeretanyag van,
amiből tanulni lehet.
amiből tanulni lehet.
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
Továbbá van egy nagyon erős
gazdasági nyomás,
gazdasági nyomás,
hogy ezt jól valósítsuk meg.
14:27
to get this right.
285
855331
1186
Képzeljük el az otthoni
háztartási robotunkat.
háztartási robotunkat.
14:28
So imagine your domestic robot's at home.
286
856541
2001
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
Megint későn érünk haza,
a robotnak kell megetetnie a gyerekeket.
a robotnak kell megetetnie a gyerekeket.
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
A gyerekek éhesek, de üres a hűtőszekrény.
14:36
And the robot sees the cat.
289
864504
2605
Ekkor a robot meglátja a macskát.
14:39
(Laughter)
290
867133
1692
(Nevetés)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
Mivel a robot nem sajátította el
elég jól az emberi értékrendet,
elég jól az emberi értékrendet,
14:45
so it doesn't understand
292
873063
1251
nem érti,
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
hogy a macska szentimentális értéke
túlmutat a tápértékén.
túlmutat a tápértékén.
14:51
(Laughter)
294
879206
1095
(Nevetés)
14:52
So then what happens?
295
880325
1748
Vajon mi történik?
14:54
Well, it happens like this:
296
882097
3297
Valami ilyesmi:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
"A zsarnok robot feltálalta
vacsorára a család cicáját."
vacsorára a család cicáját."
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
Egyetlen ilyen fiaskó
a háztartási robotipar végét jelentené.
a háztartási robotipar végét jelentené.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
Szóval nagy nyomás van rajtunk,
hogy ügyesen kezeljük ezt,
hogy ügyesen kezeljük ezt,
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
még jóval azelőtt, hogy elérnénk
a szuperintelligens gépekig.
a szuperintelligens gépekig.
15:12
So to summarize:
301
900128
1535
Összefoglalva tehát:
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
megpróbálom megváltoztatni
a MI definícióját úgy,
a MI definícióját úgy,
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
hogy bizonyíthatóan hasznunkra
levő gépeket jelentsenek.
levő gépeket jelentsenek.
15:19
And the principles are:
304
907609
1222
Az alapelvek pedig:
15:20
machines that are altruistic,
305
908855
1398
a gépek altruisták,
15:22
that want to achieve only our objectives,
306
910277
2804
azaz csak a mi céljaink
elérésével foglalkoznak,
elérésével foglalkoznak,
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
miközben bizonytalanok a mi céljainkban,
15:28
and will watch all of us
308
916245
1998
de figyelnek minket,
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
hogy megértsék, mit is akarunk valójában.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
És remélhetően ebben a folyamatban
mi is jobb emberekké válunk.
mi is jobb emberekké válunk.
15:37
Thank you very much.
311
925956
1191
Nagyon köszönöm.
15:39
(Applause)
312
927171
3709
(Taps)
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
Chris Anderson: Nagyon érdekes, Stuart.
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
Álljunk arrébb kicsit, mert rendezkednek
a következő előadó miatt.
15:47
for our next speaker.
315
935990
1151
15:49
A couple of questions.
316
937165
1538
Pár kérdés.
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
Ez a tudatlanság alapú programozás
elég hatékony dolognak tűnik.
elég hatékony dolognak tűnik.
Ha elérjük a szuperintelligenciát,
15:56
As you get to superintelligence,
318
944204
1594
15:57
what's going to stop a robot
319
945822
2258
mi akadályozza meg a robotot abban,
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
hogy az irodalmat olvasgatva
arra a felismerésre jusson,
arra a felismerésre jusson,
hogy a tudás jobb, mint a tudatlanság,
16:02
is actually better than ignorance
321
950980
1572
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
és ezért átírja a saját programját,
hogy legyenek saját céljai?
hogy legyenek saját céljai?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
Stuart Russell: Igen, ahogy mondtam is,
jobban meg kell ismerjük
jobban meg kell ismerjük
16:16
about our objectives.
324
964072
1287
a saját céljainkat is.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
Csak annyival válik magabiztosabbá,
amennyivel jobban átlátja a dolgokat,
amennyivel jobban átlátja a dolgokat,
16:22
so the evidence is there
326
970928
1945
ez rá a garancia,
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
és úgy lesz tervezve,
hogy ezt jól értelmezze.
hogy ezt jól értelmezze.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
Például rá fog jönni,
hogy a könyvek nagyon elfogultak
hogy a könyvek nagyon elfogultak
a megismert bizonyítékaik alapján.
16:31
in the evidence they contain.
329
979625
1483
16:33
They only talk about kings and princes
330
981132
2397
Kizárólag királyokról
és hercegekről szólnak,
és hercegekről szólnak,
16:35
and elite white male people doing stuff.
331
983553
2800
csak fehér férfiak csinálnak mindent.
16:38
So it's a complicated problem,
332
986377
2096
Szóval komplikált a probléma,
16:40
but as it learns more about our objectives
333
988497
3872
de ahogy egyre jobban
megismeri a céljainkat,
megismeri a céljainkat,
16:44
it will become more and more useful to us.
334
992393
2063
annál inkább lesz hasznunkra.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
CA: Nem lehetne csak
egy szabályra egyszerűsíteni,
egy szabályra egyszerűsíteni,
16:49
you know, hardwired in:
336
997030
1650
simán betáplálva, hogy:
16:50
"if any human ever tries to switch me off,
337
998704
3293
"Ha egy ember megpróbál kikapcsolni,
16:54
I comply. I comply."
338
1002021
1935
elfogadom, elfogadom."
16:55
SR: Absolutely not.
339
1003980
1182
SR: Egyáltalán nem.
16:57
That would be a terrible idea.
340
1005186
1499
Ez egy szörnyű elképzelés.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
Képzeld csak el,
hogy van egy önvezető autód,
hogy van egy önvezető autód,
17:01
and you want to send your five-year-old
342
1009422
2433
és el akarod vele küldeni
az ötéves gyereked
az ötéves gyereked
17:03
off to preschool.
343
1011879
1174
az óvodába.
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
Azt akarod,
hogy az ötéves képes legyen
hogy az ötéves képes legyen
kikapcsolni az autót útközben?
17:08
while it's driving along?
345
1016202
1213
17:09
Probably not.
346
1017439
1159
Valószínűleg nem.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
Tehát szükséges, hogy értse, mennyire
racionális és józan az adott ember.
racionális és józan az adott ember.
17:15
The more rational the person,
348
1023349
1676
Minél racionálisabb az ember,
annál inkább hajlandó engedni,
hogy kikapcsolják.
hogy kikapcsolják.
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
Ha a személy teljesen zavart,
vagy akár ártó szándékú,
vagy akár ártó szándékú,
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
akkor kevésbé lesz hajlandó rá,
hogy kikapcsolják.
hogy kikapcsolják.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
CA: Rendben, Stuart,
csak annyit mondok,
csak annyit mondok,
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
nagyon-nagyon remélem,
hogy megoldod ezt nekünk.
hogy megoldod ezt nekünk.
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
Igazán köszönöm az előadást.
Lenyűgöző volt.
Lenyűgöző volt.
17:30
SR: Thank you.
355
1038906
1167
SR: Köszönöm.
17:32
(Applause)
356
1040097
1837
(Taps)
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com