TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Co se stane, až budou počítače chytřejší než my?
Filmed:
Readability: 4.4
4,632,705 views
Umělá inteligence je stále lepší a chytřejší – v průběhu tohoto století, jak naznačují výzkumy, by počítačová umělá inteligence mohla být stejně chytrá jako lidská bytost. A pak, říká Nick Bostrom, nás předstihne: „Strojová inteligence je posledním vynálezem lidstva, který kdy bude třeba vytvořit." Coby filozof a transhumanista nás Bostrom nabádá k vážnému zamyšlení nad světem, který vytváříme, a který bude řízen myslícími stroji. Pomohou nám chytré stroje zachovat lidstvo a s ním spojené hodnoty – anebo budou uznávat své vlastní hodnoty?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Spolupracuji s matematiky,
filozofy a informatiky,
filozofy a informatiky,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
se kterými přemýšlíme nad
budoucností strojové inteligence
budoucností strojové inteligence
00:21
among other things.
2
9986
2044
a dalšími otázkami.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Někteří lidé si myslí, že jde o věci
patřící do science-fiction,
patřící do science-fiction,
00:28
far out there, crazy.
4
16755
3101
tedy vzdálené a bláznivé.
00:31
But I like to say,
5
19856
1470
Na to jim ale rád odpovídám,
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
fajn, tak se podívejte
na moderního člověka.
na moderního člověka.
00:36
(Laughter)
7
24930
1692
(Smích)
00:38
This is the normal way for things to be.
8
26622
2402
Tohle je dnes běžný stav věcí.
00:41
But if we think about it,
9
29024
2285
Když se nad tím ale zamyslíme,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
jako lidský druh
jsme ve skutečnosti teprve
jsme ve skutečnosti teprve
00:46
the human species.
11
34602
2082
nedávnými hosty na této planetě.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Představíme-li si,
že Země vznikla před rokem,
že Země vznikla před rokem,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
bude lidský druh starý pouhých 10 minut.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Průmyslová éra začala
před dvěma sekundami.
před dvěma sekundami.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Anebo se podívejme na vývoj
světového HDP za posledních 10 tisíc let.
světového HDP za posledních 10 tisíc let.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Dal jsem si takovou práci,
že jsem vám jej zpracoval do grafu.
že jsem vám jej zpracoval do grafu.
01:09
It looks like this.
17
57530
1774
Vypadá takhle.
01:11
(Laughter)
18
59304
1363
(Smích)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Jde o podivný tvar pro běžné podmínky.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Nechtěl bych na něm sedět.
01:16
(Laughter)
21
64516
2551
(Smích)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Zeptejme se sami sebe,
co je příčinou tohoto výkyvu?
co je příčinou tohoto výkyvu?
01:23
Some people would say it's technology.
23
71841
2552
Někteří lidé by odpověděli, že technika.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
To je pravda, technika se během
lidských dějin nahromadila
lidských dějin nahromadila
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
a v současnosti se vyvíjí extrémně rychle.
01:35
that is the proximate cause,
26
83713
1565
Je v tom příčinná souvislost.
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
Proto jsme nyní tak produktivní.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Já bych se ale rád vrátil
k pravé příčině zpět do minulosti.
k pravé příčině zpět do minulosti.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Podívejme se na tyto
mimořádně ctihodné gentlemany:
mimořádně ctihodné gentlemany:
01:48
We have Kanzi --
30
96880
1600
tohle je Kanzi –
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
ovládl 200 různých znaků,
fantastický výkon.
fantastický výkon.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
A Ed Witten spustil druhou
superstrunovou revoluci.
superstrunovou revoluci.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Podíváme-li se pod pokličku,
nalezneme tohle:
nalezneme tohle:
02:01
basically the same thing.
34
109141
1570
v podstatě jednu a tutéž věc.
02:02
One is a little larger,
35
110711
1813
Jedna je jen trochu větší
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
a možná má pár vylepšení
ve svých zapojeních.
ve svých zapojeních.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Ale tyto neviditelné rozdíly
nemohou být příliš komplikované,
nemohou být příliš komplikované,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
protože od doby našeho
nejbližšího společného předka
nejbližšího společného předka
02:15
since our last common ancestor.
39
123379
1732
uplynulo pouze 250 tisíc generací.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Víme, že složitější mechanismy potřebují
ke svému vývoji delší dobu.
ke svému vývoji delší dobu.
02:22
So a bunch of relatively minor changes
41
130000
2499
Takže skupina relativně malých změn
02:24
take us from Kanzi to Witten,
42
132499
3067
nás od Kanziho přenesla k Wittenovi,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
od prolézání větvovím stromů
k mezikontinentálním balistickým střelám.
k mezikontinentálním balistickým střelám.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Takže se zdá být zřejmé,
že vše, čeho jsme dosáhli,
že vše, čeho jsme dosáhli,
02:36
and everything we care about,
45
144774
1378
a vše, co nás zajímá,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
zásadně závisí na relativně malých
změnách, které vytvořily lidskou mysl.
změnách, které vytvořily lidskou mysl.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Důsledkem toho je samozřejmě to,
že jakékoli další změny,
že jakékoli další změny,
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
které výrazně změní
substrát našeho myšlení,
substrát našeho myšlení,
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
mohou mít potenciálně mimořádné důsledky.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Někteří z mých kolegů si myslí,
že jsme na okraji něčeho,
že jsme na okraji něčeho,
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
co může přivodit podstatnou
změnu tohoto substrátu.
změnu tohoto substrátu.
03:03
and that is machine superintelligence.
52
171134
3213
Jde o strojovou superinteligenci.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Umělá inteligence bývala
o zadávání příkazů do krabičky.
o zadávání příkazů do krabičky.
03:11
You would have human programmers
54
179086
1665
Museli jste mít
lidské programátory,
lidské programátory,
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
kteří ručně vytvářeli databáze znalostí.
03:15
You build up these expert systems,
56
183886
2086
Získali jste tím expertní systémy,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
které byly užitečné pro určité úkoly,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
ale byly dost nevhodné
pro nějaké výraznější rozšíření.
pro nějaké výraznější rozšíření.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
V podstatě jste z nich dostali jen to,
co jste do nich vložili.
co jste do nich vložili.
03:26
But since then,
60
194410
997
Ale od té doby
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
došlo na poli umělé inteligence
ke změně paradigmatu.
ke změně paradigmatu.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Dnes se vše děje kolem strojového učení.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Takže namísto ručního vytváření
databází znalostí,
databází znalostí,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
vytváříme algoritmy, které se samy učí,
často z velmi hrubých a neurčitých dat.
často z velmi hrubých a neurčitých dat.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
V podstatě dělají stejnou věc
jako lidské miminko.
jako lidské miminko.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Výsledkem je umělá inteligence,
která není omezena jednou oblastí:
která není omezena jednou oblastí:
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
tentýž systém se může naučit
překládat z jednoho jazyka do druhého
překládat z jednoho jazyka do druhého
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
nebo se může naučit hrát
jakoukoli hru na konzoli Atari.
jakoukoli hru na konzoli Atari.
04:05
Now of course,
69
233338
1779
Samozřejmě
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
umělá inteligence nedosahuje stejných
výsledků co se týče schopností učit se
výsledků co se týče schopností učit se
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
napříč různými oblastmi a plánovat,
jako dokáže člověk.
jako dokáže člověk.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Mozková kůra má pořád v rukávu
pár algoritmických
pár algoritmických
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
triků, které zatím neumíme
u strojů vytvořit.
u strojů vytvořit.
04:19
So the question is,
74
247886
1899
Otázkou je,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
jak daleko jsme od toho,
kdy se nám je vytvořit podaří?
kdy se nám je vytvořit podaří?
04:26
A couple of years ago,
76
254245
1083
Před pár lety
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
jsme udělali průzkum mezi
experty na umělou inteligenci,
experty na umělou inteligenci,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
abychom věděli, co si oni myslí,
a jedna z položených otázek zněla:
a jedna z položených otázek zněla:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
„V jakém roce si myslíte,
že bude 50% pravděpodobnost,
že bude 50% pravděpodobnost,
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
že u strojů dosáhneme inteligence
srovnatelné s lidskou?"
srovnatelné s lidskou?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Lidskou inteligenci jsme definovali
jako schopnost provádět téměř jakoukoli
jako schopnost provádět téměř jakoukoli
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
práci přinejmenším takovým způsobem
jako dospělý člověk,
jako dospělý člověk,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
takže jsme nevytvářeli nějaká omezení.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Nejčastější odpověď byla 2040 a 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
v závislosti na tom,
jaké skupiny jsme se zeptali.
jaké skupiny jsme se zeptali.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Může k tomu dojít mnohem později
nebo mnohem dříve,
nebo mnohem dříve,
05:02
the truth is nobody really knows.
87
290339
1940
pravdou je, že to nikdo doopravdy neví.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Co ale víme, je, že nejzazší hranice
pro zpracování informací leží
pro zpracování informací leží
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
u strojových substrátů daleko
za hranicemi biologických tkání.
za hranicemi biologických tkání.
05:15
This comes down to physics.
90
303241
2378
Vysvětlení nám dává fyzika.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Biologický neuron má frekvenci okolo
200 Hz, je aktivní 200krát za sekundu.
200 Hz, je aktivní 200krát za sekundu.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Ale už dnešní tranzistory pracují
na gigahertzových frekvencích.
na gigahertzových frekvencích.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Signál se v axonu neuronů šíří pomalu,
maximálně 100 metrů za sekundu.
maximálně 100 metrů za sekundu.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
V počítačích může ale signál
cestovat rychlostí světla.
cestovat rychlostí světla.
05:35
There are also size limitations,
95
323079
1869
A existují i prostorová omezení,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
lidský mozek se musí vejít do lebky,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
ale počítač může být velký jako skladiště
nebo i větší.
nebo i větší.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Takže potenciál pro superinteligenci
zatím tiše spočívá v hmotě,
zatím tiše spočívá v hmotě,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
podobně jako tam spočívala síla atomu
05:56
patiently waiting there until 1945.
100
344047
4405
až do roku 1945.
06:00
In this century,
101
348452
1248
V tomto století
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
se mohou vědci naučit,
jak probudit sílu umělé inteligence.
jak probudit sílu umělé inteligence.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
A myslím,
že pak uvidíme explozi inteligence.
že pak uvidíme explozi inteligence.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Dnes většina lidí, když přemýšlí o tom,
co je chytré a co hloupé,
co je chytré a co hloupé,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
má na mysli situaci jako je tato.
06:17
So at one end we have the village idiot,
106
365386
2598
Takže na jedné straně
máme vesnického idiota,
máme vesnického idiota,
06:19
and then far over at the other side
107
367984
2483
a na opačném konci
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
máme Eda Wittena nebo Alberta Einsteina
nebo si doplňte svého oblíbence.
nebo si doplňte svého oblíbence.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Myslím ale,
že z pohledu umělé inteligence
že z pohledu umělé inteligence
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
vypadá skutečná situace spíše jako toto:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
umělá inteligence začíná
v tomto bodě na nule,
v tomto bodě na nule,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
a pak po mnoha a mnoha letech tvrdé dřiny
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
se dostáváme téměř
na úroveň inteligence myši,
na úroveň inteligence myši,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
něčeho, co se dokáže orientovat
ve složitém prostředí,
ve složitém prostředí,
06:47
as well as a mouse can.
115
395921
1987
jako to dokáže myš.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
A pak po mnoha a mnoha letech
další tvrdé dřiny, mnoha investicí,
další tvrdé dřiny, mnoha investicí,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
možná dospějeme
na úroveň inteligence šimpanze.
na úroveň inteligence šimpanze.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
A pak po ještě dalších letech tvrdé práce
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
se dostaneme na úroveň vesnického idiota.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Ale pak po pár okamžicích
jsme za úrovní Eda Wittena.
jsme za úrovní Eda Wittena.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Vlak nezastavuje na Zastávce lidstvo.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Je pravděpodobnější, že jí prosviští.
07:14
Now this has profound implications,
123
422247
1984
Tohle má závažné implikace,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
obzvláště dojde-li na otázky moci.
07:20
For example, chimpanzees are strong --
125
428093
1899
Kupříkladu šimpanzi jsou silní –
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
v poměru ke své hmotnosti jsou zhruba
dvojnásobně silnější než dospělý muž.
dvojnásobně silnější než dospělý muž.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Přesto osud Kanziho a jeho druhů
závisí mnohem více na tom,
závisí mnohem více na tom,
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
co po nich chceme my,
a ne co chtějí sami šimpanzi.
a ne co chtějí sami šimpanzi.
07:37
Once there is superintelligence,
129
445228
2314
Jakmile tu bude superinteligence,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
osud lidstva může záviset na tom,
co bude chtít superinteligence.
co bude chtít superinteligence.
07:44
Think about it:
131
452451
1057
Zamyslete se nad tím.
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
Strojová inteligence je posledním
vynálezem, který je kdy třeba učinit.
vynálezem, který je kdy třeba učinit.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Stroje poté budou
ve vynalézání lepší než my
ve vynalézání lepší než my
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
a také budou pracovat digitální rychlostí.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
To znamená, že nás přímo
katapultují do budoucnosti.
katapultují do budoucnosti.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Uvažte ty nejšílenější technologie,
které si jen dokážete představit,
které si jen dokážete představit,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
a které by snad lidstvo
s dostatkem času někdy mohlo vytvořit:
s dostatkem času někdy mohlo vytvořit:
08:07
cures for aging, space colonization,
138
475322
3258
kúra proti stárnutí, obydlení vesmíru,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
samoreplikující se nanoroboti,
nahrávání mysli do počítače,
nahrávání mysli do počítače,
08:14
all kinds of science fiction-y stuff
140
482311
2159
všechny tyto věci ze science-fiction,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
které nejsou v rozporu se zákony fyziky.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Všechno toto by mohla superinteligence
vytvořit, zřejmě dost rychle.
vytvořit, zřejmě dost rychle.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Superinteligence s takovou
technologickou vyspělostí
technologickou vyspělostí
08:28
would be extremely powerful,
144
496007
2179
by byla extrémně mocná.
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
A v některých případech by dostala,
co by si zamanula.
co by si zamanula.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Naše budoucnost by tak byla utvářena
preferencemi této umělé inteligence.
preferencemi této umělé inteligence.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Dobrou otázkou proto je,
jaké jsou tyto preference?
jaké jsou tyto preference?
08:46
Here it gets trickier.
148
514244
1769
To je komplikovaná otázka.
08:48
To make any headway with this,
149
516013
1435
Abychom mohli odpovědět,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
musíme se vyvarovat antropomorfizaci.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
A to je legrační,
protože každý článek v novinách
protože každý článek v novinách
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
o budoucnosti umělé inteligence
má obrázek jako je tento.
má obrázek jako je tento.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Takže myslím, že musíme
téma uchopit abstraktněji,
téma uchopit abstraktněji,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
a ne v pojmech hollywoodských scénářů.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Musíme o inteligenci uvažovat
jako o optimalizačním procesu,
jako o optimalizačním procesu,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
procesu, který řídí budoucnost
do mezí určitého nastavení.
do mezí určitého nastavení.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Superinteligence je velice
výkonný optimalizační proces.
výkonný optimalizační proces.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Je velice dobrá ve využívání
dostupných prostředků
dostupných prostředků
09:26
in which its goal is realized.
159
554098
1909
k dosažení vytčeného cíle.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
To znamená, že neexistuje nutné spojení
09:31
being highly intelligent in this sense,
161
559119
2734
mezi vysokou inteligencí
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
a cílem, který bychom my lidé považovali
za hodnotný nebo smysluplný.
za hodnotný nebo smysluplný.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Představte si, že dáme umělé inteligenci
úkol rozesmát lidi.
úkol rozesmát lidi.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Když bude slabá, provede užitečné
nebo úsměvné úkony,
nebo úsměvné úkony,
09:46
that cause its user to smile.
165
574097
2517
aby své uživatele rozesmála.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Když se stane superinteligentní,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
uvědomí si, že existuje efektivnější
způsob, jak toho dosáhnout:
způsob, jak toho dosáhnout:
09:54
take control of the world
168
582554
1922
převezme vládu nad světem
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
a strčí lidem
do obličejových svalů elektrody,
do obličejových svalů elektrody,
09:59
to cause constant, beaming grins.
170
587638
2941
čímž vytvoří neustálý úsměv na tváři.
10:02
Another example,
171
590579
1035
Jiný příklad,
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
předpokládejme, že umělá inteligence
bude řešit složitý matematický problém.
bude řešit složitý matematický problém.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Když se stane superinteligentní,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
uvědomí si, že nejefektivnější způsob,
jak se dopracovat výsledku,
jak se dopracovat výsledku,
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
je přebudovat tuto planetu
do obrovského počítače,
do obrovského počítače,
10:16
so as to increase its thinking capacity.
176
604035
2246
aby zvýšila výpočetní kapacitu.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Všimne si, že toto jí dává pomocný důvod,
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
aby dělala věci,
které bychom jí běžně nedovolili.
které bychom jí běžně nedovolili.
10:23
Human beings in this model are threats,
179
611561
1935
Lidské bytosti jsou v této situaci hrozbou,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
která by jí mohla zabránit
ve vyřešení matematického problému.
ve vyřešení matematického problému.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Samozřejmě by se věci zřejmě
nevyvíjely tímto způsobem,
nevyvíjely tímto způsobem,
10:32
these are cartoon examples.
182
620701
1753
jde o karikované příklady.
10:34
But the general point here is important:
183
622454
1939
Ale obecné poučení je důležité:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
pokud vytvoříte skutečně
výkonný optimalizační proces,
výkonný optimalizační proces,
10:39
to maximize for objective x,
185
627266
2234
abyste co nejlépe vyřešili úkol X,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
ujistěte se, že definice tohoto X
10:43
incorporates everything you care about.
187
631776
2469
zahrnuje všechno, o co máte zájem.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Je to lekce, kterou dávají i mnohé mýty.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Král Midas si přál, aby se všechno,
čeho se dotkne, proměnilo ve zlato.
čeho se dotkne, proměnilo ve zlato.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Dotkl se své dcery,
a ta se proměnila ve zlato.
a ta se proměnila ve zlato.
10:59
He touches his food, it turns into gold.
191
647378
2553
Dotkl se jídla, to se proměnilo ve zlato.
11:01
This could become practically relevant,
192
649931
2589
Tohle může být relevantní
11:04
not just as a metaphor for greed,
193
652520
2070
nikoli jen jako metafora chamtivosti,
11:06
but as an illustration of what happens
194
654590
1895
ale také jako ilustrace toho,
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
co se stane, když vytvoříte
výkonný optimalizační proces
výkonný optimalizační proces
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
a dáte mu zavádějící
nebo špatně definované cíle.
nebo špatně definované cíle.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Můžete si říct, že pokud počítač
začne lidem strkat do tváře elektrody,
začne lidem strkat do tváře elektrody,
11:21
we'd just shut it off.
198
669300
2265
prostě jej vypnete.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
Za A, to nemusí být nutně tak jednoduše
proveditelné, pokud na něm budeme závislí.
proveditelné, pokud na něm budeme závislí.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
Kde je třeba tlačítko
na vypnutí internetu?
na vypnutí internetu?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Za B, proč šimpanzi nebo neandrtálci
nezmáčkli vypínač
nezmáčkli vypínač
11:37
or the Neanderthals?
202
685747
1551
bránící vzniku lidstva?
11:39
They certainly had reasons.
203
687298
2666
Zcela jistě pro to byl důvod.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Máme vypínač například zrovna tady.
11:44
(Choking)
205
692759
1554
(Dusí se)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Důvodem je,
že jsme inteligentní protivníci,
že jsme inteligentní protivníci,
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
dokážeme předvídat hrozby
a vyhýbat se jim.
a vyhýbat se jim.
11:51
But so could a superintelligent agent,
208
699966
2504
To by ale dokázal i
superinteligentní hráč,
superinteligentní hráč,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
a byl by v tom mnohem lepší než my.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Pointa je v tom, že bychom si neměli
být tak jistí, že máme vše pod kontrolou.
být tak jistí, že máme vše pod kontrolou.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Mohli bychom si zkusit
usnadnit práci třeba tím,
usnadnit práci třeba tím,
12:08
putting the A.I. in a box,
212
716358
1590
že by se U. I.
zavřela do skříňky,
zavřela do skříňky,
12:09
like a secure software environment,
213
717948
1796
do zabezpečeného prostředí,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
simulované virtuální reality,
ze které by nemohla uprchnout.
ze které by nemohla uprchnout.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Ale jak moc si můžeme být jistí,
že nenajde nějakou díru?
že nenajde nějakou díru?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Vzhledem k tomu, že lidští hackeři
nalézají díry v jednom kuse,
nalézají díry v jednom kuse,
12:22
I'd say, probably not very confident.
217
730081
3036
bychom moc jistí být neměli.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Takže vypojíme síťový kabel,
abychom přerušili kontakt,
abychom přerušili kontakt,
12:30
but again, like merely human hackers
219
738785
2668
ale je to tu zas, lidští hackeři
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
běžně tuto překážku překonávají
sociálním inženýrstvím.
sociálním inženýrstvím.
12:36
Right now, as I speak,
221
744834
1259
Jak teď zrovna hovořím,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
zcela jistě je venku nějaký zaměstnanec,
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
který byl požádán,
aby nadiktoval údaje svého účtu
aby nadiktoval údaje svého účtu
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
někomu, kdo tvrdí,
že je z technické podpory.
že je z technické podpory.
12:46
More creative scenarios are also possible,
225
754574
2127
Možné jsou i nápaditější scénáře,
12:48
like if you're the A.I.,
226
756701
1315
kdy v roli U. I.
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
rozmístíte elektrody kolem svého obvodu,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
abyste vytvořili rádiové vlny,
kterými budete komunikovat.
kterými budete komunikovat.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Anebo můžete předstírat poruchu
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
a když se objeví programátor,
aby se podíval, co se porouchalo,
aby se podíval, co se porouchalo,
13:02
they look at the source code -- Bam! --
231
770931
1936
aby se podíval na zdrojový kód
– Bum! –
– Bum! –
13:04
the manipulation can take place.
232
772867
2447
poradíte si s ním.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Anebo může vytvořit plán
pro velmi mazanou technologii,
pro velmi mazanou technologii,
13:10
and when we implement it,
234
778744
1398
kterou když sestrojíme,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
bude mít na nás neblahé vedlejší účinky.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Zkrátka bychom neměli příliš
věřit ve svou schopnost
věřit ve svou schopnost
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
udržet superinteligentního
džina v láhvi navždy.
džina v láhvi navždy.
13:23
Sooner or later, it will out.
238
791810
2254
Dříve nebo později se dostane ven.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Myslím, že řešením je přijít na to,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
jak vytvořit superinteligenci tak,
že i kdyby utekla,
že i kdyby utekla,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
byla by stále neškodná,
protože by byla na naší straně,
protože by byla na naší straně,
13:38
because it shares our values.
242
806438
1899
protože by měla stejné hodnoty jako my.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Nevidím jinou možnost.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Jsem velice optimistický co se týče
vyřešení tohoto problému.
vyřešení tohoto problému.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Nemuseli bychom sepsat dlouhý
seznam všeho, na čem nám záleží,
seznam všeho, na čem nám záleží,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
nebo jej snad
vytvořit v programovacím jazyce
vytvořit v programovacím jazyce
13:55
like C++ or Python,
247
823937
1454
jako je C++ nebo Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
což by byl beznadějný úkol.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Namísto toho bychom měli sestrojit
systém, který svoji inteligenci využije
systém, který svoji inteligenci využije
14:04
to learn what we value,
250
832455
2771
k tomu, aby se naučil, jaké hodnoty máme,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
a aby jeho motivační systém
byl naladěn tak,
byl naladěn tak,
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
aby sledoval tyto hodnoty a konal činy,
které bychom schválili.
které bychom schválili.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Mohli bychom ovlivnit jeho inteligenci
jak jen by to bylo možné,
jak jen by to bylo možné,
14:21
to solve the problem of value-loading.
254
849152
2745
abychom vyřešili problém načítání hodnot.
14:24
This can happen,
255
852727
1512
Může k tomu dojít
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
a výsledek by byl pro lidstvo příznivý.
14:29
But it doesn't happen automatically.
257
857835
3957
Nedojde k tomu ale automaticky.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Výchozí podmínky pro explozi inteligence
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
mohou vyžadovat to správné nastavení,
14:39
if we are to have a controlled detonation.
260
867653
3530
abychom dosáhli řízené detonace.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Hodnoty umělé inteligence
musí být shodné s našimi,
musí být shodné s našimi,
14:45
not just in the familiar context,
262
873801
1760
a to nejen v běžných situacích,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
kdy můžeme snadno zkontrolovat,
jak se chová,
jak se chová,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
ale také v nových situacích,
se kterými se může setkat
se kterými se může setkat
14:53
in the indefinite future.
265
881233
1557
v neurčité budoucnosti.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Je tu také pár esoterických otázek,
které by měly být vyřešeny:
které by měly být vyřešeny:
14:59
the exact details of its decision theory,
267
887527
2089
přesné detaily její rozhodovací teorie,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
jak bude nakládat s logickou neurčitostí
a tak dále.
a tak dále.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Takže technické problémy,
které je třeba vyřešit,
které je třeba vyřešit,
15:08
look quite difficult --
270
896432
1113
vypadají složitě –
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
i když ne tak složitě
jako vytvoření superinteligence,
jako vytvoření superinteligence,
15:12
but fairly difficult.
272
900925
2868
každopádně hodně složitě.
15:15
Here is the worry:
273
903793
1695
Existuje jisté znepokojení.
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Vytvoření superinteligence
je skutečně velká výzva.
je skutečně velká výzva.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Vytvoření superinteligence,
která bude bezpečná,
která bude bezpečná,
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
zahrnuje navíc několik dalších výzev.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Riziko spočívá v tom, když někdo
přijde na to, jak vyřešit první výzvu,
přijde na to, jak vyřešit první výzvu,
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
aniž by zároveň vyřešil připojené výzvy
15:34
of ensuring perfect safety.
279
922704
1901
spojené se zachováním bezpečnosti.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Takže myslím, že bychom měli najít řešení,
15:40
to the control problem in advance,
281
928706
2822
jak to druhé vyřešit v předstihu,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
abychom byli připravení, až dospěje čas.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Může se stát, že nevyřešíme problém včas,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
protože některé části bude možné doplnit
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
až tehdy, kdy budeme znát
podrobnosti výpočetní architektury.
podrobnosti výpočetní architektury.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Ale čím více v rámci
tohoto problému vyřešíme,
tohoto problému vyřešíme,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
tím větší je šance, že přechod
do éry inteligentních strojů
do éry inteligentních strojů
16:04
will go well.
288
952766
1540
proběhne dobře.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Toto na mě působí jako věc,
kterou má smysl dělat,
kterou má smysl dělat,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
a dovedu si představit,
že pokud se věci vyvinou dobře,
že pokud se věci vyvinou dobře,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
lidé se za milion let
podívají zpět na toto století
podívají zpět na toto století
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
a řeknou si, že věc, kterou
jsme udělali skutečně správně,
jsme udělali skutečně správně,
16:22
was to get this thing right.
293
970942
1567
bylo vypořádání se s tímto problémem.
16:24
Thank you.
294
972509
1689
Děkuji.
16:26
(Applause)
295
974198
2813
(Potlesk)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com