TEDSummit
Sam Harris: Can we build AI without losing control over it?
Sam Harris: Můžeme vytvořit umělou inteligenci, aniž bychom nad ní ztratili kontrolu?
Filmed:
Readability: 4.1
5,024,015 views
Bojíte se superinteligetní umělé inteligence? Ne? Měli byste, říká neurověděc a filosof Sam Harris ‒ a nejen v teoretické rovině. Chceme stavět stroje s vlastnostmi, které předčí ty lidské, ale ještě jsme se nevyrovnali s otázkami spojenými s vytvořením něčeho, co se k lidem může chovat tak, jako se lidé chovají například k mravencům.
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
Budu mluvit o selhání intuice,
kterým trpí mnozí z nás.
kterým trpí mnozí z nás.
00:15
that many of us suffer from.
1
3240
1600
Vlastně jde o neschopnost
odhalit určitý typ nebezpečí.
odhalit určitý typ nebezpečí.
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
00:21
I'm going to describe a scenario
3
9360
1736
Popíšu vám situaci,
00:23
that I think is both terrifying
4
11120
3256
kterou považuji za děsivou
00:26
and likely to occur,
5
14400
1760
a zároveň pravděpodobnou.
A jak se ukazuje,
tohle není dobrá kombinace.
tohle není dobrá kombinace.
00:28
and that's not a good combination,
6
16840
1656
00:30
as it turns out.
7
18520
1536
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
Ovšem i přesto si bude
většina z vás myslet,
většina z vás myslet,
že mluvím spíš o zajímavých
než o děsivých věcech.
než o děsivých věcech.
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
Popíšu vám, jak nás pokroky
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
00:40
in artificial intelligence
11
28200
1776
v umělé inteligenci
00:42
could ultimately destroy us.
12
30000
1776
mohou nakonec úplně vyhubit.
Vlastně myslím, že lze jen
stěží nevidět, že nás vyhubí
stěží nevidět, že nás vyhubí
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
nebo že nás k sebezničení navedou.
00:47
or inspire us to destroy ourselves.
14
35280
1680
A pokud jste na tom podobně jako já,
00:49
And yet if you're anything like me,
15
37400
1856
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
bude vám připadat zábavné
o těchto věcech přemýšlet.
o těchto věcech přemýšlet.
00:53
And that response is part of the problem.
17
41960
3376
Naše reakce je součástí toho problému.
00:57
OK? That response should worry you.
18
45360
1720
Tahle reakce by nás měla znepokojovat.
00:59
And if I were to convince you in this talk
19
47920
2656
Kdybych vás teď přesvědčoval,
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
že lidstvo pravděpodobně
zasáhne globální hladomor,
zasáhne globální hladomor,
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
buď kvůli klimatickým změnám
nebo kvůli jiné katastrofě,
nebo kvůli jiné katastrofě,
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
a že vaše vnoučata
či jejich vnoučata
či jejich vnoučata
01:12
are very likely to live like this,
23
60560
1800
budou nejspíš žít takhle,
01:15
you wouldn't think,
24
63200
1200
určitě si neřeknete:
01:17
"Interesting.
25
65440
1336
„Zajímavé! To je ale hezká přednáška.“
01:18
I like this TED Talk."
26
66800
1200
01:21
Famine isn't fun.
27
69200
1520
Hladomor není legrace.
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
Na druhou stranu,
smrt ve sci-fi zábavná je.
smrt ve sci-fi zábavná je.
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
Jednou z věcí, které se teď na vývoji
umělé inteligence nejvíc obávám,
umělé inteligence nejvíc obávám,
je to, že zřejmě nejsme schopní
přiměřeně emocionálně reagovat
přiměřeně emocionálně reagovat
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
01:35
to the dangers that lie ahead.
31
83320
1816
na nebezpečí ležící před námi.
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
Já sám toho nejsem schopný,
i když o tom právě přednáším.
i když o tom právě přednáším.
01:42
It's as though we stand before two doors.
33
90120
2696
Je to jako volit cestu na rozcestí.
01:44
Behind door number one,
34
92840
1256
Vstoupit prvními dveřmi znamená
zastavit rozvoj inteligentních strojů.
zastavit rozvoj inteligentních strojů.
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
Počítačový software a hardware se prostě
z nějakého důvodu přestane rozvíjet.
z nějakého důvodu přestane rozvíjet.
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
Zastavme se chvilku nad tím,
kdy by taková situace mohla nastat.
kdy by taková situace mohla nastat.
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
S ohledem na to, jakým jsou pro nás
inteligence a automatizace přínosem,
inteligence a automatizace přínosem,
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
budeme technologie stále zlepšovat,
pokud toho vůbec budeme schopni.
pokud toho vůbec budeme schopni.
02:05
What could stop us from doing this?
40
113200
1667
Co by nás mohlo zastavit?
02:07
A full-scale nuclear war?
41
115800
1800
Celosvětová nukleární válka?
02:11
A global pandemic?
42
119000
1560
Globální pandemie?
02:14
An asteroid impact?
43
122320
1320
Dopad asteroidu?
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
Justin Bieber prezidentem USA?
(smích)
02:20
(Laughter)
45
128240
2280
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
Jde o to, že by naši současnou
civilizaci muselo něco zničit.
civilizaci muselo něco zničit.
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
Představte si,
co hrozného by se muselo stát,
co hrozného by se muselo stát,
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
abychom nebyli schopni dále
zdokonalovat naše technologie,
zdokonalovat naše technologie,
02:37
permanently,
49
145040
1216
neustále, generaci za generací.
02:38
generation after generation.
50
146280
2016
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
V podstatě je to ta nejhorší věc,
jaká by v dějinách mohla nastat.
jaká by v dějinách mohla nastat.
02:42
that's ever happened in human history.
52
150480
2016
02:44
So the only alternative,
53
152520
1296
Čili jedinou alternativou, tou,
která nás čeká za druhými dveřmi,
která nás čeká za druhými dveřmi,
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
je postupně každým rokem
pokračovat ve zdokonalování
pokračovat ve zdokonalování
inteligentních strojů.
02:51
year after year after year.
56
159360
1600
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
V určitém okamžiku vytvoříme stroje,
které budou chytřejší než my,
které budou chytřejší než my,
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
a až budeme mít stroje,
které budou chytřejší,
které budou chytřejší,
začnou se zdokonalovat samy.
03:00
they will begin to improve themselves.
59
168720
1976
A potom nám hrozí situace,
kterou matematik I. J. Good nazval
kterou matematik I. J. Good nazval
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
03:05
an "intelligence explosion,"
61
173480
1776
„inteligenční explozí“,
tedy, že by se nám to
mohlo vymknout z rukou.
mohlo vymknout z rukou.
03:07
that the process could get away from us.
62
175280
2000
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
Jak vidíte třeba tady,
toto téma se často zpodobňuje
toto téma se často zpodobňuje
03:12
as a fear that armies of malicious robots
64
180960
3216
jako obava z armád zlovolných robotů,
kteří na nás zaútočí.
kteří na nás zaútočí.
03:16
will attack us.
65
184200
1256
03:17
But that isn't the most likely scenario.
66
185480
2696
Ale to není moc pravděpodobný scénář.
Není to tak, že by stroje
najednou začaly být zlé.
najednou začaly být zlé.
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
Problém je v tom, že vytvoříme stroje,
které budou o tolik schopnější než my,
které budou o tolik schopnější než my,
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
že i ta nejjemnější odchylka mezi
jejich a našimi cíli by nás mohla zničit.
jejich a našimi cíli by nás mohla zničit.
03:33
could destroy us.
71
201600
1200
Vezměte si, jak se chováme k mravencům.
03:35
Just think about how we relate to ants.
72
203960
2080
03:38
We don't hate them.
73
206600
1656
Nic proti nim nemáme.
03:40
We don't go out of our way to harm them.
74
208280
2056
Nechceme jim cíleně ubližovat.
Necháme se i poštípat,
abychom jim neublížili.
abychom jim neublížili.
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
Na chodníku je překračujeme.
03:44
We step over them on the sidewalk.
76
212760
2016
03:46
But whenever their presence
77
214800
2136
Ale kdykoliv jejich přítomnost
vážně narušuje naše zájmy,
03:48
seriously conflicts with one of our goals,
78
216960
2496
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
například při stavbě budov, jako je tahle,
bez mrknutí oka je zlikvidujeme.
03:53
we annihilate them without a qualm.
80
221981
1960
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
Panuje obava, že jednou vytvoříme stroje,
které by s námi mohly, vědomě či nevědomě,
03:59
that, whether they're conscious or not,
82
227440
2736
04:02
could treat us with similar disregard.
83
230200
2000
zacházet podobně lhostejně.
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
Mnohým z vás to nejspíš
přijde přitažené za vlasy.
přijde přitažené za vlasy.
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
Vsadím se, že někteří
z vás určitě pochybují,
z vás určitě pochybují,
že je možné superinteligentní AI vytvořit,
natož, že to nevyhnutelně nastane.
04:15
much less inevitable.
86
243720
1656
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
Pak ale musíte v následujících
předpokladech najít nějaký omyl.
předpokladech najít nějaký omyl.
04:21
And there are only three of them.
88
249044
1572
Ty předpoklady jsou jen tři.
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
Inteligence je výsledkem zpracování
informací ve hmotných systémech.
informací ve hmotných systémech.
Toto je vlastně víc než předpoklad.
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
Do našich strojů jsme už
omezenou inteligenci zabudovali
omezenou inteligenci zabudovali
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
04:35
and many of these machines perform
92
263440
2016
a mnohé z nich už operují
na úrovni superinteligentních lidí.
na úrovni superinteligentních lidí.
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
04:40
And we know that mere matter
94
268840
2576
A víme, že pouhá hmota
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
může dát vzniknout
takzvané „všeobecné inteligenci“,
takzvané „všeobecné inteligenci“,
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
tedy schopnosti flexibilně
se orientovat v různých oblastech.
se orientovat v různých oblastech.
04:49
because our brains have managed it. Right?
97
277760
3136
Protože náš mozek už to zvládl, že?
04:52
I mean, there's just atoms in here,
98
280920
3936
Mozek se skládá jenom z atomů,
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
a pokud budeme pokračovat
v budování systémů z atomů,
v budování systémů z atomů,
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
které budou vykazovat čím dál
inteligentnější chování, tak nakonec,
inteligentnější chování, tak nakonec,
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
pokud nás něco nezastaví,
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
zabudujeme do našich strojů
všeobecnou inteligenci.
všeobecnou inteligenci.
05:10
into our machines.
103
298080
1296
Klíčové je uvědomit si,
že na rychlosti pokroku nezáleží,
že na rychlosti pokroku nezáleží,
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
protože k dosažení cílové pásky
stačí jakékoli tempo.
stačí jakékoli tempo.
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
Nepotřebujeme Mooreův zákon,
není zapotřebí exponenciální vývoj.
není zapotřebí exponenciální vývoj.
05:22
We just need to keep going.
107
310080
1600
Prostě stačí pokračovat.
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
Druhým předpokladem je,
že budeme pokračovat.
že budeme pokračovat.
Budeme naše inteligentní stroje
nadále zdokonalovat.
nadále zdokonalovat.
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
05:33
And given the value of intelligence --
110
321000
4376
Protože inteligence je důležitá –
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
myslím tím to, že inteligence je buď
zdrojem všeho, čeho si ceníme,
zdrojem všeho, čeho si ceníme,
nebo že ji potřebujeme
k zabezpečení všeho, čeho si ceníme.
k zabezpečení všeho, čeho si ceníme.
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
05:43
It is our most valuable resource.
113
331760
2256
Je to náš nejcennější zdroj.
05:46
So we want to do this.
114
334040
1536
Takže v tom chceme pokračovat.
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
Máme problémy, které zoufale
potřebujeme vyřešit.
potřebujeme vyřešit.
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
Chceme například vyléčit
Alzheimerovu chorobu nebo rakovinu.
Alzheimerovu chorobu nebo rakovinu.
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
Chceme rozumět ekonomickým systémům.
Chceme zlepšit výzkum klimatu.
Chceme zlepšit výzkum klimatu.
Takže budeme pokračovat,
pokud to půjde.
pokud to půjde.
05:58
So we will do this, if we can.
118
346920
2256
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
Je to rozjetý vlak, který nejde zastavit.
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
Posledním předpokladem je,
že lidé nestojí na vrcholu inteligence
že lidé nestojí na vrcholu inteligence
a pravděpodobně nejsou ani pod vrcholem.
06:11
or anywhere near it, likely.
121
359360
1800
06:13
And this really is the crucial insight.
122
361640
1896
To je opravdu zásadní pohled.
Kvůli tomu jsme v tak prekérní situaci.
Kvůli tomu jsme v tak prekérní situaci.
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
Kvůli tomu je naše intuice
při posuzování rizik tak nespolehlivá.
při posuzování rizik tak nespolehlivá.
Vezměte si třeba
nejchytřejší lidi v dějinách.
nejchytřejší lidi v dějinách.
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
Do užšího výběru by téměř každý
zařadil Johna von Neumanna.
zařadil Johna von Neumanna.
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
To, jakým dojmem von Neumann
působil na lidi kolem sebe,
působil na lidi kolem sebe,
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
mezi něž patřili nejlepší
matematici a fyzici té doby,
matematici a fyzici té doby,
06:37
is fairly well-documented.
129
385520
1936
je celkem dobře zdokumentováno.
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
Kdyby jen polovina historek o něm
byla aspoň z poloviny pravdivá,
byla aspoň z poloviny pravdivá,
tak není pochyb,
že patřil mezi nejchytřejší lidi historie.
že patřil mezi nejchytřejší lidi historie.
06:43
there's no question
131
391280
1216
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
06:47
So consider the spectrum of intelligence.
133
395000
2520
Pojďme se teď zamyslet
nad rozsahem inteligence.
nad rozsahem inteligence.
06:50
Here we have John von Neumann.
134
398320
1429
Tady je John von Neumann.
06:53
And then we have you and me.
135
401560
1334
Tady jsou lidé jako vy a já.
A tady máme kuře.
06:56
And then we have a chicken.
136
404120
1296
06:57
(Laughter)
137
405440
1936
(smích)
06:59
Sorry, a chicken.
138
407400
1216
Pardon, kuře.
07:00
(Laughter)
139
408640
1256
(smích)
Není důvod, aby tahle přednáška
byla víc depresivní, než je potřeba.
byla víc depresivní, než je potřeba.
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
(smích)
07:05
(Laughter)
141
413680
1600
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
Ovšem zdá se navýsost pravděpodobné,
že rozsah inteligence je mnohem širší,
že rozsah inteligence je mnohem širší,
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
než jak ho v současnosti vnímáme.
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
A pokud vytvoříme stroje
inteligentnější než jsme my,
inteligentnější než jsme my,
tak budou velmi pravděpodobně
zkoumat toto spektrum způsobem,
zkoumat toto spektrum způsobem,
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
07:21
in ways that we can't imagine,
146
429440
1856
který si neumíme představit,
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
a předčí nás způsobem,
který si neumíme představit.
který si neumíme představit.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
A je důležité připustit,
že je tomu tak už díky samotné rychlosti.
že je tomu tak už díky samotné rychlosti.
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
Představte si, že jsme
vytvořili superinteligentní AI,
vytvořili superinteligentní AI,
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
která je stejně chytrá jako průměrný
tým vědců na Stanfordu nebo MIT.
tým vědců na Stanfordu nebo MIT.
07:39
at Stanford or MIT.
151
447920
2296
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
Víme, že elektronické obvody pracují
asi milionkrát rychleji než biochemické,
asi milionkrát rychleji než biochemické,
07:45
than biochemical ones,
153
453240
1256
takže takový stroj
by přemýšlel milionkrát rychleji
by přemýšlel milionkrát rychleji
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
07:49
than the minds that built it.
155
457680
1816
než lidé, kteří ho postavili.
07:51
So you set it running for a week,
156
459520
1656
Takže ho na týden pustíte
a on vykoná stejnou intelektuální práci,
jaká by lidem trvala 20 000 let.
jaká by lidem trvala 20 000 let.
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
07:58
week after week after week.
158
466400
1960
Týden za týdnem, pořád dokola.
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
Jak bychom vůbec mohli pochopit,
tím spíš nějak omezovat,
tím spíš nějak omezovat,
08:04
a mind making this sort of progress?
160
472760
2280
inteligenci schopnou takového pokroku?
08:08
The other thing that's worrying, frankly,
161
476840
2136
Je tu i další znepokojivá věc –
08:11
is that, imagine the best case scenario.
162
479000
4976
představte si optimální situaci.
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
Představte si, že se nám podaří
navrhnout superinteligentní AI,
navrhnout superinteligentní AI,
která nebude dbát na bezpečnost.
08:20
that has no safety concerns.
164
488200
1376
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
Hned napoprvé budeme mít dokonalou verzi.
Jako kdyby se naplnila nějaká věštba,
která by fungovala tak, jak bylo určeno.
která by fungovala tak, jak bylo určeno.
08:24
It's as though we've been handed an oracle
166
492880
2216
08:27
that behaves exactly as intended.
167
495120
2016
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
Takový stroj by lidem
dokonale usnadňoval práci.
dokonale usnadňoval práci.
Dokázal by navrhnout stroj,
který by uměl stavět stroje
který by uměl stavět stroje
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
08:36
that can do any physical work,
170
504133
1763
schopné jakékoli manuální práce,
08:37
powered by sunlight,
171
505920
1456
napájené sluneční energií,
víceméně za cenu surovin.
víceméně za cenu surovin.
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
Takže mluvíme o konci lidské dřiny.
Mluvíme také o konci
většiny intelektuální práce.
většiny intelektuální práce.
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
Ale co by takové opice jako my
v téhle situaci dělaly?
v téhle situaci dělaly?
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
No, měli bychom čas hrát frisbee
a vzájemně se masírovat.
a vzájemně se masírovat.
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
Přidali bychom nějaké to LSD
a kontroverzní oblečení
a kontroverzní oblečení
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
a svět by mohl vypadat jako „Burning Man“.
09:02
(Laughter)
179
530920
1640
(smích)
09:06
Now, that might sound pretty good,
180
534320
2000
Asi to zní krásně.
09:09
but ask yourself what would happen
181
537280
2376
Ale zeptejte se sami sebe, co by se stalo,
09:11
under our current economic
and political order?
and political order?
182
539680
2736
kdyby ekonomika a politika
fungovaly tak jako dnes.
fungovaly tak jako dnes.
09:14
It seems likely that we would witness
183
542440
2416
Pravděpodobně bychom zažili
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
takovou sociální nerovnost
a nezaměstnanost
a nezaměstnanost
09:21
that we have never seen before.
185
549040
1496
jako nikdy předtím.
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
Zavládla by neochota dát okamžitě
toto bohatství do služeb lidstvu.
toto bohatství do služeb lidstvu.
09:25
to the service of all humanity,
187
553200
1480
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
Několik bilionářů by zdobilo
obálky obchodních časopisů,
obálky obchodních časopisů,
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
zatímco zbytek světa
by mohl v klidu hladovět.
by mohl v klidu hladovět.
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
A co by udělali Rusové nebo Číňani,
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
kdyby se doslechli, že se v Silicon Valley
09:39
was about to deploy a superintelligent AI?
192
567280
2736
někdo chystá zapojit superinteligentní AI?
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
Takový stroj by byl schopný vést válku,
ať už pozemní nebo kybernetickou,
09:44
whether terrestrial or cyber,
194
572920
2216
s nebývalou silou.
09:47
with unprecedented power.
195
575160
1680
09:50
This is a winner-take-all scenario.
196
578120
1856
V této situaci by „vítěz bral vše“.
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
Šestiměsíční náskok před konkurencí
09:55
is to be 500,000 years ahead,
198
583160
2776
by znamenal náskok minimálně 500 000 let,
09:57
at a minimum.
199
585960
1496
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
Zdá se, že i pouhé fámy
o průlomu v této oblasti
o průlomu v této oblasti
10:04
could cause our species to go berserk.
201
592240
2376
by mohly náš druh dovést k nepříčetnosti.
Myslím si, že jednou z nejděsivějších věcí
10:06
Now, one of the most frightening things,
202
594640
2896
10:09
in my view, at this moment,
203
597560
2776
je momentálně to,
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
co vědci zabývající se
vývojem umělé inteligence říkají,
vývojem umělé inteligence říkají,
10:16
when they want to be reassuring.
205
604680
1560
když nás chtějí uklidnit.
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
Nejčastěji uváděným důvodem,
proč se prý nemáme obávat, je čas.
proč se prý nemáme obávat, je čas.
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
Všechno je to ještě daleko, nemyslíte?
10:24
This is probably 50 or 100 years away.
208
612560
2440
Přijde to až tak za 50 nebo 100 let.
10:27
One researcher has said,
209
615720
1256
Jeden vědec řekl:
„Bát se o bezpečnost umělé inteligence
„Bát se o bezpečnost umělé inteligence
10:29
"Worrying about AI safety
210
617000
1576
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
je stejné, jako bát se přelidnění Marsu.“
Pro Silicon Valley je to jen jiná verze:
10:34
This is the Silicon Valley version
212
622116
1620
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
„Nech to koňovi, ten má větší hlavu.“
(smích)
10:38
(Laughter)
214
626160
1336
10:39
No one seems to notice
215
627520
1896
Nikdo si nejspíš nevšímá toho,
10:41
that referencing the time horizon
216
629440
2616
že odvolávat se na časový horizont
je naprosto nelogické.
je naprosto nelogické.
10:44
is a total non sequitur.
217
632080
2576
Pokud inteligence spočívá
pouze ve zpracování informací
pouze ve zpracování informací
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
10:49
and we continue to improve our machines,
219
637960
2656
a pokud budeme dál zlepšovat své stroje,
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
tak nějakou formu
superinteligence vytvoříme.
superinteligence vytvoříme.
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
Ale nemáme ani ponětí,
jak dlouho nám bude trvat,
jak dlouho nám bude trvat,
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
abychom ji vytvořili
za bezpečných podmínek.
za bezpečných podmínek.
Řeknu to ještě jednou.
11:04
Let me say that again.
223
652200
1296
11:05
We have no idea how long it will take us
224
653520
3816
Nemáme ani ponětí,
jak dlouho nám bude trvat,
jak dlouho nám bude trvat,
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
abychom ji vytvořili
za bezpečných podmínek.
za bezpečných podmínek.
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
A možná jste si nevšimli,
že 50 let už není, co bývalo.
že 50 let už není, co bývalo.
11:16
This is 50 years in months.
227
664400
2456
Tohle je 50 let v měsících.
11:18
This is how long we've had the iPhone.
228
666880
1840
Takhle dlouho máme iPhone.
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
A takhle dlouho se vysílají Simpsonovi.
11:24
Fifty years is not that much time
230
672680
2376
Padesát let není moc času na to,
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
aby se náš druh vypořádal s jedním
z nejtěžších úkolů všech dob.
z nejtěžších úkolů všech dob.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
Ještě jednou – zdá se, že nejsme schopni
adekvátní emocionální reakce na to,
adekvátní emocionální reakce na to,
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
co podle všeho nepochybně nastane.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
Odborník na počítače, Stuart Russell,
má pro tuto situaci hezké přirovnání.
má pro tuto situaci hezké přirovnání.
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
Máme si představit, že dostaneme
zprávu od mimozemské civilizace,
zprávu od mimozemské civilizace,
11:47
which read:
236
695320
1696
ve které stojí:
11:49
"People of Earth,
237
697040
1536
„Pozemšťané,
11:50
we will arrive on your planet in 50 years.
238
698600
2360
za 50 let dorazíme na vaši planetu.
11:53
Get ready."
239
701800
1576
Připravte se.“
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
To bychom jen počítali, kolik měsíců
zbývá do přistání vlajkové lodi?
zbývá do přistání vlajkové lodi?
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
Cítili bychom o něco
naléhavější potřebu než teď.
naléhavější potřebu než teď.
Dalším důvodem, proč se prý nemáme bát,
12:04
Another reason we're told not to worry
242
712680
1856
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
je, že těmto strojům nezbude než
se držet našich hodnot,
se držet našich hodnot,
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
protože se stanou doslova naší nadstavbou.
12:12
They'll be grafted onto our brains,
245
720240
1816
Budou implantované do našich mozků
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
a my se v podstatě staneme
jejich limbickým systémem.
jejich limbickým systémem.
Chvilku se zamyslete nad tím,
12:17
Now take a moment to consider
247
725120
1416
že tou nejbezpečnější
a nejuváženější cestou,
a nejuváženější cestou,
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
která se doporučuje,
12:21
recommended,
249
729760
1336
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
by měla být implantace této
technologie do našich mozků.
technologie do našich mozků.
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
Ona to vskutku může být
nejbezpečnější a nejuváženější cesta,
nejbezpečnější a nejuváženější cesta,
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
ale obvykle se všichni obávají
o bezpečnost technologií,
o bezpečnost technologií,
protože když máte nosit něco natrvalo,
musí to být dost dobře vyladěné.
musí to být dost dobře vyladěné.
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
12:36
(Laughter)
254
744760
2016
(smích)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
Hlubším problémem je to,
že vytvořit samotnou superinteligentní AI
že vytvořit samotnou superinteligentní AI
12:44
seems likely to be easier
256
752160
1736
je pravděpodobně snazší,
než vytvářet takovou inteligenci
než vytvářet takovou inteligenci
12:45
than building superintelligent AI
257
753920
1856
12:47
and having the completed neuroscience
258
755800
1776
společně s kompletní neurobiologií,
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
která umožní bezproblémovou
integraci do naší mysli.
integraci do naší mysli.
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
A jelikož firmy a vlády budou tuto práci
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
nejspíše vnímat jako
závod se všem ostatními,
závod se všem ostatními,
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
protože vyhrát tenhle závod
znamená dobýt svět ‒
znamená dobýt svět ‒
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
tedy za předpokladu,
že ho hned nato nezničíte ‒
že ho hned nato nezničíte ‒
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
tak se dá čekat, že jako první se
udělá to, co bude nejjednodušší.
udělá to, co bude nejjednodušší.
13:08
will get done first.
265
776080
1200
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
Já bohužel nevidím
pro tento problém žádné řešení,
pro tento problém žádné řešení,
kromě doporučení,
abychom o tom více přemýšleli.
abychom o tom více přemýšleli.
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
Myslím, že potřebujeme
něco jako projekt Manhattan
něco jako projekt Manhattan
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
na téma umělé inteligence.
13:18
on the topic of artificial intelligence.
269
786480
2016
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
Ne kvůli jejímu vytvoření,
protože to nevyhnutelně nastane,
protože to nevyhnutelně nastane,
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
ale abychom přišli na to,
jak se vyhnout závodům ve zbrojení
jak se vyhnout závodům ve zbrojení
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
a jak ji vytvořit způsobem,
který vyhoví našim zájmům.
který vyhoví našim zájmům.
Když se bavíme o superinteligentní AI,
která se dokáže sama měnit,
která se dokáže sama měnit,
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
13:32
that can make changes to itself,
274
800320
2256
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
vypadá to, že máme jen jednu šanci,
jak správně nastavit výchozí podmínky,
jak správně nastavit výchozí podmínky,
i když budeme muset tlumit
13:39
and even then we will need to absorb
276
807240
2056
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
ekonomické a politické důsledky
takto nastavených podmínek.
takto nastavených podmínek.
13:45
But the moment we admit
278
813760
2056
Nicméně ve chvíli, kdy si přiznáme,
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
že inteligence pramení
ze zpracování informací,
ze zpracování informací,
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
že vhodně navržený počítačový systém
je podstatou inteligence,
je podstatou inteligence,
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
a až přistoupíme na to, že budeme
tyto systémy neustále vylepšovat
tyto systémy neustále vylepšovat
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
a že horizont poznání nejspíš daleko
přesahuje vše, co v současnosti známe,
přesahuje vše, co v současnosti známe,
14:07
what we currently know,
283
835760
1200
14:10
then we have to admit
284
838120
1216
pak si musíme přiznat, že jsme uprostřed
procesu vytváření jakéhosi boha.
procesu vytváření jakéhosi boha.
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
14:15
Now would be a good time
286
843400
1576
Teď by bylo dobré se ujistit,
že s tímto bohem budeme moci žít.
že s tímto bohem budeme moci žít.
14:17
to make sure it's a god we can live with.
287
845000
1953
Díky moc.
14:20
Thank you very much.
288
848120
1536
(potlesk)
14:21
(Applause)
289
849680
5093
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com