TEDSummit
Sam Harris: Can we build AI without losing control over it?
Sam Harris: Dokážeme vybudovať umelú inteligenciu bez toho, aby sme nad ňou stratili kontrolu?
Filmed:
Readability: 4.1
5,024,015 views
Máte strach zo super inteligentnej umelej inteligencie? Mali by ste, hovorí vedec a filozof Sam Harris – a nielen v teoretickej rovine. Vytvoríme stroje na úrovni superľudí, hovorí Harris, ale zatiaľ sme sa nepopasovali s problémami súvisiacimi s vytvorením niečoho, čo sa k nám môže správať tak, ako sa my správame k mravcom.
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
Budem hovoriť o zlyhaní intuície,
00:15
that many of us suffer from.
1
3240
1600
ktorým trpí mnoho z nás.
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
Vlastne ide o zlyhanie odhalenia
určitého druhu nebezpečia.
určitého druhu nebezpečia.
00:21
I'm going to describe a scenario
3
9360
1736
Popíšem vám situáciu,
00:23
that I think is both terrifying
4
11120
3256
o ktorej si myslím, že je desivá
00:26
and likely to occur,
5
14400
1760
a zároveň pravdepodobná,
00:28
and that's not a good combination,
6
16840
1656
čo, ako vieme,
00:30
as it turns out.
7
18520
1536
nie je dobrá kombinácia.
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
A aj tak, mnohí z vás nebudú
vystrašení, ale budú
vystrašení, ale budú
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
si myslieť, že to,
o čom hovorím, je cool.
o čom hovorím, je cool.
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
Budem hovoriť o tom, ako nás pokrok,
00:40
in artificial intelligence
11
28200
1776
ktorý dosahujeme
v umelej inteligencii,
v umelej inteligencii,
00:42
could ultimately destroy us.
12
30000
1776
môže nakoniec úplne zničiť.
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
A vskutku si myslím, že je ťažké
nevidieť, že nás zničí, alebo nás
nevidieť, že nás zničí, alebo nás
00:47
or inspire us to destroy ourselves.
14
35280
1680
inšpiruje, aby sme sa zničili sami.
00:49
And yet if you're anything like me,
15
37400
1856
A pokiaľ ste ako ja,
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
je pre vás zábavou zamýšľať sa nad tým.
00:53
And that response is part of the problem.
17
41960
3376
Naše reakcie sú súčasťou toho problému.
00:57
OK? That response should worry you.
18
45360
1720
Tieto reakcie by vás mali trápiť.
00:59
And if I were to convince you in this talk
19
47920
2656
Ak by som vás teraz presvedčoval,
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
že ľudstvo pravdepodobne
zasiahne globálny hladomor,
zasiahne globálny hladomor,
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
buď kvôli klimatickým zmenám,
alebo z dôvodu inej katastrofy,
alebo z dôvodu inej katastrofy,
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
a že vaše vnúčatá a ich vnúčatá
01:12
are very likely to live like this,
23
60560
1800
budú pravdepodobne žiť takto,
01:15
you wouldn't think,
24
63200
1200
určite si nepomyslíte,
01:17
"Interesting.
25
65440
1336
"Zaujímavé.
01:18
I like this TED Talk."
26
66800
1200
To je pekná prednáška."
01:21
Famine isn't fun.
27
69200
1520
Hladomor nie je zábava.
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
Na druhú stranu, smrť v sci-fi zábavná je,
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
jedna z vecí, ktorá ma na vývoji umelej
inteligencie trápi najviac, je, že nie sme
inteligencie trápi najviac, je, že nie sme
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
schopní primerane emocionálne reagovať
01:35
to the dangers that lie ahead.
31
83320
1816
na nebezpečie, ktoré leží pred nami.
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
Ja sám nie som toho schopný
a sám o tom teraz prednášam.
a sám o tom teraz prednášam.
01:42
It's as though we stand before two doors.
33
90120
2696
Pomyslite si, že stojíme
pred dvoma dvermi.
pred dvoma dvermi.
01:44
Behind door number one,
34
92840
1256
Za dvermi číslo jedna
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
zastavíme vývoj a budovanie
inteligentných strojov.
inteligentných strojov.
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
Počítačový software a hardware sa prosto
z nejakého dôvodu prestane vylepšovať.
z nejakého dôvodu prestane vylepšovať.
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
Zastavme sa na chvíľu a premýšľajme,
prečo by toto mohlo nastať.
prečo by toto mohlo nastať.
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
S ohľadom nato, akým prínosom
inteligencia a automatizácia pre nás je,
inteligencia a automatizácia pre nás je,
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
budeme technológie stále zlepšovať,
pokiaľ toho budeme vôbec schopní.
pokiaľ toho budeme vôbec schopní.
02:05
What could stop us from doing this?
40
113200
1667
Čo by nás mohlo v tomto zastaviť?
02:07
A full-scale nuclear war?
41
115800
1800
Celosvetová nukleárna vojna?
02:11
A global pandemic?
42
119000
1560
Globálna pandémia?
02:14
An asteroid impact?
43
122320
1320
Dopad asteroidu?
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
Justin Bieber prezidentom USA?
02:20
(Laughter)
45
128240
2280
(smiech)
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
Ide o to, že by našu súčasnú civilizáciu,
tak ako ju poznáme, muselo niečo zničiť.
tak ako ju poznáme, muselo niečo zničiť.
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
Predstavte si, ako zlé
by to muselo byť,
by to muselo byť,
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
aby sme neboli schopní ďalej
vylepšovať naše technológie,
vylepšovať naše technológie,
02:37
permanently,
49
145040
1216
neustále,
02:38
generation after generation.
50
146280
2016
generáciu za generáciou.
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
V zásade je to tá najhoršia vec,
02:42
that's ever happened in human history.
52
150480
2016
aká by mohla v ľudských dejinách nastať.
02:44
So the only alternative,
53
152520
1296
Takže jedinou alternatívou,
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
ktorá je za dvermi číslo dva,
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
je pokračovať v zdokonaľovaní
našich inteligentných strojov,
našich inteligentných strojov,
02:51
year after year after year.
56
159360
1600
postupne rok za rokom.
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
A v určitom okamžiku postavíme stroje,
ktoré budú chytrejšie než my sami,
ktoré budú chytrejšie než my sami,
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
a keď budeme mať stroje, ktoré
budú chytrejšie od nás,
budú chytrejšie od nás,
03:00
they will begin to improve themselves.
59
168720
1976
tak sa začnú zdokonaľovať samy.
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
A v tom okamihu hrozí situácia,
ktorú matematik I.J.Good
ktorú matematik I.J.Good
03:05
an "intelligence explosion,"
61
173480
1776
nazval "inteligenčná explózia,"
03:07
that the process could get away from us.
62
175280
2000
a vtedy by sa to mohlo vymknúť z rúk.
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
Ako vidíte napríklad tu,
táto téma sa často karikuje,
táto téma sa často karikuje,
03:12
as a fear that armies of malicious robots
64
180960
3216
ako obava z armád zlých robotov,
03:16
will attack us.
65
184200
1256
ktoré na nás zaútočia.
03:17
But that isn't the most likely scenario.
66
185480
2696
Ale toto nie je
najpravdepodobnejší scenár.
najpravdepodobnejší scenár.
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
Nie je to tak,
že by stroje zrazu začali byť zlé.
že by stroje zrazu začali byť zlé.
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
Problém je v tom, že vytvoríme stroje,
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
ktoré budú oveľa schopnejšie než sme my,
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
takže aj tá najjemnejšia odchýlka
medzi ich a našimi cieľmi,
medzi ich a našimi cieľmi,
03:33
could destroy us.
71
201600
1200
by nás mohla zničiť.
03:35
Just think about how we relate to ants.
72
203960
2080
Zamyslite sa, ako sa
chováme k mravcom.
chováme k mravcom.
03:38
We don't hate them.
73
206600
1656
Nemáme nič proti nim.
03:40
We don't go out of our way to harm them.
74
208280
2056
Neubližujeme im cielene.
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
Dokonca občas znesieme bolesť
a neubližujeme im.
a neubližujeme im.
03:44
We step over them on the sidewalk.
76
212760
2016
Prekračujeme ich na chodníku.
03:46
But whenever their presence
77
214800
2136
Ale kedykoľvek je ich prítomnosť
03:48
seriously conflicts with one of our goals,
78
216960
2496
vo vážnom konflikte s našimi cieľmi,
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
povedzme, keď staviame budovu ako táto,
03:53
we annihilate them without a qualm.
80
221981
1960
tak ich bez mihnutia oka zničíme.
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
Obávam sa, že jedného dňa
vytvoríme stroje,
vytvoríme stroje,
03:59
that, whether they're conscious or not,
82
227440
2736
ktoré, vedome alebo nevedome,
budú s nami
budú s nami
04:02
could treat us with similar disregard.
83
230200
2000
zachádzať s podobnou ľahostajnosťou.
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
Mnohím z vás to príde
pritiahnuté za vlasy.
pritiahnuté za vlasy.
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
Vsadím sa, že mnohí z vás pochybujú,
že super inteligentné stroje sú možné,
že super inteligentné stroje sú možné,
04:15
much less inevitable.
86
243720
1656
tobôž, že by to nevyhnutne nastalo.
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
Potom však musíte nájsť niečo nesprávne
v nasledujúcich predpokladoch.
v nasledujúcich predpokladoch.
04:21
And there are only three of them.
88
249044
1572
A v podstate sú len tri.
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
Inteligencia je výsledkom spracovania
informácie v hmotných systémoch.
informácie v hmotných systémoch.
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
Vlastne, toto je trochu viac
než len predpoklad.
než len predpoklad.
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
Do strojov sme už obmedzenú
inteligenciu zabudovali
inteligenciu zabudovali
04:35
and many of these machines perform
92
263440
2016
a veľa z týchto strojov už pracuje
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
na úrovni super inteligentných ľudí.
04:40
And we know that mere matter
94
268840
2576
A vieme, že bežná hmota
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
môže byť vznikom takzvanej
"všeobecnej inteligencie",
"všeobecnej inteligencie",
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
teda schopnosti flexibilne myslieť
naprieč rôznymi oblasťami,
naprieč rôznymi oblasťami,
04:49
because our brains have managed it. Right?
97
277760
3136
pretože naše mozgy to už dokázali, však?
04:52
I mean, there's just atoms in here,
98
280920
3936
Mám na mysli, že naše mozgy
sa skladajú len z atómov,
sa skladajú len z atómov,
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
a pokiaľ budeme pokračovať
v budovaní systémov z atómov,
v budovaní systémov z atómov,
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
ktoré vykazujú čoraz
inteligentnejšie správanie,
inteligentnejšie správanie,
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
tak nakoniec, pokiaľ nás niečo nezastaví,
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
zabudujeme všeobecnú inteligenciu
05:10
into our machines.
103
298080
1296
do našich strojov.
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
Kľúčové je si uvedomiť,
že na rýchlosti pokroku nezáleží,
že na rýchlosti pokroku nezáleží,
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
pretože k dosiahnutiu cieľa
stačí akékoľvek tempo.
stačí akékoľvek tempo.
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
Nepotrebujeme Mooreov zákon,
nie je nutný exponenciálny vývoj.
nie je nutný exponenciálny vývoj.
05:22
We just need to keep going.
107
310080
1600
Jednoducho stačí pokračovať.
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
Druhým predpokladom je,
že budeme pokračovať.
že budeme pokračovať.
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
Budeme naďalej zlepšovať naše
inteligentné stroje.
inteligentné stroje.
05:33
And given the value of intelligence --
110
321000
4376
A keďže inteligencia je pre nás dôležitá -
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
mám na mysli, že inteligencia je
buď zdrojom všetkého, čo si ceníme,
buď zdrojom všetkého, čo si ceníme,
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
alebo ju potrebujeme
na ochranu všetkého, čo si ceníme.
na ochranu všetkého, čo si ceníme.
05:43
It is our most valuable resource.
113
331760
2256
Je to náš najhodnotnejší zdroj.
05:46
So we want to do this.
114
334040
1536
Takže v tom chceme pokračovať.
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
Máme problémy,
ktoré zúfalo musíme vyriešiť.
ktoré zúfalo musíme vyriešiť.
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
Chceme liečiť choroby
ako Alzheimer a rakovina.
ako Alzheimer a rakovina.
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
Chceme porozumieť ekonomickým systémom.
Chceme zlepšiť náš klimatický výskum.
Chceme zlepšiť náš klimatický výskum.
05:58
So we will do this, if we can.
118
346920
2256
Takže, pokiaľ to pôjde, budeme pokračovať.
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
Tento vlak je už rozbehnutý
a nejde ho zastaviť.
a nejde ho zastaviť.
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
A, nakoniec, my nestojíme na vrchole
inteligencie a pravdepodobne
inteligencie a pravdepodobne
06:11
or anywhere near it, likely.
121
359360
1800
ani niekde blízko vrcholu.
06:13
And this really is the crucial insight.
122
361640
1896
Toto je skutočne kľúčový pohľad.
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
To je dôvod, prečo je naša situácia
taká prekérna,
taká prekérna,
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
a dôvod, prečo je naša intuícia
taká nespoľahlivá pri posudzovaní rizík.
taká nespoľahlivá pri posudzovaní rizík.
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
Vezmite si trebárs najmúdrejšiu osobu,
ktorá kedy žila.
ktorá kedy žila.
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
Takmer každý by do najužšieho výberu
zaradil Johna von Neumanna.
zaradil Johna von Neumanna.
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
To, akým dojmom pôsobil van Neumann
na ľudí okolo seba,
na ľudí okolo seba,
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
medzi ktorých patrili najlepší matematici
a fyzici tej doby,
a fyzici tej doby,
06:37
is fairly well-documented.
129
385520
1936
je veľmi dobre zdokumentované.
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
Ak by len polovica historiek o ňom
bola aspoň z polovice pravdivá,
bola aspoň z polovice pravdivá,
06:43
there's no question
131
391280
1216
tak nie je pochýb,
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
že patril medzi najmúdrejších ľudí
v histórii.
v histórii.
06:47
So consider the spectrum of intelligence.
133
395000
2520
Takže zvážme spektrum inteligencie.
06:50
Here we have John von Neumann.
134
398320
1429
Tu máme John von Neumanna.
06:53
And then we have you and me.
135
401560
1334
A tu ste vy a ja.
06:56
And then we have a chicken.
136
404120
1296
A tu máme kura.
06:57
(Laughter)
137
405440
1936
(smiech)
06:59
Sorry, a chicken.
138
407400
1216
Pardon, kura.
07:00
(Laughter)
139
408640
1256
(smiech)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
Nie je dôvod, aby bola táto prednáška
depresívnejšia, než je nutné.
depresívnejšia, než je nutné.
07:05
(Laughter)
141
413680
1600
(smiech)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
Zdá sa nanajvýš pravdepodobné,
že rozsah inteligencie
že rozsah inteligencie
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
je oveľa širší, než ako ho
v súčasnosti vnímame,
v súčasnosti vnímame,
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
a keď postavíme stroje,
ktoré budú inteligentnejšie než sme my,
ktoré budú inteligentnejšie než sme my,
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
tak budú veľmi pravdepodobne
skúmať to spektrum
skúmať to spektrum
07:21
in ways that we can't imagine,
146
429440
1856
spôsobom, ktorý si nevieme predstaviť,
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
a presiahnu nás spôsobom,
ktorý si nevieme predstaviť.
ktorý si nevieme predstaviť.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
A je dôležité rozoznať, že je tomu tak
už vďaka samotnej rýchlosti.
už vďaka samotnej rýchlosti.
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
Predstavte si, že sme vytvorili super
inteligentnú umelú inteligenciu (AI),
inteligentnú umelú inteligenciu (AI),
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
ktorá je rovnako chytrá ako
priemerný tím vedcov
priemerný tím vedcov
07:39
at Stanford or MIT.
151
447920
2296
na Stanforde alebo MIT.
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
Lenže elektronické obvody fungujú asi
miliónkrát rýchlejšie
miliónkrát rýchlejšie
07:45
than biochemical ones,
153
453240
1256
než biochemické,
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
takže, takýto stroj by mohol myslieť
asi miliónkrát rýchlejšie
asi miliónkrát rýchlejšie
07:49
than the minds that built it.
155
457680
1816
ako myseľ, ktorá ho zostrojila.
07:51
So you set it running for a week,
156
459520
1656
Takže, keď ho spustíte na týždeň,
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
tak vykoná rovnakú intelektuálnu prácu,
ktorá by ľuďom trvala 20 000 rokov,
ktorá by ľuďom trvala 20 000 rokov,
07:58
week after week after week.
158
466400
1960
týždeň za týždňom.
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
Ako by sme vôbec mohli pochopiť,
či snáď nejako obmedziť
či snáď nejako obmedziť
08:04
a mind making this sort of progress?
160
472760
2280
myseľ schopnú takéhoto pokroku?
08:08
The other thing that's worrying, frankly,
161
476840
2136
Úprimne, je tu ďalšia znepokojivá vec -
08:11
is that, imagine the best case scenario.
162
479000
4976
predstavte si najlepší možný scenár.
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
Predstavte si, že sa nám podarí navrhnúť
super inteligentnú AI, ktorá nebude mať
super inteligentnú AI, ktorá nebude mať
08:20
that has no safety concerns.
164
488200
1376
žiadne bezpečnostné hrozby.
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
Budeme mať perfektnú verziu
hneď na prvý pokus.
hneď na prvý pokus.
08:24
It's as though we've been handed an oracle
166
492880
2216
Ako keby sa naplnila veštba a všetko
08:27
that behaves exactly as intended.
167
495120
2016
by fungovalo, tak ako bolo zamýšľané.
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
Takýto stroj by ľuďom perfektne
uľahčoval prácu.
uľahčoval prácu.
Dokázal by navrhnúť stroj,
ktorý by zostrojil stroje,
ktorý by zostrojil stroje,
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
08:36
that can do any physical work,
170
504133
1763
čo vykonajú akúkoľvek fyzickú prácu,
08:37
powered by sunlight,
171
505920
1456
napájané slnečným žiarením,
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
viac-menej za cenu vstupných materiálov.
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
Takže, hovoríme o konci ľudskej driny.
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
Hovoríme taktiež o konci väčšiny
intelektuálnej práce.
intelektuálnej práce.
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
Ale čo by také opice ako sme my
robili za takýchto okolností?
robili za takýchto okolností?
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
No, mali by sme čas hrať Frisbee a
vzájomne sa masírovať.
vzájomne sa masírovať.
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
Pridali by sme nejaké to LSD
a pochybné oblečenie
a pochybné oblečenie
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
a celý svet by mohol byť
ako "Burning Man".
ako "Burning Man".
09:02
(Laughter)
179
530920
1640
(smiech)
09:06
Now, that might sound pretty good,
180
534320
2000
Teraz, aj keď to znie lákavo,
09:09
but ask yourself what would happen
181
537280
2376
ale spýtajte sa sami seba,
čo by mohlo nastať,
čo by mohlo nastať,
09:11
under our current economic
and political order?
and political order?
182
539680
2736
keby ekonomika a politika fungovali
tak ako dnes?
tak ako dnes?
09:14
It seems likely that we would witness
183
542440
2416
Zdá sa pravdepodobné,
že by sme boli svedkami
že by sme boli svedkami
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
takej sociálnej nerovnosti
a nezamestnanosti,
a nezamestnanosti,
09:21
that we have never seen before.
185
549040
1496
ako nikdy predtým.
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
Absencia ochoty poskytnúť
toto nové bohatstvo
toto nové bohatstvo
09:25
to the service of all humanity,
187
553200
1480
do služieb celého ľudstva.
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
Niekoľko miliardárov by zdobilo
titulky obchodných magazínov,
titulky obchodných magazínov,
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
zatiaľčo zbytok sveta by pokojne hladoval.
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
A čo by urobili Rusi a Číňania, ak by sa
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
dozvedeli, že nejaká spoločnosť
v Silicon Valley
v Silicon Valley
09:39
was about to deploy a superintelligent AI?
192
567280
2736
sa chystá nasadiť super inteligentnú AI?
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
Takýto stroj by bol schopný viesť vojnu,
09:44
whether terrestrial or cyber,
194
572920
2216
či už pozemnú alebo kybernetickú
09:47
with unprecedented power.
195
575160
1680
s nebývalou silou.
09:50
This is a winner-take-all scenario.
196
578120
1856
To je scenár, kde víťaz berie všetko.
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
Šesťmesačný náskok pred konkurenciou
09:55
is to be 500,000 years ahead,
198
583160
2776
by znamenal minimálne náskok
09:57
at a minimum.
199
585960
1496
500 000 rokov.
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
Zdá sa, že číre fámy o prelome
v tejto oblasti
v tejto oblasti
10:04
could cause our species to go berserk.
201
592240
2376
by nás mohli priviesť k nepríčetnosti.
10:06
Now, one of the most frightening things,
202
594640
2896
Jedna z najdesivejších vecí
10:09
in my view, at this moment,
203
597560
2776
v tejto chvíli z môjho pohľadu
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
je to, čo hovoria vedci, ktorí vyvíjajú
umelú inteligenciu,
umelú inteligenciu,
10:16
when they want to be reassuring.
205
604680
1560
keď nás chcú upokojiť.
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
Najčastejším dôvodom, prečo sa vraj nemáme
obávať, je čas.
obávať, je čas.
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
Toto všetko je ešte ďaleko, všakže.
10:24
This is probably 50 or 100 years away.
208
612560
2440
Ešte to potrvá pravdepodobne
50 alebo 100 rokov.
50 alebo 100 rokov.
10:27
One researcher has said,
209
615720
1256
Jeden výskumník povedal:
10:29
"Worrying about AI safety
210
617000
1576
"Obávať sa bezpečnosti AI
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
je ako báť sa preľudnenia Marsu."
10:34
This is the Silicon Valley version
212
622116
1620
Toto je je verzia Silicon Valley:
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
"Nechaj to koňovi, ten má väčšiu hlavu."
10:38
(Laughter)
214
626160
1336
(smiech)
10:39
No one seems to notice
215
627520
1896
Zdá sa, že nikto nezaznamenal,
10:41
that referencing the time horizon
216
629440
2616
že odvolávať sa na časový horizont
10:44
is a total non sequitur.
217
632080
2576
je totálne nelogické.
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
Ak je inteligencia len spôsob
spracovania informácií
spracovania informácií
10:49
and we continue to improve our machines,
219
637960
2656
a my budeme pokračovať v zlepšovaní
našich strojov,
našich strojov,
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
tak vytvoríme nejakú formu
super inteligencie.
super inteligencie.
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
A nemáme poňatia,
ako dlho nám bude trvať,
ako dlho nám bude trvať,
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
než ju vytvoríme za bezpečných podmienok.
11:04
Let me say that again.
223
652200
1296
Poviem to ešte raz.
11:05
We have no idea how long it will take us
224
653520
3816
Nemáme poňatia,
ako dlho nám bude trvať,
ako dlho nám bude trvať,
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
než ju vytvoríme za bezpečných podmienok.
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
A možno ste si nevšimli,
že 50 rokov už nie je to, čo bývalo.
že 50 rokov už nie je to, čo bývalo.
11:16
This is 50 years in months.
227
664400
2456
Toto je 50 rokov v mesiacoch.
11:18
This is how long we've had the iPhone.
228
666880
1840
Takto dlho máme iPhone.
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
Takto dlho sa vysielajú Simpsonovci.
11:24
Fifty years is not that much time
230
672680
2376
50 rokov nie je tak veľa času,
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
aby si náš druh poradil s najväčšou
výzvou, pred ktorou kedy stál.
výzvou, pred ktorou kedy stál.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
Ešte raz - zdá sa, že nemáme primeranú
emocionálnu odpoveď
emocionálnu odpoveď
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
na niečo, čo podľa všetkého nastane.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
Počítačový vedec Stuart Russell má nato
peknú analógiu.
peknú analógiu.
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
Povedal, predstavte si, že dostaneme
správu od mimozemskej civilizácie,
správu od mimozemskej civilizácie,
11:47
which read:
236
695320
1696
v ktorej bude:
11:49
"People of Earth,
237
697040
1536
"Pozemšťania,
11:50
we will arrive on your planet in 50 years.
238
698600
2360
za 50 rokov dorazíme na vašu planétu.
11:53
Get ready."
239
701800
1576
Pripravte sa."
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
A teraz budeme len počítať mesiace
do pristátia mimozemskej lode?
do pristátia mimozemskej lode?
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
Asi by sme cítili trochu viac
naliehavosti ako teraz.
naliehavosti ako teraz.
12:04
Another reason we're told not to worry
242
712680
1856
Ďalší dôvod, prečo sa
nemáme obávať, je,
nemáme obávať, je,
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
že týmto strojom nezostane nič iné,
len zdieľať naše hodnoty,
len zdieľať naše hodnoty,
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
pretože budú doslovne naším
vlastným rozšírením.
vlastným rozšírením.
12:12
They'll be grafted onto our brains,
245
720240
1816
Budú zabudované do našich mozgov
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
a my budeme v podstate ich
limbickým systémom.
limbickým systémom.
12:17
Now take a moment to consider
247
725120
1416
Zamyslite sa a zvážte,
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
že tou najbezpečnejšou a
jedinou rozvážnou cestou,
jedinou rozvážnou cestou,
12:21
recommended,
249
729760
1336
ktorá sa odporúča,
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
je nasadiť tieto technológie
priamo do našich mozgov.
priamo do našich mozgov.
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
Fakticky, ona to môže byť najbezpečnejšia
a jediná rozvážna cesta vpred,
a jediná rozvážna cesta vpred,
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
ale zvyčajne je dobré obávať sa
bezpečnosti technológií,
bezpečnosti technológií,
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
pretože by to malo byť celkom dobre
vyladené, než si to vložíte do hlavy.
vyladené, než si to vložíte do hlavy.
12:36
(Laughter)
254
744760
2016
(smiech)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
Hlbším problémom je, že budovanie
samotnej super inteligentnej AI sa zdá byť
samotnej super inteligentnej AI sa zdá byť
12:44
seems likely to be easier
256
752160
1736
pravdepodobne jednoduchšie,
12:45
than building superintelligent AI
257
753920
1856
než budovanie super inteligentnej AI
12:47
and having the completed neuroscience
258
755800
1776
a mať vyriešenú neurovedu, ktorá nám
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
dovolí bezproblémovú integráciu
našich myslí s ňou.
našich myslí s ňou.
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
A keďže firmy a vlády,
ktoré sa na tom podieľajú,
ktoré sa na tom podieľajú,
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
to pravdepodobne vnímajú
ako závod so všetkými ostatnými,
ako závod so všetkými ostatnými,
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
pretože vyhrať tento závod
znamená dobyť svet,
znamená dobyť svet,
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
za predpokladu, že ho hneď
vzápätí nezničíte,
vzápätí nezničíte,
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
tak potom je pravdepodobné,
že to, čo bude jednoduchšie,
že to, čo bude jednoduchšie,
13:08
will get done first.
265
776080
1200
sa urobí ako prvé.
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
Bohužiaľ, teraz nemám riešenie
tohto problému,
tohto problému,
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
okrem odporúčania, že by sme o tom
mali viac premýšľať.
mali viac premýšľať.
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
Myslím, že je nutné niečo ako
"Manhattan Projekt"
"Manhattan Projekt"
13:18
on the topic of artificial intelligence.
269
786480
2016
na tému umelej inteligencie.
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
Nie ako ju vytvoriť, pretože si
myslím, že to nevyhnutne
myslím, že to nevyhnutne
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
nastane, ale v pochopení ako sa
vyhnúť závodom v zbrojení
vyhnúť závodom v zbrojení
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
a ako ju vytvoriť spôsobom, ktorý je
v súlade s našimi záujmami.
v súlade s našimi záujmami.
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
Keď hovoríme o super inteligentnej AI,
13:32
that can make changes to itself,
274
800320
2256
ktorá dokáže meniť samu seba,
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
tak sa zdá, že máme len jednu šancu, ako
nastaviť východiskové podmienky správne,
nastaviť východiskové podmienky správne,
13:39
and even then we will need to absorb
276
807240
2056
a aj vtedy budeme musieť tlmiť
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
ekonomické a politické následky.
13:45
But the moment we admit
278
813760
2056
Ale vo chvíli, keď pripustíme,
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
že spracovanie informácií
je zdrojom inteligencie,
je zdrojom inteligencie,
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
že nejaký vhodný počítačový systém
je to, čo môže byť základom inteligencie,
je to, čo môže byť základom inteligencie,
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
a keď pripustíme, že budeme tieto
systémy neustále zdokonaľovať,
systémy neustále zdokonaľovať,
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
a keď pripustíme, že horizont poznania
veľmi pravdepodobne prekročí to,
veľmi pravdepodobne prekročí to,
14:07
what we currently know,
283
835760
1200
čo v súčasnosti vieme,
14:10
then we have to admit
284
838120
1216
tak si musíme pripustiť,
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
že sme v procese budovania
istého druhu boha.
istého druhu boha.
14:15
Now would be a good time
286
843400
1576
Teraz by bolo dobré sa uistiť,
14:17
to make sure it's a god we can live with.
287
845000
1953
že to bude boh, s ktorým budeme môcť žiť.
14:20
Thank you very much.
288
848120
1536
Ďakujem veľmi pekne.
14:21
(Applause)
289
849680
5093
(potlesk)
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com