ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.

Why you should listen

Sam Harris is the author of five New York Times bestsellers. His books include The End of FaithLetter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.

Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.

Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.

More profile about the speaker
Sam Harris | Speaker | TED.com
TEDSummit

Sam Harris: Can we build AI without losing control over it?

Sam Harris: Můžeme vytvořit umělou inteligenci, aniž bychom nad ní ztratili kontrolu?

Filmed:
5,024,015 views

Bojíte se superinteligetní umělé inteligence? Ne? Měli byste, říká neurověděc a filosof Sam Harris ‒ a nejen v teoretické rovině. Chceme stavět stroje s vlastnostmi, které předčí ty lidské, ale ještě jsme se nevyrovnali s otázkami spojenými s vytvořením něčeho, co se k lidem může chovat tak, jako se lidé chovají například k mravencům.
- Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio

Double-click the English transcript below to play the video.

00:13
I'm going to talk
about a failureselhání of intuitionintuice
0
1000
2216
Budu mluvit o selhání intuice,
kterým trpí mnozí z nás.
00:15
that manymnoho of us suffertrpět from.
1
3240
1600
Vlastně jde o neschopnost
odhalit určitý typ nebezpečí.
00:17
It's really a failureselhání
to detectdetekovat a certainurčitý kinddruh of dangernebezpečí.
2
5480
3040
00:21
I'm going to describepopsat a scenarioscénář
3
9360
1736
Popíšu vám situaci,
00:23
that I think is bothoba terrifyingděsivé
4
11120
3256
kterou považuji za děsivou
00:26
and likelypravděpodobně to occurnastat,
5
14400
1760
a zároveň pravděpodobnou.
A jak se ukazuje,
tohle není dobrá kombinace.
00:28
and that's not a good combinationkombinace,
6
16840
1656
00:30
as it turnsotočí out.
7
18520
1536
00:32
And yetdosud ratherspíše than be scaredstrach,
mostvětšina of you will feel
8
20080
2456
Ovšem i přesto si bude
většina z vás myslet,
že mluvím spíš o zajímavých
než o děsivých věcech.
00:34
that what I'm talkingmluvící about
is kinddruh of coolchladný.
9
22560
2080
Popíšu vám, jak nás pokroky
00:37
I'm going to describepopsat
how the gainszisky we make
10
25200
2976
00:40
in artificialumělý intelligenceinteligence
11
28200
1776
v umělé inteligenci
00:42
could ultimatelynakonec destroyzničit us.
12
30000
1776
mohou nakonec úplně vyhubit.
Vlastně myslím, že lze jen
stěží nevidět, že nás vyhubí
00:43
And in factskutečnost, I think it's very difficultobtížný
to see how they won'tzvyklý destroyzničit us
13
31800
3456
nebo že nás k sebezničení navedou.
00:47
or inspireinspirovat us to destroyzničit ourselvessebe.
14
35280
1680
A pokud jste na tom podobně jako já,
00:49
And yetdosud if you're anything like me,
15
37400
1856
00:51
you'llBudete find that it's funzábava
to think about these things.
16
39280
2656
bude vám připadat zábavné
o těchto věcech přemýšlet.
00:53
And that responseOdezva is partčást of the problemproblém.
17
41960
3376
Naše reakce je součástí toho problému.
00:57
OK? That responseOdezva should worrytrápit se you.
18
45360
1720
Tahle reakce by nás měla znepokojovat.
00:59
And if I were to convincepřesvědčit you in this talk
19
47920
2656
Kdybych vás teď přesvědčoval,
01:02
that we were likelypravděpodobně
to suffertrpět a globalglobální faminehladomor,
20
50600
3416
že lidstvo pravděpodobně
zasáhne globální hladomor,
01:06
eitherbuď because of climateklimatu changezměna
or some other catastrophekatastrofa,
21
54040
3056
buď kvůli klimatickým změnám
nebo kvůli jiné katastrofě,
01:09
and that your grandchildrenvnoučata,
or theirjejich grandchildrenvnoučata,
22
57120
3416
a že vaše vnoučata
či jejich vnoučata
01:12
are very likelypravděpodobně to livežít like this,
23
60560
1800
budou nejspíš žít takhle,
01:15
you wouldn'tby ne think,
24
63200
1200
určitě si neřeknete:
01:17
"InterestingZajímavé.
25
65440
1336
„Zajímavé! To je ale hezká přednáška.“
01:18
I like this TEDTED Talk."
26
66800
1200
01:21
FamineHladomor isn't funzábava.
27
69200
1520
Hladomor není legrace.
01:23
DeathSmrt by scienceVěda fictionbeletrie,
on the other handruka, is funzábava,
28
71800
3376
Na druhou stranu,
smrt ve sci-fi zábavná je.
01:27
and one of the things that worriesstarosti me mostvětšina
about the developmentrozvoj of AIAI at this pointbod
29
75200
3976
Jednou z věcí, které se teď na vývoji
umělé inteligence nejvíc obávám,
je to, že zřejmě nejsme schopní
přiměřeně emocionálně reagovat
01:31
is that we seemzdát se unableneschopný to marshalmaršál
an appropriateodpovídající emotionalemocionální responseOdezva
30
79200
4096
01:35
to the dangersnebezpečí that lielhát aheadvpřed.
31
83320
1816
na nebezpečí ležící před námi.
01:37
I am unableneschopný to marshalmaršál this responseOdezva,
and I'm givingposkytující this talk.
32
85160
3200
Já sám toho nejsem schopný,
i když o tom právě přednáším.
01:42
It's as thoughačkoli we standvydržet before two doorsdveře.
33
90120
2696
Je to jako volit cestu na rozcestí.
01:44
BehindZa doordveře numberčíslo one,
34
92840
1256
Vstoupit prvními dveřmi znamená
zastavit rozvoj inteligentních strojů.
01:46
we stop makingtvorba progresspokrok
in buildingbudova intelligentinteligentní machinesstrojů.
35
94120
3296
01:49
Our computerpočítač hardwareHardware and softwaresoftware
just stopszastávky gettingdostat better for some reasondůvod.
36
97440
4016
Počítačový software a hardware se prostě
z nějakého důvodu přestane rozvíjet.
01:53
Now take a momentmoment
to considerzvážit why this mightmohl happenpřihodit se.
37
101480
3000
Zastavme se chvilku nad tím,
kdy by taková situace mohla nastat.
01:57
I mean, givendané how valuablecenný
intelligenceinteligence and automationautomatizace are,
38
105080
3656
S ohledem na to, jakým jsou pro nás
inteligence a automatizace přínosem,
02:00
we will continuepokračovat to improvezlepšit our technologytechnika
if we are at all ableschopný to.
39
108760
3520
budeme technologie stále zlepšovat,
pokud toho vůbec budeme schopni.
02:05
What could stop us from doing this?
40
113200
1667
Co by nás mohlo zastavit?
02:07
A full-scaletotální nuclearjaderné warválka?
41
115800
1800
Celosvětová nukleární válka?
02:11
A globalglobální pandemicpandemie?
42
119000
1560
Globální pandemie?
02:14
An asteroidasteroid impactdopad?
43
122320
1320
Dopad asteroidu?
02:17
JustinJustin BieberBieber becomingstát se
presidentprezident of the UnitedVelká StatesStáty?
44
125640
2576
Justin Bieber prezidentem USA?
(smích)
02:20
(LaughterSmích)
45
128240
2280
02:24
The pointbod is, something would have to
destroyzničit civilizationcivilizace as we know it.
46
132760
3920
Jde o to, že by naši současnou
civilizaci muselo něco zničit.
02:29
You have to imaginepředstav si
how badšpatný it would have to be
47
137360
4296
Představte si,
co hrozného by se muselo stát,
02:33
to preventzabránit us from makingtvorba
improvementszlepšení in our technologytechnika
48
141680
3336
abychom nebyli schopni dále
zdokonalovat naše technologie,
02:37
permanentlytrvale,
49
145040
1216
neustále, generaci za generací.
02:38
generationgenerace after generationgenerace.
50
146280
2016
02:40
AlmostTéměř by definitiondefinice,
this is the worstnejhorší thing
51
148320
2136
V podstatě je to ta nejhorší věc,
jaká by v dějinách mohla nastat.
02:42
that's ever happenedStalo in humančlověk historydějiny.
52
150480
2016
02:44
So the only alternativealternativní,
53
152520
1296
Čili jedinou alternativou, tou,
která nás čeká za druhými dveřmi,
02:45
and this is what lieslži
behindza doordveře numberčíslo two,
54
153840
2336
02:48
is that we continuepokračovat
to improvezlepšit our intelligentinteligentní machinesstrojů
55
156200
3136
je postupně každým rokem
pokračovat ve zdokonalování
inteligentních strojů.
02:51
yearrok after yearrok after yearrok.
56
159360
1600
02:53
At a certainurčitý pointbod, we will buildstavět
machinesstrojů that are smarterchytřejší than we are,
57
161720
3640
V určitém okamžiku vytvoříme stroje,
které budou chytřejší než my,
02:58
and oncejednou we have machinesstrojů
that are smarterchytřejší than we are,
58
166080
2616
a až budeme mít stroje,
které budou chytřejší,
začnou se zdokonalovat samy.
03:00
they will beginzačít to improvezlepšit themselvesoni sami.
59
168720
1976
A potom nám hrozí situace,
kterou matematik I. J. Good nazval
03:02
And then we riskriziko what
the mathematicianmatematik IJIJ Good calledvolal
60
170720
2736
03:05
an "intelligenceinteligence explosionexploze,"
61
173480
1776
„inteligenční explozí“,
tedy, že by se nám to
mohlo vymknout z rukou.
03:07
that the processproces could get away from us.
62
175280
2000
03:10
Now, this is oftenčasto caricaturedkarikovat,
as I have here,
63
178120
2816
Jak vidíte třeba tady,
toto téma se často zpodobňuje
03:12
as a fearstrach that armiesarmád of maliciousškodlivý robotsroboty
64
180960
3216
jako obava z armád zlovolných robotů,
kteří na nás zaútočí.
03:16
will attackZáchvat us.
65
184200
1256
03:17
But that isn't the mostvětšina likelypravděpodobně scenarioscénář.
66
185480
2696
Ale to není moc pravděpodobný scénář.
Není to tak, že by stroje
najednou začaly být zlé.
03:20
It's not that our machinesstrojů
will becomestát spontaneouslyspontánně malevolentzlovolné.
67
188200
4856
03:25
The concernznepokojení is really
that we will buildstavět machinesstrojů
68
193080
2616
Problém je v tom, že vytvoříme stroje,
které budou o tolik schopnější než my,
03:27
that are so much
more competentkompetentní than we are
69
195720
2056
03:29
that the slightestnejmenší divergencedivergence
betweenmezi theirjejich goalscíle and our ownvlastní
70
197800
3776
že i ta nejjemnější odchylka mezi
jejich a našimi cíli by nás mohla zničit.
03:33
could destroyzničit us.
71
201600
1200
Vezměte si, jak se chováme k mravencům.
03:35
Just think about how we relatevztahují to antsmravenci.
72
203960
2080
03:38
We don't hatenenávist them.
73
206600
1656
Nic proti nim nemáme.
03:40
We don't go out of our way to harmpoškodit them.
74
208280
2056
Nechceme jim cíleně ubližovat.
Necháme se i poštípat,
abychom jim neublížili.
03:42
In factskutečnost, sometimesněkdy
we take painsbolesti not to harmpoškodit them.
75
210360
2376
Na chodníku je překračujeme.
03:44
We stepkrok over them on the sidewalkchodník.
76
212760
2016
03:46
But wheneverkdykoli theirjejich presencepřítomnost
77
214800
2136
Ale kdykoliv jejich přítomnost
vážně narušuje naše zájmy,
03:48
seriouslyvážně conflictskonflikty with one of our goalscíle,
78
216960
2496
03:51
let's say when constructingkonstrukce
a buildingbudova like this one,
79
219480
2477
například při stavbě budov, jako je tahle,
bez mrknutí oka je zlikvidujeme.
03:53
we annihilatevyhladit them withoutbez a qualmnevolnost.
80
221981
1960
03:56
The concernznepokojení is that we will
one day buildstavět machinesstrojů
81
224480
2936
Panuje obava, že jednou vytvoříme stroje,
které by s námi mohly, vědomě či nevědomě,
03:59
that, whetherzda they're consciousvědomí or not,
82
227440
2736
04:02
could treatzacházet us with similarpodobný disregardbrát v úvahu.
83
230200
2000
zacházet podobně lhostejně.
04:05
Now, I suspecttušit this seemszdá se
far-fetchedvyčerpaný to manymnoho of you.
84
233760
2760
Mnohým z vás to nejspíš
přijde přitažené za vlasy.
04:09
I betsázka there are those of you who doubtpochybovat
that superintelligentsuperinteligentními AIAI is possiblemožný,
85
237360
6336
Vsadím se, že někteří
z vás určitě pochybují,
že je možné superinteligentní AI vytvořit,
natož, že to nevyhnutelně nastane.
04:15
much lessméně inevitablenevyhnutelný.
86
243720
1656
04:17
But then you mustmusí find something wrongšpatně
with one of the followingNásledující assumptionspředpoklady.
87
245400
3620
Pak ale musíte v následujících
předpokladech najít nějaký omyl.
04:21
And there are only threetři of them.
88
249044
1572
Ty předpoklady jsou jen tři.
04:23
IntelligenceInteligence is a matterhmota of informationinformace
processingzpracovává se in physicalfyzický systemssystémy.
89
251800
4719
Inteligence je výsledkem zpracování
informací ve hmotných systémech.
Toto je vlastně víc než předpoklad.
04:29
ActuallyVe skutečnosti, this is a little bitbit more
than an assumptionpředpoklad.
90
257320
2615
Do našich strojů jsme už
omezenou inteligenci zabudovali
04:31
We have alreadyjiž builtpostavený
narrowúzký intelligenceinteligence into our machinesstrojů,
91
259959
3457
04:35
and manymnoho of these machinesstrojů performprovést
92
263440
2016
a mnohé z nich už operují
na úrovni superinteligentních lidí.
04:37
at a levelúroveň of superhumannadlidské
intelligenceinteligence alreadyjiž.
93
265480
2640
04:40
And we know that merepouhý matterhmota
94
268840
2576
A víme, že pouhá hmota
04:43
can give risevzestup to what is calledvolal
"generalVšeobecné intelligenceinteligence,"
95
271440
2616
může dát vzniknout
takzvané „všeobecné inteligenci“,
04:46
an abilityschopnost to think flexiblyflexibilně
acrosspřes multiplenásobek domainsdomény,
96
274080
3656
tedy schopnosti flexibilně
se orientovat v různých oblastech.
04:49
because our brainsmozky have managedpodařilo se it. Right?
97
277760
3136
Protože náš mozek už to zvládl, že?
04:52
I mean, there's just atomsatomů in here,
98
280920
3936
Mozek se skládá jenom z atomů,
04:56
and as long as we continuepokračovat
to buildstavět systemssystémy of atomsatomů
99
284880
4496
a pokud budeme pokračovat
v budování systémů z atomů,
05:01
that displayZobrazit more and more
intelligentinteligentní behaviorchování,
100
289400
2696
které budou vykazovat čím dál
inteligentnější chování, tak nakonec,
05:04
we will eventuallynakonec,
unlesspokud není we are interruptedpřerušeno,
101
292120
2536
pokud nás něco nezastaví,
05:06
we will eventuallynakonec
buildstavět generalVšeobecné intelligenceinteligence
102
294680
3376
zabudujeme do našich strojů
všeobecnou inteligenci.
05:10
into our machinesstrojů.
103
298080
1296
Klíčové je uvědomit si,
že na rychlosti pokroku nezáleží,
05:11
It's crucialrozhodující to realizerealizovat
that the ratehodnotit of progresspokrok doesn't matterhmota,
104
299400
3656
05:15
because any progresspokrok
is enoughdost to get us into the endkonec zonepásmo.
105
303080
3176
protože k dosažení cílové pásky
stačí jakékoli tempo.
05:18
We don't need Moore'sMoore je lawzákon to continuepokračovat.
We don't need exponentialexponenciální progresspokrok.
106
306280
3776
Nepotřebujeme Mooreův zákon,
není zapotřebí exponenciální vývoj.
05:22
We just need to keep going.
107
310080
1600
Prostě stačí pokračovat.
05:25
The seconddruhý assumptionpředpoklad
is that we will keep going.
108
313480
2920
Druhým předpokladem je,
že budeme pokračovat.
Budeme naše inteligentní stroje
nadále zdokonalovat.
05:29
We will continuepokračovat to improvezlepšit
our intelligentinteligentní machinesstrojů.
109
317000
2760
05:33
And givendané the valuehodnota of intelligenceinteligence --
110
321000
4376
Protože inteligence je důležitá –
05:37
I mean, intelligenceinteligence is eitherbuď
the sourcezdroj of everything we valuehodnota
111
325400
3536
myslím tím to, že inteligence je buď
zdrojem všeho, čeho si ceníme,
nebo že ji potřebujeme
k zabezpečení všeho, čeho si ceníme.
05:40
or we need it to safeguardochranná
everything we valuehodnota.
112
328960
2776
05:43
It is our mostvětšina valuablecenný resourcezdroje.
113
331760
2256
Je to náš nejcennější zdroj.
05:46
So we want to do this.
114
334040
1536
Takže v tom chceme pokračovat.
05:47
We have problemsproblémy
that we desperatelyzoufale need to solveřešit.
115
335600
3336
Máme problémy, které zoufale
potřebujeme vyřešit.
05:50
We want to curelék diseasesnemoci
like Alzheimer'sAlzheimerovou chorobou and cancerrakovina.
116
338960
3200
Chceme například vyléčit
Alzheimerovu chorobu nebo rakovinu.
05:54
We want to understandrozumět economichospodářský systemssystémy.
We want to improvezlepšit our climateklimatu scienceVěda.
117
342960
3936
Chceme rozumět ekonomickým systémům.
Chceme zlepšit výzkum klimatu.
Takže budeme pokračovat,
pokud to půjde.
05:58
So we will do this, if we can.
118
346920
2256
06:01
The trainvlak is alreadyjiž out of the stationstanice,
and there's no brakebrzda to pullSEM.
119
349200
3286
Je to rozjetý vlak, který nejde zastavit.
06:05
FinallyNakonec, we don't standvydržet
on a peakvrchol of intelligenceinteligence,
120
353880
5456
Posledním předpokladem je,
že lidé nestojí na vrcholu inteligence
a pravděpodobně nejsou ani pod vrcholem.
06:11
or anywherekdekoli nearu it, likelypravděpodobně.
121
359360
1800
06:13
And this really is the crucialrozhodující insightvhled.
122
361640
1896
To je opravdu zásadní pohled.
Kvůli tomu jsme v tak prekérní situaci.
06:15
This is what makesdělá
our situationsituace so precariousnejisté,
123
363560
2416
06:18
and this is what makesdělá our intuitionsintuice
about riskriziko so unreliablenespolehlivé.
124
366000
4040
Kvůli tomu je naše intuice
při posuzování rizik tak nespolehlivá.
Vezměte si třeba
nejchytřejší lidi v dějinách.
06:23
Now, just considerzvážit the smartestnejchytřejší personosoba
who has ever livedžil.
125
371120
2720
06:26
On almosttéměř everyone'svšichni jsou shortlistužší výběr here
is JohnJan vonvon NeumannNeumann.
126
374640
3416
Do užšího výběru by téměř každý
zařadil Johna von Neumanna.
06:30
I mean, the impressiondojem that vonvon NeumannNeumann
madevyrobeno on the people around him,
127
378080
3336
To, jakým dojmem von Neumann
působil na lidi kolem sebe,
06:33
and this includedzahrnuta the greatestnejvětší
mathematiciansmatematiků and physicistsfyziků of his time,
128
381440
4056
mezi něž patřili nejlepší
matematici a fyzici té doby,
06:37
is fairlyspravedlivě well-documenteddobře zdokumentované.
129
385520
1936
je celkem dobře zdokumentováno.
06:39
If only halfpolovina the storiespříběhy
about him are halfpolovina trueskutečný,
130
387480
3776
Kdyby jen polovina historek o něm
byla aspoň z poloviny pravdivá,
tak není pochyb,
že patřil mezi nejchytřejší lidi historie.
06:43
there's no questionotázka
131
391280
1216
06:44
he's one of the smartestnejchytřejší people
who has ever livedžil.
132
392520
2456
06:47
So considerzvážit the spectrumspektrum of intelligenceinteligence.
133
395000
2520
Pojďme se teď zamyslet
nad rozsahem inteligence.
06:50
Here we have JohnJan vonvon NeumannNeumann.
134
398320
1429
Tady je John von Neumann.
06:53
And then we have you and me.
135
401560
1334
Tady jsou lidé jako vy a já.
A tady máme kuře.
06:56
And then we have a chickenkuře.
136
404120
1296
06:57
(LaughterSmích)
137
405440
1936
(smích)
06:59
Sorry, a chickenkuře.
138
407400
1216
Pardon, kuře.
07:00
(LaughterSmích)
139
408640
1256
(smích)
Není důvod, aby tahle přednáška
byla víc depresivní, než je potřeba.
07:01
There's no reasondůvod for me to make this talk
more depressingdepresivní than it needspotřeby to be.
140
409920
3736
(smích)
07:05
(LaughterSmích)
141
413680
1600
07:08
It seemszdá se overwhelminglypřevážně likelypravděpodobně, howevernicméně,
that the spectrumspektrum of intelligenceinteligence
142
416339
3477
Ovšem zdá se navýsost pravděpodobné,
že rozsah inteligence je mnohem širší,
07:11
extendsrozšiřuje much furtherdále
than we currentlyv současné době conceiveotěhotnět,
143
419840
3120
než jak ho v současnosti vnímáme.
07:15
and if we buildstavět machinesstrojů
that are more intelligentinteligentní than we are,
144
423880
3216
A pokud vytvoříme stroje
inteligentnější než jsme my,
tak budou velmi pravděpodobně
zkoumat toto spektrum způsobem,
07:19
they will very likelypravděpodobně
exploreprozkoumat this spectrumspektrum
145
427120
2296
07:21
in wayszpůsoby that we can't imaginepředstav si,
146
429440
1856
který si neumíme představit,
07:23
and exceedpřekročit us in wayszpůsoby
that we can't imaginepředstav si.
147
431320
2520
a předčí nás způsobem,
který si neumíme představit.
07:27
And it's importantdůležité to recognizeuznat that
this is trueskutečný by virtuectnost of speedRychlost alonesama.
148
435000
4336
A je důležité připustit,
že je tomu tak už díky samotné rychlosti.
07:31
Right? So imaginepředstav si if we just builtpostavený
a superintelligentsuperinteligentními AIAI
149
439360
5056
Představte si, že jsme
vytvořili superinteligentní AI,
07:36
that was no smarterchytřejší
than your averageprůměrný teamtým of researchersvýzkumných pracovníků
150
444440
3456
která je stejně chytrá jako průměrný
tým vědců na Stanfordu nebo MIT.
07:39
at StanfordStanford or MITMIT.
151
447920
2296
07:42
Well, electronicelektronický circuitsobvodů
functionfunkce about a millionmilión timesčasy fasterrychleji
152
450240
2976
Víme, že elektronické obvody pracují
asi milionkrát rychleji než biochemické,
07:45
than biochemicalbiochemické onesty,
153
453240
1256
takže takový stroj
by přemýšlel milionkrát rychleji
07:46
so this machinestroj should think
about a millionmilión timesčasy fasterrychleji
154
454520
3136
07:49
than the mindsmysli that builtpostavený it.
155
457680
1816
než lidé, kteří ho postavili.
07:51
So you setsoubor it runningběh for a weektýden,
156
459520
1656
Takže ho na týden pustíte
a on vykoná stejnou intelektuální práci,
jaká by lidem trvala 20 000 let.
07:53
and it will performprovést 20,000 yearsroky
of human-levelúroveň lidské intellectualintelektuální work,
157
461200
4560
07:58
weektýden after weektýden after weektýden.
158
466400
1960
Týden za týdnem, pořád dokola.
08:01
How could we even understandrozumět,
much lessméně constrainomezit,
159
469640
3096
Jak bychom vůbec mohli pochopit,
tím spíš nějak omezovat,
08:04
a mindmysl makingtvorba this sorttřídění of progresspokrok?
160
472760
2280
inteligenci schopnou takového pokroku?
08:08
The other thing that's worryingznepokojující, franklyupřímně řečeno,
161
476840
2136
Je tu i další znepokojivá věc –
08:11
is that, imaginepředstav si the bestnejlepší casepouzdro scenarioscénář.
162
479000
4976
představte si optimální situaci.
08:16
So imaginepředstav si we hitudeřil uponna a designdesign
of superintelligentsuperinteligentními AIAI
163
484000
4176
Představte si, že se nám podaří
navrhnout superinteligentní AI,
která nebude dbát na bezpečnost.
08:20
that has no safetybezpečnost concernsobav.
164
488200
1376
08:21
We have the perfectperfektní designdesign
the first time around.
165
489600
3256
Hned napoprvé budeme mít dokonalou verzi.
Jako kdyby se naplnila nějaká věštba,
která by fungovala tak, jak bylo určeno.
08:24
It's as thoughačkoli we'vejsme been handedruce an oraclevěštec
166
492880
2216
08:27
that behaveschová se exactlypřesně as intendedzamýšlený.
167
495120
2016
08:29
Well, this machinestroj would be
the perfectperfektní labor-savingpráce úsporné devicepřístroj.
168
497160
3720
Takový stroj by lidem
dokonale usnadňoval práci.
Dokázal by navrhnout stroj,
který by uměl stavět stroje
08:33
It can designdesign the machinestroj
that can buildstavět the machinestroj
169
501680
2429
08:36
that can do any physicalfyzický work,
170
504133
1763
schopné jakékoli manuální práce,
08:37
powerednapájeno by sunlightslunečním světlem,
171
505920
1456
napájené sluneční energií,
víceméně za cenu surovin.
08:39
more or lessméně for the costnáklady
of rawdrsný materialsmateriálů.
172
507400
2696
08:42
So we're talkingmluvící about
the endkonec of humančlověk drudgeryotrocká práce.
173
510120
3256
Takže mluvíme o konci lidské dřiny.
Mluvíme také o konci
většiny intelektuální práce.
08:45
We're alsotaké talkingmluvící about the endkonec
of mostvětšina intellectualintelektuální work.
174
513400
2800
08:49
So what would apeslidoopů like ourselvessebe
do in this circumstanceokolnost?
175
517200
3056
Ale co by takové opice jako my
v téhle situaci dělaly?
08:52
Well, we'dmy jsme be freevolný, uvolnit to playhrát si FrisbeeFrisbee
and give eachkaždý other massagesmasáže.
176
520280
4080
No, měli bychom čas hrát frisbee
a vzájemně se masírovat.
08:57
AddPřidat some LSDLSD and some
questionablesporný wardrobeskříň choicesvolby,
177
525840
2856
Přidali bychom nějaké to LSD
a kontroverzní oblečení
09:00
and the wholeCelý worldsvět
could be like BurningVypalování Man.
178
528720
2176
a svět by mohl vypadat jako „Burning Man“.
09:02
(LaughterSmích)
179
530920
1640
(smích)
09:06
Now, that mightmohl soundzvuk prettydosti good,
180
534320
2000
Asi to zní krásně.
09:09
but askdotázat se yourselfvy sám what would happenpřihodit se
181
537280
2376
Ale zeptejte se sami sebe, co by se stalo,
09:11
underpod our currentaktuální economichospodářský
and politicalpolitický orderobjednat?
182
539680
2736
kdyby ekonomika a politika
fungovaly tak jako dnes.
09:14
It seemszdá se likelypravděpodobně that we would witnesssvědek
183
542440
2416
Pravděpodobně bychom zažili
09:16
a levelúroveň of wealthbohatství inequalitynerovnost
and unemploymentnezaměstnanost
184
544880
4136
takovou sociální nerovnost
a nezaměstnanost
09:21
that we have never seenviděno before.
185
549040
1496
jako nikdy předtím.
09:22
AbsentChybí a willingnessochota
to immediatelyihned put this newNový wealthbohatství
186
550560
2616
Zavládla by neochota dát okamžitě
toto bohatství do služeb lidstvu.
09:25
to the serviceservis of all humanitylidstvo,
187
553200
1480
09:27
a fewpár trillionairesTrillionaires could graceGrace
the coverskryty of our businesspodnikání magazinesčasopisy
188
555640
3616
Několik bilionářů by zdobilo
obálky obchodních časopisů,
09:31
while the restodpočinek of the worldsvět
would be freevolný, uvolnit to starvehlady.
189
559280
2440
zatímco zbytek světa
by mohl v klidu hladovět.
09:34
And what would the RussiansRusové
or the ChineseČínština do
190
562320
2296
A co by udělali Rusové nebo Číňani,
09:36
if they heardslyšel that some companyspolečnost
in SiliconKřemík ValleyÚdolí
191
564640
2616
kdyby se doslechli, že se v Silicon Valley
09:39
was about to deploynasazení a superintelligentsuperinteligentními AIAI?
192
567280
2736
někdo chystá zapojit superinteligentní AI?
09:42
This machinestroj would be capableschopný
of wagingwaging warválka,
193
570040
2856
Takový stroj by byl schopný vést válku,
ať už pozemní nebo kybernetickou,
09:44
whetherzda terrestrialpozemní or cyberCyber,
194
572920
2216
s nebývalou silou.
09:47
with unprecedentedbezprecedentní powerNapájení.
195
575160
1680
09:50
This is a winner-take-allvítěz bere vše scenarioscénář.
196
578120
1856
V této situaci by „vítěz bral vše“.
09:52
To be sixšest monthsměsíců aheadvpřed
of the competitionsoutěž here
197
580000
3136
Šestiměsíční náskok před konkurencí
09:55
is to be 500,000 yearsroky aheadvpřed,
198
583160
2776
by znamenal náskok minimálně 500 000 let,
09:57
at a minimumminimální.
199
585960
1496
09:59
So it seemszdá se that even merepouhý rumorspověsti
of this kinddruh of breakthroughprůlom
200
587480
4736
Zdá se, že i pouhé fámy
o průlomu v této oblasti
10:04
could causezpůsobit our speciesdruh to go berserkBerserk.
201
592240
2376
by mohly náš druh dovést k nepříčetnosti.
Myslím si, že jednou z nejděsivějších věcí
10:06
Now, one of the mostvětšina frighteningděsivý things,
202
594640
2896
10:09
in my viewPohled, at this momentmoment,
203
597560
2776
je momentálně to,
10:12
are the kindsdruhy of things
that AIAI researchersvýzkumných pracovníků say
204
600360
4296
co vědci zabývající se
vývojem umělé inteligence říkají,
10:16
when they want to be reassuringuklidňující.
205
604680
1560
když nás chtějí uklidnit.
10:19
And the mostvětšina commonběžný reasondůvod
we're told not to worrytrápit se is time.
206
607000
3456
Nejčastěji uváděným důvodem,
proč se prý nemáme obávat, je čas.
10:22
This is all a long way off,
don't you know.
207
610480
2056
Všechno je to ještě daleko, nemyslíte?
10:24
This is probablypravděpodobně 50 or 100 yearsroky away.
208
612560
2440
Přijde to až tak za 50 nebo 100 let.
10:27
One researchervýzkumník has said,
209
615720
1256
Jeden vědec řekl:
„Bát se o bezpečnost umělé inteligence
10:29
"WorryingZnepokojující about AIAI safetybezpečnost
210
617000
1576
10:30
is like worryingznepokojující
about overpopulationpřelidnění on MarsMars."
211
618600
2280
je stejné, jako bát se přelidnění Marsu.“
Pro Silicon Valley je to jen jiná verze:
10:34
This is the SiliconKřemík ValleyÚdolí versionverze
212
622116
1620
10:35
of "don't worrytrápit se your
prettydosti little headhlava about it."
213
623760
2376
„Nech to koňovi, ten má větší hlavu.“
(smích)
10:38
(LaughterSmích)
214
626160
1336
10:39
No one seemszdá se to noticeoznámení
215
627520
1896
Nikdo si nejspíš nevšímá toho,
10:41
that referencingodkazování na the time horizonhorizont
216
629440
2616
že odvolávat se na časový horizont
je naprosto nelogické.
10:44
is a totalcelkový nonbez sequitursequitur.
217
632080
2576
Pokud inteligence spočívá
pouze ve zpracování informací
10:46
If intelligenceinteligence is just a matterhmota
of informationinformace processingzpracovává se,
218
634680
3256
10:49
and we continuepokračovat to improvezlepšit our machinesstrojů,
219
637960
2656
a pokud budeme dál zlepšovat své stroje,
10:52
we will producevyrobit
some formformulář of superintelligencesuperinteligence.
220
640640
2880
tak nějakou formu
superinteligence vytvoříme.
10:56
And we have no ideaidea
how long it will take us
221
644320
3656
Ale nemáme ani ponětí,
jak dlouho nám bude trvat,
11:00
to createvytvořit the conditionspodmínky
to do that safelybezpečně.
222
648000
2400
abychom ji vytvořili
za bezpečných podmínek.
Řeknu to ještě jednou.
11:04
Let me say that again.
223
652200
1296
11:05
We have no ideaidea how long it will take us
224
653520
3816
Nemáme ani ponětí,
jak dlouho nám bude trvat,
11:09
to createvytvořit the conditionspodmínky
to do that safelybezpečně.
225
657360
2240
abychom ji vytvořili
za bezpečných podmínek.
11:12
And if you haven'tnemáte noticedvšiml si,
50 yearsroky is not what it used to be.
226
660920
3456
A možná jste si nevšimli,
že 50 let už není, co bývalo.
11:16
This is 50 yearsroky in monthsměsíců.
227
664400
2456
Tohle je 50 let v měsících.
11:18
This is how long we'vejsme had the iPhoneiPhone.
228
666880
1840
Takhle dlouho máme iPhone.
11:21
This is how long "The SimpsonsSimpsonovi"
has been on televisiontelevize.
229
669440
2600
A takhle dlouho se vysílají Simpsonovi.
11:24
FiftyPadesát yearsroky is not that much time
230
672680
2376
Padesát let není moc času na to,
11:27
to meetsetkat one of the greatestnejvětší challengesproblémy
our speciesdruh will ever facetvář.
231
675080
3160
aby se náš druh vypořádal s jedním
z nejtěžších úkolů všech dob.
11:31
OnceJednou again, we seemzdát se to be failingselhání
to have an appropriateodpovídající emotionalemocionální responseOdezva
232
679640
4016
Ještě jednou – zdá se, že nejsme schopni
adekvátní emocionální reakce na to,
11:35
to what we have everykaždý reasondůvod
to believe is comingpříchod.
233
683680
2696
co podle všeho nepochybně nastane.
11:38
The computerpočítač scientistvědec StuartStuart RussellRussell
has a nicepěkný analogyanalogie here.
234
686400
3976
Odborník na počítače, Stuart Russell,
má pro tuto situaci hezké přirovnání.
11:42
He said, imaginepředstav si that we receivedobdržel
a messagezpráva from an alienmimozemšťan civilizationcivilizace,
235
690400
4896
Máme si představit, že dostaneme
zprávu od mimozemské civilizace,
11:47
whichkterý readčíst:
236
695320
1696
ve které stojí:
11:49
"People of EarthZemě,
237
697040
1536
„Pozemšťané,
11:50
we will arrivepřijet on your planetplaneta in 50 yearsroky.
238
698600
2360
za 50 let dorazíme na vaši planetu.
11:53
Get readypřipraven."
239
701800
1576
Připravte se.“
11:55
And now we're just countingpočítací down
the monthsměsíců untilaž do the mothershipmateřská loď landspozemky?
240
703400
4256
To bychom jen počítali, kolik měsíců
zbývá do přistání vlajkové lodi?
11:59
We would feel a little
more urgencynaléhavost than we do.
241
707680
3000
Cítili bychom o něco
naléhavější potřebu než teď.
Dalším důvodem, proč se prý nemáme bát,
12:04
AnotherDalší reasondůvod we're told not to worrytrápit se
242
712680
1856
12:06
is that these machinesstrojů
can't help but sharepodíl our valueshodnoty
243
714560
3016
je, že těmto strojům nezbude než
se držet našich hodnot,
12:09
because they will be literallydoslovně
extensionsrozšíření of ourselvessebe.
244
717600
2616
protože se stanou doslova naší nadstavbou.
12:12
They'llOni si be graftedRoubované ontona our brainsmozky,
245
720240
1816
Budou implantované do našich mozků
12:14
and we'lldobře essentiallyv podstatě
becomestát theirjejich limbicLimbický systemssystémy.
246
722080
2360
a my se v podstatě staneme
jejich limbickým systémem.
Chvilku se zamyslete nad tím,
12:17
Now take a momentmoment to considerzvážit
247
725120
1416
že tou nejbezpečnější
a nejuváženější cestou,
12:18
that the safestnejbezpečnější
and only prudentobezřetné pathcesta forwardvpřed,
248
726560
3176
která se doporučuje,
12:21
recommendeddoporučeno,
249
729760
1336
12:23
is to implantimplantát this technologytechnika
directlypřímo into our brainsmozky.
250
731120
2800
by měla být implantace této
technologie do našich mozků.
12:26
Now, this maysmět in factskutečnost be the safestnejbezpečnější
and only prudentobezřetné pathcesta forwardvpřed,
251
734600
3376
Ona to vskutku může být
nejbezpečnější a nejuváženější cesta,
12:30
but usuallyobvykle one'sněčí safetybezpečnost concernsobav
about a technologytechnika
252
738000
3056
ale obvykle se všichni obávají
o bezpečnost technologií,
protože když máte nosit něco natrvalo,
musí to být dost dobře vyladěné.
12:33
have to be prettydosti much workedpracoval out
before you sticklepit it insideuvnitř your headhlava.
253
741080
3656
12:36
(LaughterSmích)
254
744760
2016
(smích)
12:38
The deeperhlouběji problemproblém is that
buildingbudova superintelligentsuperinteligentními AIAI on its ownvlastní
255
746800
5336
Hlubším problémem je to,
že vytvořit samotnou superinteligentní AI
12:44
seemszdá se likelypravděpodobně to be easiersnadnější
256
752160
1736
je pravděpodobně snazší,
než vytvářet takovou inteligenci
12:45
than buildingbudova superintelligentsuperinteligentními AIAI
257
753920
1856
12:47
and havingmít the completeddokončeno neuroscienceneurovědy
258
755800
1776
společně s kompletní neurobiologií,
12:49
that allowsumožňuje us to seamlesslybezproblémově
integrateintegrovat our mindsmysli with it.
259
757600
2680
která umožní bezproblémovou
integraci do naší mysli.
12:52
And givendané that the companiesspolečnosti
and governmentsvlád doing this work
260
760800
3176
A jelikož firmy a vlády budou tuto práci
12:56
are likelypravděpodobně to perceivevnímat themselvesoni sami
as beingbytost in a racezávod againstproti all othersostatní,
261
764000
3656
nejspíše vnímat jako
závod se všem ostatními,
12:59
givendané that to winvyhrát this racezávod
is to winvyhrát the worldsvět,
262
767680
3256
protože vyhrát tenhle závod
znamená dobýt svět ‒
13:02
providedpokud you don't destroyzničit it
in the nextdalší momentmoment,
263
770960
2456
tedy za předpokladu,
že ho hned nato nezničíte ‒
13:05
then it seemszdá se likelypravděpodobně
that whateverTo je jedno is easiersnadnější to do
264
773440
2616
tak se dá čekat, že jako první se
udělá to, co bude nejjednodušší.
13:08
will get doneHotovo first.
265
776080
1200
13:10
Now, unfortunatelybohužel,
I don't have a solutionřešení to this problemproblém,
266
778560
2856
Já bohužel nevidím
pro tento problém žádné řešení,
kromě doporučení,
abychom o tom více přemýšleli.
13:13
apartodděleně from recommendingdoporučování
that more of us think about it.
267
781440
2616
Myslím, že potřebujeme
něco jako projekt Manhattan
13:16
I think we need something
like a ManhattanManhattan ProjectProjekt
268
784080
2376
na téma umělé inteligence.
13:18
on the topictéma of artificialumělý intelligenceinteligence.
269
786480
2016
13:20
Not to buildstavět it, because I think
we'lldobře inevitablynevyhnutelně do that,
270
788520
2736
Ne kvůli jejímu vytvoření,
protože to nevyhnutelně nastane,
13:23
but to understandrozumět
how to avoidvyhýbat se an armszbraně racezávod
271
791280
3336
ale abychom přišli na to,
jak se vyhnout závodům ve zbrojení
13:26
and to buildstavět it in a way
that is alignedzarovnání with our interestszájmů.
272
794640
3496
a jak ji vytvořit způsobem,
který vyhoví našim zájmům.
Když se bavíme o superinteligentní AI,
která se dokáže sama měnit,
13:30
When you're talkingmluvící
about superintelligentsuperinteligentními AIAI
273
798160
2136
13:32
that can make changesZměny to itselfsám,
274
800320
2256
13:34
it seemszdá se that we only have one chancešance
to get the initialpočáteční conditionspodmínky right,
275
802600
4616
vypadá to, že máme jen jednu šanci,
jak správně nastavit výchozí podmínky,
i když budeme muset tlumit
13:39
and even then we will need to absorbabsorbovat
276
807240
2056
13:41
the economichospodářský and politicalpolitický
consequencesdůsledky of gettingdostat them right.
277
809320
3040
ekonomické a politické důsledky
takto nastavených podmínek.
13:45
But the momentmoment we admitpřipustit
278
813760
2056
Nicméně ve chvíli, kdy si přiznáme,
13:47
that informationinformace processingzpracovává se
is the sourcezdroj of intelligenceinteligence,
279
815840
4000
že inteligence pramení
ze zpracování informací,
13:52
that some appropriateodpovídající computationalvýpočetní systemSystém
is what the basiszáklad of intelligenceinteligence is,
280
820720
4800
že vhodně navržený počítačový systém
je podstatou inteligence,
13:58
and we admitpřipustit that we will improvezlepšit
these systemssystémy continuouslynepřetržitě,
281
826360
3760
a až přistoupíme na to, že budeme
tyto systémy neustále vylepšovat
14:03
and we admitpřipustit that the horizonhorizont
of cognitionpoznání very likelypravděpodobně fardaleko exceedspřesahuje
282
831280
4456
a že horizont poznání nejspíš daleko
přesahuje vše, co v současnosti známe,
14:07
what we currentlyv současné době know,
283
835760
1200
14:10
then we have to admitpřipustit
284
838120
1216
pak si musíme přiznat, že jsme uprostřed
procesu vytváření jakéhosi boha.
14:11
that we are in the processproces
of buildingbudova some sorttřídění of god.
285
839360
2640
14:15
Now would be a good time
286
843400
1576
Teď by bylo dobré se ujistit,
že s tímto bohem budeme moci žít.
14:17
to make sure it's a god we can livežít with.
287
845000
1953
Díky moc.
14:20
Thank you very much.
288
848120
1536
(potlesk)
14:21
(ApplausePotlesk)
289
849680
5093
Translated by Martin Bureš
Reviewed by Vladimír Harašta

▲Back to top

ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.

Why you should listen

Sam Harris is the author of five New York Times bestsellers. His books include The End of FaithLetter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.

Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.

Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.

More profile about the speaker
Sam Harris | Speaker | TED.com