TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Mi történik, ha a számítógépeink nálunk okosabbak lesznek?
Filmed:
Readability: 4.4
4,632,705 views
A mesterséges intelligencia (MI) rohamosan fejlődik, és a kutatások szerint még ebben az évszázadban elérheti az emberi értelem szintjét. Ezen a ponton, Nick Bostrom szerint, az MI átveszi felettünk az uralmat. ‘’A gépi értelem lesz az utolsó találmány, amelyet nekünk kellett kigondolnunk.’’ Az egy személyben filozófus és technológus Bostrom arra ösztönöz, hogy alaposan gondoljuk meg, milyen, gondolkodó gépek irányította világot építünk. Segítenek-e okos gépeink megőrizni az emberiességet és értékeinket, vagy saját értékeket alakítanak ki?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Több matematikussal, filozófussal
és számítógépes szakemberrel dolgozom,
és számítógépes szakemberrel dolgozom,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
akikkel együtt gondolkodunk
a gépi intelligencia, értelem jövőjéről
a gépi intelligencia, értelem jövőjéről
00:21
among other things.
2
9986
2044
és számos más kérdésről.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Néhányan azt gondolják,
egyes kérdéseink
egyes kérdéseink
sci-fibe illő, elvont őrültségek.
00:28
far out there, crazy.
4
16755
3101
Rendben, szoktam mondani,
de nézzük meg,
de nézzük meg,
00:31
But I like to say,
5
19856
1470
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
milyen ma az ember helyzete.
00:36
(Laughter)
7
24930
1692
(Nevetés)
00:38
This is the normal way for things to be.
8
26622
2402
Ez a szokásos állapot,
ahogy annak lennie kell.
ahogy annak lennie kell.
00:41
But if we think about it,
9
29024
2285
Ám ha utánagondolunk, mi, emberek
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
csak nemrég érkezett vendégek vagyunk
ezen a bolygón.
00:46
the human species.
11
34602
2082
Képzeljük el, hogy a Föld
csak egy éve jött lére,
csak egy éve jött lére,
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
így az emberi faj tíz perce létezne.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Az ipari korszak csak
két másodperce kezdődött.
két másodperce kezdődött.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Máshonnan nézve a kérdést, gondoljunk
a világ elmúlt 10 000 évi GDP-jére.
a világ elmúlt 10 000 évi GDP-jére.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Vettem magamnak a fáradságot,
01:09
It looks like this.
17
57530
1774
és készítettem önöknek egy grafikont. Íme!
01:11
(Laughter)
18
59304
1363
(Nevetés)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Egy normál állapothoz képest
elég furcsa görbe.
elég furcsa görbe.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Hát, én biztos nem szeretnék ráülni.
01:16
(Laughter)
21
64516
2551
(Nevetés)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Tegyük fel magunknak a kérdést,
mi az oka ennek a szabálytalanságnak?
mi az oka ennek a szabálytalanságnak?
01:23
Some people would say it's technology.
23
71841
2552
Néhányan a technológiát neveznék meg.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Valóban, a technológiai megoldások
egyre tökéletesedtek a történelem során,
egyre tökéletesedtek a történelem során,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
és éppen most a technológiai fejlődés
hihetetlenül felgyorsult,
ami közvetlen oka
ami közvetlen oka
01:35
that is the proximate cause,
26
83713
1565
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
jelenlegi magas termelékenységünknek.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
De szeretnék jobban
visszamenni a tényleges okig.
visszamenni a tényleges okig.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Nézzük csak ezt a két kiváló urat!
01:48
We have Kanzi --
30
96880
1600
Itt van Kanzi,
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
aki 200 nyelvi szimbólumot tanult meg,
ami hihetetlen teljesítmény,
ami hihetetlen teljesítmény,
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
és Ed Witten, aki elindította
a második szuperhúr forradalmat.
a második szuperhúr forradalmat.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Ha benézünk a burkolat alá,
02:01
basically the same thing.
34
109141
1570
ott alapvetően ugyanazt találjuk.
02:02
One is a little larger,
35
110711
1813
Az egyikük kicsit nagyobb, s esetleg
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
a kapcsolatokban is van
egy-két trükkös megoldás.
egy-két trükkös megoldás.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
De ezek a láthatatlan különbségek
nem lehetnek nagyon bonyolultak,
nem lehetnek nagyon bonyolultak,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
mivel mi csupán
250 000 nemzedéknyire vagyunk
250 000 nemzedéknyire vagyunk
02:15
since our last common ancestor.
39
123379
1732
utolsó közös ősünktől.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Tudjuk, hogy az összetett mechanizmusok
kifejlődéséhez hosszú időre van szükség.
kifejlődéséhez hosszú időre van szükség.
02:22
So a bunch of relatively minor changes
41
130000
2499
Tehát jó néhány viszonylag kisebb változás
02:24
take us from Kanzi to Witten,
42
132499
3067
elvezet Kanzitól Wittenig,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
a letört faágaktól az interkontinentális
ballisztikus rakétákig.
ballisztikus rakétákig.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Ezért eléggé nyilvánvaló, hogy minden,
amit elértünk, ami fontos számunkra,
02:36
and everything we care about,
45
144774
1378
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
alapvetően pár kisebb változás eredménye,
melyek kialakították az emberi elmét.
melyek kialakították az emberi elmét.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Következésképpen,
minden további változásnak,
minden további változásnak,
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
ami jelentősen módosíthatja
a gondolkodás alapjait,
óriási kihatása lehet.
óriási kihatása lehet.
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Néhány kollégám szerint
közel járunk valamihez,
közel járunk valamihez,
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
ami gyökeresen megváltoztathatja
gondolkodásunk alapjait:
gondolkodásunk alapjait:
03:03
and that is machine superintelligence.
52
171134
3213
ez pedig a gépi szuperértelem.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
A mesterséges intelligencia
eddig azt jelentette,
eddig azt jelentette,
hogy parancsokat írunk egy dobozba.
A programozók egyesével,
A programozók egyesével,
03:11
You would have human programmers
54
179086
1665
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
aprólékosan pötyögték be a tudnivalókat.
03:15
You build up these expert systems,
56
183886
2086
Felépítettük a szakértői rendszereket,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
amelyek megfeleltek néhány célra,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
de nagyon merevek
és skálázhatatlanok voltak.
és skálázhatatlanok voltak.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Alapvetően csak az jött ki,
amit beletettünk.
amit beletettünk.
03:26
But since then,
60
194410
997
De azóta
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
paradigmaváltás történt
a mesterséges intelligencia területén.
a mesterséges intelligencia területén.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Ma már a gépi tanulásról
szól a történet.
szól a történet.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Ismeretek manuális bütykölése helyett
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
tanuló algoritmusokat alkotunk,
gyakorta közvetlenül az észlelt adatokból.
gyakorta közvetlenül az észlelt adatokból.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Tulajdonképpen úgy,
ahogy a kisgyerekek csinálják.
ahogy a kisgyerekek csinálják.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Az eredmény a mesterséges intelligencia
(MI), mely nem korlátozódik egy területre:
(MI), mely nem korlátozódik egy területre:
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
ugyanaz a rendszer megtanulhat
bármely két nyelv között fordítani,
bármely két nyelv között fordítani,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
vagy bármilyen számítógépes játékot
játszani egy Atari konzolon.
játszani egy Atari konzolon.
Azért persze az MI-nek
még távolról sincs meg
még távolról sincs meg
04:05
Now of course,
69
233338
1779
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
az a figyelemre méltó,
több területet átfogó képessége,
több területet átfogó képessége,
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
hogy ember módjára tanuljon és tervezzen.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Az agykéregnek van
néhány algoritmikus trükkje,
néhány algoritmikus trükkje,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
melyet még nem tudunk gépekkel utánozni.
04:19
So the question is,
74
247886
1899
Szóval az a kérdés,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
milyen messze vagyunk attól,
hogy lemásoljuk ezeket a trükköket?
hogy lemásoljuk ezeket a trükköket?
Néhány éve felmérést végeztünk
04:26
A couple of years ago,
76
254245
1083
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
a világ néhány vezető
MI szakértőjének bevonásával,
MI szakértőjének bevonásával,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
hogy lássuk, mit gondolnak a jövőről.
Egyik kérdésünk így szólt:
Egyik kérdésünk így szólt:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
''Mikorra gondolja,
hogy 50%-os valószínűséggel meglesz
hogy 50%-os valószínűséggel meglesz
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
az emberi szinvonalú gépi értelem?''
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Az emberi szintet úgy határoztuk meg,
mint olyan képességet,
mint olyan képességet,
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
amellyel egy felnőtt csaknem
bármely tevékenységet
bármely tevékenységet
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
egyformán jól elvégezhet,
nem csak egyszerű feladatokat.
nem csak egyszerű feladatokat.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
A válaszok mediánja, azaz középértéke
2040 vagy 2050 volt,
2040 vagy 2050 volt,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
attól függően, melyik
szakértői csoportot kérdeztük meg.
szakértői csoportot kérdeztük meg.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Ez az esemény sokkal később
vagy hamarabb is bekövetkezhet,
vagy hamarabb is bekövetkezhet,
05:02
the truth is nobody really knows.
87
290339
1940
igazság szerint senki sem tudja.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Azt viszont tudjuk,
hogy a gépi információfeldolgozás
hogy a gépi információfeldolgozás
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
végső lehetőségei jóval meghaladják
az élő agyszövet korlátait.
az élő agyszövet korlátait.
05:15
This comes down to physics.
90
303241
2378
Ez fizikai alapokra vezethető vissza.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Egy élő neuron legfeljebb 200 hertzcel
sül ki, azaz egy másodperc alatt 200-szor.
sül ki, azaz egy másodperc alatt 200-szor.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Ezzel szemben ma már egy tranzisztor
is gigahertzes tartományban üzemel.
is gigahertzes tartományban üzemel.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
A neuronok axonjai lassan,
legföljebb 100 m/s sebességgel működnek.
legföljebb 100 m/s sebességgel működnek.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
De a számítógépekben a jelek
fénysebességgel terjedhetnek.
fénysebességgel terjedhetnek.
05:35
There are also size limitations,
95
323079
1869
És ott vannak a méret adta korlátok:
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
az emberi agynak
bele kell férnie a koponyába,
bele kell férnie a koponyába,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
de egy számítógép raktárméretű
vagy még nagyobb is lehet.
vagy még nagyobb is lehet.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
A szuperértelem lehetősége
ott szunnyad az anyagban,
ott szunnyad az anyagban,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
akár az atomerő, amely a történelem során
05:56
patiently waiting there until 1945.
100
344047
4405
türelmesen várt ébredésére 1945-ig.
06:00
In this century,
101
348452
1248
Ebben az évszázadban
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
a kutatók rájöhetnek,
hogyan kell életre hívni az MI erejét.
hogyan kell életre hívni az MI erejét.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Úgy gondolom, intelligencia-robbanást
láthatunk majd.
láthatunk majd.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
A legtöbbünk, amikor arra gondol,
mi az okosság és a butaság,
mi az okosság és a butaság,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
szerintem nagyjából
egy ilyen képet fest maga elé.
egy ilyen képet fest maga elé.
06:17
So at one end we have the village idiot,
106
365386
2598
A skála egyik végén ott a falu bolondja
06:19
and then far over at the other side
107
367984
2483
és valahol, jó messze a másik végén
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
ott van Ed Witten vagy Albert Einstein,
vagy bárki a kedvenc guruink közül.
vagy bárki a kedvenc guruink közül.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Szerintem a mesterséges
intelligenciát illetően
intelligenciát illetően
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
a valódi helyzet valószínűleg
inkább így áll:
inkább így áll:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
Az MI itt kezdődik,
a nulla intelligenciánál,
a nulla intelligenciánál,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
aztán nagyon-nagyon sok év
szorgalmas munkájával,
szorgalmas munkájával,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
talán eljutunk egy egér szintjének
megfelelő mesterséges intelligenciához.
megfelelő mesterséges intelligenciához.
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
Olyasmihez, ami eligazodik
zsúfolt környezetben,
zsúfolt környezetben,
06:47
as well as a mouse can.
115
395921
1987
úgy, mint azt egy egér teszi.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Aztán még sokkal több év szívós
munkája, rengeteg befektetés árán
munkája, rengeteg befektetés árán
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
talán elérjük
egy csimpánz szintjének megfelelő MI-t.
egy csimpánz szintjének megfelelő MI-t.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Majd még több évnyi
nagyon-nagyon kitartó munkával
nagyon-nagyon kitartó munkával
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
elérjük a falu bolondjának MI szintjét.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Csak egy pillanattal később
már lekörözzük Ed Wittent.
már lekörözzük Ed Wittent.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
A vonat nem áll meg
az Emberfalva állomáson,
az Emberfalva állomáson,
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
hanem valószínűleg átrobog rajta.
07:14
Now this has profound implications,
123
422247
1984
Ennek pedig lényeges kihatásai vannak,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
főleg, ha már erőviszonyokról lesz szó.
A csimpánzok például erősek.
07:20
For example, chimpanzees are strong --
125
428093
1899
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
Súlyához képest a csimpánz kétszer
olyan erős, mint egy jó erőben lévő férfi.
olyan erős, mint egy jó erőben lévő férfi.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Mégis, Kanzi és társai sorsa
sokkal inkább attól függ,
sokkal inkább attól függ,
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
hogy mi, emberek mit teszünk,
mint attól, hogy ők mit tesznek.
mint attól, hogy ők mit tesznek.
Ha egyszer eljön a szuperértelem kora,
07:37
Once there is superintelligence,
129
445228
2314
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
az emberiség sorsa attól függhet,
amit ez a szuperértelem művel.
amit ez a szuperértelem művel.
Gondoljunk csak bele!
A gépi intelligencia lesz
A gépi intelligencia lesz
07:44
Think about it:
131
452451
1057
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
az utolsó találmány, amit
nekünk kell kigondolnunk.
nekünk kell kigondolnunk.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
A gépek jobb feltalálók lesznek,
mint mi vagyunk,
mint mi vagyunk,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
ráadásul digitális időkeretben működnek.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Alapvetően ez a jövő
felgyorsulását jelenti.
felgyorsulását jelenti.
Gondoljunk az összes elképzelhető,
eszement technológiára,
eszement technológiára,
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
amelyeket ha elég időnk lenne,
talán kifejleszthetnénk:
talán kifejleszthetnénk:
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
08:07
cures for aging, space colonization,
138
475322
3258
az öregedés ellenszere, az űr meghódítása,
önmagukat reprodukáló nanobotok,
az emberi elme gépre történő feltöltése
az emberi elme gépre történő feltöltése
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
08:14
all kinds of science fiction-y stuff
140
482311
2159
és még mindenféle sci-fibe illő ötlet,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
amelyek azért a fizikai
törvényeknek nem mondanak ellent.
törvényeknek nem mondanak ellent.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Egy szuperértelem mindezt talán
elég gyorsan ki tudná fejleszteni.
elég gyorsan ki tudná fejleszteni.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Egy ilyen kifinomult technológiájú
szuperértelemnek
szuperértelemnek
08:28
would be extremely powerful,
144
496007
2179
rendkívüli hatalma lenne, mellyel legalább
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
néhány esetben el tudná érni, amit akar.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
A jövőnket ekkor ennek az MI-nek
a szempontjai alakítanák.
a szempontjai alakítanák.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Jó kérdés, melyek is ezek a szempontok?
08:46
Here it gets trickier.
148
514244
1769
Itt kezd rázóssá válni a dolog.
08:48
To make any headway with this,
149
516013
1435
Hogy valahová is eljussunk,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
először is el kell kerülnünk
az antropomorfizálást.
az antropomorfizálást.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
Ez azért ironikus,
mert az MI jövőjéről szóló
mert az MI jövőjéről szóló
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
minden újságcikkben ilyen kép szerepel.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
A kérdéshez egy kicsit elvonatkoztatva
kellene közelítenünk,
kellene közelítenünk,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
nem a látványos hollywoodi
forgatókönyvek alapján.
forgatókönyvek alapján.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Az értelmet optimalizálási
eljárásként kell felfognunk,
eljárásként kell felfognunk,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
amely a jövőt bizonyos lehetséges
kimenetek felé tereli.
kimenetek felé tereli.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
A szuperértelem tényleg
nagyon jó optimalizációs eljárás,
nagyon jó optimalizációs eljárás,
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
amely elképesztően ügyesen használja
az elérhető eszközöket, hogy létrejöjjön
az elérhető eszközöket, hogy létrejöjjön
09:26
in which its goal is realized.
159
554098
1909
a céljának megfelelő állapot.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Ez azt jelenti,
hogy nem szükségképpen kötődik
hogy nem szükségképpen kötődik
09:31
being highly intelligent in this sense,
161
559119
2734
az ebben az értelemben vett
magas intelligenciához
magas intelligenciához
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
egy számunkra értékes
vagy értelmes cél követése.
vagy értelmes cél követése.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Adjuk azt a feladatot egy MI-nek,
hogy késztesse mosolyra az embereket!
hogy késztesse mosolyra az embereket!
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Amíg az MI még gyenge,
hasznos vagy mulatságos dolgokat tesz,
hasznos vagy mulatságos dolgokat tesz,
09:46
that cause its user to smile.
165
574097
2517
mosolyra fakasztva a felhasználót.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Mire az MI szuperértelmes lesz, rájön,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
hogy sokkal hatékonyabban is
elérheti célját:
elérheti célját:
09:54
take control of the world
168
582554
1922
átveszi a világ fölötti uralmat,
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
és elektródákat ültet be
az emberek arcizmaiba,
az emberek arcizmaiba,
09:59
to cause constant, beaming grins.
170
587638
2941
amelyek állandó vigyorra kényszerítenek.
10:02
Another example,
171
590579
1035
Egy másik példa:
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
tegyük fel, egy bonyolult matematikai
problémát kell megoldania az MI-nek.
problémát kell megoldania az MI-nek.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Amikor az MI szuperértelmes lesz,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
rájön, hogy a probléma
leghatékonyabb megoldása
leghatékonyabb megoldása
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
a bolygó átalakítása
egy hatalmas számítógéppé,
egy hatalmas számítógéppé,
10:16
so as to increase its thinking capacity.
176
604035
2246
hogy kiterjeszthesse
gondolkodási képességét.
gondolkodási képességét.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Vegyük észre,
hogy ez további jó ok az MI-nek,
hogy ez további jó ok az MI-nek,
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
hogy olyat műveljen,
amellyel mi nem értenénk egyet.
amellyel mi nem értenénk egyet.
10:23
Human beings in this model are threats,
179
611561
1935
Mi fenyegetjük őt ebben a modellben,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
mert akadályozhatjuk
a matematikai probléma megoldását.
a matematikai probléma megoldását.
Az események persze nem pont
így mehetnek rossz irányba,
így mehetnek rossz irányba,
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
10:32
these are cartoon examples.
182
620701
1753
ezek csak képregényszintű példák.
10:34
But the general point here is important:
183
622454
1939
Fontos viszont az általános tanulság:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
ha egy valóban jó
optimalizálási eljárást alkotunk,
optimalizálási eljárást alkotunk,
10:39
to maximize for objective x,
185
627266
2234
amely x cél szerint maximalizál,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
akkor gondoskodjunk róla,
hogy az x célkitűzés
hogy az x célkitűzés
10:43
incorporates everything you care about.
187
631776
2469
tartalmazza mindazt, ami fontos számunkra.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Erről sokat mond Midász király mondája,
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
aki azt kívánta, hogy amihez
csak hozzáér, váljék arannyá.
csak hozzáér, váljék arannyá.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Megérinti a lányát, aki arannyá változik.
10:59
He touches his food, it turns into gold.
191
647378
2553
Arannyá válik az étele is,
amihez hozzányúl.
amihez hozzányúl.
A rege nem csak
11:01
This could become practically relevant,
192
649931
2589
a mohóság metaforájaként értelmezhető,
11:04
not just as a metaphor for greed,
193
652520
2070
11:06
but as an illustration of what happens
194
654590
1895
de annak bemutatásaként is,
mi történik,
mi történik,
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
ha túl jól sikerül
optimalizálnunk egy folyamatot,
optimalizálnunk egy folyamatot,
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
amelyhez rosszul felfogott
vagy homályos célokat rendeltünk.
vagy homályos célokat rendeltünk.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Mondhatnák persze, hogy ha egy gép
elektródákat akar a képünkbe dugdosni,
elektródákat akar a képünkbe dugdosni,
11:21
we'd just shut it off.
198
669300
2265
majd egyszerűen kikapcsoljuk.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
De ezt nem olyan könnyű megtenni,
ha már függővé váltunk a rendszertől.
ha már függővé váltunk a rendszertől.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
Ugyan már, hol az internet kikapcsolója?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Miért nem kapcsolták ki
a csimpánzok az emberiséget
a csimpánzok az emberiséget
11:37
or the Neanderthals?
202
685747
1551
vagy a neandervölgyieket?
11:39
They certainly had reasons.
203
687298
2666
Alapos okuk volt rá.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Van nekünk is egy kikapcsolónk,
például itt.
például itt.
11:44
(Choking)
205
692759
1554
(Fojtogatja magát)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Az ok azonban az, hogy mi olyan
okos ellenfél vagyunk,
okos ellenfél vagyunk,
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
amelyik előre látja a veszélyeket,
és felkészül rájuk.
és felkészül rájuk.
11:51
But so could a superintelligent agent,
208
699966
2504
De egy szuperértelmes szereplő is
ezt tenné,
ezt tenné,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
csak nálunk sokkal ügyesebben,
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Nem kellene abban bíznunk,
hogy urai vagyunk helyzetnek.
hogy urai vagyunk helyzetnek.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
De azért megpróbálhatnánk
megkönnyíteni a dolgunkat,
megkönnyíteni a dolgunkat,
12:08
putting the A.I. in a box,
212
716358
1590
pl. hogy az MI-t bedobozoljuk
12:09
like a secure software environment,
213
717948
1796
egy biztos szoftveres környezetbe,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
olyan virtuális valóságba,
amelyből nem szabadulhat ki.
amelyből nem szabadulhat ki.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Mennyire bízhatunk azonban abban,
hogy az MI nem találna-e programhibát?
hogy az MI nem találna-e programhibát?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Tekintve, hogy hackerek is
mindig találnak hibákat,
mindig találnak hibákat,
12:22
I'd say, probably not very confident.
217
730081
3036
azt mondanám, hogy ebben
nem nagyon bízhatunk.
nem nagyon bízhatunk.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Akkor húzzuk ki az ethernet kábelt,
egy légrést teremtve,
egy légrést teremtve,
12:30
but again, like merely human hackers
219
738785
2668
de még az egyszerű hackerek is simán
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
veszik ezt az akadályt,
pszichológiai manipulációt használva.
pszichológiai manipulációt használva.
12:36
Right now, as I speak,
221
744834
1259
Éppen most, amíg beszélek,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
valahol egy alkalmazottat biztosan
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
éppen rádumáltak,
hogy árulja el fiókja adatait valakinek,
hogy árulja el fiókja adatait valakinek,
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
aki állítása szerint a cég informatikusa.
12:46
More creative scenarios are also possible,
225
754574
2127
Sokkal kreatívabb cselek is lehetségesek:
12:48
like if you're the A.I.,
226
756701
1315
mondjuk,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
egy MI elektródákat köthet
az áramköreinkre,
az áramköreinkre,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
hogy az így kibocsátott
rádióhullámok útján kommunikálhasson.
rádióhullámok útján kommunikálhasson.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Esetleg üzemzavart mímelhetne,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
és amikor a programozók kinyitják,
hogy megkeressék, mi a baj,
hogy megkeressék, mi a baj,
13:02
they look at the source code -- Bam! --
231
770931
1936
megnézik a forráskódot is, és hoppá,
13:04
the manipulation can take place.
232
772867
2447
már sor is kerülhet a manipulációra.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Egy MI tervezhetne valami
nagyon pöpec technológiát,
nagyon pöpec technológiát,
13:10
and when we implement it,
234
778744
1398
amelynek alkalmazásakor
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
az MI által tervezett néhány alattomos
mellékhatás is előjön.
mellékhatás is előjön.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Kulcsfontosságú, hogy nem szabad
bíznunk benne,
bíznunk benne,
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
hogy egy szuperértelmes szellemet
örökre palackba zárva tarthatunk,
örökre palackba zárva tarthatunk,
13:23
Sooner or later, it will out.
238
791810
2254
mert előbb-utóbb úgyis kiszabadul.
Azt hiszem, a megoldás inkább az,
ha kitaláljuk, hogyan alkothatunk
ha kitaláljuk, hogyan alkothatunk
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
olyan szuperértelmet,
mely ha netán elszabadul,
mely ha netán elszabadul,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
még mindig megbízható,
mert alapvetően a mi oldalunkon áll,
mert alapvetően a mi oldalunkon áll,
13:38
because it shares our values.
242
806438
1899
mivel értékeink közösek.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Ez a fogas kérdés megkerülhetetlen.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
A kérdés megoldhatóságát illetően
eléggé optimista vagyok.
eléggé optimista vagyok.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Írhatnánk egy hosszú listát mindarról,
amit fontosnak tartunk,
amit fontosnak tartunk,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
vagy ami még rosszabb:
valamilyen programnyelven írnánk meg,
valamilyen programnyelven írnánk meg,
13:55
like C++ or Python,
247
823937
1454
pl. C++-ban vagy Pythonban,
13:57
that would be a task beyond hopeless.
248
825391
2767
ami reménytelen feladat lenne.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Ehelyett egy olyan MI-t csinálhatnánk,
amely értelmét arra használja,
amely értelmét arra használja,
14:04
to learn what we value,
250
832455
2771
hogy megtanulja, mik az értékeink,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
s az MI ösztönzőrendszerét
a mi értékeink követésére,
a mi értékeink követésére,
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
vagy az általunk vélhetően
engedélyezett akciókra terveznénk.
engedélyezett akciókra terveznénk.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Az MI értelmét tehát feljavítanánk,
amennyire lehet,
amennyire lehet,
14:21
to solve the problem of value-loading.
254
849152
2745
hogy megoldjuk az értékkövetés kérdését.
Ez a lehetséges kimenetel
14:24
This can happen,
255
852727
1512
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
nagyon jó lenne az emberiségnek.
14:29
But it doesn't happen automatically.
257
857835
3957
De ez nem történik meg magától.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Az intelligencia-robbanás
kezdeti feltételeit
kezdeti feltételeit
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
már most jól elő kellene készíteni,
14:39
if we are to have a controlled detonation.
260
867653
3530
ha irányított robbanást akarunk.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Az MI értékeinek illeszkedniük
kell a mieinkhez,
kell a mieinkhez,
14:45
not just in the familiar context,
262
873801
1760
az olyan ismerős helyzeteken túl is,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
amikor könnyen ellenőrizhető
az MI viselkedése,
az MI viselkedése,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
de olyan új helyzetekben is,
amelyekkel az MI szembekerülhet,
amelyekkel az MI szembekerülhet,
14:53
in the indefinite future.
265
881233
1557
a bizonytalan jövőben.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Van még néhány megoldandó
ezoterikus kérdés,
ezoterikus kérdés,
14:59
the exact details of its decision theory,
267
887527
2089
mint a döntéselméleti kérdések részletei,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
a logikai bizonytalanság
és egyebek kezelése.
és egyebek kezelése.
A megoldandó technikai
nehézségek miatt a feladat
nehézségek miatt a feladat
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
eléggé bonyolultnak látszik.
15:08
look quite difficult --
270
896432
1113
Nem annyira, mint
egy szuperértelmes MI létrehozása,
egy szuperértelmes MI létrehozása,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
15:12
but fairly difficult.
272
900925
2868
de még így is meglehetősen komplikált.
15:15
Here is the worry:
273
903793
1695
Azért aggódhatunk,
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
hogy egy értelmes MI létrehozása
tényleg kemény dió,
tényleg kemény dió,
15:22
Making superintelligent A.I. that is safe
275
910172
2548
de a biztonságos, szuperértelmes
MI megalkotása
MI megalkotása
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
ezt még néhány további feladattal tetézi.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Abban rejlik a kockázat,
ha megoldjuk az első feladatot anélkül,
ha megoldjuk az első feladatot anélkül,
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
hogy megoldottuk volna a másodikat is,
15:34
of ensuring perfect safety.
279
922704
1901
amely szavatolná a teljes biztonságot.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Ezért olyan megoldást kell kidolgoznunk,
15:40
to the control problem in advance,
281
928706
2822
amely előbb oldja meg
az ellenőrizhetőség kérdését,
az ellenőrizhetőség kérdését,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
hogy mire szükségünk lesz rá,
már kéznél legyen.
már kéznél legyen.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Talán nem tudjuk az ellenőrzés
kérdését előre és teljesen megoldani,
kérdését előre és teljesen megoldani,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
mert néhány elem csak
akkor kerülhet a helyére,
akkor kerülhet a helyére,
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
ha részleteiben ismerjük
a fogadó architektúrát.
a fogadó architektúrát.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
De minél többet megoldunk előre
az ellenőrzés kérdéséből,
az ellenőrzés kérdéséből,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
annál jobbak az esélyeink,
hogy a gépi értelem korszakába
hogy a gépi értelem korszakába
16:04
will go well.
288
952766
1540
zökkenőmentes lesz az átmenet.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Szerintem ezt nagyon megéri
rendesen megcsinálni,
rendesen megcsinálni,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
és azt is el tudom képzelni,
ha minden jól megy,
ha minden jól megy,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
amikor az emberek egymillió év múlva
visszatekintenek erre az évszázadra,
visszatekintenek erre az évszázadra,
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
elmondhatják: az egyetlen lényeges dolgot
elődeik akkor jól rendezték el.
16:22
was to get this thing right.
293
970942
1567
Köszönöm.
16:24
Thank you.
294
972509
1689
(Taps)
16:26
(Applause)
295
974198
2813
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com