TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Mis juhtub, kui arvutid saavad targemaks kui me ise?
Filmed:
Readability: 4.4
4,632,705 views
Tehisintellekti areng on olnud hüppeliselt võimas ning teadlased väidavad, et juba sellel sajandil võib tehisintellekt saada sama "targaks" kui inimene. Ja siis, väidab Nick Bostrom, võtab tehisintellekt asjad üle: "Tehisintellekt on viimane leiutis, mille inimene peab ise looma." Bostrom, kes on filosoofi ja tehnoloogiaekspert palub meil mõelda sügavalt järele selle uue maailma üle, mida me parajasti loome ja mida hakkavad juhtima mõtlevad masinad. Kas targad masinad soodustavad inimkonna ja meie väärtuste püsimist või saavad neil olema omaenda väärtused?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Ma töötan mitmete matemaatikute,
filosoofide ja arvutiteadlastega,
filosoofide ja arvutiteadlastega,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
istume nendega ja mõtiskleme,
muuhulgas ka tehisintellekti tuleviku üle.
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Mõned arvavad, et need teemad
on suhteliselt ulmekad,
on suhteliselt ulmekad,
00:28
far out there, crazy.
4
16755
3101
kaugel reaalsusest ja hullumeelsed.
00:31
But I like to say,
5
19856
1470
Aga ütleksin pigem, et vaatame kõigepealt
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
milline on tänapäeva inimese olukord.
00:36
(Laughter)
7
24930
1692
(Naer)
See ongi normaalne asjade seis.
00:38
This is the normal way for things to be.
8
26622
2402
00:41
But if we think about it,
9
29024
2285
Kui aga järele mõelda,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
siis tegelikult oleme üsna hiljuti
siia planeedile saabunud külalised,
siia planeedile saabunud külalised,
00:46
the human species.
11
34602
2082
meie, inimesed.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Kui planeet Maa oleks loodud aasta tagasi.
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
oleks inimene kõigest 10 minuti vanune.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Industriaalajastu oleks alanud
2 sekundit tagasi.
2 sekundit tagasi.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Või mõelge näiteks maailmamajanduse
SKP-le viimase 10 000 aasta jooksul.
SKP-le viimase 10 000 aasta jooksul.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Olen siin näinud vaeva
ja teinud teie jaoks graafiku,
ja teinud teie jaoks graafiku,
01:09
It looks like this.
17
57530
1774
mis näeb välja selline.
01:11
(Laughter)
18
59304
1363
(Naer)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Kujult on see veidi imelik,
kuigi tegu on tavaolukorraga.
kuigi tegu on tavaolukorraga.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Sellele istuda küll ei tahaks.
01:16
(Laughter)
21
64516
2551
(Naer)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Küsigem aga endalt, mis on
praeguse anomaalia põhjuseks?
praeguse anomaalia põhjuseks?
01:23
Some people would say it's technology.
23
71841
2552
Mõnede arvates on see tehnoloogia.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Tõepoolest, tehnoloogia on
inimajaloo vältel akumuleerunud,
inimajaloo vältel akumuleerunud,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
ja hetkel areneb tehnoloogia
erakordselt kiiresti.
erakordselt kiiresti.
01:35
that is the proximate cause,
26
83713
1565
See on ligikaudne põhjus,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
mis seletab, miks oleme
praegu nii produktiivsed.
praegu nii produktiivsed.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Tahan aga vaadata kaugemale,
et leida tegelik põhjus.
et leida tegelik põhjus.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Vaadake neid kahte
silmapaistvat härrasmeest.
silmapaistvat härrasmeest.
01:48
We have Kanzi --
30
96880
1600
Üks neist on Kanzi.
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
Ta on õppinud selgeks 200 tähendusmärki,
mis on tema jaoks erakordne saavutus.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
Ed Witten aga käivitas
teise superstringirevolutsiooni.
teise superstringirevolutsiooni.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Kui vaatame kapoti alla,
siis mida me näeme?
siis mida me näeme?
02:01
basically the same thing.
34
109141
1570
Sisuliselt sama pilti.
02:02
One is a little larger,
35
110711
1813
Üks on natuke suurem
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
ning ülesehituselt ehk veidi keerukam.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Need nähtamatud erinevused ei saa
siiski olla kuigi olulised,
siiski olla kuigi olulised,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
sest meie viimasest ühisest eellasest
eristab meid vaid 250 000 põlvkonda.
02:15
since our last common ancestor.
39
123379
1732
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
On teada, et keerukate mehhanismide
väljakujunemiseks läheb kaua aega.
väljakujunemiseks läheb kaua aega.
02:22
So a bunch of relatively minor changes
41
130000
2499
Vaid mõned suhteliselt väikesed muutused
02:24
take us from Kanzi to Witten,
42
132499
3067
on toonud meid Kanzist Wittenini,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
murdunud puuokstest mandrite-
vaheliste ballistiliste rakettideni.
vaheliste ballistiliste rakettideni.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
On üsna ilmne, et kõik,
mida oleme saavutanud
mida oleme saavutanud
02:36
and everything we care about,
45
144774
1378
ja mis on meile oluline,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
sõltub vaid mõnest suhteliselt väikesest
muutusest, mis kujundasid inimmõistuse.
muutusest, mis kujundasid inimmõistuse.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Oluline on mõista,
et mis tahes edasised muutused,
et mis tahes edasised muutused,
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
mis võivad avaldada olulist mõju
mõtlemise mehhanismidele,
mõtlemise mehhanismidele,
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
võivad kaasa tuua väga tõsiseid tagajärgi.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Mul on kolleege, kelle arvates
oleme millegi lävel,
oleme millegi lävel,
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
mis võib põhjustada mõtlemise
mehhanismis radikaalseid muutusi,
mehhanismis radikaalseid muutusi,
03:03
and that is machine superintelligence.
52
171134
3213
ja see miski on tehislik superintellekt.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Tehisintellekt tähendas varasemalt
käskude sisestamist kastikestesse,
käskude sisestamist kastikestesse,
03:11
You would have human programmers
54
179086
1665
sellega tegelesid programmeerijad,
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
kes lõid nn tarku lahendusi
peene käsitööna.
peene käsitööna.
03:15
You build up these expert systems,
56
183886
2086
Nii ehitati üles ekspertsüsteemid
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
ja neist oli kasu teatud ülesannete puhul,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
kuid nad olid väga haprad
ja vähepaindlikud.
ja vähepaindlikud.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Väljundi kvaliteet olenes praktiliselt
ainult sisestatud infost.
ainult sisestatud infost.
03:26
But since then,
60
194410
997
Nüüdseks aga on tehisintellekti vallas
toimunud paradigma nihe.
toimunud paradigma nihe.
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Täna keskendutakse hoopis
masinõppimise arendamisele.
masinõppimise arendamisele.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Selle asemel, et valmistada andmeesitlust
ja tarvikuid käsitööna,
ja tarvikuid käsitööna,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
luuakse algoritme, mis suudavad õppida,
ja seda ka töötlemata tajuandmetest.
ja seda ka töötlemata tajuandmetest.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Sisuliselt sama asi, mida teeb imik.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Tulemuseks on tehisintellekt, mis pole
piiratud vaid ühe valdkonnaga:
piiratud vaid ühe valdkonnaga:
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
sama süsteem võib õppida tõlkima
ükskõik milliste keelte vahel
ükskõik milliste keelte vahel
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
või õppida Atari konsoolil mängima
mis tahes arvutimängu.
mis tahes arvutimängu.
04:05
Now of course,
69
233338
1779
Loomulikult
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
ei ole tehisintellektil siiski kaugeltki
nii võimsat valdkondadeülest oskust
nii võimsat valdkondadeülest oskust
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
õppida ja planeerida kui inimestel.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Ajukoores on endiselt mõningaid
algoritmilisi iseärasusi,
algoritmilisi iseärasusi,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
mida pole suudetud
masinates jäljendada.
masinates jäljendada.
04:19
So the question is,
74
247886
1899
Küsimus on seega,
kui kaugel veel oleme sellest
kui kaugel veel oleme sellest
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
et suudaksime neid iseärasusi jäljendada?
04:26
A couple of years ago,
76
254245
1083
Paar aastat tagasi
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
viisime läbi küsitluse juhtivate
tehisintellektiekspertide seas,
tehisintellektiekspertide seas,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
et teada saada, mida nad arvavad.
Üks küsimustest oli selline:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"Mis aastaks on teie hinnangul
meil 50% tõenäosus,
meil 50% tõenäosus,
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
et tehisintellekt on jõudnud
inimesega võrdsele tasemele?"
inimesega võrdsele tasemele?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Defineerimise inimesega võrdse taseme sellisena,
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
mis võimaldaks teha mis tahes tööd
sama hästi kui täiskasvanud inimene,
sama hästi kui täiskasvanud inimene,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
samuti nagu päris-inimene,
mitte vaid ühes kindlas valdkonnas.
mitte vaid ühes kindlas valdkonnas.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Keskmine vastus oli 2040. või 2050. aasta,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
sõltuvalt sellest, milliselt
ekspertide grupilt küsiti,
ekspertide grupilt küsiti,
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
See võib juhtuda oluliselt
hiljem või varem,
hiljem või varem,
05:02
the truth is nobody really knows.
87
290339
1940
õigupoolest ei oska keegi täpselt öelda.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Mida me teame, on see,
et masina andmetöötlusvõimekus
et masina andmetöötlusvõimekus
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
ületab kaugelt bioloogilise
võimekuse piirid.
võimekuse piirid.
05:15
This comes down to physics.
90
303241
2378
Selle on seletatav füüsikaga.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Bioloogiline neuron töötab sagedusel
umbes 200 hertsi, st 200 tsüklit sekundis.
umbes 200 hertsi, st 200 tsüklit sekundis.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Kuid tänapäevane transistorgi
opereerib juba gigahertsides.
opereerib juba gigahertsides.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Neuronid levivad närvikiu telgniitides
aeglaselt, max 100 meetrit sekundis
aeglaselt, max 100 meetrit sekundis
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Arvutites võivad signaalid
levida aga valguskiirusel.
levida aga valguskiirusel.
05:35
There are also size limitations,
95
323079
1869
On ka suuruse piirangud:
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
inimaju peab mahtuma ära kolju sisse,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
arvuti võib olla aga laohoone
mõõtu või suuremgi.
mõõtu või suuremgi.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Tehisintellekti potentsiaal
on praegu mateerias peidus,
on praegu mateerias peidus,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
samamoodi nagu aatomi jõud oli
kogu inimkonna ajaloo vältel peidus,
kogu inimkonna ajaloo vältel peidus,
05:56
patiently waiting there until 1945.
100
344047
4405
oodates kannatlikult kuni 1945. aastani.
06:00
In this century,
101
348452
1248
Sellel sajandil
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
võivad teadlased äratada
tehisintellekti jõu.
tehisintellekti jõu.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Ja ma arvan, et siis saame näha
tõelist intellektiplahvatust.
tõelist intellektiplahvatust.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Enamik inimesi, mõeldes sellele,
kes on tark ja kes rumal,
kes on tark ja kes rumal,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
kujutlevad ilmselt midagi sellist:
06:17
So at one end we have the village idiot,
106
365386
2598
skaala ühes otsas on külaloll
06:19
and then far over at the other side
107
367984
2483
ja siis kaugel teises otsas
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
Ed Witten, Albert Einstein või
kes iganes teie lemmikguru on.
kes iganes teie lemmikguru on.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Kuid ma arvan, et tehisintellekti
perspektiivist vaadatuna
perspektiivist vaadatuna
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
on tegelik pilt pigem selline:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
tehisintellekt alustab null-punktist
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
ning pärast aastaid kestnud
väga tõsist tööd
väga tõsist tööd
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
jõuab tehisintellekt lõpuks
hiirega võrreldavale tasemele,
hiirega võrreldavale tasemele,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
suutes orienteeruda
keerukas keskkonnas
keerukas keskkonnas
06:47
as well as a mouse can.
115
395921
1987
sama hästi nagu hiir.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Siis kulub veel palju aastaid
tõsist tööd ja investeeringuid,
tõsist tööd ja investeeringuid,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
et tehisintellekt võiks jõuda
samale tasemele šimpansiga.
samale tasemele šimpansiga.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Seejärel kulub veelgi rohkem aastaid
tõeliselt rasket tööd,
tõeliselt rasket tööd,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
et saavutada külalolli
tasemel tehisintellekt.
tasemel tehisintellekt.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Aga sealt vaid hetke pärast oleme
juba Ed Wittenist möödas,
juba Ed Wittenist möödas,
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
kuid inimkond ei olegi lõpp-peatus.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Tõenäoliselt vuhiseb
ta sealt kiirelt mööda.
ta sealt kiirelt mööda.
07:14
Now this has profound implications,
123
422247
1984
Potentsiaalsed tagajärjed on tõsised,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
eriti mis puudutab võimu ja kontrolli.
07:20
For example, chimpanzees are strong --
125
428093
1899
Šimpansid on näiteks väga tugevad,
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
umbes kaks korda tugevamad kui inimesed.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Ometi oleneb Kanzi ja ta sõprade
saatus palju rohkem inimeste,
saatus palju rohkem inimeste,
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
kui nende endi tegevusest.
Kui superintellekt on kord juba loodud,
07:37
Once there is superintelligence,
129
445228
2314
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
võib inimkonna saatus hakata sõltuma
sellest, mida see superintellekt teeb.
sellest, mida see superintellekt teeb.
07:44
Think about it:
131
452451
1057
Mõelgem sellele:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
tehisintellekt on leiutiste seas viimane,
mille inimkond peab ise looma.
mille inimkond peab ise looma.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Peale seda on masinad leiutamises
osavamad kui me ise
osavamad kui me ise
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
ja seda digitaalsetel ajaskaaladel.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
See tähendab sisuliselt
tulevikku hüppamist.
tulevikku hüppamist.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Mõelge kõikvõimalikele pöörastele
tehnoloogiatele, mida olete ettekujutanud,
tehnoloogiatele, mida olete ettekujutanud,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
ja milleni inimesed oleksid
võib-olla kunagi ka jõudnud:
võib-olla kunagi ka jõudnud:
08:07
cures for aging, space colonization,
138
475322
3258
vananemise peatamine,
kosmose koloniseerimine,
kosmose koloniseerimine,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
isepaljunevad nanorobotid või
inimteadvuse üleslaadimine arvutitesse,
inimteadvuse üleslaadimine arvutitesse,
08:14
all kinds of science fiction-y stuff
140
482311
2159
kõikvõimalikud ulmelised asjad,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
mis on ometi kooskõlas füüsikaseadustega.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Kõike seda suudaks superintellekt
välja mõelda ja ilmselt üsna kiirelt.
välja mõelda ja ilmselt üsna kiirelt.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Sellise tehnoloogilise
kompetentsiga superintellekt
kompetentsiga superintellekt
08:28
would be extremely powerful,
144
496007
2179
oleks äärmiselt võimas
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
ning vähemalt mõnel juhul
võimeline saavutama oma tahtmist.
võimeline saavutama oma tahtmist.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Niisiis oleks tulevik kujundatud
tehisintellekti eelistuste järgi.
tehisintellekti eelistuste järgi.
On hea küsimus,
et mida nad siis tahaksid teha?
et mida nad siis tahaksid teha?
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
08:46
Here it gets trickier.
148
514244
1769
Siin läheb asi keerulisemaks.
08:48
To make any headway with this,
149
516013
1435
Et sellele küsimusele vastata,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
peame kõigepealt hoiduma
antropomorfismist.
antropomorfismist.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
See on irooniline,
sest iga ajaleheartikli juures,
sest iga ajaleheartikli juures,
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
mis räägib tehisintellekti
tulevikust, on selline pilt:
tulevikust, on selline pilt:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Ma arvan, et peame sellele küsimusele
vastamisel mõtlema abstraktsemalt,
vastamisel mõtlema abstraktsemalt,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
mitte lennukate Hollywoodi
stsenaariumide stiilis.
stsenaariumide stiilis.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Peame mõtlema intellektist
kui optimiseerimisprotsessist,
kui optimiseerimisprotsessist,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
mis juhib meie tulevikku teatud
konkreetsete konfiguratsioonide suunas.
konkreetsete konfiguratsioonide suunas.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Superintellekt on tõeliselt
tõhus optimiseerimisprotsess.
tõhus optimiseerimisprotsess.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Kasutades olemasolevaid vahendeid,
toimib see äärmiselt efektiivselt
toimib see äärmiselt efektiivselt
09:26
in which its goal is realized.
159
554098
1909
kuni eesmärk on saavutatud.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
See tähendab, et enam pole kõrge intellekt
09:31
being highly intelligent in this sense,
161
559119
2734
seotud eesmärkidega,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
mis meie, inimeste, arust on
on olulised ja mõistlikud.
on olulised ja mõistlikud.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Oletame, et anname tehisintellektile
ülesande panna meid naeratama.
ülesande panna meid naeratama.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Kui tehisintellekt on madal,
püüab see lahutada meie meelt,
püüab see lahutada meie meelt,
09:46
that cause its user to smile.
165
574097
2517
et kutsuda esile naeratus.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Kui tehisintellektist saab superintellekt,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
mõistab see, et eesmärgi saavutamiseks
on olemas efektiivsem viis:
on olemas efektiivsem viis:
09:54
take control of the world
168
582554
1922
saada maailma valitsejaks
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
ja torgata inimeste
näolihastesse elektroodid,
näolihastesse elektroodid,
09:59
to cause constant, beaming grins.
170
587638
2941
mis manavad meie näole
püsiva ja särava irve.
püsiva ja särava irve.
10:02
Another example,
171
590579
1035
Teine näide:
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
oletame, et tehisintellekt peab
lahendama keerulise matemaatikaülesande
lahendama keerulise matemaatikaülesande
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Superintellektiks saades
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
mõistab ta, et efektiivseim viis
ülesande lahendamiseks
ülesande lahendamiseks
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
on muuta terve planeet
hiiglaslikuks arvutiks,
hiiglaslikuks arvutiks,
10:16
so as to increase its thinking capacity.
176
604035
2246
et suurendada selle analüüsivõimet.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Pange tähele, et see annab
tehisintellektile praktilise õigustuse
tehisintellektile praktilise õigustuse
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
teha asju, mida me
võib-olla heaks ei kiidaks.
võib-olla heaks ei kiidaks.
10:23
Human beings in this model are threats,
179
611561
1935
Sellise skeemi puhul on
inimesed riskifaktorid,
inimesed riskifaktorid,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
kes võivad osutuda takistuseks
ülesande lahendamisel.
ülesande lahendamisel.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Tegelikkuses ilmselt päris
selliseid hulle asju ei juhtu,
selliseid hulle asju ei juhtu,
10:32
these are cartoon examples.
182
620701
1753
need on pigem filmilikud näited.
10:34
But the general point here is important:
183
622454
1939
Mis on siin aga oluline, on see,
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
et kui luua tõeliselt võimas
optimiseerimisprotsess,
optimiseerimisprotsess,
10:39
to maximize for objective x,
185
627266
2234
et maksimiseerida eesmärgi x saavutamist,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
tuleb veenduda, et x-i definitsioon
10:43
incorporates everything you care about.
187
631776
2469
hõlmab endas kõike, mis sulle oluline on.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Seda õppetundi võime
kohata paljudes müütides.
kohata paljudes müütides.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Kuningas Midas soovis, et kõik,
mida ta puudutab, muutuks kullaks.
mida ta puudutab, muutuks kullaks.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Ta puudutas oma tütart
ja too muutus kullaks.
ja too muutus kullaks.
10:59
He touches his food, it turns into gold.
191
647378
2553
Ta puudutas oma toitu
ja see muutus kullaks.
ja see muutus kullaks.
11:01
This could become practically relevant,
192
649931
2589
See müüt võib osutuda
reaalselt asjakohaseks
reaalselt asjakohaseks
11:04
not just as a metaphor for greed,
193
652520
2070
mitte ainult ahnuse metafoorina,
11:06
but as an illustration of what happens
194
654590
1895
vaid ka näitena sellest, mis juhtub,
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
kui luua võimas optimiseerimisprotsess
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
ja anda sellele mitmeti mõistetavaid
või ebatäpseid eesmärke.
või ebatäpseid eesmärke.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Võib vastu väita, et kui arvuti hakkab
inimestele elektroode näkku panema,
inimestele elektroode näkku panema,
11:21
we'd just shut it off.
198
669300
2265
siis peame arvuti lihtsalt välja lülitama.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
Esiteks ei pruugi see olla lihtne,
kui oleme saanud süsteemist sõltuvaks.
kui oleme saanud süsteemist sõltuvaks.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
Kuidas näiteks internetti välja lülitada?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Teiseks — miks ei ole šimpansid
inimesi välja lülitanud?
inimesi välja lülitanud?
11:37
or the Neanderthals?
202
685747
1551
Või neandertaallased?
11:39
They certainly had reasons.
203
687298
2666
Põhjusi oleks selleks küllaga.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Meie väljalülitamisnupp on näiteks siinsamas.
11:44
(Choking)
205
692759
1554
(Kägistab)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Põhjus on selles, et me oleme
intelligetsed vastased.
intelligetsed vastased.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
Me suudame ohte ette näha ja neid vältida.
11:51
But so could a superintelligent agent,
208
699966
2504
Kuid seda suudaks ka superintellekt
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
ja ta oleks selles
märksa osavam kui meie.
märksa osavam kui meie.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Me ei peaks olema nii kindlad,
et olukord on meie kontrolli all.
et olukord on meie kontrolli all.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Võime oma ülesannet lihtsustada,
12:08
putting the A.I. in a box,
212
716358
1590
sulgedes tehisintellekti nö kasti
12:09
like a secure software environment,
213
717948
1796
ehk turvalisse tarkvarakeskkonda,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
virtuaalreaalsuse simulatsiooni,
millest see välja ei pääse.
millest see välja ei pääse.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Kui kindlad saame aga olla, et
tehisintellekt ei leiaks seal mõnd viga?
tehisintellekt ei leiaks seal mõnd viga?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Arvestades, et inimhäkkerid
avastavad vigu kogu aeg,
avastavad vigu kogu aeg,
12:22
I'd say, probably not very confident.
217
730081
3036
ütleks ma, et ilmselt mitte väga.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Niisiis tõmbame välja
võrgukaabli, et luua õhuauk,
võrgukaabli, et luua õhuauk,
12:30
but again, like merely human hackers
219
738785
2668
kuid jälle, isegi inimhäkkerid hiilivad
õhuaukudest pidevalt mööda
õhuaukudest pidevalt mööda
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
kasutades sotsiaalseid meetodeid.
12:36
Right now, as I speak,
221
744834
1259
Samal ajal, kui ma siin räägin,
on kuskil firmas mõni töötaja,
on kuskil firmas mõni töötaja,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
kes on nõustunud andma oma kontoandmed
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
kellelegi, kes väitis end
olevat IT osakonnast.
olevat IT osakonnast.
12:46
More creative scenarios are also possible,
225
754574
2127
Võimalikud on ka põnevamad asjade arengud.
12:48
like if you're the A.I.,
226
756701
1315
Näiteks võib tehisintellekt
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
kujutleda oma siseringes
looklemas elektroode,
looklemas elektroode,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
et luua raadiolaineid,
mille kaudu suhelda.
mille kaudu suhelda.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Või siis teeskleb ta, et on rikkis,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
ja kui programmeerijad avavad ta,
et näha, milles on viga,
et näha, milles on viga,
13:02
they look at the source code -- Bam! --
231
770931
1936
ja vaatavad lähtekoodi — põmm! —
13:04
the manipulation can take place.
232
772867
2447
ja manipulatsioon on õnnestunud.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Või siis kavandab ta meie jaoks
mingi nutika tehnoloogilise lahenduse
mingi nutika tehnoloogilise lahenduse
13:10
and when we implement it,
234
778744
1398
ja kui seda rakendame,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
avaldub mingi salajane kõrvalmõju,
mida tehisintellekt oli planeerinud.
mida tehisintellekt oli planeerinud.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Mõte on selles, et me ei tohiks
olla kindlad oma võimes
olla kindlad oma võimes
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
hoida superintellektist džinni
igavesti oma pudelis luku taga.
igavesti oma pudelis luku taga.
13:23
Sooner or later, it will out.
238
791810
2254
Varem või hiljem pääseb see välja.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Ma usun, et peame mõtlema välja,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
kuidas luua selline superintellekt,
mis isegi lahtipääsemise korral
mis isegi lahtipääsemise korral
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
ei kujutaks see meile ohtu, sest ta
oleks põhimõtteliselt meie poolel,
oleks põhimõtteliselt meie poolel,
13:38
because it shares our values.
242
806438
1899
jagades meiega samu väärtusi.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Ma ei näe pääsu sellest
keerulisest probleemist.
keerulisest probleemist.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Tegelikult üsna optimistlik,
et seda on võimalik lahendada.
et seda on võimalik lahendada.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Meil ei tarvitse koostada pikka nimekirja
asjadest, mida väärtustame,
asjadest, mida väärtustame,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
või, hullem veel, esitada seda
mõnes programmeerimiskeeles
mõnes programmeerimiskeeles
13:55
like C++ or Python,
247
823937
1454
nagu C++ või Python.
13:57
that would be a task beyond hopeless.
248
825391
2767
See oleks lootusetu ettevõtmine.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Selle asemel võiks luua tehisintellekti,
mis õpiks väärtustama seda,
mis on meile oluline
mis on meile oluline
14:04
to learn what we value,
250
832455
2771
ja mis oleks programmeritud nii,
et ta on automaatselt motiveeritud
et ta on automaatselt motiveeritud
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
järgima meiega samu väärtusi või
käituma nii, nagu meile meeldiks.
käituma nii, nagu meile meeldiks.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Seeläbi mõjutaksime tema
intellekti nii palju, kui võimalik,
intellekti nii palju, kui võimalik,
14:21
to solve the problem of value-loading.
254
849152
2745
ja laadiksime talle meie väärtused.
14:24
This can happen,
255
852727
1512
See võibki nii minna
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
ja tulemus võib olla
inimkonnale väga positiivne.
inimkonnale väga positiivne.
Aga see ei toimu automaatselt.
14:29
But it doesn't happen automatically.
257
857835
3957
Intellektiplahvatuse
jaoks tuleb paika seada
jaoks tuleb paika seada
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
täpselt õiged algtingimused,
14:39
if we are to have a controlled detonation.
260
867653
3530
kui soovime, et plahvatus
ei väljuks kontrolli alt.
ei väljuks kontrolli alt.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Tehisintellekti väärtused peavad
kattuma meie omadega
kattuma meie omadega
14:45
not just in the familiar context,
262
873801
1760
mitte ainult tavaolukordades,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
kus me saame lihtsasti
kontrollida ta käitumist,
kontrollida ta käitumist,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
vaid ka kõigis uudsetes olukordades,
mis võivad ette tulla
suvalisel ajahetkel tulevikus.
suvalisel ajahetkel tulevikus.
14:53
in the indefinite future.
265
881233
1557
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
On ka mõned esoteerilised probleemid,
mis vajavad lahendamist:
mis vajavad lahendamist:
14:59
the exact details of its decision theory,
267
887527
2089
tehisintellekti otsustusteooria detailid,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
toimetulek loogilise ebamäärasusega jne.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Tehnilised probleemid,
mis tuleb ära lahendada,
mis tuleb ära lahendada,
15:08
look quite difficult --
270
896432
1113
näivad üsna keerulised,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
mitte küll nii keerulised,
kui superintellekti enda loomine,
kui superintellekti enda loomine,
15:12
but fairly difficult.
272
900925
2868
aga siiski küllaltki keerulised.
15:15
Here is the worry:
273
903793
1695
Mure on aga järgmine:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
superintellekti loomine on
tõeliselt raske väljakutse,
tõeliselt raske väljakutse,
ohutu superintellekti loomine
15:22
Making superintelligent A.I. that is safe
275
910172
2548
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
nõuab aga veelgi suuremat pingutust.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Olukord muutub riskantseks,
kui keegi juhtub täitma esimese ülesande,
kui keegi juhtub täitma esimese ülesande,
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
täitmata teist ülesannet:
15:34
of ensuring perfect safety.
279
922704
1901
kindlustada meie turvalisus.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Seega leian, et peaksime
enne välja töötama lahenduse,
enne välja töötama lahenduse,
15:40
to the control problem in advance,
281
928706
2822
kuidas tehisintellekti kontrollida,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
et see oleks olemas siis,
kui seda vajame.
kui seda vajame.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Võib juhtuda, et me ei saa
turvalisust ennetavalt tagada,
turvalisust ennetavalt tagada,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
sest mõned elemendid
saab paika panna alles siis,
saab paika panna alles siis,
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
kui on teada kõik detailid struktuuri
kohta, kus seda kasutatakse.
kohta, kus seda kasutatakse.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Aga mida suuremas ulatuses suudame
turvalisuse eelnevalt kindlustada,
turvalisuse eelnevalt kindlustada,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
seda tõenäolisem on, et
üleminek tehisintellekti ajastusse
üleminek tehisintellekti ajastusse
16:04
will go well.
288
952766
1540
laabub hästi.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Mulle paistab see asjana,
mille nimel tasub pingutada,
mille nimel tasub pingutada,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
ja ma kujutan ette,
et kui kõik läheb hästi,
et kui kõik läheb hästi,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
siis meenutavad inimesed
miljoni aasta pärast praegust sajandit
miljoni aasta pärast praegust sajandit
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
ja ehk isegi mõtlevad, et kõige tähtsam
asi, mida me korda saatsime,
asi, mida me korda saatsime,
16:22
was to get this thing right.
293
970942
1567
oligi just sellega hakkamasaamine.
16:24
Thank you.
294
972509
1689
Tänan.
16:26
(Applause)
295
974198
2813
(Aplaus)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com