ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

Nick Bostrom: Što će se dogoditi kada računala postanu pametnija od nas?

Filmed:
4,632,705 views

Umjetna inteligencija postaje sve pametnija - prema istraživanju, u ovom bi stoljeću UI mogla biti jednako "pametna" kao ljudsko biće. A onda će, kaže Nick Bostrom, zavladati nama: "Strojna inteligencija je posljednji izum koje će čovječanstvo ikada trebati." Filozof i tehnolog nas traži da dobro razmislimo o svijetu koji upravo izgrađujemo, svijetu vođenom strojevima koji razmišljaju. Hoće li nam oni pomoći u očuvanju čovječanstva i naših vrijednosti ili će imati vlastita?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchmnogo of mathematiciansmatematičari,
philosophersfilozofi and computerračunalo scientistsznanstvenici,
0
570
4207
Radim s mnogo matematičara,
filozofa i računalnih znanstvenika
00:16
and we sitsjediti around and think about
the futurebudućnost of machinemašina intelligenceinteligencija,
1
4777
5209
s kojima razmišljam o budućnosti
strojne inteligencije,
00:21
amongmeđu other things.
2
9986
2044
među drugim stvarima.
00:24
Some people think that some of these
things are sortvrsta of scienceznanost fiction-yfikcija-y,
3
12030
4725
Neki ljudi misle da su te stvari
u zoni znanstvene fantastike,
00:28
fardaleko out there, crazylud.
4
16755
3101
nešto ludo, nestvarno.
00:31
But I like to say,
5
19856
1470
Ali ja volim reći
00:33
okay, let's look at the modernmoderan
humanljudski conditionstanje.
6
21326
3604
ok, pogledajmo uvjete
modernoga života.
00:36
(LaughterSmijeh)
7
24930
1692
(Smijeh)
00:38
This is the normalnormalan way for things to be.
8
26622
2402
Ovo je normalno stanje stvari.
00:41
But if we think about it,
9
29024
2285
Ali ako malo razmislimo o tome,
00:43
we are actuallyzapravo recentlynedavno arrivedstigao
guestsgosti on this planetplaneta,
10
31309
3293
mi smo zapravo tek nedavno
stigli na ovaj planet,
00:46
the humanljudski speciesvrsta.
11
34602
2082
mi, ljudska vrsta.
00:48
Think about if EarthZemlja
was createdstvorio one yeargodina agoprije,
12
36684
4746
Kad bismo gledali na Zemlju kao da
je stvorena prije godinu dana,
00:53
the humanljudski speciesvrsta, then,
would be 10 minutesminuta oldstar.
13
41430
3548
onda bi ljudska vrsta bila
stara deset minuta.
00:56
The industrialindustrijski eradoba startedpočeo
two secondssekundi agoprije.
14
44978
3168
Industrijska je era počela
prije dvije sekunde.
01:01
AnotherJoš jedan way to look at this is to think of
worldsvijet GDPBDP-A over the last 10,000 yearsgodina,
15
49276
5225
Drugi pogled na ovo jest taj da promatramo
svjetski BDP u zadnjih 10 000 godina.
01:06
I've actuallyzapravo takenpoduzete the troublenevolja
to plotzemljište this for you in a graphgrafikon.
16
54501
3029
Odvojio sam nešto vremena i
to za vas grafički prikazao.
01:09
It looksizgled like this.
17
57530
1774
Izgleda ovako.
01:11
(LaughterSmijeh)
18
59304
1363
(Smijeh)
01:12
It's a curiousznatiželjan shapeoblik
for a normalnormalan conditionstanje.
19
60667
2151
Neobičan je to oblik za
uobičajene uvjete.
01:14
I sure wouldn'tne bi want to sitsjediti on it.
20
62818
1698
Ja sigurno ne bih sjedio na njemu.
01:16
(LaughterSmijeh)
21
64516
2551
(Smijeh)
01:19
Let's askpitati ourselvessebe, what is the causeuzrok
of this currentstruja anomalyanomalija?
22
67067
4774
Zapitajmo se koji je uzrok
ove trenutne anomalije.
01:23
Some people would say it's technologytehnologija.
23
71841
2552
Neki bi ljudi rekli da je tehnologija.
01:26
Now it's truepravi, technologytehnologija has accumulatedakumulirana
throughkroz humanljudski historypovijest,
24
74393
4668
Istina je da se tijekom povijesti
tehnologija nagomilavala
01:31
and right now, technologytehnologija
advancesnapredak extremelykrajnje rapidlybrzo --
25
79061
4652
i u ovom se trenutku
tehnologija jako brzo razvija --
01:35
that is the proximateneposredan causeuzrok,
26
83713
1565
to je neposredni uzrok,
01:37
that's why we are currentlytrenutno
so very productiveproduktivan.
27
85278
2565
i zbog toga smo trenutno
jako produktivni.
01:40
But I like to think back furtherunaprijediti
to the ultimateultimativno causeuzrok.
28
88473
3661
Ali razmislimo o krajnjem uzroku.
01:45
Look at these two highlyvisoko
distinguishedrazlikuje gentlemengospoda:
29
93114
3766
Pogledajte ova dva vrlo
istaknuta gospodina:
01:48
We have KanziKanzi --
30
96880
1600
imamo Kanzija --
01:50
he's masteredsvladao 200 lexicalleksički
tokenstokeni, an incrediblenevjerojatan featpodvig.
31
98480
4643
koji je svladao 200 leksičkih
znakova što je nevjerojatan podvig.
01:55
And EdEd WittenWitten unleashedje dovela the seconddrugi
superstringsuperstruna revolutionrevolucija.
32
103123
3694
I Ed Witten koji je započeo drugu
revoluciju superstruna.
01:58
If we look underpod the hoodNapa,
this is what we find:
33
106817
2324
Ako pomno pogledamo,
uočit ćemo ovo:
02:01
basicallyu osnovi the sameisti thing.
34
109141
1570
u principu istu stvar.
02:02
One is a little largerveći,
35
110711
1813
Jedna je malo veća,
02:04
it maybe alsotakođer has a fewnekoliko tricksUmjesto
in the exacttočno way it's wiredžičani.
36
112524
2758
možda ima par specifičnosti
u načinu na koji je sklopljena.
02:07
These invisiblenevidljiv differencesRazlike cannotNe možete
be too complicatedsložen, howevermeđutim,
37
115282
3812
Međutim, ove nevidljive razlike
ne mogu biti jako složene
02:11
because there have only
been 250,000 generationsgeneracije
38
119094
4285
jer nas dijeli samo 250 000 generacija
02:15
sinceod our last commonzajednička ancestorpredak.
39
123379
1732
od zadnjeg zajedničkog pretka.
02:17
We know that complicatedsložen mechanismsmehanizmi
take a long time to evolverazviti.
40
125111
3849
Znamo da se složeni
mehanizmi dugo razvijaju.
02:22
So a bunchmnogo of relativelyrelativno minormanji changespromjene
41
130000
2499
Tako da nas hrpa relativno malih promjena
02:24
take us from KanziKanzi to WittenWitten,
42
132499
3067
vodi od Kanzija do Wittena,
02:27
from broken-offprekinute treedrvo branchesgrane
to intercontinentalInterContinental ballisticbalistički missilesrakete.
43
135566
4543
od polomljenih grana do
interkontinentalnih balističkih raketa.
02:32
So this then seemsčini se prettyprilično obviousočigledan
that everything we'veimamo achievedpostići,
44
140839
3935
Onda je poprilično očito
da sve što smo postigli
02:36
and everything we carebriga about,
45
144774
1378
i sve do čega nam je stalo
02:38
dependsovisi cruciallyiznimno on some relativelyrelativno minormanji
changespromjene that madenapravljen the humanljudski mindum.
46
146152
5228
uvelike ovisi o relativno malim
promjenama koje čine ljudski um.
02:44
And the corollaryposljedica, of coursenaravno,
is that any furtherunaprijediti changespromjene
47
152650
3662
Nužna je posljedica ta
da sve daljnje izmjene
02:48
that could significantlyznačajno changepromijeniti
the substratesupstrat of thinkingmišljenje
48
156312
3477
koje bi mogle značajno promijeniti
način razmišljanja
02:51
could have potentiallypotencijalno
enormousogroman consequencesposljedice.
49
159789
3202
mogu imati potencijalno
ogromne posljedice.
02:56
Some of my colleagueskolege
think we're on the vergegraničiti se
50
164321
2905
Neki od mojih kolega
smatraju da smo na rubu
02:59
of something that could causeuzrok
a profounddubok changepromijeniti in that substratesupstrat,
51
167226
3908
nečega što bi moglo izazvati
takve temeljite promjene,
03:03
and that is machinemašina superintelligencesuperinteligencija.
52
171134
3213
a radi se o strojnoj superinteligenciji.
03:06
ArtificialUmjetni intelligenceinteligencija used to be
about puttingstavljanje commandsnaredbe in a boxkutija.
53
174347
4739
Prije je umjetna inteligencija bila
pisanje naredbi u kutiju.
03:11
You would have humanljudski programmersprogramera
54
179086
1665
Ljudski bi programeri
03:12
that would painstakinglymukotrpno
handcraftručni rad knowledgeznanje itemsstavke.
55
180751
3135
mukotrpno ručno stvarali stavke znanja.
03:15
You buildizgraditi up these expertstručnjak systemssustavi,
56
183886
2086
Izgradite takve stručne sustave
03:17
and they were kindljubazan of usefulkoristan
for some purposessvrhe,
57
185972
2324
koji su za određene svrhe korisni,
03:20
but they were very brittlelomljiv,
you couldn'tne mogu scaleljestvica them.
58
188296
2681
ali su bili krhki i
nisu bili mjerljivi.
03:22
BasicallyU osnovi, you got out only
what you put in.
59
190977
3433
U principu ste dobivali samo
ono što ste unijeli.
03:26
But sinceod then,
60
194410
997
Ali, od onda se
03:27
a paradigmparadigma shiftsmjena has takenpoduzete placemjesto
in the fieldpolje of artificialUmjetna intelligenceinteligencija.
61
195407
3467
dogodila promjena u pristupu
u polju umjetne inteligencije.
03:30
TodayDanas, the actionakcijski is really
around machinemašina learningučenje.
62
198874
2770
Danas se uglavnom radi o
učenju strojeva.
03:34
So ratherradije than handcraftinghandcrafting knowledgeznanje
representationsreprezentacije and featuresznačajke,
63
202394
5387
Umjesto ručnog unosa prikaza
znanja i značajki,
03:40
we createstvoriti algorithmsalgoritmi that learnnaučiti,
oftenčesto from rawsirov perceptualuočljive datapodaci.
64
208511
5554
stvaramo algoritme koji uče, i to često
iz čistih perceptualnih podataka.
03:46
BasicallyU osnovi the sameisti thing
that the humanljudski infantdječji does.
65
214065
4998
Načelno je to ista stvar
koju čini ljudsko dijete.
03:51
The resultproizlaziti is A.I. that is not
limitedograničen to one domaindomena --
66
219063
4207
Rezultat je taj da UI nije
ograničena na jedno područje --
03:55
the sameisti systemsistem can learnnaučiti to translatePrevedi
betweenizmeđu any pairsparovi of languagesjezici,
67
223270
4631
isti sustav može naučiti prevoditi
bilo koju kombinaciju jezika
03:59
or learnnaučiti to playigrati any computerračunalo gameigra
on the AtariAtari consolekonzola.
68
227901
5437
ili naučiti igrati bilo koju
računalnu igru na Atariju.
04:05
Now of coursenaravno,
69
233338
1779
Naravno,
04:07
A.I. is still nowherenigdje nearblizu havingima
the sameisti powerfulsnažan, cross-domainviše domena
70
235117
3999
UI nije ni blizu posjedovanja
iste jake, unakrsne sposobnosti
04:11
abilitysposobnost to learnnaučiti and planplan
as a humanljudski beingbiće has.
71
239116
3219
učenja i planiranja raznih područja
kao što to radi ljudsko biće.
04:14
The cortexkorteks still has some
algorithmicalgoritamski tricksUmjesto
72
242335
2126
Korteks ima neke algoritamske trikove
04:16
that we don't yetjoš know
how to matchutakmica in machinesstrojevi.
73
244461
2355
koje ne znamo kako prenijeti strojevima.
04:19
So the questionpitanje is,
74
247886
1899
Tako da je pitanje
04:21
how fardaleko are we from beingbiće ableu stanju
to matchutakmica those tricksUmjesto?
75
249785
3500
koliko smo blizu tome da
uskladimo te trikove.
04:26
A couplepar of yearsgodina agoprije,
76
254245
1083
Prije nekoliko godina
04:27
we did a surveypregled of some of the world'ssvijetu
leadingvodeći A.I. expertsstručnjaci,
77
255328
2888
proveli smo istraživanje s
vodećim stručnjacima za UI
04:30
to see what they think,
and one of the questionspitanja we askedpitao was,
78
258216
3224
kako bismo vidjeli što misle,
i jedno od pitanja bilo je
04:33
"By whichkoji yeargodina do you think
there is a 50 percentposto probabilityvjerojatnost
79
261440
3353
"Što mislite, do koje će godine
biti 50% vjerojatnosti
04:36
that we will have achievedpostići
human-levelljudska razina machinemašina intelligenceinteligencija?"
80
264793
3482
da ćemo postići strojnu inteligenciju
na razini ljudske inteligencije?"
04:40
We defineddefiniran human-levelljudska razina here
as the abilitysposobnost to performizvesti
81
268785
4183
Ljudsku smo razinu definirali kao
sposobnost da se bilo koji zadatak
04:44
almostskoro any jobposao at leastnajmanje as well
as an adultodrasla osoba humanljudski,
82
272968
2871
obavi jednako dobro kao što bi
ga obavio odrastao čovjek,
04:47
so realstvaran human-levelljudska razina, not just
withinunutar some limitedograničen domaindomena.
83
275839
4005
znači, stvarna ljudska razina, a ne
samo unutar određenog područja.
04:51
And the mediansrednja answerodgovor was 2040 or 2050,
84
279844
3650
Srednji je odgovor bio 2040. ili 2050.,
04:55
dependingovisno on preciselyprecizno whichkoji
groupskupina of expertsstručnjaci we askedpitao.
85
283494
2806
ovisno o skupini stručnjaka
kojoj smo pitanje postavili.
04:58
Now, it could happendogoditi se much,
much laterkasnije, or soonerprije,
86
286300
4039
To bi se moglo dogoditi puno, puno
kasnije ili ranije,
05:02
the truthistina is nobodynitko really knowszna.
87
290339
1940
istina je ta da nitko to zapravo ne zna.
05:05
What we do know is that the ultimateultimativno
limitograničiti to informationinformacija processingobrada
88
293259
4412
Ali ono što znamo jest to da krajnja
granica procesuiranja informacija
05:09
in a machinemašina substratesupstrat lieslaži fardaleko outsideizvan
the limitsgranice in biologicalbiološki tissuetkivo.
89
297671
4871
u strojevima uvelike nadilazi
ograničenja biološkog tkiva.
05:15
This comesdolazi down to physicsfizika.
90
303241
2378
Radi se o fizici.
05:17
A biologicalbiološki neuronneuron firespožari, maybe,
at 200 hertzHerc, 200 timesputa a seconddrugi.
91
305619
4718
Biološki se neuron ispaljuje na možda
200 herca, 200 puta u sekundi.
05:22
But even a present-daydanas transistortranzistor
operatesdjeluje at the GigahertzGigaherca.
92
310337
3594
Ali čak i današnji tranzistor
radi u gigahercima.
05:25
NeuronsNeurona propagaterazmnožavati slowlypolako in axonsAksoni,
100 metersmetara perpo seconddrugi, topsvrhovima.
93
313931
5297
Neuroni se polako šire u aksone,
najviše 100 metara u sekundi.
05:31
But in computersračunala, signalssignali can travelputovati
at the speedubrzati of lightsvjetlo.
94
319228
3111
Ali u računalima signali mogu
putovati brzinom svjetlosti.
05:35
There are alsotakođer sizeveličina limitationsograničenja,
95
323079
1869
I tamo postoje ograničenja u veličini,
05:36
like a humanljudski brainmozak has
to fitodgovara insideiznutra a craniumlubanje,
96
324948
3027
isto kao što ljudski mozak
mora stati u lubanju,
05:39
but a computerračunalo can be the sizeveličina
of a warehouseskladište or largerveći.
97
327975
4761
ali računalo može biti veličine
skladišta, ili čak veće.
05:44
So the potentialpotencijal for superintelligencesuperinteligencija
lieslaži dormantNeaktivni in matterstvar,
98
332736
5599
Potencijal superinteligencije
prikriven je i čeka,
05:50
much like the powervlast of the atomatom
laypoložiti dormantNeaktivni throughoutkroz humanljudski historypovijest,
99
338335
5712
slično kao što je snaga atoma
bila prikrivena tijekom povijesti,
05:56
patientlystrpljivo waitingčekanje there untildo 1945.
100
344047
4405
strpljivo čekajući 1945. godinu.
06:00
In this centurystoljeće,
101
348452
1248
U ovom su stoljeću
06:01
scientistsznanstvenici maysvibanj learnnaučiti to awakenprobuditi
the powervlast of artificialUmjetna intelligenceinteligencija.
102
349700
4118
znanstvenici možda otkrili kako
probuditi moć umjetne inteligencije.
06:05
And I think we mightmoć then see
an intelligenceinteligencija explosionEksplozija.
103
353818
4008
A onda bismo mogli svjedočiti
eksploziji inteligencije.
06:10
Now mostnajviše people, when they think
about what is smartpametan and what is dumbglup,
104
358406
3957
Većina ljudi, kada razmišlja o
tome što je pametno, a što glupo,
06:14
I think have in mindum a pictureslika
roughlygrubo like this.
105
362363
3023
mislim da otprilike zamišlja
ovako nešto.
06:17
So at one endkraj we have the villageselo idiotidiot,
106
365386
2598
Na jednom kraju imamo seosku budalu,
06:19
and then fardaleko over at the other sidestrana
107
367984
2483
a na drugome
06:22
we have EdEd WittenWitten, or AlbertAlbert EinsteinEinstein,
or whoeverma tko your favoriteljubimac guruguru is.
108
370467
4756
Eda Wittena ili Alberta Einsteina,
ili već preferiranog gurua.
06:27
But I think that from the pointtočka of viewpogled
of artificialUmjetna intelligenceinteligencija,
109
375223
3834
Ali iz perspektive umjetne inteligencije,
06:31
the truepravi pictureslika is actuallyzapravo
probablyvjerojatno more like this:
110
379057
3681
ta slika vjerojatno izgleda ovako:
06:35
AIAI startspočinje out at this pointtočka here,
at zeronula intelligenceinteligencija,
111
383258
3378
sve počinje na točki nulte inteligencije,
06:38
and then, after manymnogi, manymnogi
yearsgodina of really hardteško work,
112
386636
3011
a onda nakon puno, puno
godina napornog rada
06:41
maybe eventuallyeventualno we get to
mouse-levelmiša na razini artificialUmjetna intelligenceinteligencija,
113
389647
3844
možda konačno dođemo do
umjetne inteligencije na razini miša,
06:45
something that can navigateploviti
clutteredpretrpan environmentsokruženja
114
393491
2430
nešto što se može kretati
kroz pretrpan prostor
06:47
as well as a mousemiš can.
115
395921
1987
jednako dobro kao miševi.
06:49
And then, after manymnogi, manymnogi more yearsgodina
of really hardteško work, lots of investmentulaganje,
116
397908
4313
A onda nakon još puno, puno godina
napornog rada i mnogo ulaganja,
06:54
maybe eventuallyeventualno we get to
chimpanzee-levelčimpanza-razina artificialUmjetna intelligenceinteligencija.
117
402221
4639
možda dođemo do umjetne
inteligencije na razini čimpanze.
06:58
And then, after even more yearsgodina
of really, really hardteško work,
118
406860
3210
A onda, nakon još puno godina
vrlo, vrlo napornog rada,
07:02
we get to villageselo idiotidiot
artificialUmjetna intelligenceinteligencija.
119
410070
2913
dođemo do seoske budale
umjetne inteligencije.
07:04
And a fewnekoliko momentstrenutke laterkasnije,
we are beyondIznad EdEd WittenWitten.
120
412983
3272
I nakon nekoliko trenutaka
nadiđemo Eda Wittena.
07:08
The trainvlak doesn't stop
at HumanvilleHumanville StationKolodvor.
121
416255
2970
Tu napredak ne prestaje
07:11
It's likelyVjerojatno, ratherradije, to swooshrazličite right by.
122
419225
3022
već se ubrzano nastavlja.
07:14
Now this has profounddubok implicationsimplikacije,
123
422247
1984
To ima duboke implikacije,
07:16
particularlynaročito when it comesdolazi
to questionspitanja of powervlast.
124
424231
3862
posebno kad se radi o
pitanju moći.
07:20
For exampleprimjer, chimpanzeesčimpanze are strongjak --
125
428093
1899
Na primjer, čimpanze su snažne --
07:21
poundfunta for poundfunta, a chimpanzeečimpanza is about
twicedvaput as strongjak as a fitodgovara humanljudski malemuški.
126
429992
5222
dvostruko su jače od muškaraca.
07:27
And yetjoš, the fatesudbina of KanziKanzi
and his palsprijatelji dependsovisi a lot more
127
435214
4614
A ipak, sudbina Kanzija i njegovih
prijatelja više ovisi o tome što
07:31
on what we humansljudi do than on
what the chimpanzeesčimpanze do themselvesse.
128
439828
4140
mi ljudi radimo nego o tome
što same čimpanze rade.
07:37
OnceJednom there is superintelligencesuperinteligencija,
129
445228
2314
Jednom kada se stvori superinteligencija,
07:39
the fatesudbina of humanityčovječanstvo maysvibanj dependzavisiti
on what the superintelligencesuperinteligencija does.
130
447542
3839
sudbina će čovječanstva možda
ovisiti o tome što ona radi.
07:44
Think about it:
131
452451
1057
Razmislite.
07:45
MachineZa prodaju intelligenceinteligencija is the last inventionizum
that humanityčovječanstvo will ever need to make.
132
453508
5044
Strojna inteligencija je zadnji izum
koji će čovječanstvo ikada trebati.
07:50
MachinesStrojevi will then be better
at inventingizmišljanje than we are,
133
458552
2973
Strojevi će onda biti bolji u
izumljivanju od nas,
07:53
and they'lloni će be doing so
on digitaldigitalni timescalestimescales.
134
461525
2540
i oni će to raditi u digitalnom
vremenskom rasponu.
07:56
What this meanssredstva is basicallyu osnovi
a telescopingteleskopski of the futurebudućnost.
135
464065
4901
Načelno to znači
teleskopiranje budućnosti.
08:00
Think of all the crazylud technologiestehnologije
that you could have imaginedzamislio
136
468966
3558
Zamislite sve moguće
lude tehnologije
08:04
maybe humansljudi could have developedrazvijen
in the fullnesspuninu of time:
137
472524
2798
koje bi ljudi mogli razviti:
lijek protiv starenja,
08:07
cureslijekove for agingstarenje, spaceprostor colonizationkolonizacija,
138
475322
3258
kolonizacija svemira,
08:10
self-replicatingsamo-replicirajući nanobotsNanoboti or uploadingupload
of mindsmisli into computersračunala,
139
478580
3731
samoreplicirajući nanoboti,
unošenje uma u računalo,
08:14
all kindsvrste of scienceznanost fiction-yfikcija-y stuffstvari
140
482311
2159
svakakve znanstveno-fantastične stvari
08:16
that's neverthelessŠtoviše consistentdosljedan
with the lawszakoni of physicsfizika.
141
484470
2737
koje su u skladu sa zakonima fizike.
08:19
All of this superintelligencesuperinteligencija could
developrazviti, and possiblymožda quitedosta rapidlybrzo.
142
487207
4212
Superinteligencija mogla bi se razviti,
i to dosta brzo.
08:24
Now, a superintelligencesuperinteligencija with suchtakav
technologicaltehnološki maturityzrelost
143
492449
3558
Superinteligencija s takvom
tehnološkom zrelošću
08:28
would be extremelykrajnje powerfulsnažan,
144
496007
2179
bila bi iznimno moćna,
08:30
and at leastnajmanje in some scenariosscenariji,
it would be ableu stanju to get what it wants.
145
498186
4546
i bar bi u nekim slučajevima,
mogla dobiti što želi.
08:34
We would then have a futurebudućnost that would
be shapedoblika by the preferencesosobne postavke of this A.I.
146
502732
5661
Onda bismo u budućnosti imali svijet
oblikovan prema preferencijama te UI.
08:41
Now a good questionpitanje is,
what are those preferencesosobne postavke?
147
509855
3749
Dobro je pitanje koje su te preference.
08:46
Here it getsdobiva trickierteže.
148
514244
1769
Tu se stvari kompliciraju.
08:48
To make any headwaynapredak with this,
149
516013
1435
Da bismo napredovali s tim,
08:49
we mustmora first of all
avoidIzbjegavajte anthropomorphizinganthropomorphizing.
150
517448
3276
moramo prvo izbjeći antropomorfizaciju.
08:53
And this is ironicIronično because
everysvaki newspapernovine articlečlanak
151
521934
3301
A to je ironično jer
svi novinski članci
08:57
about the futurebudućnost of A.I.
has a pictureslika of this:
152
525235
3855
o budućnosti UI
imaju sliku ovoga:
09:02
So I think what we need to do is
to conceivezačeti of the issueizdanje more abstractlyapstraktno,
153
530280
4134
Tako da mislim da trebamo pojmiti
ovo pitanje malo apstraktnije,
09:06
not in termsUvjeti of vividživopisan HollywoodHollywood scenariosscenariji.
154
534414
2790
a ne u obliku holivudskih scenarija.
09:09
We need to think of intelligenceinteligencija
as an optimizationOptimizacija processpostupak,
155
537204
3617
Inteligenciju trebamo promatrati
kao proces optimizacije,
09:12
a processpostupak that steersusmjerava the futurebudućnost
into a particularposebno setset of configurationskonfiguracije.
156
540821
5649
proces koji usmjerava budućnost
u određeni set konfiguracija.
09:18
A superintelligencesuperinteligencija is
a really strongjak optimizationOptimizacija processpostupak.
157
546470
3511
Superinteligencija je zaista jak
proces optimizacije.
09:21
It's extremelykrajnje good at usingkoristeći
availabledostupno meanssredstva to achievepostići a statedržava
158
549981
4117
Nevjerojatno je dobra u korištenju
raspoloživih sredstava kako bi postigla
09:26
in whichkoji its goalcilj is realizedshvatio.
159
554098
1909
svoj cilj.
09:28
This meanssredstva that there is no necessarypotreban
conenctionconenction betweenizmeđu
160
556447
2672
To znači da nužno ne postoji
povezanost između
09:31
beingbiće highlyvisoko intelligentinteligentan in this senseosjećaj,
161
559119
2734
visoke inteligencije u tom smislu
09:33
and havingima an objectivecilj that we humansljudi
would find worthwhilevrijedan truda or meaningfulznačajan.
162
561853
4662
i cilja koji bismo mi ljudi smatrali
vrijednim ili smislenim.
09:39
SupposePretpostavimo da we give an A.I. the goalcilj
to make humansljudi smileosmijeh.
163
567321
3794
Recimo da UI damo cilj
da nasmiju ljude.
09:43
When the A.I. is weakslab, it performsobavlja usefulkoristan
or amusingzabavno actionsakcije
164
571115
2982
Kad je UI slaba, izvodi korisne
ili zabavne radnje
09:46
that causeuzrok its userkorisnik to smileosmijeh.
165
574097
2517
zbog kojih se njihov korisnik smije.
09:48
When the A.I. becomespostaje superintelligentsuperinteligentna,
166
576614
2417
Kada UI postane superinteligentna,
09:51
it realizesshvaća that there is a more
effectivedjelotvoran way to achievepostići this goalcilj:
167
579031
3523
uvidjet će da postoji učinkovitiji
način na koji postići taj cilj:
09:54
take controlkontrolirati of the worldsvijet
168
582554
1922
preuzimanje kontrole nad svijetom
09:56
and stickštap electrodeselektrode into the faciallica
musclesmišići of humansljudi
169
584476
3162
i smještanje elektroda u
mišiće lica ljudi
09:59
to causeuzrok constantkonstantno, beamingtransport grinsceri.
170
587638
2941
kako bi izazvala neprestan, vedar osmijeh.
10:02
AnotherJoš jedan exampleprimjer,
171
590579
1035
Još jedan primjer,
10:03
supposepretpostaviti we give A.I. the goalcilj to solveriješiti
a difficulttežak mathematicalmatematički problemproblem.
172
591614
3383
recimo da zadamo UI da riješi
zahtjevan matematički problem.
10:06
When the A.I. becomespostaje superintelligentsuperinteligentna,
173
594997
1937
Kad UI postane superinteligentna,
10:08
it realizesshvaća that the mostnajviše effectivedjelotvoran way
to get the solutionriješenje to this problemproblem
174
596934
4171
uviđa da je najučinkovitiji način za
rješavanje toga problema
10:13
is by transformingpretvarajući the planetplaneta
into a giantgigantski computerračunalo,
175
601105
2930
preobrazba planeta u ogromno računalo,
10:16
so as to increasepovećati its thinkingmišljenje capacitykapacitet.
176
604035
2246
da bi povećala njegovu
sposobnost razmišljanja.
10:18
And noticeobavijest that this givesdaje the A.I.s
an instrumentalinstrumentalni reasonrazlog
177
606281
2764
I imajte na umu da to daje UI
instrumentalni razlog da
10:21
to do things to us that we
mightmoć not approveodobriti of.
178
609045
2516
nam radi stvari koje mi
možda ne odobravamo.
10:23
HumanLjudski beingsbića in this modelmodel are threatsprijetnje,
179
611561
1935
U ovom su primjeri ljudi prijetnja,
10:25
we could preventspriječiti the mathematicalmatematički
problemproblem from beingbiće solvedriješen.
180
613496
2921
mogli bismo spriječiti rješavanje
matematičkih problema.
10:29
Of coursenaravno, perceivablyprimjetno things won'tnavika
go wrongpogrešno in these particularposebno waysnačine;
181
617207
3494
Naravno, stvari neće baš
tako poći po krivu;
10:32
these are cartooncrtani film examplesprimjeri.
182
620701
1753
ovo su primjeri iz crtića.
10:34
But the generalgeneral pointtočka here is importantvažno:
183
622454
1939
Ali važna je poanta:
10:36
if you createstvoriti a really powerfulsnažan
optimizationOptimizacija processpostupak
184
624393
2873
ako stvorite zaista moćan
proces optimizacije
10:39
to maximizebi se povećala for objectivecilj x,
185
627266
2234
kako biste maksimizirali cilj x,
10:41
you better make sure
that your definitiondefinicija of x
186
629500
2276
morate biti sigurni da
vaša definicija x-a
10:43
incorporatesuključuje everything you carebriga about.
187
631776
2469
uključuje sve do čega vam je stalo.
10:46
This is a lessonlekcija that's alsotakođer taughtučio
in manymnogi a mythmit.
188
634835
4384
Ovo je lekcija na koju nas
upozoravaju mnogi mitovi.
10:51
KingKralj MidasMidas wishesželje that everything
he touchesdotakne be turnedokrenut into goldzlato.
189
639219
5298
Kralj Mida želi da se sve što
dotakne pretvori u zlato.
10:56
He touchesdotakne his daughterkći,
she turnsokreti into goldzlato.
190
644517
2861
Dodirne kćer i ona se pretvori u zlato.
10:59
He touchesdotakne his foodhrana, it turnsokreti into goldzlato.
191
647378
2553
Dodirne hranu, ona postane zlato.
11:01
This could becomepostati practicallypraktički relevantrelevantan,
192
649931
2589
Ovo bi moglo postati i praktički važno,
11:04
not just as a metaphormetafora for greedpohlepa,
193
652520
2070
ne samo kao metafora za pohlepu,
11:06
but as an illustrationilustracija of what happensdogađa se
194
654590
1895
nego i kao prikaz onoga što se dogodi
11:08
if you createstvoriti a powerfulsnažan
optimizationOptimizacija processpostupak
195
656485
2837
ako stvorite moćan
proces optimizacije
11:11
and give it misconceivedmisconceived
or poorlyslabo specifiednavedena goalsciljevi.
196
659322
4789
i date mu pogrešne ili loše
određene ciljeve.
11:16
Now you mightmoć say, if a computerračunalo startspočinje
stickinglijepljenje electrodeselektrode into people'snarodno faceslica,
197
664111
5189
Mogli biste reći da, ako računalo
počne stavljati elektrode u lica ljudi,
11:21
we'dmi bismo just shutzatvoriti it off.
198
669300
2265
jednostavno ćemo ga isključiti.
11:24
A, this is not necessarilyobavezno so easylako to do
if we'veimamo grownodrastao dependentzavisan on the systemsistem --
199
672555
5340
Pod a, to nije tako jednostavno
ako smo već ovisni o sustavu --
11:29
like, where is the off switchprekidač
to the InternetInternet?
200
677895
2732
na primjer, kako isključiti internet?
11:32
B, why haven'tnisu the chimpanzeesčimpanze
flickedtrzanje the off switchprekidač to humanityčovječanstvo,
201
680627
5120
Pod b, zašto čimpanze nisu
isključile prekidač ljudske vrste,
11:37
or the NeanderthalsNeandertalci?
202
685747
1551
oni ili neandertalci?
11:39
They certainlysigurno had reasonsrazlozi.
203
687298
2666
Zasigurno su postojali razlozi za to.
11:41
We have an off switchprekidač,
for exampleprimjer, right here.
204
689964
2795
Mi imamo prekidač, recimo,
upravo ovdje.
11:44
(ChokingGušenje)
205
692759
1554
(Guši se)
11:46
The reasonrazlog is that we are
an intelligentinteligentan adversaryprotivnik;
206
694313
2925
Razlog je taj što smo mi
inteligentni protivnici;
11:49
we can anticipatepredvidjeti threatsprijetnje
and planplan around them.
207
697238
2728
predviđamo prijetnje i
planiramo kako ih izbjeći.
11:51
But so could a superintelligentsuperinteligentna agentAgente,
208
699966
2504
Ali to bi mogao raditi i
superinteligentni izvršitelj
11:54
and it would be much better
at that than we are.
209
702470
3254
i to puno bolje nego
što mi to radimo.
11:57
The pointtočka is, we should not be confidentuvjeren
that we have this underpod controlkontrolirati here.
210
705724
7187
Poanta je ovoga da ne smijemo biti
uvjereni da sve držimo pod kontrolom.
12:04
And we could try to make our jobposao
a little bitbit easierlakše by, say,
211
712911
3447
Mogli bismo si olakšati posao tako što
12:08
puttingstavljanje the A.I. in a boxkutija,
212
716358
1590
bismo smjestili UI u kutiju,
12:09
like a secureosigurati softwaresoftver environmentokolina,
213
717948
1796
nekakvo sigurno softversko okruženje,
12:11
a virtualvirtualan realitystvarnost simulationsimuliranje
from whichkoji it cannotNe možete escapepobjeći.
214
719744
3022
virtualnu simulaciju stvarnosti iz
koje ne može pobjeći.
12:14
But how confidentuvjeren can we be that
the A.I. couldn'tne mogu find a bugbuba.
215
722766
4146
Ali kako možemo biti sigurni
da UI neće pronaći rupu?
12:18
GivenS obzirom na that merelysamo humanljudski hackersHakeri
find bugsbube all the time,
216
726912
3169
Ako uobzirimo da hakeri
neprestano pronalaze rupe,
12:22
I'd say, probablyvjerojatno not very confidentuvjeren.
217
730081
3036
vjerojatno ne možemo biti sigurni u to.
12:26
So we disconnectprekinuti vezu the ethernetEthernet cablekabel
to createstvoriti an airzrak gappraznina,
218
734237
4548
Isključimo Ethernet kabel da bismo
stvorili zračni prostor,
12:30
but again, like merelysamo humanljudski hackersHakeri
219
738785
2668
ali opet, ljudski hakeri rutinski nadilaze
12:33
routinelyrutinski transgressprekoračiti airzrak gapspraznine
usingkoristeći socialsocijalni engineeringinženjering.
220
741453
3381
te prostore socijalnim inženjeringom.
12:36
Right now, as I speakgovoriti,
221
744834
1259
Dok ovo govorim,
12:38
I'm sure there is some employeezaposlenik
out there somewherenegdje
222
746093
2389
siguran sam da su negdje neku zaposlenicu
12:40
who has been talkedRazgovarao into handingpredavanje out
her accountračun detailsdetalji
223
748482
3346
nagovorili da otkrije
detalje svog računa
12:43
by somebodyneko claimingtvrditi to be
from the I.T. departmentodjel.
224
751828
2746
nekome tko je tvrdio
da je iz IT odjela.
12:46
More creativekreativan scenariosscenariji are alsotakođer possiblemoguće,
225
754574
2127
Mogući su i kreativniji scenariji,
12:48
like if you're the A.I.,
226
756701
1315
na primjer, ako ste UI,
12:50
you can imaginezamisliti wigglingwiggling electrodeselektrode
around in your internalinterni circuitrystrujni krugovi
227
758016
3532
možete zamisliti micanje elektroda
u unutrašnjem sklopu kako biste
12:53
to createstvoriti radioradio wavesvalovi that you
can use to communicatekomunicirati.
228
761548
3462
stvorili radio valove kojima
možete komunicirati.
12:57
Or maybe you could pretendpretvarati se to malfunctionkvar,
229
765010
2424
Ili se možete prevarati da ste neispravni
12:59
and then when the programmersprogramera openotvoren
you up to see what wentotišao wrongpogrešno with you,
230
767434
3497
i kada vas programeri otvore da vide
što nije u redu s vama,
13:02
they look at the sourceizvor codekodirati -- BamBam! --
231
770931
1936
pogledaju izvorni kod i -- Bum! --
13:04
the manipulationmanipulacija can take placemjesto.
232
772867
2447
manipulacija je počela.
13:07
Or it could outputizlaz the blueprintnacrt
to a really niftydivan technologytehnologija,
233
775314
3430
Ili bi moglo dati nacrt
zaista divne tehnologije,
13:10
and when we implementimplementirati it,
234
778744
1398
a kada ga primijenimo,
13:12
it has some surreptitioustajan sidestrana effectposljedica
that the A.I. had plannedplanirani.
235
780142
4397
ima neke skrivene posljedice
koje je UI isplanirala.
13:16
The pointtočka here is that we should
not be confidentuvjeren in our abilitysposobnost
236
784539
3463
Poanta jest ta da ne bismo trebali biti
presigurni u svoju sposobnost
13:20
to keep a superintelligentsuperinteligentna genieduh
lockedzaključan up in its bottleboca foreverzauvijek.
237
788002
3808
da superinteligentnog duha
možemo zauvijek čuvati u boci.
13:23
SoonerPrije or laterkasnije, it will out.
238
791810
2254
Prije ili kasnije će se osloboditi.
13:27
I believe that the answerodgovor here
is to figurelik out
239
795034
3103
Vjerujem da je rješenje u
pronalasku načina kako
13:30
how to createstvoriti superintelligentsuperinteligentna A.I.
suchtakav that even if -- when -- it escapesNe može pobjeći,
240
798137
5024
stvoriti superinteligentnu UI
koja bi čak - kad - se oslobodi
13:35
it is still safesef because it is
fundamentallyfundamentalno on our sidestrana
241
803161
3277
još uvijek bila sigurna jer
je u osnovi na našoj strani
13:38
because it sharesdionice our valuesvrijednosti.
242
806438
1899
jer dijeli naša uvjerenja.
13:40
I see no way around
this difficulttežak problemproblem.
243
808337
3210
Ne vidim kako drukčije
riješiti ovaj veliki problem.
13:44
Now, I'm actuallyzapravo fairlypošteno optimisticoptimističan
that this problemproblem can be solvedriješen.
244
812557
3834
Zapravo sam ja i optimističan kada
mislim da je problem rješiv.
13:48
We wouldn'tne bi have to writepisati down
a long listpopis of everything we carebriga about,
245
816391
3903
Ne bismo morali pisati duge liste
svega do čega nam je stalo,
13:52
or worsegore yetjoš, spellčarolija it out
in some computerračunalo languagejezik
246
820294
3643
ili, još gore, unijeti to u
neki računalni jezik
13:55
like C++ or PythonPython,
247
823937
1454
kao C++ ili Python,
13:57
that would be a taskzadatak beyondIznad hopelessbeznadan.
248
825391
2767
to bi bio i više nego beznadan pothvat!
14:00
InsteadUmjesto toga, we would createstvoriti an A.I.
that usesnamjene its intelligenceinteligencija
249
828158
4297
Umjesto toga, stvorimo UI koja
koristi svoju inteligenciju kako
14:04
to learnnaučiti what we valuevrijednost,
250
832455
2771
bi naučila što nam je važno,
14:07
and its motivationmotivacija systemsistem is constructedkonstruiran
in suchtakav a way that it is motivatedmotivirani
251
835226
5280
i čiji je motivacijski sustav konstruiran
tako da bude motivirana za
14:12
to pursueprogoniti our valuesvrijednosti or to performizvesti actionsakcije
that it predictspredviđa we would approveodobriti of.
252
840506
5232
provođenje naših uvjerenja ili izvođenje
radnji za koje predviđa da ih odobravamo.
14:17
We would thustako leveragemoć
its intelligenceinteligencija as much as possiblemoguće
253
845738
3414
Tako bismo iskoristili njezinu
inteligenciju što je više moguće
14:21
to solveriješiti the problemproblem of value-loadingvrijednost opterećenja.
254
849152
2745
kako bismo riješili ovaj problem.
14:24
This can happendogoditi se,
255
852727
1512
To se može dogoditi,
14:26
and the outcomeishod could be
very good for humanityčovječanstvo.
256
854239
3596
a ishod bi mogao biti jako
dobar za čovječanstvo.
14:29
But it doesn't happendogoditi se automaticallyautomatsko.
257
857835
3957
Ali to se ne događa automatski.
14:33
The initialpočetni conditionsUvjeti
for the intelligenceinteligencija explosionEksplozija
258
861792
2998
Polazni uvjeti za
eksploziju inteligencije
14:36
mightmoć need to be setset up
in just the right way
259
864790
2863
morat će biti postavljeni
na točno određen način
14:39
if we are to have a controlleddirigovan detonationdetonacije.
260
867653
3530
ako želimo kontroliranu detonaciju.
14:43
The valuesvrijednosti that the A.I. has
need to matchutakmica oursnaša,
261
871183
2618
Vrijednosti UI moraju odgovarati našima,
14:45
not just in the familiarupoznat contextkontekst,
262
873801
1760
ne samo u poznatim kontekstima
14:47
like where we can easilylako checkprovjeriti
how the A.I. behavesponaša se,
263
875561
2438
u kojima lako provjerimo
kako se UI ponaša,
14:49
but alsotakođer in all novelroman contextskontekstima
that the A.I. mightmoć encountersusret
264
877999
3234
nego i u novim kontekstima s
kojima bi se UI mogla susresti
14:53
in the indefiniteneodređen futurebudućnost.
265
881233
1557
u neodređenoj budućnosti.
14:54
And there are alsotakođer some esotericalternativna područja issuespitanja
that would need to be solvedriješen, sortedsortirano out:
266
882790
4737
Postoje i neka ezoterična pitanja
koja bi se morala riješiti:
14:59
the exacttočno detailsdetalji of its decisionodluka theoryteorija,
267
887527
2089
točni detalji teorije odlučivanja,
15:01
how to dealdogovor with logicallogičan
uncertaintynesigurnost and so forthdalje.
268
889616
2864
kako se nositi s logičkom
nesigurnosti i tako dalje.
15:05
So the technicaltehnička problemsproblemi that need
to be solvedriješen to make this work
269
893330
3102
Tehnički problemi koji se moraju
riješiti kako bi ovo uspjelo
15:08
look quitedosta difficulttežak --
270
896432
1113
poprilično su veliki --
15:09
not as difficulttežak as makingizrađivanje
a superintelligentsuperinteligentna A.I.,
271
897545
3380
ne toliko veliki kao stvaranje
superinteligentne UI,
15:12
but fairlypošteno difficulttežak.
272
900925
2868
ali prilično veliki.
15:15
Here is the worrybrinuti:
273
903793
1695
Ovo je razlog za brigu:
15:17
MakingStvaranje superintelligentsuperinteligentna A.I.
is a really hardteško challengeizazov.
274
905488
4684
Stvaranje superinteligentne UI
težak je izazov.
15:22
MakingStvaranje superintelligentsuperinteligentna A.I. that is safesef
275
910172
2548
Stvaranje sigurne superinteligentne UI
15:24
involvesuključuje some additionalDodatne
challengeizazov on topvrh of that.
276
912720
2416
dodaje još izazova.
15:28
The riskrizik is that if somebodyneko figuresfigure out
how to crackpukotina the first challengeizazov
277
916216
3487
Rizik leži u otkrivanju kako
savladati prvi izazov,
15:31
withoutbez alsotakođer havingima crackednapuknut
the additionalDodatne challengeizazov
278
919703
3001
ali bez shvaćanja kako savladati
dodatni izazov,
15:34
of ensuringosiguravanje perfectsavršen safetysigurnosni.
279
922704
1901
osiguravanje sigurnosti.
15:37
So I think that we should
work out a solutionriješenje
280
925375
3331
Smatram da bismo
trebali riješiti
15:40
to the controlkontrolirati problemproblem in advancenapredovati,
281
928706
2822
pitanje kontrole unaprijed
15:43
so that we have it availabledostupno
by the time it is neededpotreban.
282
931528
2660
kako bismo bili spremni
kada za to dođe vrijeme.
15:46
Now it mightmoć be that we cannotNe možete solveriješiti
the entirečitav controlkontrolirati problemproblem in advancenapredovati
283
934768
3507
Može se dogoditi da ne možemo
taj problem riješiti unaprijed
15:50
because maybe some elementselementi
can only be put in placemjesto
284
938275
3024
jer se mogu posložiti samo neki elementi
15:53
oncejednom you know the detailsdetalji of the
architecturearhitektura where it will be implementedprovoditi.
285
941299
3997
kada točno saznamo gdje će se provoditi.
15:57
But the more of the controlkontrolirati problemproblem
that we solveriješiti in advancenapredovati,
286
945296
3380
Što više problema po pitanju
kontrole riješimo unaprijed,
16:00
the better the oddsizgledi that the transitiontranzicija
to the machinemašina intelligenceinteligencija eradoba
287
948676
4090
bolji su izgledi da će prijelaz
u eru strojne inteligencije
16:04
will go well.
288
952766
1540
proći dobro.
16:06
This to me looksizgled like a thing
that is well worthvrijedan doing
289
954306
4644
Meni se čini da se to isplati raditi
16:10
and I can imaginezamisliti that if
things turnskretanje out okay,
290
958950
3332
i mogu zamisliti da, ako
sve prođe u redu,
16:14
that people a millionmilijuna yearsgodina from now
look back at this centurystoljeće
291
962282
4658
će ljudi za milijun godina
gledati na ovo stoljeće
16:18
and it mightmoć well be that they say that
the one thing we did that really matteredNije važno
292
966940
4002
i reći da smo napravili jednu stvar
koja je stvarno važna, a ta je
16:22
was to get this thing right.
293
970942
1567
da smo ovo napravili kako treba.
16:24
Thank you.
294
972509
1689
Hvala.
16:26
(ApplausePljesak)
295
974198
2813
(Pljesak)
Translated by Lidija Šimunović
Reviewed by Ivan Stamenkovic

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com