ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

Nick Bostrom: Ce se întâmplă când calculatorul devine mai deștept decât noi?

Filmed:
4,632,705 views

Inteligența artificială avansează foarte rapid: în acest secol, sugerează cercetătorii, un calculator cu I.A. ar putea fi la fel de „deștept” ca o ființă umană. Apoi, zice Nick Bostrom, ne va depăși: „Inteligența artificială e ultima invenție pe care va trebui s-o facă umanitatea.” Ca filozof și tehnolog, Bostrom ne cere să ne gândim bine la lumea pe care o construim chiar acum, dominată de mașini gânditoare. Ne vor ajuta aceste mașini deștepte să ne păstrăm umanitatea și valorile sau vor avea propriile lor valori?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchbuchet of mathematiciansmatematicieni,
philosophersfilozofi and computercomputer scientistsoamenii de știință,
0
570
4207
Lucrez cu matematicieni,
filozofi și cercetători IT
00:16
and we sitsta around and think about
the futureviitor of machinemaşină intelligenceinteligență,
1
4777
5209
și ne gândim
la viitorul inteligenței artificiale,
printre altele.
00:21
amongprintre other things.
2
9986
2044
00:24
Some people think that some of these
things are sortfel of scienceştiinţă fiction-yficţiune-y,
3
12030
4725
Unii cred că unele dintre aceste lucruri
sunt științifico-fantastice,
departe de noi, nebunești.
00:28
fardeparte out there, crazynebun.
4
16755
3101
Dar mie îmi place să zic:
00:31
But I like to say,
5
19856
1470
00:33
okay, let's look at the modernmodern
humanuman conditioncondiție.
6
21326
3604
OK, hai să vedem condiția omului modern.
00:36
(LaughterRâs)
7
24930
1692
(Râsete)
00:38
This is the normalnormal way for things to be.
8
26622
2402
Asta e normalul.
00:41
But if we think about it,
9
29024
2285
Dar de fapt
00:43
we are actuallyde fapt recentlyrecent arriveda sosit
guestsvizitatori on this planetplanetă,
10
31309
3293
suntem niște oaspeți
relativ recenți pe această planetă
00:46
the humanuman speciesspecie.
11
34602
2082
ca specie umană.
00:48
Think about if EarthPământ
was createdcreată one yearan agoîn urmă,
12
36684
4746
Gândiți-vă, dacă Pământul
a fi fost creat în urmă cu un an,
specia umană ar fi existat
de doar 10 minute.
00:53
the humanuman speciesspecie, then,
would be 10 minutesminute oldvechi.
13
41430
3548
00:56
The industrialindustrial eraeră starteda început
two secondssecunde agoîn urmă.
14
44978
3168
Epoca Industrială ar fi început
de doar două secunde.
01:01
AnotherUn alt way to look at this is to think of
worldlume GDPPIB over the last 10,000 yearsani,
15
49276
5225
Am putea analiza aceasta și din prisma
PIB-ului global din ultimii 10 000 de ani.
V-am făcut și un grafic.
01:06
I've actuallyde fapt takenluate the troublebucluc
to plotintrigă this for you in a graphgrafic.
16
54501
3029
01:09
It looksarată like this.
17
57530
1774
Arată așa.
(Râsete)
01:11
(LaughterRâs)
18
59304
1363
01:12
It's a curiouscurios shapeformă
for a normalnormal conditioncondiție.
19
60667
2151
Are o formă ciudată
pentru o situație normală.
01:14
I sure wouldn'tnu ar fi want to sitsta on it.
20
62818
1698
Eu unul nu m-aș așeza pe el.
01:16
(LaughterRâs)
21
64516
2551
(Râsete)
Hai să ne punem întrebarea:
care ar fi cauza acestei anomalii?
01:19
Let's askcere ourselvesnoi insine, what is the causecauza
of this currentactual anomalyanomalie?
22
67067
4774
01:23
Some people would say it's technologytehnologie.
23
71841
2552
Unii ar zice că ar fi tehnologia.
01:26
Now it's trueAdevărat, technologytehnologie has accumulatedacumulate
throughprin humanuman historyistorie,
24
74393
4668
Adevărat, în decursul istoriei,
umanitatea a acumulat multă tehnologie
01:31
and right now, technologytehnologie
advancesavans extremelyextrem rapidlyrapid --
25
79061
4652
și, în acest moment, tehnologia
avansează extrem de rapid.
Aceasta e cauza imediată,
01:35
that is the proximateproxim causecauza,
26
83713
1565
01:37
that's why we are currentlyîn prezent
so very productiveproductiv.
27
85278
2565
de aceea suntem atât de productivi.
01:40
But I like to think back furthermai departe
to the ultimatefinal causecauza.
28
88473
3661
Dar îmi place să gândesc mai departe,
la cauza primară.
01:45
Look at these two highlyextrem de
distinguisheddistins gentlemendomnilor:
29
93114
3766
Priviți-i pe acești domni distinși.
Îl avem pe Kanzi,
01:48
We have KanziKanzi --
30
96880
1600
01:50
he's masteredstapanit 200 lexicallexicale
tokenstoken-uri, an incredibleincredibil featfeat.
31
98480
4643
el a stăpânit 200 de semne lexicale,
o ispravă nemaipomenită.
Și pe Ed Witten care a declanșat
a doua revoluție a superstringurilor.
01:55
And EdEd WittenWitten unleashedUnleashed the secondal doilea
superstringorice revolutionrevoluţie.
32
103123
3694
01:58
If we look undersub the hoodcapota,
this is what we find:
33
106817
2324
Dacă „deschidem capota”, iată ce găsim:
02:01
basicallype scurt the samela fel thing.
34
109141
1570
în esență același lucru.
02:02
One is a little largermai mare,
35
110711
1813
Unul dintre ele e ceva mai mare,
posibil cu câteva trucuri în plus
în privința modului de montare.
02:04
it maybe alsode asemenea has a fewpuțini trickstrucuri
in the exactcorect way it's wiredcu fir.
36
112524
2758
02:07
These invisibleinvizibil differencesdiferențele cannotnu poti
be too complicatedcomplicat, howeverin orice caz,
37
115282
3812
Aceste diferențe invizibile, totuși,
nu pot fi prea complicate
02:11
because there have only
been 250,000 generationsgenerații
38
119094
4285
pentru că s-au perindat
doar 250 000 de generații
02:15
sincede cand our last commoncomun ancestorstrămoş.
39
123379
1732
de la ultimul nostru strămoș comun
02:17
We know that complicatedcomplicat mechanismsmecanisme
take a long time to evolveevolua.
40
125111
3849
și știm că mecanismele complicate
durează mult până evoluează.
Așa că o mână de schimbări minore
02:22
So a bunchbuchet of relativelyrelativ minorminor changesschimbări
41
130000
2499
02:24
take us from KanziKanzi to WittenWitten,
42
132499
3067
ne-au dus de la Kanzi la Witten,
02:27
from broken-offrupt-off treecopac branchessucursale
to intercontinentalInterContinental ballisticbalistic missilesrachete.
43
135566
4543
de la crengi rupte
la rachete balistice intercontinentale.
02:32
So this then seemspare prettyfrumos obviousevident
that everything we'vene-am achievedrealizat,
44
140839
3935
Atunci pare destul de evident
că tot ce am realizat
02:36
and everything we careîngrijire about,
45
144774
1378
și toate cele de care ne pasă
depind radical
02:38
dependsdepinde cruciallycrucial on some relativelyrelativ minorminor
changesschimbări that madefăcut the humanuman mindminte.
46
146152
5228
de schimbări relativ minore
făcute de mintea umană.
Iar corolarul este, desigur,
că orice viitoare schimbare
02:44
And the corollarycorolar, of coursecurs,
is that any furthermai departe changesschimbări
47
152650
3662
02:48
that could significantlysemnificativ changeSchimbare
the substratesubstrat of thinkinggândire
48
156312
3477
ce ar putea schimba substanțial
substratul gândirii
ar putea avea consecințe uriașe.
02:51
could have potentiallypotenţial
enormousenorm consequencesconsecințe.
49
159789
3202
02:56
Some of my colleaguescolegii
think we're on the vergemărgini
50
164321
2905
Unii colegi cred că suntem pe cale
02:59
of something that could causecauza
a profoundprofund changeSchimbare in that substratesubstrat,
51
167226
3908
de a produce ceva ce ar putea cauza
o schimbare profundă a acestui substrat,
03:03
and that is machinemaşină superintelligencesuperinteligenţa.
52
171134
3213
aceasta fiind
superinteligența artificială.
03:06
ArtificialArtificiale intelligenceinteligență used to be
about puttingpunând commandscomenzi in a boxcutie.
53
174347
4739
Inteligența artificială era desemnată
ca fiind o cutie în care se pun comenzi.
Trebuiau să existe programatori umani
03:11
You would have humanuman programmersprogramatori
54
179086
1665
03:12
that would painstakinglycu migală
handcraftArtizanat knowledgecunoştinţe itemsarticole.
55
180751
3135
care să modeleze din greu
părțile de cunoaștere.
03:15
You buildconstrui up these expertexpert systemssisteme,
56
183886
2086
Se realizează niște sisteme expert
03:17
and they were kinddrăguț of usefulutil
for some purposesscopuri,
57
185972
2324
care vor fi de folos în anumit scop,
03:20
but they were very brittlefragil,
you couldn'tnu a putut scalescară them.
58
188296
2681
dar care sunt foarte firave,
nu se pot extinde.
În principiu, primești de la ele
doar ce ai programat.
03:22
BasicallyPractic, you got out only
what you put in.
59
190977
3433
03:26
But sincede cand then,
60
194410
997
De atunci, însă,
03:27
a paradigmparadigmă shiftschimb has takenluate placeloc
in the fieldcamp of artificialartificial intelligenceinteligență.
61
195407
3467
s-a produs o schimbare în paradigmă
în inteligența artificială.
03:30
TodayAstăzi, the actionacțiune is really
around machinemaşină learningînvăţare.
62
198874
2770
Acum acțiunea se petrece în jurul
învățării sistemelor artificiale.
03:34
So rathermai degraba than handcraftinglamelor knowledgecunoştinţe
representationsreprezentări and featurescaracteristici,
63
202394
5387
În loc să realizăm reprezentări și
caracteristici ale cunoașterii,
03:40
we createcrea algorithmsalgoritmi that learnînvăța,
oftende multe ori from rawbrut perceptualperceptive datadate.
64
208511
5554
creăm algoritmi de învățare adesea
pe bază de date perceptuale brute.
03:46
BasicallyPractic the samela fel thing
that the humanuman infantcopil does.
65
214065
4998
În principiu, lucru similar
cu ceea ce face un copil.
03:51
The resultrezultat is A.I. that is not
limitedlimitat to one domaindomeniu --
66
219063
4207
Rezultatul este o I.A.
ce nu se limitează la un domeniu,
03:55
the samela fel systemsistem can learnînvăța to translateTraduceți
betweenîntre any pairsperechi of languageslimbi,
67
223270
4631
același sistem putând să învețe
să traducă între oricare două limbi
sau să învețe să joace orice joc
pe calculator pe o consolă Atari.
03:59
or learnînvăța to playa juca any computercomputer gamejoc
on the AtariAtari consoleconsola.
68
227901
5437
04:05
Now of coursecurs,
69
233338
1779
Desigur,
04:07
A.I. is still nowherenicăieri nearaproape havingavând
the samela fel powerfulputernic, cross-domaininter-domenii
70
235117
3999
I.A. nu are nici pe departe puterea,
abilitatea transdisciplinară a omului
de a planifica și învăța.
04:11
abilityabilitate to learnînvăța and planplan
as a humanuman beingfiind has.
71
239116
3219
Cortexul are încă
niște trucuri de algoritm
04:14
The cortexcortex still has some
algorithmicalgoritmice trickstrucuri
72
242335
2126
04:16
that we don't yetinca know
how to matchMeci in machinesmaşini.
73
244461
2355
pe care încă nu știm cum
să le transpunem în mecanisme.
04:19
So the questionîntrebare is,
74
247886
1899
Se pune deci întrebarea
cât de de departe suntem de momentul
în care putem face asta.
04:21
how fardeparte are we from beingfiind ablecapabil
to matchMeci those trickstrucuri?
75
249785
3500
04:26
A couplecuplu of yearsani agoîn urmă,
76
254245
1083
Cu câțiva ani în urmă,
04:27
we did a surveystudiu of some of the world'slume
leadingconducere A.I. expertsexperți,
77
255328
2888
am făcut un sondaj printre
cei mai de seamă experți în I.A.
pentru a vedea ce cred ei
și una din întrebări a fost:
04:30
to see what they think,
and one of the questionsîntrebări we askedîntrebă was,
78
258216
3224
04:33
"By whichcare yearan do you think
there is a 50 percentla sută probabilityprobabilitate
79
261440
3353
„Până în ce an credeți că vom ajunge
la probabilitatea de 50%
04:36
that we will have achievedrealizat
human-levelomului la nivel machinemaşină intelligenceinteligență?"
80
264793
3482
de a realizare inteligența artificiala
la nivelul omului?”
04:40
We defineddefinit human-levelomului la nivel here
as the abilityabilitate to performa executa
81
268785
4183
Prin „nivelul omului” am înțeles
capacitatea de a presta
04:44
almostaproape any jobloc de munca at leastcel mai puţin as well
as an adultadult humanuman,
82
272968
2871
aproape orice sarcină
cel puțin la nivelul unui adult,
04:47
so realreal human-levelomului la nivel, not just
withinîn some limitedlimitat domaindomeniu.
83
275839
4005
deci nivel uman general,
nu doar limitat la un domeniu restrâns.
04:51
And the medianmedian answerRăspuns was 2040 or 2050,
84
279844
3650
Răspunsul mediu a fost 2040 sau 2050,
04:55
dependingîn funcție on preciselyexact whichcare
groupgrup of expertsexperți we askedîntrebă.
85
283494
2806
în funcție de
grupul de experți chestionați.
04:58
Now, it could happenîntâmpla much,
much latermai tarziu, or soonermai curând,
86
286300
4039
S-ar putea întâmpla
mult mai târziu sau mai devreme,
05:02
the truthadevăr is nobodynimeni really knowsștie.
87
290339
1940
adevărul e că nimeni nu știe.
Ceea ce știm e că limita superioară
a procesării informației
05:05
What we do know is that the ultimatefinal
limitlimită to informationinformație processingprelucrare
88
293259
4412
05:09
in a machinemaşină substratesubstrat liesminciuni fardeparte outsidein afara
the limitslimite in biologicalbiologic tissuețesut.
89
297671
4871
într-un mediu artificial e mult
mai departe de limitele noastre biologice.
05:15
This comesvine down to physicsfizică.
90
303241
2378
Totul se reduce la fizică.
Neuronul transmite la vreo 200 de herți,
de 200 de ori pe secundă.
05:17
A biologicalbiologic neuronneuron firesincendii, maybe,
at 200 hertzHertz, 200 timesori a secondal doilea.
91
305619
4718
Dar chiar și acum, un tranzistor
operează în gigaherți.
05:22
But even a present-dayziua de azi transistortranzistor
operatesopereaza at the GigahertzGigahertzi.
92
310337
3594
Impulsurile se propagă prin axoni încet,
05:25
NeuronsNeuroni propagatepropaga slowlyîncet in axonsaxonilor,
100 metersmetri perpe secondal doilea, topstopuri.
93
313931
5297
cu cel mult 100 de metri pe secundă.
05:31
But in computerscalculatoare, signalssemnalele can travelvoiaj
at the speedviteză of lightușoară.
94
319228
3111
Dar în calculatoare semnalele
pot circula cu viteza luminii.
05:35
There are alsode asemenea sizemărimea limitationslimitări,
95
323079
1869
Există și limitări date de volum,
05:36
like a humanuman braincreier has
to fitpotrivi insideinterior a craniumcraniu,
96
324948
3027
creierul uman trebuie
să încapă în cutia craniană,
05:39
but a computercomputer can be the sizemărimea
of a warehousedepozit or largermai mare.
97
327975
4761
dar un calculator poate fi mare
cât un depozit sau mai mare.
05:44
So the potentialpotenţial for superintelligencesuperinteligenţa
liesminciuni dormantrepaus vegetativ in mattermaterie,
98
332736
5599
Deci potențialul de superinteligență
e în stare latentă în materie,
05:50
much like the powerputere of the atomatom
laypune dormantrepaus vegetativ throughoutde-a lungul humanuman historyistorie,
99
338335
5712
la fel ca puterea atomului
care a fost în stare latentă
în toată istoria umanității,
așteptând cu răbdare până în 1945.
05:56
patientlycu răbdare waitingaşteptare there untilpana cand 1945.
100
344047
4405
În acest secol,
06:00
In this centurysecol,
101
348452
1248
oamenii de știință ar putea să trezească
puterea inteligenței artificiale.
06:01
scientistsoamenii de știință mayMai learnînvăța to awakentrezi
the powerputere of artificialartificial intelligenceinteligență.
102
349700
4118
06:05
And I think we mightar putea then see
an intelligenceinteligență explosionexplozie.
103
353818
4008
Și cred că atunci am putea fi martorii
unei explozii de inteligență.
06:10
Now mostcel mai people, when they think
about what is smartinteligent and what is dumbprost,
104
358406
3957
Majoritatea oamenilor, gândindu-se
la cine e deștept și cine prost,
06:14
I think have in mindminte a pictureimagine
roughlyaproximativ like this.
105
362363
3023
cred că au în cap ceva de genul acesta.
06:17
So at one endSfârşit we have the villagesat idiotidiot,
106
365386
2598
La o extremitate avem prostul satului,
06:19
and then fardeparte over at the other sidelatură
107
367984
2483
departe, la cealaltă extremitate,
06:22
we have EdEd WittenWitten, or AlbertAlbert EinsteinEinstein,
or whoeveroricine your favoritefavorit guruguru is.
108
370467
4756
pe Ed Witten, sau Albert Einstein,
sau oricine altcineva ar fi favoritul.
06:27
But I think that from the pointpunct of viewvedere
of artificialartificial intelligenceinteligență,
109
375223
3834
Dar eu zic că, din punctul de vedere
al inteligenței artificiale,
06:31
the trueAdevărat pictureimagine is actuallyde fapt
probablyprobabil more like this:
110
379057
3681
schema este, de fapt, mai mult așa:
06:35
AIAI startsîncepe out at this pointpunct here,
at zerozero intelligenceinteligență,
111
383258
3378
I.A. începe în acest punct,
la inteligență zero,
06:38
and then, after manymulți, manymulți
yearsani of really hardgreu work,
112
386636
3011
apoi, după foarte mulți ani
de muncă asiduă,
06:41
maybe eventuallyîn cele din urmă we get to
mouse-levelmouse-ul la nivel artificialartificial intelligenceinteligență,
113
389647
3844
poată că inteligența artificială
ajunge la nivelul șoarecelui,
06:45
something that can navigatenavigare
clutteredaglomerat environmentsmedii
114
393491
2430
ceva ce poate naviga într-un mediu haotic
la fel de bine cum poate un șoarece.
06:47
as well as a mousemouse can.
115
395921
1987
Iar apoi, după alți mulți ani
de muncă asiduă, cu multe investiții,
06:49
And then, after manymulți, manymulți more yearsani
of really hardgreu work, lots of investmentinvestiție,
116
397908
4313
06:54
maybe eventuallyîn cele din urmă we get to
chimpanzee-levelnivel de cimpanzeu artificialartificial intelligenceinteligență.
117
402221
4639
poate că inteligența artificială
ajunge la nivelul cimpanzeului.
06:58
And then, after even more yearsani
of really, really hardgreu work,
118
406860
3210
Iar apoi, după și mai mulți ani
de muncă asiduă,
ajungem la inteligența artificială
a prostului satului.
07:02
we get to villagesat idiotidiot
artificialartificial intelligenceinteligență.
119
410070
2913
Și după câteva momente
suntem dincolo de Ed Witten.
07:04
And a fewpuțini momentsmomente latermai tarziu,
we are beyonddincolo EdEd WittenWitten.
120
412983
3272
Trenul nu oprește la „Gara Omului”.
07:08
The traintren doesn't stop
at HumanvilleHumanville StationStaţia de.
121
416255
2970
Din contră, probabil va trece în viteză.
07:11
It's likelyprobabil, rathermai degraba, to swooshswoosh right by.
122
419225
3022
07:14
Now this has profoundprofund implicationsimplicații,
123
422247
1984
Aceasta are implicații serioase,
07:16
particularlyîn special when it comesvine
to questionsîntrebări of powerputere.
124
424231
3862
mai ales când vine vorba
de probleme de putere.
07:20
For exampleexemplu, chimpanzeescimpanzei are strongputernic --
125
428093
1899
De exemplu, cimpanzeii sunt puternici:
07:21
poundlivră for poundlivră, a chimpanzeecimpanzeu is about
twicede două ori as strongputernic as a fitpotrivi humanuman malemasculin.
126
429992
5222
la kilograme, cimpanzeul e de vreo 2 ori
mai puternic decât un bărbat sănătos.
07:27
And yetinca, the fatesoartă of KanziKanzi
and his palsamicii dependsdepinde a lot more
127
435214
4614
Totuși, soarta lui Kanzi și a celor ca el
depinde cu mult mai mult
07:31
on what we humansoameni do than on
what the chimpanzeescimpanzei do themselvesînșiși.
128
439828
4140
de ce facem noi, oamenii,
decât de ce fac semenii cimpanzei.
07:37
OnceO dată there is superintelligencesuperinteligenţa,
129
445228
2314
Cu apariția superinteligenței,
07:39
the fatesoartă of humanityumanitate mayMai dependdepinde
on what the superintelligencesuperinteligenţa does.
130
447542
3839
soarta umanității poate depinde
de ce face superinteligența.
07:44
Think about it:
131
452451
1057
Gândiți-vă:
07:45
MachineMasina intelligenceinteligență is the last inventioninvenţie
that humanityumanitate will ever need to make.
132
453508
5044
inteligența artificială e ultima invenție
pe care va trebui s-o facă umanitatea.
Căci după aceea mașinile
vor fi mai bune la inventat decât noi
07:50
MachinesMasini will then be better
at inventinginventarea than we are,
133
458552
2973
și vor face asta la scară digitală.
07:53
and they'llei vor be doing so
on digitaldigital timescalesintervalul de timp.
134
461525
2540
07:56
What this meansmijloace is basicallype scurt
a telescopingtelescopică of the futureviitor.
135
464065
4901
Aceasta înseamnă, de fapt,
telescopizarea viitorului.
08:00
Think of all the crazynebun technologiestehnologii
that you could have imaginedimaginat
136
468966
3558
Luați toate tehnologiile nebunești
pe care vi le-ați putea imagina,
08:04
maybe humansoameni could have developeddezvoltat
in the fullnessplinătatea of time:
137
472524
2798
pe care oamenii
le-ar putea realiza în timp:
08:07
curescure for agingîmbătrânire, spacespaţiu colonizationcolonizare,
138
475322
3258
oprirea îmbătrânirii,
colonizarea spațiului cosmic,
08:10
self-replicatingauto-replicare nanobotsNanobots or uploadingîncărcarea
of mindsminți into computerscalculatoare,
139
478580
3731
nanoroboți auto-replicativi
sau încărcarea minții în calculator,
08:14
all kindstipuri of scienceştiinţă fiction-yficţiune-y stuffchestie
140
482311
2159
tot felul de chestii SF
08:16
that's neverthelesscu toate acestea consistentconsistent
with the lawslegii of physicsfizică.
141
484470
2737
care sunt totuși în concordanță
cu legile fizicii.
Pe toate astea superinteligența
le poate realiza, și încă foarte repede.
08:19
All of this superintelligencesuperinteligenţa could
developdezvolta, and possiblyeventual quitedestul de rapidlyrapid.
142
487207
4212
08:24
Now, a superintelligencesuperinteligenţa with suchastfel de
technologicaltehnologic maturitymaturitate
143
492449
3558
Superinteligența de o astfel de
maturitate tehnologică
ar fi extrem de puternică
08:28
would be extremelyextrem powerfulputernic,
144
496007
2179
08:30
and at leastcel mai puţin in some scenariosscenarii,
it would be ablecapabil to get what it wants.
145
498186
4546
și, cel puțin în unele scenarii,
ar putea obține ce vrea.
08:34
We would then have a futureviitor that would
be shapedprofilat by the preferencesPreferinţe of this A.I.
146
502732
5661
Atunci am avea viitorul
modelat de preferințele acesteia.
08:41
Now a good questionîntrebare is,
what are those preferencesPreferinţe?
147
509855
3749
O întrebare bună este:
care ar fi aceste preferințe?
08:46
Here it getsdevine trickiermai complicat.
148
514244
1769
Aici e mai cu schepsis.
08:48
To make any headwayprogrese with this,
149
516013
1435
Pentru a avansa cu acest gând,
08:49
we musttrebuie sa first of all
avoidevita anthropomorphizinganthropomorphizing.
150
517448
3276
în primul rând trebuie
să evităm antropomorfizarea.
08:53
And this is ironicironic because
everyfiecare newspaperziar articlearticol
151
521934
3301
Iar asta e ironic pentru că
orice articol de ziar
08:57
about the futureviitor of A.I.
has a pictureimagine of this:
152
525235
3855
despre viitorul I.A. are o poză ca asta:
09:02
So I think what we need to do is
to conceiveconcepe of the issueproblema more abstractlyabstract,
153
530280
4134
Cred că trebuie să concepem
chestiunea mai abstract,
09:06
not in termstermeni of vividvii HollywoodHollywood scenariosscenarii.
154
534414
2790
nu în termenii colorați
ai scenariilor hollywoodiene.
09:09
We need to think of intelligenceinteligență
as an optimizationoptimizare processproces,
155
537204
3617
Trebuie să ne gândim la inteligență
ca un proces de optimizare,
09:12
a processproces that steersboi the futureviitor
into a particularspecial seta stabilit of configurationsconfiguraţiile.
156
540821
5649
un proces ce îndreaptă viitorul
într-un anumit set de configurații.
09:18
A superintelligencesuperinteligenţa is
a really strongputernic optimizationoptimizare processproces.
157
546470
3511
Superinteligența ca proces
de optimizare foarte puternic.
09:21
It's extremelyextrem good at usingutilizând
availabledisponibil meansmijloace to achieveobține a statestat
158
549981
4117
Extrem de bună pentru a folosi
mijloacele existente
pentru a realiza o stare
în care obiectivele ei sunt atinse.
09:26
in whichcare its goalpoartă is realizedrealizat.
159
554098
1909
09:28
This meansmijloace that there is no necessarynecesar
conenctionconexiunea betweenîntre
160
556447
2672
Aceasta înseamnă
că nu există neapărat legătură
între a fi foarte inteligent în acest sens
09:31
beingfiind highlyextrem de intelligentinteligent in this sensesens,
161
559119
2734
și a avea un obiectiv pe care noi,
oamenii, l-am considera util și cu sens.
09:33
and havingavând an objectiveobiectiv that we humansoameni
would find worthwhilemerită or meaningfulplin de înțeles.
162
561853
4662
09:39
SupposeSă presupunem că we give an A.I. the goalpoartă
to make humansoameni smilezâmbet.
163
567321
3794
Să zicem că îi dăm unei I.A. ca obiectiv
să-i facă pe oameni să zâmbească.
09:43
When the A.I. is weakslab, it performsefectuează usefulutil
or amusingamuzant actionsacţiuni
164
571115
2982
Când I.A. e slabă, acționează
util sau amuzant
09:46
that causecauza its userutilizator to smilezâmbet.
165
574097
2517
ceea ce îl face pe utilizator
să zâmbească.
09:48
When the A.I. becomesdevine superintelligentmotiv,
166
576614
2417
Când I.A. devine superinteligentă,
09:51
it realizesîși dă seama that there is a more
effectiveefectiv way to achieveobține this goalpoartă:
167
579031
3523
își dă seama că există o cale
mai eficientă pentru a atinge acest scop:
09:54
take controlControl of the worldlume
168
582554
1922
preia controlul asupra lumii
09:56
and stickbăț electrodeselectrozi into the facialtratament facial
musclesmușchi of humansoameni
169
584476
3162
și implantează electrozi
în mușchii faciali ai oamenilor
09:59
to causecauza constantconstant, beamingiluminarea grinsranjeste.
170
587638
2941
pentru a obține rânjete
strălucitoare constante.
Alt exemplu:
10:02
AnotherUn alt exampleexemplu,
171
590579
1035
dăm I.A. ca obiectiv să rezolve
o problemă de matematică grea.
10:03
supposepresupune we give A.I. the goalpoartă to solverezolva
a difficultdificil mathematicalmatematic problemproblemă.
172
591614
3383
10:06
When the A.I. becomesdevine superintelligentmotiv,
173
594997
1937
Când I.A. devine superinteligentă,
10:08
it realizesîși dă seama that the mostcel mai effectiveefectiv way
to get the solutionsoluţie to this problemproblemă
174
596934
4171
își dă seama că modul cel mai eficient
pentru a găsi soluția problemei
este transformarea planetei
într-un calculator gigant
10:13
is by transformingtransformare the planetplanetă
into a giantgigant computercomputer,
175
601105
2930
10:16
so as to increasecrește its thinkinggândire capacitycapacitate.
176
604035
2246
pentru a-i crește capacitatea de gândire.
10:18
And noticeînștiințare that this gives the A.I.s
an instrumentalinstrumental reasonmotiv
177
606281
2764
Luați seamă că aceasta dă I.A.-ului
rațiunea instrumentală
10:21
to do things to us that we
mightar putea not approveaproba of.
178
609045
2516
pentru a ne face lucruri
cu care nu suntem de acord.
10:23
HumanUmane beingsființe in this modelmodel are threatsameninţări,
179
611561
1935
În acest caz, oamenii sunt o amenințare,
10:25
we could preventîmpiedica the mathematicalmatematic
problemproblemă from beingfiind solvedrezolvat.
180
613496
2921
am putea să împiedicăm rezolvarea
problemei de matematică.
Desigur, se vede că lucrurile
nu vor degenera chiar astfel;
10:29
Of coursecurs, perceivablyinteligibil things won'tnu va
go wronggresit in these particularspecial waysmoduri;
181
617207
3494
acestea sunt exemple exagerate.
10:32
these are cartoondesen animat examplesexemple.
182
620701
1753
10:34
But the generalgeneral pointpunct here is importantimportant:
183
622454
1939
Dar esența lor e importantă:
10:36
if you createcrea a really powerfulputernic
optimizationoptimizare processproces
184
624393
2873
dacă vrei să realizezi
un proces de optimizare puternic
10:39
to maximizemaximiza for objectiveobiectiv x,
185
627266
2234
pentru a maximiza
atingerea obiectivului x,
10:41
you better make sure
that your definitiondefiniție of x
186
629500
2276
ar fi bine să te asiguri
că definiția acelui x
10:43
incorporatesîncorporează everything you careîngrijire about.
187
631776
2469
încorporează tot ce contează pentru tine.
10:46
This is a lessonlecţie that's alsode asemenea taughtînvățat
in manymulți a mythMitul.
188
634835
4384
E un motiv ce apare și în multe legende.
10:51
KingRegele MidasMidas wishesdorește that everything
he touchesatinge be turnedîntoarse into goldaur.
189
639219
5298
Regele Midas vroia ca tot ce atinge
să se transforme în aur.
10:56
He touchesatinge his daughterfiică,
she turnstransformă into goldaur.
190
644517
2861
Și-a atins fiica, s-a transformat în aur.
10:59
He touchesatinge his foodalimente, it turnstransformă into goldaur.
191
647378
2553
S-a atins de mâncare,
s-a transformat în aur.
11:01
This could becomedeveni practicallypractic relevantrelevant,
192
649931
2589
Aceasta poate fi relevant în practică,
nu doar ca o metaforă a lăcomiei,
11:04
not just as a metaphormetaforă for greedlăcomie,
193
652520
2070
11:06
but as an illustrationilustrare of what happensse întâmplă
194
654590
1895
ci și pentru a ilustra ce se întâmplă
11:08
if you createcrea a powerfulputernic
optimizationoptimizare processproces
195
656485
2837
dacă realizezi
un proces de optimizare puternic,
cu obiectivele concepute eronat
sau insuficient de detaliate.
11:11
and give it misconceivedintuiește
or poorlyslab specifiedspecificate goalsgoluri.
196
659322
4789
11:16
Now you mightar putea say, if a computercomputer startsîncepe
stickinglipirea electrodeselectrozi into people'soamenii lui facesfețe,
197
664111
5189
Ați putea zice că dacă un calculator
începe să implanteze electrozi în oameni
11:21
we'dne-am just shutînchide it off.
198
669300
2265
nu avem decât să îl închidem.
11:24
A, this is not necessarilyîn mod necesar so easyuşor to do
if we'vene-am growncrescut dependentdependent on the systemsistem --
199
672555
5340
A, poate să nu fie chiar așa de ușor
dacă suntem dependenți de sistem –
11:29
like, where is the off switchintrerupator
to the InternetInternet?
200
677895
2732
de unde se poate stinge Internetul?
11:32
B, why haven'tnu au the chimpanzeescimpanzei
flickedflicked the off switchintrerupator to humanityumanitate,
201
680627
5120
B, de ce nu au apăsat cimpanzeii
pe întrerupătorul umanității?
11:37
or the NeanderthalsNeanderthalienii?
202
685747
1551
Sau neanderthalienii?
11:39
They certainlycu siguranță had reasonsmotive.
203
687298
2666
Cu siguranță aveau motive să o facă.
11:41
We have an off switchintrerupator,
for exampleexemplu, right here.
204
689964
2795
Avem un întrerupător, de exemplu aici.
11:44
(ChokingSufocare)
205
692759
1554
(Se sugrumă)
11:46
The reasonmotiv is that we are
an intelligentinteligent adversaryadversar;
206
694313
2925
Motivul e că suntem
un adversar inteligent;
11:49
we can anticipateanticipa threatsameninţări
and planplan around them.
207
697238
2728
putem anticipa pericolul
și putem să-l preîntâmpinăm.
11:51
But so could a superintelligentmotiv agentagent,
208
699966
2504
Dar la fel ar fi
și un agent superinteligent
11:54
and it would be much better
at that than we are.
209
702470
3254
și ar fi mult mai bun decât noi.
11:57
The pointpunct is, we should not be confidentîncrezător
that we have this undersub controlControl here.
210
705724
7187
Faza e că nu ar trebui să credem
că deținem controlul aici.
12:04
And we could try to make our jobloc de munca
a little bitpic easierMai uşor by, say,
211
712911
3447
Am putea încerca,
pentru a ne ușura un pic treaba,
12:08
puttingpunând the A.I. in a boxcutie,
212
716358
1590
să zicem să punem I.A. într-o cutie,
12:09
like a secureSecure softwaresoftware-ul environmentmediu inconjurator,
213
717948
1796
de pildă un mediu de soft securizat,
12:11
a virtualvirtual realityrealitate simulationsimulare
from whichcare it cannotnu poti escapeevadare.
214
719744
3022
o simulare de realitate virtuală
din care nu poate scăpa.
12:14
But how confidentîncrezător can we be that
the A.I. couldn'tnu a putut find a buggândac.
215
722766
4146
Dar cât de siguri putem fi
că I.A. nu găsește un virus.
12:18
GivenAvând în vedere that merelypur și simplu humanuman hackershackeri
find bugsgandaci all the time,
216
726912
3169
Dat fiind că simplii hackeri umani
găsesc tot timpul viruși,
12:22
I'd say, probablyprobabil not very confidentîncrezător.
217
730081
3036
aș zice că, probabil, nu foarte siguri.
12:26
So we disconnectDeconectaţi the ethernetEthernet cablecablu
to createcrea an airaer gapdecalaj,
218
734237
4548
Sau deconectăm cablul ethernet
pentru a crea o întrerupere.
12:30
but again, like merelypur și simplu humanuman hackershackeri
219
738785
2668
Dar, la fel, simplii hackeri umani
trec adesea peste întreruperi,
prin inginerie socială.
12:33
routinelyîn mod obișnuit transgresscontravin prezentei airaer gapslacune
usingutilizând socialsocial engineeringInginerie.
220
741453
3381
12:36
Right now, as I speakvorbi,
221
744834
1259
Chiar în acest moment,
12:38
I'm sure there is some employeeangajat
out there somewhereundeva
222
746093
2389
sunt sigur că există un angajat pe undeva
12:40
who has been talkeda vorbit into handingremitere out
her accountcont detailsDetalii
223
748482
3346
care este păcălit
să-și dea datele de cont
de către cineva care se dă drept
funcționar la departamentul I.T.
12:43
by somebodycineva claimingrevendicare to be
from the I.T. departmentdepartament.
224
751828
2746
12:46
More creativecreator scenariosscenarii are alsode asemenea possibleposibil,
225
754574
2127
Există și alte scenarii creative posibile
12:48
like if you're the A.I.,
226
756701
1315
cum ar fi: dacă ești I.A.
12:50
you can imagineimagina wigglingwiggling electrodeselectrozi
around in your internalintern circuitrycircuite
227
758016
3532
ți-ai putea imagina să-ți pui
electrozi în circuitul intern propriu
12:53
to createcrea radioradio wavesvaluri that you
can use to communicatecomunica.
228
761548
3462
pentru a crea unde radio
pe care să le folosești pentru comunicare.
Sau poate te-ai putea preface
că nu funcționezi corect
12:57
Or maybe you could pretendpretinde to malfunctiondefectiune,
229
765010
2424
12:59
and then when the programmersprogramatori opendeschis
you up to see what wenta mers wronggresit with you,
230
767434
3497
și apoi, când programatorii te deschid
să vadă care-i baiul cu tine,
13:02
they look at the sourcesursă codecod -- BamBam! --
231
770931
1936
se uită la codul-sursă – pac! –
poate avea loc manipularea.
13:04
the manipulationmanipulare can take placeloc.
232
772867
2447
Sau ar putea produce planul
unei tehnologii mișto
13:07
Or it could outputproducție the blueprintBlueprint
to a really niftyputuros technologytehnologie,
233
775314
3430
13:10
and when we implementaplica it,
234
778744
1398
și, când să o implementăm,
13:12
it has some surreptitiousmascată sidelatură effectefect
that the A.I. had plannedplanificat.
235
780142
4397
ea are niște efecte secundare ascunse
pe care le-a gândit I.A.
13:16
The pointpunct here is that we should
not be confidentîncrezător in our abilityabilitate
236
784539
3463
Concluzia este că nu ar trebui
să avem prea mare încredere
13:20
to keep a superintelligentmotiv geniegenie
lockedblocat up in its bottlesticla foreverpentru totdeauna.
237
788002
3808
că putem ține duhul superinteligent
închis în sticla sa pentru totdeauna.
13:23
SoonerMai devreme or latermai tarziu, it will out.
238
791810
2254
Mai degrabă sau mai târziu, va ieși.
13:27
I believe that the answerRăspuns here
is to figurefigura out
239
795034
3103
Cred că aici răspunsul este
să găsim modalitatea
13:30
how to createcrea superintelligentmotiv A.I.
suchastfel de that even if -- when -- it escapesscapă,
240
798137
5024
de a crea o I.A. superinteligentă
care, chiar și după ce scapă,
e totuși sigură, pentru că
în mod fundamental e de partea noastră,
13:35
it is still safesigur because it is
fundamentallyfundamental on our sidelatură
241
803161
3277
13:38
because it sharesacțiuni our valuesvalorile.
242
806438
1899
pentru că are valorile noastre.
13:40
I see no way around
this difficultdificil problemproblemă.
243
808337
3210
Nu văd altă cale de rezolvare
a acestei probleme dificile.
13:44
Now, I'm actuallyde fapt fairlydestul de optimisticoptimist
that this problemproblemă can be solvedrezolvat.
244
812557
3834
Sunt încrezător că putem rezolva
această problemă.
13:48
We wouldn'tnu ar fi have to writescrie down
a long listlistă of everything we careîngrijire about,
245
816391
3903
Nu ar trebui să facem o listă lungă
cu toate lucrurile la care ținem
13:52
or worsemai rau yetinca, spellvraja it out
in some computercomputer languagelimba
246
820294
3643
sau, mai rău, să le traducem
într-un limbaj mașină
13:55
like C++ or PythonPython,
247
823937
1454
ca C++ sau Python.
13:57
that would be a tasksarcină beyonddincolo hopelessfara speranta.
248
825391
2767
Asta ar fi o sarcină absolut imposibilă.
14:00
InsteadÎn schimb, we would createcrea an A.I.
that usesutilizări its intelligenceinteligență
249
828158
4297
În loc de asta, ar trebui să creăm o I.A.
ce-și folosește propria inteligență
14:04
to learnînvăța what we valuevaloare,
250
832455
2771
pentru a ne învăța valorile,
iar sistemul ei de motivare
să fie construit astfel încât
14:07
and its motivationmotivație systemsistem is constructedconstruite
in suchastfel de a way that it is motivatedmotivaţi
251
835226
5280
să fie motivată să ne urmeze valorile
14:12
to pursueurmări our valuesvalorile or to performa executa actionsacţiuni
that it predictsprezice we would approveaproba of.
252
840506
5232
sau să facă acțiuni la care se poate
aștepta să aibă aprobarea noastră.
14:17
We would thusprin urmare leveragepârghie
its intelligenceinteligență as much as possibleposibil
253
845738
3414
Astfel am avea, pe cât posibil,
o pârghie asupra inteligenței
14:21
to solverezolva the problemproblemă of value-loadingvaloare de încărcare.
254
849152
2745
în rezolvarea problemei
valorilor încărcate.
Se poate realiza,
14:24
This can happenîntâmpla,
255
852727
1512
iar rezultatul ar fi foarte bun
pentru umanitate.
14:26
and the outcomerezultat could be
very good for humanityumanitate.
256
854239
3596
14:29
But it doesn't happenîntâmpla automaticallyautomat.
257
857835
3957
Dar asta nu se întâmplă automat.
14:33
The initialiniţială conditionscondiţii
for the intelligenceinteligență explosionexplozie
258
861792
2998
Condițiile inițiale
pentru explozia de inteligență
ar trebui setate corespunzător
14:36
mightar putea need to be seta stabilit up
in just the right way
259
864790
2863
dacă vrem să avem o explozie controlată.
14:39
if we are to have a controlleddirijat detonationdetonare.
260
867653
3530
14:43
The valuesvalorile that the A.I. has
need to matchMeci oursa noastra,
261
871183
2618
Valorile I.A. trebuie să fie
potrivite cu ale noastre,
14:45
not just in the familiarfamiliar contextcontext,
262
873801
1760
nu doar în contextul obișnuit,
14:47
like where we can easilyuşor checkVerifica
how the A.I. behavesse comportă,
263
875561
2438
când putem verifica ușor
comportamentul I.A.
14:49
but alsode asemenea in all novelroman contextscontexte
that the A.I. mightar putea encounterîntâlni
264
877999
3234
ci și în situațiile noi
în care se va putea afla I.A.
14:53
in the indefinitenedefinit futureviitor.
265
881233
1557
într-un viitor nedefinit.
Există și aspecte ezoterice
ce vor trebui rezolvate, clarificate:
14:54
And there are alsode asemenea some esotericezoterice issuesprobleme
that would need to be solvedrezolvat, sortedsortate out:
266
882790
4737
detaliile exacte ale teoriei deciziilor,
14:59
the exactcorect detailsDetalii of its decisiondecizie theoryteorie,
267
887527
2089
15:01
how to dealafacere with logicallogic
uncertaintyincertitudine and so forthmai departe.
268
889616
2864
cum să trateze incertitudinea logică etc.
Problemele tehnice de rezolvat
pentru ca aceasta să funcționeze
15:05
So the technicaltehnic problemsProbleme that need
to be solvedrezolvat to make this work
269
893330
3102
par destul de dificile.
15:08
look quitedestul de difficultdificil --
270
896432
1113
Nu chiar așa de dificile
ca realizarea I.A. superinteligente,
15:09
not as difficultdificil as makingluare
a superintelligentmotiv A.I.,
271
897545
3380
dar destul de dificile.
15:12
but fairlydestul de difficultdificil.
272
900925
2868
15:15
Here is the worryface griji:
273
903793
1695
Iată ce mă îngrijorează:
15:17
MakingA face superintelligentmotiv A.I.
is a really hardgreu challengeprovocare.
274
905488
4684
realizarea I.A. superinteligente
e o mare provocare.
15:22
MakingA face superintelligentmotiv A.I. that is safesigur
275
910172
2548
Realizarea I.A. superinteligente
care este sigură
15:24
involvesimplică some additionalsuplimentare
challengeprovocare on toptop of that.
276
912720
2416
implică probleme suplimentare.
15:28
The riskrisc is that if somebodycineva figurescifrele out
how to cracksparge the first challengeprovocare
277
916216
3487
Riscul e ca cineva să reușească
să rezolve prima provocare
fără a găsi calea rezolvării
problemelor suplimentare
15:31
withoutfără alsode asemenea havingavând crackedcrăpat
the additionalsuplimentare challengeprovocare
278
919703
3001
15:34
of ensuringasigurarea perfectperfect safetySiguranță.
279
922704
1901
de asigurare a unei siguranțe perfecte.
15:37
So I think that we should
work out a solutionsoluţie
280
925375
3331
Cred că ar trebui să găsim o soluție
15:40
to the controlControl problemproblemă in advanceavans,
281
928706
2822
pentru a controla problema în avans,
pentru a o avea când va fi nevoie.
15:43
so that we have it availabledisponibil
by the time it is neededNecesar.
282
931528
2660
15:46
Now it mightar putea be that we cannotnu poti solverezolva
the entireîntreg controlControl problemproblemă in advanceavans
283
934768
3507
S-ar putea să nu putem rezolva
problema controlului total în avans
15:50
because maybe some elementselement
can only be put in placeloc
284
938275
3024
pentru că poate unele elemente
pot fi puse la locul lor
15:53
onceo singura data you know the detailsDetalii of the
architecturearhitectură where it will be implementedpuse în aplicare.
285
941299
3997
doar cunoscând detaliile arhitecturii
locului de implementare.
Dar cu cât rezolvăm mai mult
în avans problema controlului,
15:57
But the more of the controlControl problemproblemă
that we solverezolva in advanceavans,
286
945296
3380
16:00
the better the oddsșanse that the transitiontranziție
to the machinemaşină intelligenceinteligență eraeră
287
948676
4090
cu atât sunt mai mari șansele ca trecerea
la era inteligenței artificiale
să decurgă lin.
16:04
will go well.
288
952766
1540
16:06
This to me looksarată like a thing
that is well worthin valoare de doing
289
954306
4644
Mi se pare un lucru ce merită făcut
și pot să îmi imaginez că, dacă iese bine,
16:10
and I can imagineimagina that if
things turnviraj out okay,
290
958950
3332
16:14
that people a millionmilion yearsani from now
look back at this centurysecol
291
962282
4658
oamenii, peste un milion de ani,
privind înapoi la acest secol,
16:18
and it mightar putea well be that they say that
the one thing we did that really mattereda contat
292
966940
4002
ar putea foarte bine zice
că singurul lucru important făcut de noi
a fost că am făcut aceasta bine.
16:22
was to get this thing right.
293
970942
1567
Mulțumesc.
16:24
Thank you.
294
972509
1689
(Aplauze)
16:26
(ApplauseAplauze)
295
974198
2813
Translated by Doina Zamfirescu
Reviewed by Matei Sterian

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com