ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

Нік Бостром: Що трапляється, коли наші комп'ютери стають розумнішими за нас?

Filmed:
4,632,705 views

Штучний інтелект стає розумнішим дуже швидкими темпами - в межах цього століття, як передбачає дослідження, комп'ютерний штучний інтелект може стати "розумнішим" за людську істоту. А тоді, за словами Ніка Бострома, він обійде нас: "Машинний інтелект є останнім винаходом людства, який нам слід було б здійснити". Філософ та інженер Бостром просить нас добряче подумати про світ, який ми зараз будуємо, керуючись мислячими машинами. Чи допоможуть наші розумні машини захистити людство на наші цінності - чи вони матимуть власні цінності?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchпучок of mathematiciansматематики,
philosophersфілософи and computerкомп'ютер scientistsвчені,
0
570
4207
Я працював із купою математиків, філософів
та інформатиків,
00:16
and we sitсидіти around and think about
the futureмайбутнє of machineмашина intelligenceрозвідка,
1
4777
5209
і ми сиділи й думали
про майбутнє машинного інтелекту,
00:21
amongсеред other things.
2
9986
2044
серед іншого.
00:24
Some people think that some of these
things are sortсортувати of scienceнаука fiction-yфантастика y,
3
12030
4725
Дехто вважає, що дещо з цього
щось типу наукової фантастики,
00:28
farдалеко out there, crazyбожевільний.
4
16755
3101
недосяжне, божевільне.
00:31
But I like to say,
5
19856
1470
Але я люблю казати:
00:33
okay, let's look at the modernсучасний
humanлюдина conditionумова.
6
21326
3604
"Добре, подивімося на те, якою є
сучасна людина".
00:36
(LaughterСміх)
7
24930
1692
(Сміх)
00:38
This is the normalнормальний way for things to be.
8
26622
2402
Це звичайний стан речей.
00:41
But if we think about it,
9
29024
2285
Але якщо ми замислимося над цим,
00:43
we are actuallyнасправді recentlyнещодавно arrivedприбув
guestsгості on this planetпланета,
10
31309
3293
ми, власне, гості на цій планеті,
00:46
the humanлюдина speciesвидів.
11
34602
2082
людський рід.
00:48
Think about if EarthЗемлі
was createdстворений one yearрік agoтому назад,
12
36684
4746
Задумайтесь, що, якби Землю
було створено рік тому,
00:53
the humanлюдина speciesвидів, then,
would be 10 minutesхвилин oldстарий.
13
41430
3548
людство тоді б було віком лише 10 хвилин.
00:56
The industrialпромисловий eraепоха startedпочався
two secondsсекунд agoтому назад.
14
44978
3168
Індустріальна ера розпочалася
дві секунди тому.
01:01
AnotherІнший way to look at this is to think of
worldсвіт GDPВВП over the last 10,000 yearsроків,
15
49276
5225
Інший кут зору - подумати
про світовий ВВП за останні 10 000 років,
01:06
I've actuallyнасправді takenвзятий the troubleбіда
to plotсюжет this for you in a graphГрафік.
16
54501
3029
я взагалі-то подбав про те, щоб
накреслити для вас графік.
01:09
It looksвиглядає like this.
17
57530
1774
Він виглядає отак.
01:11
(LaughterСміх)
18
59304
1363
(Сміх)
01:12
It's a curiousцікаво shapeформа
for a normalнормальний conditionумова.
19
60667
2151
Це цікава форма для звичайного стану.
01:14
I sure wouldn'tне буде want to sitсидіти on it.
20
62818
1698
Я, напевне, не хотів би
сидіти на цьому.
01:16
(LaughterСміх)
21
64516
2551
(Сміх)
01:19
Let's askзапитай ourselvesми самі, what is the causeпричина
of this currentструм anomalyаномалія?
22
67067
4774
Давайте спитаємо себе: "Що спричинило
цю теперішню аномалію?"
01:23
Some people would say it's technologyтехнологія.
23
71841
2552
Хтось скаже, що це технології.
01:26
Now it's trueправда, technologyтехнологія has accumulatedнакопичений
throughчерез humanлюдина historyісторія,
24
74393
4668
Дійсно, технології накопичувалися
протягом людської історії.
01:31
and right now, technologyтехнологія
advancesаванси extremelyнадзвичайно rapidlyшвидко --
25
79061
4652
і просто зараз технології
розвиваються вкрай швидко -
01:35
that is the proximateбезпосереднім causeпричина,
26
83713
1565
це безпосередня причина,
01:37
that's why we are currentlyв даний час
so very productiveпродуктивний.
27
85278
2565
чому ми зараз такі продуктивні.
01:40
But I like to think back furtherдалі
to the ultimateостаточний causeпричина.
28
88473
3661
Але я волію згадувати про
кінцеву мету.
01:45
Look at these two highlyвисоко
distinguishedвідрізнявся gentlemenджентльмени:
29
93114
3766
Подивіться на цих двох
шляхетних джентльменів:
01:48
We have KanziKanzi --
30
96880
1600
Це Канзі --
01:50
he's masteredмастеринг 200 lexicalЛексична
tokensЖетони, an incredibleнеймовірний featподвиг.
31
98480
4643
він вивчив 200 лексичних символів,
неймовірне досягнення.
01:55
And EdЕд WittenWitten unleashedрозв'язали the secondдругий
superstringсуперструн revolutionреволюція.
32
103123
3694
І Ед Віттен, котрий спричинив
другу суперструнну революцію.
01:58
If we look underпід the hoodГуд,
this is what we find:
33
106817
2324
Якщо ми заглянемо "під капот",
ось що з'ясується:
02:01
basicallyв основному the sameтой же thing.
34
109141
1570
по суті, те саме.
02:02
One is a little largerбільший,
35
110711
1813
Один трошки більший,
02:04
it maybe alsoтакож has a fewмало хто tricksтрюки
in the exactточно way it's wiredпровідний.
36
112524
2758
він може мати певні
особливості в сплетінні.
02:07
These invisibleневидимий differencesвідмінності cannotне можу
be too complicatedускладнений, howeverоднак,
37
115282
3812
Ці невидимі відмінності однак
не можуть бути надто складними,
02:11
because there have only
been 250,000 generationsпокоління
38
119094
4285
тому що було лише
250 000 поколінь
02:15
sinceз our last commonзагальний ancestorпредка.
39
123379
1732
від останнього
спільного предка.
02:17
We know that complicatedускладнений mechanismsмеханізми
take a long time to evolveрозвиватися.
40
125111
3849
Ми знаємо, що складний механізм
потребує багато часу, щоб розвинутися.
02:22
So a bunchпучок of relativelyвідносно minorнеповнолітній changesзміни
41
130000
2499
Тому купа відносно незначних змін
02:24
take us from KanziKanzi to WittenWitten,
42
132499
3067
привели нас від Канзі до Віттена,
02:27
from broken-offBroken офф treeдерево branchesВідділення і банкомати
to intercontinentalГотель InterContinental ballisticбалістичний missilesракети.
43
135566
4543
від відламаних гілок дерева до
міжконтинентальних балістичних ракет.
02:32
So this then seemsздається prettyкрасиво obviousочевидний
that everything we'veми маємо achievedдосягнуто,
44
140839
3935
Отже тоді виглядає цілком очевидно,
що все, чого ми досягли,
02:36
and everything we careтурбота about,
45
144774
1378
і все, що нам небайдуже,
02:38
dependsзалежить cruciallyвирішальною on some relativelyвідносно minorнеповнолітній
changesзміни that madeзроблений the humanлюдина mindрозум.
46
146152
5228
принципово залежить від досить неістотних
змін, яких зазнав людський мозок.
02:44
And the corollaryслідство, of courseзвичайно,
is that any furtherдалі changesзміни
47
152650
3662
І як наслідок, звичайно,
усі подальші зміни,
02:48
that could significantlyзначно changeзмінити
the substrateсубстрат of thinkingмислення
48
156312
3477
які можуть докорінно змінити
підґрунтя для мислення,
02:51
could have potentiallyпотенційно
enormousвеличезний consequencesнаслідки.
49
159789
3202
матимуть потенційно
величезні наслідки.
02:56
Some of my colleaguesколеги
think we're on the vergeгранично
50
164321
2905
Дехто з моїх колег
вважає, що ми на межі
02:59
of something that could causeпричина
a profoundглибокий changeзмінити in that substrateсубстрат,
51
167226
3908
чогось, що може призвести до
глибоких змін у цьому підґрунті,
03:03
and that is machineмашина superintelligencesuperintelligence.
52
171134
3213
і це машинний суперінтелект.
03:06
ArtificialШтучні intelligenceрозвідка used to be
about puttingпокласти commandsкоманди in a boxкоробка.
53
174347
4739
Штучний інтелект був чимось на кшталт
введення команд у коробку.
03:11
You would have humanлюдина programmersпрограмісти
54
179086
1665
У вас мають бути люди-програмісти,
03:12
that would painstakinglyретельно
handcraftрозкіш та ручне knowledgeзнання itemsпредмети.
55
180751
3135
які скрупульозно вручну
створюватимуть одиниці знань.
03:15
You buildбудувати up these expertексперт systemsсистеми,
56
183886
2086
Ви будуєте цю систему
штучного інтелекту,
03:17
and they were kindдоброзичливий of usefulкорисний
for some purposesцілей,
57
185972
2324
і вона типу корисна для якихось цілей,
03:20
but they were very brittleкрихкий,
you couldn'tне міг scaleмасштаб them.
58
188296
2681
але надто крихка,
її не можна масштабувати.
03:22
BasicallyВ основному, you got out only
what you put in.
59
190977
3433
По суті, ви отримуєте лише те,
що самі вклали всередину.
03:26
But sinceз then,
60
194410
997
Але відтоді
03:27
a paradigmпарадигма shiftзміна has takenвзятий placeмісце
in the fieldполе of artificialштучний intelligenceрозвідка.
61
195407
3467
стався зсув парадигми
у галузі штучного інтелекту.
03:30
TodayСьогодні, the actionдія is really
around machineмашина learningнавчання.
62
198874
2770
Сьогодні дія відбувається
довкола машинного навчання.
03:34
So ratherшвидше than handcraftinghandcrafting knowledgeзнання
representationsпредставництва and featuresособливості,
63
202394
5387
Тому, радше, ніж створювати вручну
образи та характеристики знань,
03:40
we createстворити algorithmsалгоритми that learnвчитися,
oftenчасто from rawсирий perceptualперцептивний dataдані.
64
208511
5554
ми створюємо алгоритми, які вчаться
на "сирих" сприйняттєвих даних.
03:46
BasicallyВ основному the sameтой же thing
that the humanлюдина infantнемовля does.
65
214065
4998
Власне, це те саме, що робить
дитина.
03:51
The resultрезультат is A.I. that is not
limitedобмежений to one domainдомен --
66
219063
4207
Результатом є штучний інтелект, не
обмежений однією цариною -
03:55
the sameтой же systemсистема can learnвчитися to translateперекласти
betweenміж any pairsпари of languagesмови,
67
223270
4631
та ж система спроможна навчитися
перекладати між будь-якими парами мов,
03:59
or learnвчитися to playграти any computerкомп'ютер gameгра
on the AtariAtari consoleконсолі.
68
227901
5437
або навчитися грати у будь-яку
комп'ютерну гру на консолі Атарі.
04:05
Now of courseзвичайно,
69
233338
1779
Зараз, звісно,
04:07
A.I. is still nowhereніде nearблизько havingмаючи
the sameтой же powerfulпотужний, cross-domainміж доменами
70
235117
3999
штучний інтелект далекий від того,
щоб мати таку могутню міжгалузеву
04:11
abilityздібності to learnвчитися and planплан
as a humanлюдина beingбуття has.
71
239116
3219
здатність вчитися і планувати,
яку має людина.
04:14
The cortexкора still has some
algorithmicАлгоритмічні tricksтрюки
72
242335
2126
Кора головного мозку досі має
деякі хитрощі,
04:16
that we don't yetвсе-таки know
how to matchматч in machinesмашини.
73
244461
2355
які ми поки що не знаємо, як
створити у машинах.
04:19
So the questionпитання is,
74
247886
1899
Тому питання:
04:21
how farдалеко are we from beingбуття ableздатний
to matchматч those tricksтрюки?
75
249785
3500
як далеко ми від спроможності
розгадати ці хитрощі?
04:26
A coupleпара of yearsроків agoтому назад,
76
254245
1083
Пару років тому
04:27
we did a surveyобстеження of some of the world'sсвітовий
leadingпровідний A.I. expertsексперти,
77
255328
2888
ми провели опитування серед
провідних експертів зі штучного інтелекту,
04:30
to see what they think,
and one of the questionsпитання we askedзапитав was,
78
258216
3224
щоб побачити, що вони думають,
і одним із питань було:
04:33
"By whichкотрий yearрік do you think
there is a 50 percentвідсоток probabilityймовірність
79
261440
3353
"У якому році, на вашу думку,
існує 50-відсоткова імовірність
04:36
that we will have achievedдосягнуто
human-levelлюдини на рівні machineмашина intelligenceрозвідка?"
80
264793
3482
досягнення людського рівня
інтелекту у машині?"
04:40
We definedвизначений human-levelлюдини на рівні here
as the abilityздібності to performвиконувати
81
268785
4183
Тут ми визначили людський рівень
як спроможність виконувати
04:44
almostмайже any jobробота at leastнайменше as well
as an adultдорослий humanлюдина,
82
272968
2871
майже будь-яку роботу, принаймні
так само, як доросла людина,
04:47
so realреальний human-levelлюдини на рівні, not just
withinв межах some limitedобмежений domainдомен.
83
275839
4005
отже справжній людський рівень,
не лише в межах певної обмеженої галузі.
04:51
And the medianмедіана answerвідповісти was 2040 or 2050,
84
279844
3650
І середня відповідь була 2040 або 2050,
04:55
dependingзалежно від on preciselyточно whichкотрий
groupгрупа of expertsексперти we askedзапитав.
85
283494
2806
залежно від того, яку групу
експертів ми питали.
04:58
Now, it could happenстатися much,
much laterпізніше, or soonerрано,
86
286300
4039
Це може статися набагато пізніше,
або раніше,
05:02
the truthправда is nobodyніхто really knowsзнає.
87
290339
1940
правду кажучи, ніхто
в дійсності не знає.
05:05
What we do know is that the ultimateостаточний
limitліміт to informationінформація processingобробка
88
293259
4412
Ми знаємо, що остаточний
ліміт на оброблення інформації
05:09
in a machineмашина substrateсубстрат liesбрехня farдалеко outsideназовні
the limitsмежі in biologicalбіологічний tissueтканина.
89
297671
4871
на машинному підґрунті дуже
перевершує обмеження біологічних тканин.
05:15
This comesприходить down to physicsфізика.
90
303241
2378
Це походить з фізики.
05:17
A biologicalбіологічний neuronнейрон firesпожежі, maybe,
at 200 hertzHertz, 200 timesразів a secondдругий.
91
305619
4718
Біологічний нейрон передає, мабуть,
на 200 герц, 200 разів за секунду.
05:22
But even a present-dayсьогоднішній день transistorтранзистор
operatesдіє at the GigahertzГігагерц.
92
310337
3594
Але навіть сьогоднішній транзистор
оперує гігагерцами.
05:25
NeuronsНейрони propagateрозповсюдження slowlyповільно in axonsаксонів,
100 metersметрів perза secondдругий, topsтопи.
93
313931
5297
Нейрони поширюються повільно в аксонах,
100 метрів за секунду найбільше.
05:31
But in computersкомп'ютери, signalsсигнали can travelподорожувати
at the speedшвидкість of lightсвітло.
94
319228
3111
Але в комп'ютерах сигнали можуть ширитися
зі швидкістю світла.
05:35
There are alsoтакож sizeрозмір limitationsобмеження,
95
323079
1869
Тут теж є обмеження за величиною,
05:36
like a humanлюдина brainмозок has
to fitпридатний insideвсередині a craniumчерепа,
96
324948
3027
бо людський мозок має
вміщуватися у череп,
05:39
but a computerкомп'ютер can be the sizeрозмір
of a warehouseсклад or largerбільший.
97
327975
4761
але комп'ютер може бути завбільшки
з цілий склад або й більшим.
05:44
So the potentialпотенціал for superintelligencesuperintelligence
liesбрехня dormantспокою in matterматерія,
98
332736
5599
Тому потенціал суперінтелекту
поки що спить у матерії,
05:50
much like the powerвлада of the atomатом
layлежати dormantспокою throughoutвсюди humanлюдина historyісторія,
99
338335
5712
точнісінько як потужність атома
спала протягом людської історії,
05:56
patientlyтерпляче waitingочікування there untilдо 1945.
100
344047
4405
терпляче чекаючи на 1945.
06:00
In this centuryстоліття,
101
348452
1248
Цього століття
06:01
scientistsвчені mayможе learnвчитися to awakenAwaken
the powerвлада of artificialштучний intelligenceрозвідка.
102
349700
4118
науковці можуть навчитися, як розбудити
могутність штучного інтелекту.
06:05
And I think we mightможе then see
an intelligenceрозвідка explosionвибух.
103
353818
4008
І мені здається, що ми можемо тоді
спостерегти бурхливий розвиток інтелекту.
06:10
Now mostнайбільше people, when they think
about what is smartрозумний and what is dumbнімий,
104
358406
3957
Зараз більшість людей, думаючи про те,
що є розумним і що дурним,
06:14
I think have in mindрозум a pictureкартина
roughlyгрубо like this.
105
362363
3023
мені здається, тримають у голові
десь схожу на оцю картинку.
06:17
So at one endкінець we have the villageсело idiotідіот,
106
365386
2598
На початку ми маємо сільського дурника,
06:19
and then farдалеко over at the other sideсторона
107
367984
2483
і далеко на іншому кінці -
06:22
we have EdЕд WittenWitten, or AlbertАльберт EinsteinЕйнштейн,
or whoeverхто б не був your favoriteулюблений guruгуру is.
108
370467
4756
Еда Віттена, Альберта Ейнштейна, або
хто там ваш улюблений гуру.
06:27
But I think that from the pointточка of viewвид
of artificialштучний intelligenceрозвідка,
109
375223
3834
Але мені здається, що з точки зору
штучного інтелекту,
06:31
the trueправда pictureкартина is actuallyнасправді
probablyймовірно more like this:
110
379057
3681
справжня картинка дійсно
більше схожа на ось таку.
06:35
AIАЙ startsпочинається out at this pointточка here,
at zeroнуль intelligenceрозвідка,
111
383258
3378
Все починається в цій точці отут,
на нульовому інтелекті,
06:38
and then, after manyбагато хто, manyбагато хто
yearsроків of really hardважко work,
112
386636
3011
і потім, після багатьох-багатьох
років направду тяжкої праці,
06:41
maybe eventuallyврешті-решт we get to
mouse-levelмиші на рівні artificialштучний intelligenceрозвідка,
113
389647
3844
мабуть, зрештою ми досягнемо
штучного інтелекту на рівні миші,
06:45
something that can navigateпереміщатися
clutteredметушня environmentsсередовища
114
393491
2430
який зможе орієнтуватися у
захаращених середовищах
06:47
as well as a mouseмиша can.
115
395921
1987
так само, як це може миша.
06:49
And then, after manyбагато хто, manyбагато хто more yearsроків
of really hardважко work, lots of investmentінвестиції,
116
397908
4313
Потім, після ще більшої кількості років
дуже тяжкої праці, інвестицій,
06:54
maybe eventuallyврешті-решт we get to
chimpanzee-levelшимпанзе рівень artificialштучний intelligenceрозвідка.
117
402221
4639
мабуть, зрештою ми досягнемо рівня
інтелекту на рівні шимпанзе.
06:58
And then, after even more yearsроків
of really, really hardважко work,
118
406860
3210
І потім, після ще більшої кількості років
дуже-дуже тяжкої праці,
07:02
we get to villageсело idiotідіот
artificialштучний intelligenceрозвідка.
119
410070
2913
ми досягнемо штучного інтелекту
на рівні сільського дурника.
07:04
And a fewмало хто momentsмоменти laterпізніше,
we are beyondдалі EdЕд WittenWitten.
120
412983
3272
А кілька митей потому ми вже
вийдемо за межі Еда Віттена.
07:08
The trainпоїзд doesn't stop
at HumanvilleHumanville StationСтанція.
121
416255
2970
Потяг не спиняється
на станції "Людствоград".
07:11
It's likelyшвидше за все, ratherшвидше, to swooshГалочка right by.
122
419225
3022
Він, скоріше, мчить повз неї зі свистом.
07:14
Now this has profoundглибокий implicationsнаслідки,
123
422247
1984
Тепер це має глибокі наслідки,
07:16
particularlyособливо when it comesприходить
to questionsпитання of powerвлада.
124
424231
3862
особливо, коли йдеться про питання влади.
07:20
For exampleприклад, chimpanzeesшимпанзе are strongсильний --
125
428093
1899
Приміром, шимпанзе сильні -
07:21
poundфунт for poundфунт, a chimpanzeeшимпанзе is about
twiceдвічі as strongсильний as a fitпридатний humanлюдина maleчоловік.
126
429992
5222
за будь-яких умов шимпанзе принаймні
удвічі сильніший за здорового чоловіка.
07:27
And yetвсе-таки, the fateдоля of KanziKanzi
and his palsдрузі dependsзалежить a lot more
127
435214
4614
Тим не менше, доля Канзі і його товаришів
набагато більше залежить
07:31
on what we humansлюди do than on
what the chimpanzeesшимпанзе do themselvesсамі.
128
439828
4140
від того, що робимо ми, люди,
ніж від того, що шимпанзе роблять самі.
07:37
OnceОдного разу there is superintelligencesuperintelligence,
129
445228
2314
Коли з'явиться суперінтелект,
07:39
the fateдоля of humanityлюдство mayможе dependзалежить
on what the superintelligencesuperintelligence does.
130
447542
3839
доля людства може залежати від того,
що робитиме цей інтелект.
07:44
Think about it:
131
452451
1057
Подумайте про це:
07:45
MachineМашина intelligenceрозвідка is the last inventionвинахід
that humanityлюдство will ever need to make.
132
453508
5044
машинний інтелект - це остання річ,
яку людство має винайти.
07:50
MachinesМашини will then be better
at inventingвинахід than we are,
133
458552
2973
Машини після цього будуть кращими
винахідниками, ніж ми,
07:53
and they'llвони будуть be doing so
on digitalцифровий timescalesперіодів часу.
134
461525
2540
і вони робитимуть це
із цифровою швидкістю.
07:56
What this meansзасоби is basicallyв основному
a telescopingТелескопічна of the futureмайбутнє.
135
464065
4901
Це фактично означає
телескопіювання майбутнього.
08:00
Think of all the crazyбожевільний technologiesтехнології
that you could have imaginedуявити собі
136
468966
3558
Уявіть лише всі божевільні технології,
08:04
maybe humansлюди could have developedрозроблений
in the fullnessповнота of time:
137
472524
2798
які людство могло б розвинути,
маючи вдосталь часу:
08:07
curesлікує for agingстаріння, spaceпростір colonizationколонізація,
138
475322
3258
ліки від старіння, колонізація космосу,
08:10
self-replicatingсамореплікація nanobotsnanobots or uploadingзавантаження
of mindsрозум into computersкомп'ютери,
139
478580
3731
самовідтворювані наноботи чи
завантаження свідомості у комп'ютер,
08:14
all kindsвидів of scienceнаука fiction-yфантастика y stuffречі
140
482311
2159
усі ці науково-фантастичні штуки,
08:16
that's neverthelessтим не менш consistentпослідовний
with the lawsзакони of physicsфізика.
141
484470
2737
які, тим не менше, сумісні
із законами фізики.
08:19
All of this superintelligencesuperintelligence could
developрозвиватися, and possiblyможливо quiteцілком rapidlyшвидко.
142
487207
4212
Усе це суперінтелект може розвинути,
і, можливо, цілком швидко.
08:24
Now, a superintelligencesuperintelligence with suchтакий
technologicalтехнологічний maturityзрілість
143
492449
3558
Суперінтелект із такою
технологічною довершеністю
08:28
would be extremelyнадзвичайно powerfulпотужний,
144
496007
2179
буде неймовірно могутнім,
08:30
and at leastнайменше in some scenariosсценарії,
it would be ableздатний to get what it wants.
145
498186
4546
і принаймні за кількох сценаріїв він
досягне того, чого прагне.
08:34
We would then have a futureмайбутнє that would
be shapedу формі by the preferencesналаштування of this A.I.
146
502732
5661
Ми тоді матимемо майбутнє,
окреслене цінностями цього штучного інтелекту.
08:41
Now a good questionпитання is,
what are those preferencesналаштування?
147
509855
3749
Тепер хороше питання: які це цінності?
08:46
Here it getsотримує trickierскладніше.
148
514244
1769
Тут все стає складнішим.
08:48
To make any headwayуспіхи with this,
149
516013
1435
Щоб просунутися із цим уперед,
08:49
we mustповинен first of all
avoidуникати anthropomorphizinganthropomorphizing.
150
517448
3276
ми маємо насамперед
уникати антропоморфічності.
08:53
And this is ironicіронічний because
everyкожен newspaperгазета articleстаття
151
521934
3301
І в цьому іронія, адже кожна
стаття в газеті
08:57
about the futureмайбутнє of A.I.
has a pictureкартина of this:
152
525235
3855
про майбутнє штучного інтелекту
проілюстрована ось цим.
09:02
So I think what we need to do is
to conceiveзачати of the issueпроблема more abstractlyабстрактно,
153
530280
4134
Тому я думаю, що ми повинні підійти
до питання абстрактніше,
09:06
not in termsтерміни of vividяскраві HollywoodГоллівуд scenariosсценарії.
154
534414
2790
не в дусі яскравих
голлівудських сценаріїв.
09:09
We need to think of intelligenceрозвідка
as an optimizationоптимізація processпроцес,
155
537204
3617
Ми маємо подумати про інтелект
як про процес оптимізації,
09:12
a processпроцес that steersГосподарський трактор the futureмайбутнє
into a particularконкретно setвстановити of configurationsконфігурації.
156
540821
5649
процес, що кермує майбутнє у
визначений набір структур.
09:18
A superintelligencesuperintelligence is
a really strongсильний optimizationоптимізація processпроцес.
157
546470
3511
Суперінтелект направду є сильним
опитимізаційним процесом.
09:21
It's extremelyнадзвичайно good at usingвикористовуючи
availableдоступний meansзасоби to achieveдомогтися a stateдержава
158
549981
4117
Він неймовірний у використанні
доступних зособів
09:26
in whichкотрий its goalмета is realizedусвідомлено.
159
554098
1909
для досягнення мети.
09:28
This meansзасоби that there is no necessaryнеобхідний
conenctionconenction betweenміж
160
556447
2672
Це значить, що немає необхідних
зв'язків між
09:31
beingбуття highlyвисоко intelligentрозумний in this senseсенс,
161
559119
2734
бути високорозвиненим у цьому сенсі
09:33
and havingмаючи an objectiveоб'єктивний that we humansлюди
would find worthwhileцінний or meaningfulзначущий.
162
561853
4662
і мати ціль, яку ми, люди,
вважатимемо вартісною і змістовною.
09:39
SupposeПрипустимо, що we give an A.I. the goalмета
to make humansлюди smileусмішка.
163
567321
3794
Припустимо, ми поставили перед Ш. І. мету
викликати у людей посмішку.
09:43
When the A.I. is weakслабкий, it performsвиконує usefulкорисний
or amusingзабавні actionsдії
164
571115
2982
Коли Ш. І. слабкий, він робитиме
потрібні або кумедні речі,
09:46
that causeпричина its userкористувач to smileусмішка.
165
574097
2517
які змусять його користувача посміхатися.
09:48
When the A.I. becomesстає superintelligentстворення надрозумноо,
166
576614
2417
Коли Ш. І. стане суперінтелектом,
09:51
it realizesусвідомлює that there is a more
effectiveефективний way to achieveдомогтися this goalмета:
167
579031
3523
він зрозуміє, що є ефективніші
шляхи досягти цієї мети:
09:54
take controlКОНТРОЛЬ of the worldсвіт
168
582554
1922
підкорити світ
09:56
and stickпалиця electrodesелектроди into the facialДогляд за шкірою обличчя
musclesм'язи of humansлюди
169
584476
3162
і приклеїти електроди до лицевих
м'язів людей,
09:59
to causeпричина constantпостійна, beamingсяючий grinsпосміхається.
170
587638
2941
щоб викликати постійний променистий вищир.
10:02
AnotherІнший exampleприклад,
171
590579
1035
Інший приклад:
10:03
supposeприпустимо we give A.I. the goalмета to solveвирішити
a difficultважко mathematicalматематичний problemпроблема.
172
591614
3383
скажімо, ми даємо Ш. І. завдання вирішити
складну математичну проблему.
10:06
When the A.I. becomesстає superintelligentстворення надрозумноо,
173
594997
1937
Коли Ш. І. стане суперінтелектом,
10:08
it realizesусвідомлює that the mostнайбільше effectiveефективний way
to get the solutionрішення to this problemпроблема
174
596934
4171
він зрозуміє, що найефективніший шлях
отримати вирішення цієї проблеми --
10:13
is by transformingперетворення the planetпланета
into a giantгігант computerкомп'ютер,
175
601105
2930
це перетворити планету
на гігантський комп'ютер,
10:16
so as to increaseзбільшити its thinkingмислення capacityємність.
176
604035
2246
щоб збільшити свою
спроможність мислити.
10:18
And noticeпомітити that this givesдає the A.I.s
an instrumentalінструментальні reasonпричина
177
606281
2764
Зауважте, що це дає Ш. І.
інструментальну причину
10:21
to do things to us that we
mightможе not approveсхвалювати of.
178
609045
2516
робити якісь речі так,
що ми цього не схвалимо.
10:23
HumanЛюдини beingsістоти in this modelмодель are threatsзагрози,
179
611561
1935
Людські створіння у цій моделі -
це загрози,
10:25
we could preventзапобігти the mathematicalматематичний
problemпроблема from beingбуття solvedвирішено.
180
613496
2921
ми можемо перешкодити
вирішенню цієї проблеми.
10:29
Of courseзвичайно, perceivablyperceivably things won'tне буде
go wrongнеправильно in these particularконкретно waysшляхи;
181
617207
3494
Звичайно, відчутно речі не підуть
цим хибним шляхом;
10:32
these are cartoonмультфільм examplesприклади.
182
620701
1753
це гіпертрофовані приклади.
10:34
But the generalзагальний pointточка here is importantважливо:
183
622454
1939
Але загалом це важливо:
10:36
if you createстворити a really powerfulпотужний
optimizationоптимізація processпроцес
184
624393
2873
якщо ви створюєте дійсно потужний
оптимізаційний процес
10:39
to maximizeмаксимізувати for objectiveоб'єктивний x,
185
627266
2234
для збільшення об'єктивного х,
10:41
you better make sure
that your definitionвизначення of x
186
629500
2276
краще впевніться, що ваше визначення х
10:43
incorporatesвключає в себе everything you careтурбота about.
187
631776
2469
включає все, що вам небайдуже.
10:46
This is a lessonурок that's alsoтакож taughtнавчав
in manyбагато хто a mythміф.
188
634835
4384
Це урок, якому нас вчать у багатьох міфах.
10:51
KingКінг MidasМідас wishesпобажання that everything
he touchesторкається be turnedобернувся into goldзолото.
189
639219
5298
Цар Мідас бажав, щоб усе, до чого
він торкався, оберталося на золото.
10:56
He touchesторкається his daughterдочка,
she turnsвиявляється into goldзолото.
190
644517
2861
Він торкнувся своєї доньки,
вона перетворилася на золото.
10:59
He touchesторкається his foodїжа, it turnsвиявляється into goldзолото.
191
647378
2553
Він торкнувся їжі -- вона стала золотом.
11:01
This could becomeстати practicallyпрактично relevantрелевантний,
192
649931
2589
Це може стати практично дійсністю,
11:04
not just as a metaphorметафора for greedжадібність,
193
652520
2070
не лише як метафора жадібності,
11:06
but as an illustrationілюстрація of what happensбуває
194
654590
1895
а й як ілюстрація того, що стається,
11:08
if you createстворити a powerfulпотужний
optimizationоптимізація processпроцес
195
656485
2837
коли ви створюєте потужний
оптимізаційний процес
11:11
and give it misconceivedmisconceived
or poorlyпогано specifiedвказано goalsцілі.
196
659322
4789
і ставите перед ним несформульовані
або погано описані цілі.
11:16
Now you mightможе say, if a computerкомп'ютер startsпочинається
stickingприлипаючи electrodesелектроди into people'sнародний facesобличчя,
197
664111
5189
Ви можете зауважити: якщо комп'ютер почне
тицяти електродами людям в обличчя,
11:21
we'dми б just shutзакрито it off.
198
669300
2265
ми просто вимкнемо його.
11:24
A, this is not necessarilyобов'язково so easyлегко to do
if we'veми маємо grownвирощений dependentзалежний on the systemсистема --
199
672555
5340
А) Це необов'язково просто зробити,
якщо ми виросли залежними від системи --
11:29
like, where is the off switchперемикач
to the InternetІнтернет?
200
677895
2732
типу, як тепер вимкнути інтернет?
11:32
B, why haven'tні the chimpanzeesшимпанзе
flickedклацанням the off switchперемикач to humanityлюдство,
201
680627
5120
Б) Чому ж шимпанзе не натиснули
на вимикач людства,
11:37
or the NeanderthalsНеандертальці?
202
685747
1551
чи неандертальці?
11:39
They certainlyзвичайно had reasonsпричин.
203
687298
2666
Вони, напевно, мали причини.
11:41
We have an off switchперемикач,
for exampleприклад, right here.
204
689964
2795
Ми маємо вимикач, наприклад, прямо тут.
11:44
(ChokingЗадуха)
205
692759
1554
(Тисне)
11:46
The reasonпричина is that we are
an intelligentрозумний adversaryсупротивник;
206
694313
2925
Причина в тому, що ми -
розумний супротивник;
11:49
we can anticipateчекай threatsзагрози
and planплан around them.
207
697238
2728
ми можемо передбачати загрози
і планувати навколо них.
11:51
But so could a superintelligentстворення надрозумноо agentагент,
208
699966
2504
Але так зможе і суперінтелектелект,
11:54
and it would be much better
at that than we are.
209
702470
3254
і він буде набагато вправнішим
в цьому за нас.
11:57
The pointточка is, we should not be confidentвпевнений
that we have this underпід controlКОНТРОЛЬ here.
210
705724
7187
Справа в тому, що ми не можемо бути
впевнені, що у нас усе під контролем.
12:04
And we could try to make our jobробота
a little bitбіт easierлегше by, say,
211
712911
3447
І ми можемо спробувати зробити
своє завдання трохи легшим, скажімо,
12:08
puttingпокласти the A.I. in a boxкоробка,
212
716358
1590
поклавши Ш. І. до коробки,
12:09
like a secureбезпечний softwareпрограмне забезпечення environmentнавколишнє середовище,
213
717948
1796
як у безпечне софтверне середовище,
12:11
a virtualвіртуальний realityреальність simulationсимуляція
from whichкотрий it cannotне можу escapeВтеча.
214
719744
3022
у симулятор віртуальної реальності,
з якої він не може втекти.
12:14
But how confidentвпевнений can we be that
the A.I. couldn'tне міг find a bugпомилка.
215
722766
4146
Але як ми можемо бути певні, що
Ш. І. не зможе знайти баг?
12:18
GivenВраховуючи that merelyпросто humanлюдина hackersХакери
find bugsпомилки all the time,
216
726912
3169
Зважаючи, що навіть хакери-люди
постійно знаходять баги,
12:22
I'd say, probablyймовірно not very confidentвпевнений.
217
730081
3036
я б сказав, імовірно, не дуже впевнено.
12:26
So we disconnectРоз'єднати the ethernetEthernet cableкабель
to createстворити an airповітря gapрозрив,
218
734237
4548
Ми від'єднуємо кабель локальної мережі,
щоб створити повітряний проміжок,
12:30
but again, like merelyпросто humanлюдина hackersХакери
219
738785
2668
але знов-таки, навіть хакери-люди
12:33
routinelyзвичайно transgressпереступати airповітря gapsпрогалини
usingвикористовуючи socialсоціальний engineeringінженерія.
220
741453
3381
"перестрибують" повітряні проміжки,
використовуючи соціальну інженерію.
12:36
Right now, as I speakговорити,
221
744834
1259
Зараз, коли я розмовляю,
12:38
I'm sure there is some employeeпрацівник
out there somewhereдесь
222
746093
2389
впевнений, що є десь якийсь службовець,
12:40
who has been talkedговорив into handingвручення out
her accountрахунок detailsподробиці
223
748482
3346
який повідомляє дані свого акаунту
12:43
by somebodyхтось claimingстверджуючи to be
from the I.T. departmentвідділ.
224
751828
2746
комусь, хто стверджує,
що він з ІТ-департаменту.
12:46
More creativeкреативний scenariosсценарії are alsoтакож possibleможливий,
225
754574
2127
Більш оригінальні сценарії теж можливі,
12:48
like if you're the A.I.,
226
756701
1315
типу, якщо ви Ш.І.,
12:50
you can imagineуявіть собі wigglingворушити electrodesелектроди
around in your internalвнутрішній circuitryсхеми
227
758016
3532
ви можете уявити тремтячі електроди
навколо свого устаткування,
12:53
to createстворити radioрадіо wavesхвилі that you
can use to communicateспілкуватися.
228
761548
3462
щоб створити радіохвилі, які можна
використати для комунікації.
12:57
Or maybe you could pretendробити вигляд to malfunctionнесправність,
229
765010
2424
Або ви навіть можете
удати з себе зламаного,
12:59
and then when the programmersпрограмісти openВІДЧИНЕНО
you up to see what wentпішов wrongнеправильно with you,
230
767434
3497
і коли програміст відкриє вас,
щоб подивитися, що з вами не так,
13:02
they look at the sourceджерело codeкод -- BamБам! --
231
770931
1936
вони дивляться у вихідний код -- Бам! --
13:04
the manipulationманіпуляції can take placeмісце.
232
772867
2447
може статися маніпуляція.
13:07
Or it could outputвихід the blueprintплан
to a really niftyвідмінний technologyтехнологія,
233
775314
3430
Або він може надрукувати схему
дійсно вартісної технології,
13:10
and when we implementреалізувати it,
234
778744
1398
і коли ми реалізуємо її,
13:12
it has some surreptitiousТаємний sideсторона effectефект
that the A.I. had plannedзапланований.
235
780142
4397
вона матиме якісь побічні ефекти,
які Ш. І. нишком спланував.
13:16
The pointточка here is that we should
not be confidentвпевнений in our abilityздібності
236
784539
3463
Справа в тому, що ми не повинні бути
впевнені у нашій можливості
13:20
to keep a superintelligentстворення надрозумноо genieджин
lockedзаблокований up in its bottleпляшка foreverназавжди.
237
788002
3808
тримати суперінтелектуального джина
у його пляшці довіку.
13:23
SoonerРано or laterпізніше, it will out.
238
791810
2254
Раніш чи пізніш він визволиться.
13:27
I believe that the answerвідповісти here
is to figureфігура out
239
795034
3103
Я вірю, що відповідь тут - це з'ясувати,
13:30
how to createстворити superintelligentстворення надрозумноо A.I.
suchтакий that even if -- when -- it escapesекрановані символи,
240
798137
5024
як створити такий супер Ш. І.,
щоб навіть якщо він втече,
13:35
it is still safeбезпечний because it is
fundamentallyпринципово on our sideсторона
241
803161
3277
він залишатиметься безпечним,
бо буде принципово на нашому боці,
13:38
because it sharesакції our valuesцінності.
242
806438
1899
бо розділятиме наші цінності.
13:40
I see no way around
this difficultважко problemпроблема.
243
808337
3210
Я не бачу виходу з цієї складної проблеми.
13:44
Now, I'm actuallyнасправді fairlyсправедливо optimisticоптимістичний
that this problemпроблема can be solvedвирішено.
244
812557
3834
Зараз я досить оптимістичний
щодо її вирішення.
13:48
We wouldn'tне буде have to writeписати down
a long listсписок of everything we careтурбота about,
245
816391
3903
Ми не повинні писати довгий
список того, до чого ми небайдужі,
13:52
or worseгірше yetвсе-таки, spellзаклинання it out
in some computerкомп'ютер languageмова
246
820294
3643
або навіть гірше, промовляти це
якоюсь комп'ютерною мовою,
13:55
like C++ or PythonPython,
247
823937
1454
типу С++ або Пітону,
13:57
that would be a taskзавдання beyondдалі hopelessбезнадійно.
248
825391
2767
це буде безнадійне завдання.
14:00
InsteadЗамість цього, we would createстворити an A.I.
that usesвикористовує its intelligenceрозвідка
249
828158
4297
Натомість ми маємо створити Ш. І.,
що використовує свій інтелект,
14:04
to learnвчитися what we valueвартість,
250
832455
2771
щоб дізнатися про наші цінності,
14:07
and its motivationмотивація systemсистема is constructedпобудований
in suchтакий a way that it is motivatedмотивований
251
835226
5280
і його мотиваційна система сконструйована
так, що він мотивований
14:12
to pursueпереслідувати our valuesцінності or to performвиконувати actionsдії
that it predictsпрогнозує we would approveсхвалювати of.
252
840506
5232
розділяти наші цінності або виконувати
дії, які ми маємо схвалити.
14:17
We would thusтаким чином leverageважелі впливу
its intelligenceрозвідка as much as possibleможливий
253
845738
3414
Тоді ми подіємо на його інтелект
так сильно, як тільки зможемо,
14:21
to solveвирішити the problemпроблема of value-loadingзначення навантаження.
254
849152
2745
щоб вирішити проблему
"завантаження цінностей".
14:24
This can happenстатися,
255
852727
1512
Це може статися,
14:26
and the outcomeрезультат could be
very good for humanityлюдство.
256
854239
3596
і результат може виявитись
дуже вагомим для людства.
14:29
But it doesn't happenстатися automaticallyавтоматично.
257
857835
3957
Але це не станеться автоматично.
14:33
The initialпочатковий conditionsумови
for the intelligenceрозвідка explosionвибух
258
861792
2998
Початкові умови інтелектуального вибуху
14:36
mightможе need to be setвстановити up
in just the right way
259
864790
2863
потрібно правильно встановити,
14:39
if we are to have a controlledконтрольоване detonationдетонація.
260
867653
3530
так, ніби ми маємо
контрольований детонатор.
14:43
The valuesцінності that the A.I. has
need to matchматч oursнаш,
261
871183
2618
Цінності, за якими Ш.І.
має свівпадати з нами,
14:45
not just in the familiarзнайомий contextконтекст,
262
873801
1760
мають бути не лише вже нам знайомими,
14:47
like where we can easilyлегко checkперевірити
how the A.I. behavesведе себе,
263
875561
2438
такими, за якими ми легко
перевіримо поведінку Ш.І.,
14:49
but alsoтакож in all novelРоман contextsконтексти
that the A.I. mightможе encounterзустрітися
264
877999
3234
але також і в новітньому контексті,
який Ш.І. прораховуватиме
14:53
in the indefiniteневизначений futureмайбутнє.
265
881233
1557
в невизначеному майбутньому.
14:54
And there are alsoтакож some esotericЕзотеричні issuesвипуски
that would need to be solvedвирішено, sortedвідсортовані out:
266
882790
4737
Є також певні потаємні проблеми,
які необхідно вирішити, наприклад:
14:59
the exactточно detailsподробиці of its decisionрішення theoryтеорія,
267
887527
2089
конкретні деталі теорії прийняття рішень,
15:01
how to dealугода with logicalлогічний
uncertaintyневизначеність and so forthчетвертий.
268
889616
2864
як справлятись з логічними
невизначенностями і таке інше.
15:05
So the technicalтехнічний problemsпроблеми that need
to be solvedвирішено to make this work
269
893330
3102
Тому технічні проблеми, які будемо
вирішувати, щоб все спрацювало,
15:08
look quiteцілком difficultважко --
270
896432
1113
є досить складними --
15:09
not as difficultважко as makingвиготовлення
a superintelligentстворення надрозумноо A.I.,
271
897545
3380
не настільки, як власне створення Ш.І.,
15:12
but fairlyсправедливо difficultважко.
272
900925
2868
але достатньо складними.
15:15
Here is the worryтурбуватися:
273
903793
1695
Мене хвилює наступне:
15:17
MakingПрийняття superintelligentстворення надрозумноо A.I.
is a really hardважко challengeвиклик.
274
905488
4684
створення Ш.І. є, по-справжньому,
складним випробуванням.
15:22
MakingПрийняття superintelligentстворення надрозумноо A.I. that is safeбезпечний
275
910172
2548
Створення безпечного Ш.І.
15:24
involvesвключає some additionalДодаткові
challengeвиклик on topвершина of that.
276
912720
2416
включає ще додаткову складність.
15:28
The riskризик is that if somebodyхтось figuresцифри out
how to crackтріщина the first challengeвиклик
277
916216
3487
Ризик у тому, що хтось зможе
розгадати перше випробування,
15:31
withoutбез alsoтакож havingмаючи crackedтріснуті
the additionalДодаткові challengeвиклик
278
919703
3001
не розгадуючи додаткове,
15:34
of ensuringзабезпечення perfectдосконалий safetyбезпека.
279
922704
1901
по забезпеченню абсолютної безпеки.
15:37
So I think that we should
work out a solutionрішення
280
925375
3331
Тому, я вважаю, що розв'язок
проблеми контролю
15:40
to the controlКОНТРОЛЬ problemпроблема in advanceзаздалегідь,
281
928706
2822
нам потрібно розробити в першу чергу,
15:43
so that we have it availableдоступний
by the time it is neededнеобхідний.
282
931528
2660
щоб мати його одразу тоді,
коли знадобиться.
15:46
Now it mightможе be that we cannotне можу solveвирішити
the entireцілий controlКОНТРОЛЬ problemпроблема in advanceзаздалегідь
283
934768
3507
Зараз ми, можливо, не можемо розгадати
всю проблему контролю наперед,
15:50
because maybe some elementsелементи
can only be put in placeмісце
284
938275
3024
оскільки деякі елементи можна створити
15:53
onceодин раз you know the detailsподробиці of the
architectureархітектура where it will be implementedреалізовано.
285
941299
3997
лише знаючи деталі загальної архітектури,
куди їх буде впроваджено.
15:57
But the more of the controlКОНТРОЛЬ problemпроблема
that we solveвирішити in advanceзаздалегідь,
286
945296
3380
Але чим більше ми розробимо наперед,
16:00
the better the oddsшанси that the transitionперехід
to the machineмашина intelligenceрозвідка eraепоха
287
948676
4090
тим більша ймовірність того, що
перехід до ери машинного інтеллекту
16:04
will go well.
288
952766
1540
пройде успішно.
16:06
This to me looksвиглядає like a thing
that is well worthварто doing
289
954306
4644
Як на мене, цим дійсно варто займатись,
16:10
and I can imagineуявіть собі that if
things turnповорот out okay,
290
958950
3332
і можна уявити, що у випадку,
якщо все пройде успішно,
16:14
that people a millionмільйон yearsроків from now
look back at this centuryстоліття
291
962282
4658
люди через мільйони років,
споглядаючи в наше століття,
16:18
and it mightможе well be that they say that
the one thing we did that really matteredмало значення
292
966940
4002
можливо, вважатимуть, що
єдина важлива річ, яку ми зробили,
16:22
was to get this thing right.
293
970942
1567
було створити цю річ правильно.
16:24
Thank you.
294
972509
1689
Дякую.
16:26
(ApplauseОплески)
295
974198
2813
(Оплески)
Translated by Daria Prichantovskaya
Reviewed by Khrystyna Romashko

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com