TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Wat gaat er gebeuren als onze computers slimmer worden dan wij?
Filmed:
Readability: 4.4
4,632,705 views
Kunstmatige intelligentie gaat met sprongen vooruit - onderzoek suggereert dat nog deze eeuw computer Artificiële Intelligentie (A.I.) zo "slim" kan worden als een menselijk wezen. En dan, zegt Nick Bostrom, zal het ons inhalen. Machinale intelligentie zal de laatste uitvinding zijn die de mensheid zal moeten doen. Filosoof en technoloog Bostrom vraagt ons om hard na te denken over de wereld die we nu bouwen. Een wereld die steunt op denkende machines. Zullen onze slimme machines ons helpen om de mensheid en onze waarden te behouden - of zullen ze hun eigen waarden hebben?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Ik werk met een hoop wiskundigen,
filosofen en informatici,
filosofen en informatici,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
en we zitten onder andere na te denken
over de toekomst
van machine-intelligentie.
van machine-intelligentie.
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Sommige mensen vinden dit
nogal science-fictionachtig,
nogal science-fictionachtig,
00:28
far out there, crazy.
4
16755
3101
over de schreef, te gek.
00:31
But I like to say,
5
19856
1470
Maar laat ons eens kijken
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
naar de moderne menselijke conditie.
00:36
(Laughter)
7
24930
1692
(Gelach)
00:38
This is the normal way for things to be.
8
26622
2402
Dit is de normale manier van zijn.
00:41
But if we think about it,
9
29024
2285
Maar als we erover nadenken,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
zijn we eigenlijk op deze planeet
recent aangekomen gasten,
recent aangekomen gasten,
00:46
the human species.
11
34602
2082
de menselijke soort.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Als de ouderdom van de Aarde
één jaar zou zijn,
één jaar zou zijn,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
dan is de menselijke soort
10 minuten oud.
10 minuten oud.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Het industriële tijdperk
begon twee seconden geleden.
begon twee seconden geleden.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Of kijk eens hoe het mondiale bbp
in de afgelopen 10.000 jaar veranderde,
in de afgelopen 10.000 jaar veranderde,
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Ik heb er een grafiek van gemaakt.
01:09
It looks like this.
17
57530
1774
Zo ziet ze er uit.
01:11
(Laughter)
18
59304
1363
(Gelach)
Een merkwaardige vorm
voor een normale toestand.
voor een normale toestand.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Daar wil je niet op gaan zitten.
01:16
(Laughter)
21
64516
2551
(Gelach)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Vanwaar komt die huidige anomalie?
Sommige mensen zouden zeggen
dat het komt door de technologie.
dat het komt door de technologie.
01:23
Some people would say it's technology.
23
71841
2552
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Inderdaad stapelde de technologie zich op
doorheen de menselijke geschiedenis,
doorheen de menselijke geschiedenis,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
en nu gaat het wel heel snel -
01:35
that is the proximate cause,
26
83713
1565
dat is de directe oorzaak,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
daarom zijn we zo productief.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Maar ik denk ook graag
aan de uiteindelijke oorzaak.
aan de uiteindelijke oorzaak.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Kijk eens
naar deze twee zeer voorname heren:
naar deze twee zeer voorname heren:
01:48
We have Kanzi --
30
96880
1600
Dat is Kanzi --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
hij beheerst 200 lexicale tokens,
een ongelooflijke prestatie.
een ongelooflijke prestatie.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
En Ed Witten ontketende
de tweede superstringrevolutie.
de tweede superstringrevolutie.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Als we onder de motorkap kijken,
vinden we dit:
vinden we dit:
02:01
basically the same thing.
34
109141
1570
in principe hetzelfde.
02:02
One is a little larger,
35
110711
1813
Een is iets groter,
en heeft misschien
ook wel een paar trucjes
ook wel een paar trucjes
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
in de exacte manier
waarop het is bedraad.
waarop het is bedraad.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Deze onzichtbare verschillen
kunnen niet te ingewikkeld zijn,
kunnen niet te ingewikkeld zijn,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
want er zijn slechts 250.000 generaties
sinds onze laatste
gemeenschappelijke voorouder.
gemeenschappelijke voorouder.
02:15
since our last common ancestor.
39
123379
1732
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Ingewikkelde mechanismen hebben
een lange tijd nodig om te evolueren.
een lange tijd nodig om te evolueren.
02:22
So a bunch of relatively minor changes
41
130000
2499
Een hoop relatief kleine wijzigingen
02:24
take us from Kanzi to Witten,
42
132499
3067
brengt ons van Kanzi tot Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
van afgebroken boomtakken tot
intercontinentale ballistische raketten.
intercontinentale ballistische raketten.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Het lijkt vrij duidelijk
dat alles wat we hebben bereikt,
dat alles wat we hebben bereikt,
02:36
and everything we care about,
45
144774
1378
en alles waar we om geven,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
sterk afhangt van een aantal
relatief kleine wijzigingen
relatief kleine wijzigingen
die de menselijke geest uitmaken.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Daaruit volgt natuurlijk
dat verdere wijzigingen
dat verdere wijzigingen
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
die het substraat van het denken
aanzienlijk zouden kunnen veranderen
aanzienlijk zouden kunnen veranderen
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
potentieel enorme gevolgen kunnen hebben.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Sommige collega's denken
dat we aan het begin staan
dat we aan het begin staan
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
van iets dat een diepgaande verandering
in dat substraat kan veroorzaken,
in dat substraat kan veroorzaken,
03:03
and that is machine superintelligence.
52
171134
3213
en dat is de machinale superintelligentie.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Kunstmatige intelligentie ging vroeger
over opdrachten in een doos steken.
over opdrachten in een doos steken.
03:11
You would have human programmers
54
179086
1665
Je had de menselijke programmeurs
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
die nauwgezet kennisitems
in elkaar knutselden.
in elkaar knutselden.
03:15
You build up these expert systems,
56
183886
2086
Je bouwt expertsystemen.
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
Ze zijn bruikbaar
voor bepaalde doeleinden,
voor bepaalde doeleinden,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
maar erg broos en niet schaalbaar.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Kortom, je krijgt alleen
wat je erin steekt.
wat je erin steekt.
03:26
But since then,
60
194410
997
Maar sindsdien was er
paradigmaverschuiving
paradigmaverschuiving
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
op het gebied
van kunstmatige intelligentie.
van kunstmatige intelligentie.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Vandaag ligt de focus
op ‘machinaal leren’.
op ‘machinaal leren’.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
In plaats van kennisrepresentaties
en functies in elkaar te knutselen,
en functies in elkaar te knutselen,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
creëren we algoritmen die zelf leren,
vaak vanuit ruwe perceptuele data.
vaak vanuit ruwe perceptuele data.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
In principe hetzelfde
als wat een kind doet.
als wat een kind doet.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Het resultaat is dat AI
niet beperkt is tot één domein -
niet beperkt is tot één domein -
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
hetzelfde systeem kan leren vertalen
tussen alle paren van talen,
tussen alle paren van talen,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
of elk computerspel leren spelen
op een Atari console.
op een Atari console.
AI komt het nog niet in de buurt
van het domeinoverschrijdende vermogen
van het domeinoverschrijdende vermogen
04:05
Now of course,
69
233338
1779
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
om te leren en te plannen
dat een mens heeft.
dat een mens heeft.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
De cortex heeft nog
een aantal algoritmische trucs
een aantal algoritmische trucs
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
die we nog niet kunnen
implementeren in machines.
implementeren in machines.
04:19
So the question is,
74
247886
1899
De vraag is:
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
hoe ver staan we af van het vermogen
om die trucs toe te passen?
om die trucs toe te passen?
Een paar jaar geleden
deden we een enquête
deden we een enquête
04:26
A couple of years ago,
76
254245
1083
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
bij 's werelds toonaangevende AI-experts,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
om te zien wat ze denken.
Een van de vragen was:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"Voor welk jaar denkt u
dat er 50 procent kans is
dat er 50 procent kans is
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
dat we menselijke machine-intelligentie
gaan hebben?”
gaan hebben?”
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
We definieerden menselijk hier
als het vermogen om bijna elke taak
als het vermogen om bijna elke taak
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
tenminste als een volwassen mens
te kunnen uitvoeren.
te kunnen uitvoeren.
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
Dus echt als een mens,
niet alleen binnen een beperkt domein.
niet alleen binnen een beperkt domein.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Het mediane antwoord was 2040 of 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
afhankelijk van de groep deskundigen.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Het zou veel later
of eerder kunnen gebeuren.
of eerder kunnen gebeuren.
05:02
the truth is nobody really knows.
87
290339
1940
De waarheid is
dat niemand het echt weet.
dat niemand het echt weet.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Wat we wel weten, is dat de ultieme
limiet aan informatieverwerking
limiet aan informatieverwerking
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
de grenzen van biologisch weefsel
ver overstijgt.
ver overstijgt.
05:15
This comes down to physics.
90
303241
2378
Dit komt door de natuurkunde.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Een biologisch neuron vuurt op 200 hertz,
200 keer per seconde.
200 keer per seconde.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Maar zelfs een hedendaagse transistor
werkt op Gigahertz [1 miljard hertz].
werkt op Gigahertz [1 miljard hertz].
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Neuronen gaan in axonen
aan 100 meter per seconde, maximum.
aan 100 meter per seconde, maximum.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Maar in computers reizen signalen
met de snelheid van het licht.
met de snelheid van het licht.
05:35
There are also size limitations,
95
323079
1869
Er zijn ook beperkingen in grootte:
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
een menselijk brein
moet passen in een schedel,
moet passen in een schedel,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
maar een computer kan zo groot zijn
als een magazijn of groter.
als een magazijn of groter.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Het potentieel voor superintelligentie
sluimert in de materie,
sluimert in de materie,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
net als de kracht van het atoom
in de menselijke geschiedenis sluimerde,
in de menselijke geschiedenis sluimerde,
05:56
patiently waiting there until 1945.
100
344047
4405
geduldig wachtend tot 1945.
In deze eeuw kunnen
wetenschappers leren hoe
wetenschappers leren hoe
06:00
In this century,
101
348452
1248
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
de kracht te ontketenen
van kunstmatige intelligentie.
van kunstmatige intelligentie.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Dan zien we misschien
een intelligentie-explosie.
een intelligentie-explosie.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Wanneer de meeste mensen nadenken
over wat slim is en wat dom is,
over wat slim is en wat dom is,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
maken ze zich misschien deze voorstelling.
06:17
So at one end we have the village idiot,
106
365386
2598
Helemaal links hebben we de dorpsgek,
06:19
and then far over at the other side
107
367984
2483
en ver aan de andere zijde
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
hebben we Ed Witten, of Albert Einstein,
of wie je favoriete goeroe ook is.
of wie je favoriete goeroe ook is.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Maar vanuit het oogpunt
van kunstmatige intelligentie,
van kunstmatige intelligentie,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
ziet het er waarschijnlijk meer zo uit:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
AI begint op dit punt hier,
op nul intelligentie,
op nul intelligentie,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
en dan, na vele,
vele jaren van hard werken,
vele jaren van hard werken,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
krijgen we misschien uiteindelijk
kunstmatige intelligentie van muisniveau,
kunstmatige intelligentie van muisniveau,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
iets dat kan navigeren
in rommelige omgevingen
in rommelige omgevingen
06:47
as well as a mouse can.
115
395921
1987
zoals een muis.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Na nog eens vele jaren
van hard werk, veel investeringen,
van hard werk, veel investeringen,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
halen we misschien uiteindelijk
AI van chimpanseeniveau.
AI van chimpanseeniveau.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Na nog meer jaren
van echt, echt hard werken,
van echt, echt hard werken,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
krijgen we kunstmatige intelligentie
op dorpsgekniveau.
op dorpsgekniveau.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
En wat later zijn we verder dan Ed Witten.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Maar de trein stopt niet
bij station Mens.
bij station Mens.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Hij suist er waarschijnlijk
eerder snel voorbij.
eerder snel voorbij.
07:14
Now this has profound implications,
123
422247
1984
Nu heeft dit ingrijpende gevolgen,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
in het bijzonder als het gaat
om vragen van macht.
om vragen van macht.
07:20
For example, chimpanzees are strong --
125
428093
1899
Zo zijn chimpansees sterk -
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
voor hetzelfde gewicht ongeveer twee keer
zo sterk als een fitte menselijke man.
zo sterk als een fitte menselijke man.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
En toch hangt het lot van Kanzi
en zijn vriendjes
en zijn vriendjes
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
veel meer af van wat wij mensen doen
dan van wat de chimpansees zelf doen.
dan van wat de chimpansees zelf doen.
07:37
Once there is superintelligence,
129
445228
2314
Zodra er superintelligentie is,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
kan het lot van de mensheid afhangen
van wat de superintelligentie doet.
van wat de superintelligentie doet.
07:44
Think about it:
131
452451
1057
Denk er over na:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
machine-intelligentie zal de laatste
uitvinding van de mensheid zijn.
uitvinding van de mensheid zijn.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Machines zullen dan beter zijn
in uitvinden dan wij,
in uitvinden dan wij,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
en ze zullen het doen
op digitale tijdschalen.
op digitale tijdschalen.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Dit betekent de toekomst
'telescoperen'.
'telescoperen'.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Denk aan alle gekke technologieën
die je je zou kunnen inbeelden,
die je je zou kunnen inbeelden,
die mensen misschien zullen ontwikkelen
in de loop van de tijd:
in de loop van de tijd:
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
08:07
cures for aging, space colonization,
138
475322
3258
behandelingen voor veroudering,
kolonisatie van de ruimte,
kolonisatie van de ruimte,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
zelfreplicerende nanobots
of geesten uploaden in computers,
of geesten uploaden in computers,
08:14
all kinds of science fiction-y stuff
140
482311
2159
allerlei science-fictionachtige dingen
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
maar toch in overeenstemming
met de wetten van de fysica.
met de wetten van de fysica.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Dit alles zou superintelligentie
kunnen ontwikkelen,
kunnen ontwikkelen,
en eventueel vrij snel.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Een superintelligentie met een dergelijke
technologische maturiteit
technologische maturiteit
08:28
would be extremely powerful,
144
496007
2179
zou zeer krachtig zijn,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
en zou, ten minste
in een aantal scenario's,
in een aantal scenario's,
in staat zijn om te krijgen wat ze wil.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Onze toekomst zou dan afhangen
van de voorkeuren van deze AI.
van de voorkeuren van deze AI.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
De vraag is wat die voorkeuren zijn.
Hier wordt het lastiger.
08:46
Here it gets trickier.
148
514244
1769
Om hierin vooruitgang te boeken,
08:48
To make any headway with this,
149
516013
1435
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
moeten we in de eerste plaats
antropomorfiseren vermijden.
antropomorfiseren vermijden.
Ironisch genoeg vind je
bij elk krantenartikel
bij elk krantenartikel
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
over de toekomst van AI
iets dergelijks: [dia]
iets dergelijks: [dia]
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
We moeten het probleem
meer abstract benaderen,
meer abstract benaderen,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
niet in termen van Hollywoodscenario's.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
We moeten intelligentie zien
als een optimalisatieproces,
als een optimalisatieproces,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
een proces dat de toekomst stuurt
naar een bepaalde set van configuraties.
naar een bepaalde set van configuraties.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Een superintelligentie is echt
een sterk optimalisatieproces.
een sterk optimalisatieproces.
Ze is zeer goed in het gebruik
van de beschikbare middelen
van de beschikbare middelen
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
om een toestand te bereiken
09:26
in which its goal is realized.
159
554098
1909
waar haar doel wordt gerealiseerd.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Dit betekent dat er
geen noodzakelijk verband is tussen
geen noodzakelijk verband is tussen
09:31
being highly intelligent in this sense,
161
559119
2734
in deze zin zeer intelligent zijn
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
en een doelstelling hebben
die wij mensen de moeite waard
of zinvol zouden vinden.
of zinvol zouden vinden.
Stel dat we een AI de opdracht geven
om mensen te laten glimlachen.
om mensen te laten glimlachen.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Als de AI zwak is,
voert ze nuttige of amusante acties uit
voert ze nuttige of amusante acties uit
09:46
that cause its user to smile.
165
574097
2517
om de gebruiker te laten glimlachen.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Maar een superintelligente AI
realiseert zich
realiseert zich
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
dat er een effectievere manier is
om dit doel te bereiken:
om dit doel te bereiken:
09:54
take control of the world
168
582554
1922
neem de controle van de wereld over,
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
plak elektroden
op de gezichtsspieren
op de gezichtsspieren
09:59
to cause constant, beaming grins.
170
587638
2941
en veroorzaak een constante,
stralende grijns.
stralende grijns.
Een ander voorbeeld,
we willen de AI
we willen de AI
10:02
Another example,
171
590579
1035
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
een moeilijk wiskundig
probleem laten oplossen.
probleem laten oplossen.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Wanneer de AI superintelligent wordt,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
vindt ze de meest effectieve manier
om dit probleem op te lossen:
om dit probleem op te lossen:
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
door de planeet om te vormen
in een gigantische computer,
in een gigantische computer,
10:16
so as to increase its thinking capacity.
176
604035
2246
voor meer denkvermogen.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Merk op dat dit de AI
een instrumentele rede geeft
een instrumentele rede geeft
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
om ons dingen aan te doen
die we niet zouden willen.
die we niet zouden willen.
10:23
Human beings in this model are threats,
179
611561
1935
Hier zijn menselijke
wezens bedreigingen,
wezens bedreigingen,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
die in de weg staan van de oplossing
van het probleem.
van het probleem.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Natuurlijk zal het zo niet gaan.
10:32
these are cartoon examples.
182
620701
1753
Dit zijn cartoon-voorbeelden.
Maar het algemene punt blijft belangrijk:
10:34
But the general point here is important:
183
622454
1939
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
als je een echt krachtig
optimalisatieproces creëert
optimalisatieproces creëert
10:39
to maximize for objective x,
185
627266
2234
om objectief x te maximaliseren,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
kun je er beter voor zorgen
dat je definitie van x
dat je definitie van x
10:43
incorporates everything you care about.
187
631776
2469
alles omvat waar je om geeft.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Deze les vind je terug
in een aantal mythes.
in een aantal mythes.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Koning Midas wenst dat alles
wat hij aanraakt, verandert in goud.
wat hij aanraakt, verandert in goud.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Hij raakt zijn dochter aan,
ze verandert in goud.
ze verandert in goud.
10:59
He touches his food, it turns into gold.
191
647378
2553
Hij raakt zijn eten aan,
het verandert in goud.
het verandert in goud.
11:01
This could become practically relevant,
192
649931
2589
Dit kan praktisch relevant worden,
11:04
not just as a metaphor for greed,
193
652520
2070
niet alleen als metafoor voor hebzucht,
11:06
but as an illustration of what happens
194
654590
1895
maar als voorbeeld van wat er gebeurt
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
als je een krachtig
optimalisatieproces creëert
optimalisatieproces creëert
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
en het onjuiste of slecht
omschreven doelen geef.
omschreven doelen geef.
Nu zou je kunnen zeggen
dat als een computer elektroden
dat als een computer elektroden
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
in de gezichten van mensen
begint te steken,
begint te steken,
11:21
we'd just shut it off.
198
669300
2265
we hem gewoon uitschakelen.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
A: misschien niet zo gemakkelijk om doen
als we te afhankelijk
van het systeem zijn geworden -
van het systeem zijn geworden -
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
zoals, waar is de uitschakelaar
van het internet?
van het internet?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B: waarom hebben de chimpansees
of de neanderthalers
of de neanderthalers
de schakelaar voor de mensheid
niet uitgezet?
niet uitgezet?
11:37
or the Neanderthals?
202
685747
1551
11:39
They certainly had reasons.
203
687298
2666
Ze hadden zeker redenen.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
We hebben een uitschakelaar,
deze bijvoorbeeld.
deze bijvoorbeeld.
11:44
(Choking)
205
692759
1554
(Knijpt keel toe)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Wij zijn intelligente tegenstanders.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
Wij kunnen anticiperen op bedreigingen
en ze zo vermijden.
en ze zo vermijden.
11:51
But so could a superintelligent agent,
208
699966
2504
Maar een superintelligentie kan dat ook,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
en veel beter dan wij.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
We moeten er niet te zeker van zijn
dat we dit onder controle houden.
dat we dit onder controle houden.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
We kunnen proberen ons werk
te vergemakkelijken door bijvoorbeeld
te vergemakkelijken door bijvoorbeeld
12:08
putting the A.I. in a box,
212
716358
1590
de AI in een doos te stoppen,
12:09
like a secure software environment,
213
717948
1796
een veilige softwareomgeving,
een virtual reality simulatie
van waaruit ze niet kan ontsnappen.
van waaruit ze niet kan ontsnappen.
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Maar hoe zeker kunnen we zijn dat
de AI daar geen bug in zou vinden?
de AI daar geen bug in zou vinden?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Zelfs louter menselijke hackers
vinden de hele tijd bugs.
vinden de hele tijd bugs.
12:22
I'd say, probably not very confident.
217
730081
3036
Daar moeten we
maar niet te zelfverzekerd in zijn.
maar niet te zelfverzekerd in zijn.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
De ethernet-kabel loskoppelen
en een luchtspleet maken?
en een luchtspleet maken?
12:30
but again, like merely human hackers
219
738785
2668
Nogmaals, louter menselijke hackers
omzeilen de hele tijd luchtspleten
door ‘social engineering’.
door ‘social engineering’.
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
Ik ben er zeker van
dat op dit eigenste moment
dat op dit eigenste moment
12:36
Right now, as I speak,
221
744834
1259
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
een werknemer ergens
haar accountgegevens meedeelt
haar accountgegevens meedeelt
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
aan iemand die beweert
van de IT-afdeling te zijn.
van de IT-afdeling te zijn.
12:46
More creative scenarios are also possible,
225
754574
2127
Nog creatievere scenario's zijn mogelijk,
12:48
like if you're the A.I.,
226
756701
1315
Als AI zou je kunnen bedenken hoe je,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
door wat met je elektroden
in je interne circuit te wiebelen,
in je interne circuit te wiebelen,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
radiogolven kunt maken om te communiceren.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Of misschien kan je een storing simuleren,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
en wanneer de programmeurs je openen
om te zien wat er mis ging
om te zien wat er mis ging
13:02
they look at the source code -- Bam! --
231
770931
1936
en kijken naar de broncode, kan - Bam! -
13:04
the manipulation can take place.
232
772867
2447
de manipulatie plaatsvinden.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Of ze kan de blauwdruk ontwerpen
voor een echt handige technologie,
voor een echt handige technologie,
13:10
and when we implement it,
234
778744
1398
en zodra we ze implementeren,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
heeft ze een aantal heimelijke
neveneffecten die de AI had gepland.
neveneffecten die de AI had gepland.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Het komt erop neer
dat we er niet op mogen vertrouwen
dat we er niet op mogen vertrouwen
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
dat we een superintelligente geest
voor altijd in zijn fles
opgesloten kunnen houden.
opgesloten kunnen houden.
13:23
Sooner or later, it will out.
238
791810
2254
Vroeg of laat ontsnapt hij.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Het antwoord hierop is,
achterhalen hoe
achterhalen hoe
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
je een superintelligente AI zo ontwerpt
dat zelfs als - wanneer - ze ontsnapt,
dat zelfs als - wanneer - ze ontsnapt,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
ze nog veilig is doordat ze
fundamenteel aan onze kant staat,
fundamenteel aan onze kant staat,
13:38
because it shares our values.
242
806438
1899
ze onze waarden deelt.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Ik zie geen manier om
dit moeilijke probleem uit de weg te gaan.
dit moeilijke probleem uit de weg te gaan.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Maar ik ben eigenlijk vrij optimistisch
dat dit probleem kan worden opgelost.
dat dit probleem kan worden opgelost.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Het zal niet nodig zijn een lange lijst
van alles waar we om geven op te stellen,
van alles waar we om geven op te stellen,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
of erger nog, ze in een computertaal
zoals C++ of Python op te schrijven,
13:55
like C++ or Python,
247
823937
1454
13:57
that would be a task beyond hopeless.
248
825391
2767
dat zou een hopeloze taak zijn.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
We moeten een AI creëren
die haar intelligentie gebruikt
die haar intelligentie gebruikt
14:04
to learn what we value,
250
832455
2771
om te leren wat wij waarderen,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
en haar motivatiesysteem zo construeren
dat ze gemotiveerd is
dat ze gemotiveerd is
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
om onze waarden na te streven of
om te doen wat wij zouden goedkeuren.
om te doen wat wij zouden goedkeuren.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
We zouden haar intelligentie
als hefboom gebruiken om zo veel mogelijk
als hefboom gebruiken om zo veel mogelijk
14:21
to solve the problem of value-loading.
254
849152
2745
het probleem van 'waardenopslag'
op te lossen.
op te lossen.
14:24
This can happen,
255
852727
1512
Dit kan,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
en de uitkomst zou zeer goed
voor de mensheid kunnen zijn.
voor de mensheid kunnen zijn.
14:29
But it doesn't happen automatically.
257
857835
3957
Maar het gebeurt niet automatisch.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
De initiële voorwaarden
voor de intelligentie-explosie
voor de intelligentie-explosie
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
moeten op de juiste manier worden opgezet
14:39
if we are to have a controlled detonation.
260
867653
3530
als we een gecontroleerde
ontploffing willen.
ontploffing willen.
De waarden van die AI
moeten passen bij de onze,
moeten passen bij de onze,
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
niet alleen in de vertrouwde context,
14:45
not just in the familiar context,
262
873801
1760
waar we het gedag van de AI
gemakkelijk kunnen controleren,
gemakkelijk kunnen controleren,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
maar ook in alle nieuwe contexten
die de AI zou kunnen tegenkomen
die de AI zou kunnen tegenkomen
14:53
in the indefinite future.
265
881233
1557
in de onbepaalde toekomst.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Een aantal esoterische kwesties
moeten worden opgelost:
moeten worden opgelost:
de exacte details
van haar beslissingstheorie,
van haar beslissingstheorie,
14:59
the exact details of its decision theory,
267
887527
2089
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
hoe omgaan met logische onzekerheid,
enzovoort, enzovoort.
enzovoort, enzovoort.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
De technische problemen
om dit te laten werken
om dit te laten werken
15:08
look quite difficult --
270
896432
1113
lijken heel moeilijk -
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
niet zo moeilijk als het maken
van een superintelligente AI,
van een superintelligente AI,
15:12
but fairly difficult.
272
900925
2868
maar behoorlijk moeilijk.
15:15
Here is the worry:
273
903793
1695
Hier is de zorg:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Het maken van superintelligente AI
is echt een lastige uitdaging.
is echt een lastige uitdaging.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Een veilige superintelligente AI maken,
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
houdt daarenboven een extra uitdaging in.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Het risico bestaat
dat iemand de eerste uitdaging oplost
dat iemand de eerste uitdaging oplost
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
zonder de extra uitdaging
van perfecte veiligheid
van perfecte veiligheid
15:34
of ensuring perfect safety.
279
922704
1901
te hebben opgelost.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Ik denk dat we dat controleprobleem
15:40
to the control problem in advance,
281
928706
2822
vooraf moeten oplossen,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
zodat we erover beschikken
tegen de tijd dat het nodig is.
tegen de tijd dat het nodig is.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Misschien kan het hele controleprobleem
niet op voorhand worden opgelost
niet op voorhand worden opgelost
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
omdat sommige elementen misschien
pas kunnen worden aangebracht
pas kunnen worden aangebracht
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
als we de details kennen
van de architectuur,
van de architectuur,
waarin het zal worden uitgevoerd.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Maar hoe beter we het controleprobleem
vooraf oplossen,
vooraf oplossen,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
hoe groter de kans dat de overgang
naar machine-intelligentie
naar machine-intelligentie
16:04
will go well.
288
952766
1540
goed zal verlopen.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Dit lijkt me iets
dat zeker de moeite waard is
dat zeker de moeite waard is
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
en ik kan me voorstellen
dat als alles goed afloopt,
dat als alles goed afloopt,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
mensen een miljoen jaar na nu
naar deze eeuw terugkijken
naar deze eeuw terugkijken
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
en zeggen dat het enige wat we deden
dat er echt toe deed,
dat er echt toe deed,
16:22
was to get this thing right.
293
970942
1567
was dit ding in orde krijgen.
16:24
Thank you.
294
972509
1689
Dankjewel.
16:26
(Applause)
295
974198
2813
(Applaus)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com