TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Co się stanie, jeśli komputery przewyższą nas inteligencją?
Filmed:
Readability: 4.4
4,632,705 views
Sztuczna inteligencja rozwija się w bardzo szybkim tempie - naukowcy uważają, że w tym stuleciu komputery mogą dorównać inteligencją ludziom. Nick Bostrom twierdzi, że wkrótce maszyny nas wyprzedzą. „Sztuczna inteligencja to ostatni wynalazek, jakiego dokona człowiek”. Bostrom - filozof i technolog - każe nam się zastanowić nad światem rządzonym przez myślące maszyny. Czy maszyny będą chronić ludzkość i nasze wartości? Czy będą miały własne wartości?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Pracuję z matematykami,
filozofami i informatykami.
filozofami i informatykami.
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
Rozmyślamy między innymi
o przyszłości sztucznej inteligencji.
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Niektórzy twierdzą, że te sprawy
podchodzą pod science-fiction,
podchodzą pod science-fiction,
00:28
far out there, crazy.
4
16755
3101
są wydumane, szalone.
00:31
But I like to say,
5
19856
1470
Ale wtedy mówię:
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
"Spójrzmy na dzisiejszy
stan ludzkości".
stan ludzkości".
00:36
(Laughter)
7
24930
1692
(Śmiech)
00:38
This is the normal way for things to be.
8
26622
2402
Tak się prezentuje dzisiaj.
00:41
But if we think about it,
9
29024
2285
Jeśli się nad tym zastanowić,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
dopiero niedawno ludzie
00:46
the human species.
11
34602
2082
zagościli na tej planecie.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Gdyby Ziemia powstała rok temu,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
rodzaj ludzki istniałby od 10 minut.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Rewolucja przemysłowa
rozpoczęła się 2 sekundy temu.
rozpoczęła się 2 sekundy temu.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Można też spojrzeć na przyrost PKB
z ostatnich 10 tysięcy lat.
z ostatnich 10 tysięcy lat.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Zadałem sobie trud
narysowania tego wykresu.
narysowania tego wykresu.
01:09
It looks like this.
17
57530
1774
Wygląda tak.
01:11
(Laughter)
18
59304
1363
(Śmiech)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Nie jest to typowy kształt.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Nie chciałbym na nim usiąść.
01:16
(Laughter)
21
64516
2551
(Śmiech)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Zastanówmy się, co powoduje tę anomalię.
01:23
Some people would say it's technology.
23
71841
2552
Niektórzy mówią, że technologia.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
To prawda, tempo rozwoju technologii
wciąż przyspiesza,
wciąż przyspiesza,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
a teraz rozwój jest szalenie gwałtowny.
01:35
that is the proximate cause,
26
83713
1565
Jest to bezpośrednia przyczyna,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
dla której obecnie
jesteśmy tak produktywni.
jesteśmy tak produktywni.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Chciałbym jednak sięgnąć do źródła.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Spójrzcie na tych dwóch
dystyngowanych jegomości.
dystyngowanych jegomości.
01:48
We have Kanzi --
30
96880
1600
Jeden z nich to Kanzi,
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
opanował 200 jednostek leksykalnych,
niezwykłe osiągnięcie.
niezwykłe osiągnięcie.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
A drugi to Ed Witten, który zapoczątkował
drugą rewolucję superstrun.
drugą rewolucję superstrun.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Jeśli zajrzymy pod maskę,
oto co znajdziemy.
oto co znajdziemy.
02:01
basically the same thing.
34
109141
1570
Prawie to samo.
02:02
One is a little larger,
35
110711
1813
Jeden jest nieco większy,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
może bardziej pomysłowo skonstruowany.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Te niewidoczne różnice
nie mogą być jednak zbyt skomplikowane,
nie mogą być jednak zbyt skomplikowane,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
gdyż od wspólnego przodka
dzieli nas tylko 250 tysięcy pokoleń.
02:15
since our last common ancestor.
39
123379
1732
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Wiemy, że skomplikowane mechanizmy
potrzebują dużo czasu na ewolucję.
potrzebują dużo czasu na ewolucję.
02:22
So a bunch of relatively minor changes
41
130000
2499
Istnieją więc stosunkowo
niewielkie różnice
niewielkie różnice
02:24
take us from Kanzi to Witten,
42
132499
3067
między Kanzim a Wittenem,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
między odłamanymi gałęziami,,
a pociskami międzykontynentalnymi.
a pociskami międzykontynentalnymi.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Jest jasne, że wszystko, co osiągnęliśmy,
02:36
and everything we care about,
45
144774
1378
i wszystko, co dla nas ważne,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
opiera się na niewielkich zmianach,
dzięki którym powstał umysł ludzki.
dzięki którym powstał umysł ludzki.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Wszelkie dalsze zmiany, które mogą zmienić
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
podłoże naszego rozumowania,
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
mogą nieść ogromne konsekwencje.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Niektórzy z moich kolegów sądzą,
że znajdujemy się u progu
że znajdujemy się u progu
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
takiej ogromnej zmiany,
03:03
and that is machine superintelligence.
52
171134
3213
a jest nią sztuczna superinteligencja.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Sztuczna inteligencja polegała
na wprowadzaniu komend do pudełka.
na wprowadzaniu komend do pudełka.
03:11
You would have human programmers
54
179086
1665
Potrzeba było programisty,
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
który mozolnie ją kształtował.
03:15
You build up these expert systems,
56
183886
2086
Można było stworzyć zaawansowany system
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
przydatny do pewnych celów,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
ale też kruchy,
niedający się przeskalować.
niedający się przeskalować.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Otrzymywaliśmy tylko to,
co sami wprowadziliśmy.
co sami wprowadziliśmy.
03:26
But since then,
60
194410
997
Ale od tamtej pory
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
na polu sztucznej inteligencji
zaszła zmiana paradygmatu.
zaszła zmiana paradygmatu.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Dzisiaj skupiamy się na uczeniu maszyn.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Zamiast ręcznie budować wiedzę i cechy,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
tworzymy algorytmy, które się uczą,
często na podstawie szczątkowych danych.
często na podstawie szczątkowych danych.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Praktycznie w taki sam sposób,
w jaki robią to niemowlaki.
w jaki robią to niemowlaki.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
W rezultacie sztuczna inteligencja
nie ogranicza się do jednej dziedziny.
nie ogranicza się do jednej dziedziny.
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
Ten sam system może nauczyć się
tłumaczyć dowolną parę języków
tłumaczyć dowolną parę języków
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
albo grać w gry na konsoli Atari.
04:05
Now of course,
69
233338
1779
Oczywiście, sztuczna inteligencja
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
nie jest tak wszechstronna
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
w nauce i planowaniu, co człowiek.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Kora mózgowa ma pewne
algorytmiczne sztuczki,
algorytmiczne sztuczki,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
których nie potrafimy
zaimplementować maszynom.
zaimplementować maszynom.
04:19
So the question is,
74
247886
1899
Pytanie brzmi:
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
"Kiedy będziemy mogli to zrobić?".
04:26
A couple of years ago,
76
254245
1083
Kilka lat temu
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
przeprowadziliśmy ankietę
wśród światowych ekspertów od SI.
wśród światowych ekspertów od SI.
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
Jedno z zadanych pytań brzmiało:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"W którym roku będziemy mieć 50% szans
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
na stworzenie inteligencji
na poziomie ludzkim?".
na poziomie ludzkim?".
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Poziom ten zdefiniowaliśmy
jako umiejętność wykonywania
jako umiejętność wykonywania
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
niemal każdej pracy tak dobrze,
jak dorosły człowiek,
jak dorosły człowiek,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
a więc chodziło o rzeczywisty poziom,
a nie wąską specjalizację.
a nie wąską specjalizację.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Średnia odpowiedzi przypadała
na rok 2040 albo 2050,
na rok 2040 albo 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
w zależności od grupy ekspertów.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Może się to zdarzyć dużo później
albo dużo wcześniej.
albo dużo wcześniej.
05:02
the truth is nobody really knows.
87
290339
1940
Nikt tego tak naprawdę nie wie.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Wiemy, że granica przetwarzania informacji
u maszyn leży o wiele dalej
u maszyn leży o wiele dalej
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
niż w przypadku istot żywych.
05:15
This comes down to physics.
90
303241
2378
Wszystko sprowadza się do fizyki.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Neuron wysyła impuls z częstotliwością
200 herców, 200 razy na sekundę.
200 herców, 200 razy na sekundę.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Dzisiejsze tranzystory
operują w gigahercach.
operują w gigahercach.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Informacja podróżuje przez akson powoli,
najwyżej 100 metrów na sekundę.
najwyżej 100 metrów na sekundę.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
W komputerach sygnał może
poruszać się z prędkością światła.
poruszać się z prędkością światła.
05:35
There are also size limitations,
95
323079
1869
Istnieją też limity wielkości.
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
Ludzki mózg musi zmieścić się w czaszce,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
komputer może być jak hala fabryczna
albo jeszcze większy.
albo jeszcze większy.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Potencjał superinteligencji
jest więc uśpiony
jest więc uśpiony
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
tak jak moc atomu,
która była uśpiona od początku ludzkości,
która była uśpiona od początku ludzkości,
05:56
patiently waiting there until 1945.
100
344047
4405
cierpliwie czekając
na przebudzenie w 1945 roku.
na przebudzenie w 1945 roku.
06:00
In this century,
101
348452
1248
W tym stuleciu
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
naukowcom może uda się
wybudzić sztuczną inteligencję.
wybudzić sztuczną inteligencję.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Myślę, że możemy doświadczyć
eksplozji tej inteligencji.
eksplozji tej inteligencji.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Większość osób myśląc o tym,
co jest mądre, a co głupie,
co jest mądre, a co głupie,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
wyobraża sobie taki obrazek.
06:17
So at one end we have the village idiot,
106
365386
2598
Po jednej stronie mamy wioskowego głupka,
06:19
and then far over at the other side
107
367984
2483
a po drugiej stronie
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
Eda Wittena, Alberta Einsteina
albo jakiegoś innego guru.
albo jakiegoś innego guru.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Z punktu widzenia sztucznej inteligencji
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
obrazek powinien wyglądać raczej tak.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
Sztuczna inteligencja startuje od zera.
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
Po wielu latach ciężkiej pracy
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
może osiągnie poziom myszy
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
i będzie potrafiła sama omijać przeszkody,
06:47
as well as a mouse can.
115
395921
1987
tak jak mysz.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Znów po wielu latach ciężkiej pracy,
przy dużych nakładach finansowych,
przy dużych nakładach finansowych,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
może osiągnie poziom szympansów.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
A po jeszcze dłuższym czasie
wypełnionym ciężką pracą,
wypełnionym ciężką pracą,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
osiągnie poziom wioskowego głupka.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Chwilę później wyprzedzi Eda Wittena.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Pociąg nie zatrzyma się
na stacji Ludzko Zdrój.
na stacji Ludzko Zdrój.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Przemknie przez nią na pełnym biegu.
07:14
Now this has profound implications,
123
422247
1984
Będzie to niosło głębokie konsekwencje,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
zwłaszcza jeśli chodzi o władzę.
07:20
For example, chimpanzees are strong --
125
428093
1899
Na przykład, szympansy są silne.
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
Szympans jest dwa razy silniejszy
od wysportowanego mężczyzny.
od wysportowanego mężczyzny.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Mimo to na los Kanziego i jemu podobnych
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
mamy większy wpływ niż inne szympansy.
07:37
Once there is superintelligence,
129
445228
2314
Kiedy pojawi się superinteligencja,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
los ludzkości może
stać się od niej zależny.
stać się od niej zależny.
07:44
Think about it:
131
452451
1057
Pomyślcie.
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
Sztuczna inteligencja to ostatni
wynalazek, jakiego dokona człowiek.
wynalazek, jakiego dokona człowiek.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Maszyny będą lepszymi wynalazcami niż my
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
i będą operować na poziomie cyfrowym.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Oznacza to gwałtowny skok rozwoju.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Pomyślcie o tych wszystkich
szalonych pomysłach,
szalonych pomysłach,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
które ludzkość mogłaby
zrealizować w przyszłości.
zrealizować w przyszłości.
08:07
cures for aging, space colonization,
138
475322
3258
Powstrzymanie starzenia,
kolonizacja kosmosu,
kolonizacja kosmosu,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
samoreplikujące się nanoroboty,
podłączenie naszych umysłów do komputera.
podłączenie naszych umysłów do komputera.
08:14
all kinds of science fiction-y stuff
140
482311
2159
Wszystkie pomysły rodem z science-fiction,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
które nie przeczą prawom fizyki,
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
mogłyby zaistnieć dzięki superinteligencji
i to dość gwałtownie.
i to dość gwałtownie.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Tak technologicznie
rozwinięta superinteligencja
rozwinięta superinteligencja
08:28
would be extremely powerful,
144
496007
2179
miałaby ogromną moc
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
i według niektórych scenariuszy,
byłaby w stanie osiągnąć własne cele.
byłaby w stanie osiągnąć własne cele.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Nasza przyszłość byłaby kształtowana
według uznania sztucznej inteligencji.
według uznania sztucznej inteligencji.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Warto się zastanowić,
jakie miałaby ona preferencje.
jakie miałaby ona preferencje.
08:46
Here it gets trickier.
148
514244
1769
Tu tkwi pewna pułapka.
08:48
To make any headway with this,
149
516013
1435
Żeby posunąć się dalej,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
musimy uniknąć antropomorfizacji.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
Jak na ironię,
bo każdy artykuł w gazetach,
bo każdy artykuł w gazetach,
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
odnoszący się do przyszłości SI.
zawiera ten obrazek.
zawiera ten obrazek.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Myślę, że powinniśmy podejść
do tematu bardziej abstrakcyjnie,
do tematu bardziej abstrakcyjnie,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
nie kierując się scenariuszami
hollywoodzkich filmów.
hollywoodzkich filmów.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Inteligencję należy rozumieć
jako proces optymalizacyjny,
jako proces optymalizacyjny,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
który kształtuje przyszłość
według konkretnych ustaleń.
według konkretnych ustaleń.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Superinteligencja jest procesem
mocno optymalizacyjnym.
mocno optymalizacyjnym.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Jest bardzo dobra w używaniu
odpowiednich środków,
odpowiednich środków,
09:26
in which its goal is realized.
159
554098
1909
żeby osiągnąć cel.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Oznacza to, że niekoniecznie
musi istnieć związek
musi istnieć związek
09:31
being highly intelligent in this sense,
161
559119
2734
między wysoką inteligencją,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
a posiadaniem celu, który ludzkość
uznałaby za warty zachodu lub znaczący.
uznałaby za warty zachodu lub znaczący.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Załóżmy, że daliśmy sztucznej inteligencji
zadanie wywołania u nas uśmiechu.
zadanie wywołania u nas uśmiechu.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Słaba sztuczna inteligencja
wykonywałaby czynności,
wykonywałaby czynności,
09:46
that cause its user to smile.
165
574097
2517
które rozbawiłyby użytkownika.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Superinteligencja zdałaby sobie sprawę,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
że można osiągnąć cel
w bardziej efektywny sposób:
w bardziej efektywny sposób:
09:54
take control of the world
168
582554
1922
przejąć kontrolę nad światem,
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
wszczepić ludziom elektrody,
mające sprawić,
mające sprawić,
09:59
to cause constant, beaming grins.
170
587638
2941
że na naszych twarzach
na stałe zagości promienny uśmiech.
na stałe zagości promienny uśmiech.
10:02
Another example,
171
590579
1035
Inny przykład.
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
Załóżmy, że kazaliśmy komputerowi
rozwiązać trudne zadanie matematyczne.
rozwiązać trudne zadanie matematyczne.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Superinteligencja doszłaby do wniosku,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
że najefektywniej będzie
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
przekształcić planetę w ogromny komputer,
10:16
so as to increase its thinking capacity.
176
604035
2246
żeby przyspieszyć procesy myślowe.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
To może dać superinteligencji pretekst
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
do robienia rzeczy,
których my byśmy nie popierali.
których my byśmy nie popierali.
10:23
Human beings in this model are threats,
179
611561
1935
Ludzie w tym modelu stają się przeszkodą
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
dla rozwiązania zadania.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Oczywiście możliwe, że sprawy
nie potoczą się w ten sposób.
nie potoczą się w ten sposób.
10:32
these are cartoon examples.
182
620701
1753
To przerysowane przykłady.
10:34
But the general point here is important:
183
622454
1939
Ale najważniejsze jest,
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
że jeśli tworzysz potężny
proces optymalizacyjny
proces optymalizacyjny
10:39
to maximize for objective x,
185
627266
2234
do zmaksymalizowania realizacji celu X,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
lepiej upewnij się, czy definicja X
10:43
incorporates everything you care about.
187
631776
2469
zawiera wszystko, na czym ci zależy.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Tego uczy nas wiele mitów.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Król Midas chciał, by wszystko,
czego dotknie, zamieniało się w złoto.
czego dotknie, zamieniało się w złoto.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Dotknął córki, a ona zmieniła się w złoto.
10:59
He touches his food, it turns into gold.
191
647378
2553
Dotknął jedzenia,
a ono zmieniło się w złoto.
a ono zmieniło się w złoto.
11:01
This could become practically relevant,
192
649931
2589
To nie tylko metafora chciwości,
11:04
not just as a metaphor for greed,
193
652520
2070
ale też tego, co może się stać,
11:06
but as an illustration of what happens
194
654590
1895
jeśli stworzymy proces optymalizacyjny
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
i damy mu błędnie określone
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
lub słabo sprecyzowane cele.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Możecie powiedzieć, że jeśli komputer
zacznie nam wszczepiać elektrody,
zacznie nam wszczepiać elektrody,
11:21
we'd just shut it off.
198
669300
2265
wtedy go wyłączymy.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
Po pierwsze, to może być trudne,
jeśli będziemy zależni od tego systemu.
jeśli będziemy zależni od tego systemu.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
Jak wyłączyć internet?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Po drugie, czemu szympansy
lub Neandertalczycy
lub Neandertalczycy
11:37
or the Neanderthals?
202
685747
1551
nas nie wyłączyli?
11:39
They certainly had reasons.
203
687298
2666
Mieli powody.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Mamy swój wyłącznik, na przykład tutaj.
11:44
(Choking)
205
692759
1554
(Charczenie)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Otóż jesteśmy inteligentnym przeciwnikiem.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
Potrafimy przewidzieć zagrożenie
i zaplanować obronę.
i zaplanować obronę.
11:51
But so could a superintelligent agent,
208
699966
2504
To samo mogłaby zrobić superinteligencja
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
i byłaby w tym znacznie od nas lepsza.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Chodzi o to, żebyśmy nie byli pewni,
że wszystko mamy pod kontrolą.
że wszystko mamy pod kontrolą.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Można by spróbować ułatwić sobie zadanie,
12:08
putting the A.I. in a box,
212
716358
1590
umieszczając SI w pudełku,
12:09
like a secure software environment,
213
717948
1796
w jakiejś odosobnionej przestrzeni,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
w wirtualnej rzeczywistości,
z której nie będzie w stanie uciec.
z której nie będzie w stanie uciec.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Na ile możemy być pewni, że komputer
nie znajdzie błędu w programie?
nie znajdzie błędu w programie?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Skoro hakerzy
ciągle znajdują jakieś błędy,
ciągle znajdują jakieś błędy,
12:22
I'd say, probably not very confident.
217
730081
3036
jest to niemal pewne.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Moglibyśmy odłączyć ethernet,
żeby odizolować komputer,
żeby odizolować komputer,
12:30
but again, like merely human hackers
219
738785
2668
ale hakerzy potrafią poradzić sobie
i z tym problemem,
i z tym problemem,
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
wykorzystując inżynierię społeczną.
12:36
Right now, as I speak,
221
744834
1259
W tej właśnie chwili
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
gdzieś jakiś pracownik
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
przekazuje swoje dane logowania komuś
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
podającemu się za informatyka.
12:46
More creative scenarios are also possible,
225
754574
2127
Możliwe są bardziej kreatywne scenariusze.
12:48
like if you're the A.I.,
226
756701
1315
Sztuczna inteligencja
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
może pokombinować przy elektrodach
w swoim obwodzie,
w swoim obwodzie,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
żeby powstały fale radiowe
potrzebne do komunikacji.
potrzebne do komunikacji.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Albo może udawać awarię,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
a kiedy programiści zajrzą do środka,
żeby sprawdzić kod źródłowy
żeby sprawdzić kod źródłowy
13:02
they look at the source code -- Bam! --
231
770931
1936
- bum! -
13:04
the manipulation can take place.
232
772867
2447
może dojść do manipulacji.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Może też zaprojektować
bardzo zmyślną technologię,
bardzo zmyślną technologię,
13:10
and when we implement it,
234
778744
1398
a kiedy ją zaimplementujemy
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
okaże się, że ma jakiś ukryte działanie,
zaplanowane przez komputer.
zaplanowane przez komputer.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Chodzi o to, żebyśmy nie byli pewni,
że będziemy potrafili
że będziemy potrafili
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
trzymać superinteligentnego dżina
zamkniętego w lampie na zawsze.
zamkniętego w lampie na zawsze.
13:23
Sooner or later, it will out.
238
791810
2254
Prędzej czy później się z niej wydostanie.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Sęk w tym, żeby zaprojektować
superinteligentny komputer,
superinteligentny komputer,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
który jeśli, czy może kiedy, ucieknie,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
będzie niegroźny,
bo będzie po naszej stronie,
bo będzie po naszej stronie,
13:38
because it shares our values.
242
806438
1899
wyznając nasze wartości.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Nie widzę innego sposobu
na ominięcie tego problemu.
na ominięcie tego problemu.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Dość optymistycznie podchodzę
do kwestii rozwiązania tego problemu.
do kwestii rozwiązania tego problemu.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Nie musimy tworzyć długiej listy
wszystkiego, co dla nas ważne,
wszystkiego, co dla nas ważne,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ani co gorsza, przekładać jej
na jakiś język programowania,
na jakiś język programowania,
13:55
like C++ or Python,
247
823937
1454
jak C++ czy Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
co byłoby beznadziejnym zadaniem.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Trzeba stworzyć komputer,
który użyje swojej inteligencji
który użyje swojej inteligencji
14:04
to learn what we value,
250
832455
2771
żeby nauczyć się naszych wartości,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
a jego system motywacyjny
skonstruowany byłby w taki sposób,
skonstruowany byłby w taki sposób,
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
że dążyłby do naszych wartości i wykonywał
pochwalane przez nas czynności.
pochwalane przez nas czynności.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
W ten sposób
wykorzystalibyśmy jego inteligencję
wykorzystalibyśmy jego inteligencję
14:21
to solve the problem of value-loading.
254
849152
2745
do rozwiązania problemu wartości.
14:24
This can happen,
255
852727
1512
Można to zrobić,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
a owoce tej pracy
byłyby dobre dla ludzkości.
byłyby dobre dla ludzkości.
14:29
But it doesn't happen automatically.
257
857835
3957
Ale to nie stanie się automatycznie.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Możliwe, że trzeba będzie
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
precyzyjnie określić
startowe warunki eksplozji inteligencji,
startowe warunki eksplozji inteligencji,
14:39
if we are to have a controlled detonation.
260
867653
3530
jeśli chcemy dokonać
kontrolowanej detonacji.
kontrolowanej detonacji.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Sztuczna inteligencja
musi wyznawać nasze wartości
musi wyznawać nasze wartości
14:45
not just in the familiar context,
262
873801
1760
nie tylko w znanych sytuacjach,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
które możemy przewidzieć,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
ale też w nowych kontekstach,
na które może się natknąć
na które może się natknąć
14:53
in the indefinite future.
265
881233
1557
w niezdefiniowanej przyszłości.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Musimy też rozwikłać
pewne ezoteryczne kwestie.
pewne ezoteryczne kwestie.
14:59
the exact details of its decision theory,
267
887527
2089
Szczegóły teorii decyzji, jak sobie radzić
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
z niepewnością logiczną i tak dalej.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Techniczne problemy,
stojące przed tym zadaniem
stojące przed tym zadaniem
15:08
look quite difficult --
270
896432
1113
wydają się trudne.
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
Nie aż tak trudne, jak stworzenie
sztucznej superinteligencji,
sztucznej superinteligencji,
15:12
but fairly difficult.
272
900925
2868
ale dość trudne.
15:15
Here is the worry:
273
903793
1695
Tu tkwi problem.
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Stworzenie superinteligentnego komputera
jest trudnym wyzwaniem.
jest trudnym wyzwaniem.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Stworzenie bezpiecznego
superinteligentnego komputera
superinteligentnego komputera
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
jest jeszcze trudniejsze.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Ryzyko polega na tym, że komuś
uda się sprostać pierwszemu wyzwaniu
uda się sprostać pierwszemu wyzwaniu
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
z pominięciem zapewnienia
15:34
of ensuring perfect safety.
279
922704
1901
całkowitego bezpieczeństwa.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Uważam, że najpierw należy
15:40
to the control problem in advance,
281
928706
2822
rozwiązać problem kontroli,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
aby mieć w razie czego pod ręką antidotum.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Może się okazać, że nie da się
rozwiązać zawczasu całego problemu,
rozwiązać zawczasu całego problemu,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
bo niektóre jego elementy można stworzyć,
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
wyłącznie znając szczegóły architektury,
która zostanie zaimplementowana.
która zostanie zaimplementowana.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Ale im większą część
tego problemu rozwiążemy,
tego problemu rozwiążemy,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
tym większe mamy szanse na wkroczenie
w epokę inteligentnych maszyn
w epokę inteligentnych maszyn
16:04
will go well.
288
952766
1540
zgodnie z naszym planem.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Dla mnie jest to gra warta świeczki
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
i, jeśli wszystko pójdzie dobrze,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
ludzie za milion lat
spojrzą na nasze stulecie
spojrzą na nasze stulecie
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
i powiedzą, że jest to jedyna ważna rzecz,
16:22
was to get this thing right.
293
970942
1567
która nam się udała.
16:24
Thank you.
294
972509
1689
Dziękuję.
16:26
(Applause)
295
974198
2813
(Brawa)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com