TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Ce se întâmplă când calculatorul devine mai deștept decât noi?
Filmed:
Readability: 4.4
4,632,705 views
Inteligența artificială avansează foarte rapid: în acest secol, sugerează cercetătorii, un calculator cu I.A. ar putea fi la fel de „deștept” ca o ființă umană. Apoi, zice Nick Bostrom, ne va depăși: „Inteligența artificială e ultima invenție pe care va trebui s-o facă umanitatea.” Ca filozof și tehnolog, Bostrom ne cere să ne gândim bine la lumea pe care o construim chiar acum, dominată de mașini gânditoare. Ne vor ajuta aceste mașini deștepte să ne păstrăm umanitatea și valorile sau vor avea propriile lor valori?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Lucrez cu matematicieni,
filozofi și cercetători IT
filozofi și cercetători IT
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
și ne gândim
la viitorul inteligenței artificiale,
printre altele.
printre altele.
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Unii cred că unele dintre aceste lucruri
sunt științifico-fantastice,
sunt științifico-fantastice,
departe de noi, nebunești.
00:28
far out there, crazy.
4
16755
3101
Dar mie îmi place să zic:
00:31
But I like to say,
5
19856
1470
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
OK, hai să vedem condiția omului modern.
00:36
(Laughter)
7
24930
1692
(Râsete)
00:38
This is the normal way for things to be.
8
26622
2402
Asta e normalul.
00:41
But if we think about it,
9
29024
2285
Dar de fapt
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
suntem niște oaspeți
relativ recenți pe această planetă
relativ recenți pe această planetă
00:46
the human species.
11
34602
2082
ca specie umană.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Gândiți-vă, dacă Pământul
a fi fost creat în urmă cu un an,
a fi fost creat în urmă cu un an,
specia umană ar fi existat
de doar 10 minute.
de doar 10 minute.
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Epoca Industrială ar fi început
de doar două secunde.
de doar două secunde.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Am putea analiza aceasta și din prisma
PIB-ului global din ultimii 10 000 de ani.
PIB-ului global din ultimii 10 000 de ani.
V-am făcut și un grafic.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
01:09
It looks like this.
17
57530
1774
Arată așa.
(Râsete)
01:11
(Laughter)
18
59304
1363
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Are o formă ciudată
pentru o situație normală.
pentru o situație normală.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Eu unul nu m-aș așeza pe el.
01:16
(Laughter)
21
64516
2551
(Râsete)
Hai să ne punem întrebarea:
care ar fi cauza acestei anomalii?
care ar fi cauza acestei anomalii?
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
01:23
Some people would say it's technology.
23
71841
2552
Unii ar zice că ar fi tehnologia.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Adevărat, în decursul istoriei,
umanitatea a acumulat multă tehnologie
umanitatea a acumulat multă tehnologie
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
și, în acest moment, tehnologia
avansează extrem de rapid.
avansează extrem de rapid.
Aceasta e cauza imediată,
01:35
that is the proximate cause,
26
83713
1565
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
de aceea suntem atât de productivi.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Dar îmi place să gândesc mai departe,
la cauza primară.
la cauza primară.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Priviți-i pe acești domni distinși.
Îl avem pe Kanzi,
01:48
We have Kanzi --
30
96880
1600
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
el a stăpânit 200 de semne lexicale,
o ispravă nemaipomenită.
o ispravă nemaipomenită.
Și pe Ed Witten care a declanșat
a doua revoluție a superstringurilor.
a doua revoluție a superstringurilor.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Dacă „deschidem capota”, iată ce găsim:
02:01
basically the same thing.
34
109141
1570
în esență același lucru.
02:02
One is a little larger,
35
110711
1813
Unul dintre ele e ceva mai mare,
posibil cu câteva trucuri în plus
în privința modului de montare.
în privința modului de montare.
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Aceste diferențe invizibile, totuși,
nu pot fi prea complicate
nu pot fi prea complicate
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
pentru că s-au perindat
doar 250 000 de generații
doar 250 000 de generații
02:15
since our last common ancestor.
39
123379
1732
de la ultimul nostru strămoș comun
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
și știm că mecanismele complicate
durează mult până evoluează.
durează mult până evoluează.
Așa că o mână de schimbări minore
02:22
So a bunch of relatively minor changes
41
130000
2499
02:24
take us from Kanzi to Witten,
42
132499
3067
ne-au dus de la Kanzi la Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
de la crengi rupte
la rachete balistice intercontinentale.
la rachete balistice intercontinentale.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Atunci pare destul de evident
că tot ce am realizat
că tot ce am realizat
02:36
and everything we care about,
45
144774
1378
și toate cele de care ne pasă
depind radical
depind radical
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
de schimbări relativ minore
făcute de mintea umană.
făcute de mintea umană.
Iar corolarul este, desigur,
că orice viitoare schimbare
că orice viitoare schimbare
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
ce ar putea schimba substanțial
substratul gândirii
substratul gândirii
ar putea avea consecințe uriașe.
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Unii colegi cred că suntem pe cale
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
de a produce ceva ce ar putea cauza
o schimbare profundă a acestui substrat,
o schimbare profundă a acestui substrat,
03:03
and that is machine superintelligence.
52
171134
3213
aceasta fiind
superinteligența artificială.
superinteligența artificială.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Inteligența artificială era desemnată
ca fiind o cutie în care se pun comenzi.
ca fiind o cutie în care se pun comenzi.
Trebuiau să existe programatori umani
03:11
You would have human programmers
54
179086
1665
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
care să modeleze din greu
părțile de cunoaștere.
părțile de cunoaștere.
03:15
You build up these expert systems,
56
183886
2086
Se realizează niște sisteme expert
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
care vor fi de folos în anumit scop,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
dar care sunt foarte firave,
nu se pot extinde.
nu se pot extinde.
În principiu, primești de la ele
doar ce ai programat.
doar ce ai programat.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
03:26
But since then,
60
194410
997
De atunci, însă,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
s-a produs o schimbare în paradigmă
în inteligența artificială.
în inteligența artificială.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Acum acțiunea se petrece în jurul
învățării sistemelor artificiale.
învățării sistemelor artificiale.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
În loc să realizăm reprezentări și
caracteristici ale cunoașterii,
caracteristici ale cunoașterii,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
creăm algoritmi de învățare adesea
pe bază de date perceptuale brute.
pe bază de date perceptuale brute.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
În principiu, lucru similar
cu ceea ce face un copil.
cu ceea ce face un copil.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Rezultatul este o I.A.
ce nu se limitează la un domeniu,
ce nu se limitează la un domeniu,
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
același sistem putând să învețe
să traducă între oricare două limbi
să traducă între oricare două limbi
sau să învețe să joace orice joc
pe calculator pe o consolă Atari.
pe calculator pe o consolă Atari.
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
04:05
Now of course,
69
233338
1779
Desigur,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
I.A. nu are nici pe departe puterea,
abilitatea transdisciplinară a omului
de a planifica și învăța.
de a planifica și învăța.
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
Cortexul are încă
niște trucuri de algoritm
niște trucuri de algoritm
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
pe care încă nu știm cum
să le transpunem în mecanisme.
să le transpunem în mecanisme.
04:19
So the question is,
74
247886
1899
Se pune deci întrebarea
cât de de departe suntem de momentul
în care putem face asta.
în care putem face asta.
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
04:26
A couple of years ago,
76
254245
1083
Cu câțiva ani în urmă,
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
am făcut un sondaj printre
cei mai de seamă experți în I.A.
cei mai de seamă experți în I.A.
pentru a vedea ce cred ei
și una din întrebări a fost:
și una din întrebări a fost:
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
„Până în ce an credeți că vom ajunge
la probabilitatea de 50%
la probabilitatea de 50%
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
de a realizare inteligența artificiala
la nivelul omului?”
la nivelul omului?”
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Prin „nivelul omului” am înțeles
capacitatea de a presta
capacitatea de a presta
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
aproape orice sarcină
cel puțin la nivelul unui adult,
cel puțin la nivelul unui adult,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
deci nivel uman general,
nu doar limitat la un domeniu restrâns.
nu doar limitat la un domeniu restrâns.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Răspunsul mediu a fost 2040 sau 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
în funcție de
grupul de experți chestionați.
grupul de experți chestionați.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
S-ar putea întâmpla
mult mai târziu sau mai devreme,
mult mai târziu sau mai devreme,
05:02
the truth is nobody really knows.
87
290339
1940
adevărul e că nimeni nu știe.
Ceea ce știm e că limita superioară
a procesării informației
a procesării informației
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
într-un mediu artificial e mult
mai departe de limitele noastre biologice.
mai departe de limitele noastre biologice.
05:15
This comes down to physics.
90
303241
2378
Totul se reduce la fizică.
Neuronul transmite la vreo 200 de herți,
de 200 de ori pe secundă.
de 200 de ori pe secundă.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Dar chiar și acum, un tranzistor
operează în gigaherți.
operează în gigaherți.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Impulsurile se propagă prin axoni încet,
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
cu cel mult 100 de metri pe secundă.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Dar în calculatoare semnalele
pot circula cu viteza luminii.
pot circula cu viteza luminii.
05:35
There are also size limitations,
95
323079
1869
Există și limitări date de volum,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
creierul uman trebuie
să încapă în cutia craniană,
să încapă în cutia craniană,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
dar un calculator poate fi mare
cât un depozit sau mai mare.
cât un depozit sau mai mare.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Deci potențialul de superinteligență
e în stare latentă în materie,
e în stare latentă în materie,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
la fel ca puterea atomului
care a fost în stare latentă
care a fost în stare latentă
în toată istoria umanității,
așteptând cu răbdare până în 1945.
05:56
patiently waiting there until 1945.
100
344047
4405
În acest secol,
06:00
In this century,
101
348452
1248
oamenii de știință ar putea să trezească
puterea inteligenței artificiale.
puterea inteligenței artificiale.
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Și cred că atunci am putea fi martorii
unei explozii de inteligență.
unei explozii de inteligență.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Majoritatea oamenilor, gândindu-se
la cine e deștept și cine prost,
la cine e deștept și cine prost,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
cred că au în cap ceva de genul acesta.
06:17
So at one end we have the village idiot,
106
365386
2598
La o extremitate avem prostul satului,
06:19
and then far over at the other side
107
367984
2483
departe, la cealaltă extremitate,
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
pe Ed Witten, sau Albert Einstein,
sau oricine altcineva ar fi favoritul.
sau oricine altcineva ar fi favoritul.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Dar eu zic că, din punctul de vedere
al inteligenței artificiale,
al inteligenței artificiale,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
schema este, de fapt, mai mult așa:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
I.A. începe în acest punct,
la inteligență zero,
la inteligență zero,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
apoi, după foarte mulți ani
de muncă asiduă,
de muncă asiduă,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
poată că inteligența artificială
ajunge la nivelul șoarecelui,
ajunge la nivelul șoarecelui,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
ceva ce poate naviga într-un mediu haotic
la fel de bine cum poate un șoarece.
la fel de bine cum poate un șoarece.
06:47
as well as a mouse can.
115
395921
1987
Iar apoi, după alți mulți ani
de muncă asiduă, cu multe investiții,
de muncă asiduă, cu multe investiții,
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
poate că inteligența artificială
ajunge la nivelul cimpanzeului.
ajunge la nivelul cimpanzeului.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Iar apoi, după și mai mulți ani
de muncă asiduă,
de muncă asiduă,
ajungem la inteligența artificială
a prostului satului.
a prostului satului.
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
Și după câteva momente
suntem dincolo de Ed Witten.
suntem dincolo de Ed Witten.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Trenul nu oprește la „Gara Omului”.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Din contră, probabil va trece în viteză.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
07:14
Now this has profound implications,
123
422247
1984
Aceasta are implicații serioase,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
mai ales când vine vorba
de probleme de putere.
de probleme de putere.
07:20
For example, chimpanzees are strong --
125
428093
1899
De exemplu, cimpanzeii sunt puternici:
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
la kilograme, cimpanzeul e de vreo 2 ori
mai puternic decât un bărbat sănătos.
mai puternic decât un bărbat sănătos.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Totuși, soarta lui Kanzi și a celor ca el
depinde cu mult mai mult
depinde cu mult mai mult
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
de ce facem noi, oamenii,
decât de ce fac semenii cimpanzei.
decât de ce fac semenii cimpanzei.
07:37
Once there is superintelligence,
129
445228
2314
Cu apariția superinteligenței,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
soarta umanității poate depinde
de ce face superinteligența.
de ce face superinteligența.
07:44
Think about it:
131
452451
1057
Gândiți-vă:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
inteligența artificială e ultima invenție
pe care va trebui s-o facă umanitatea.
pe care va trebui s-o facă umanitatea.
Căci după aceea mașinile
vor fi mai bune la inventat decât noi
vor fi mai bune la inventat decât noi
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
și vor face asta la scară digitală.
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Aceasta înseamnă, de fapt,
telescopizarea viitorului.
telescopizarea viitorului.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Luați toate tehnologiile nebunești
pe care vi le-ați putea imagina,
pe care vi le-ați putea imagina,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
pe care oamenii
le-ar putea realiza în timp:
le-ar putea realiza în timp:
08:07
cures for aging, space colonization,
138
475322
3258
oprirea îmbătrânirii,
colonizarea spațiului cosmic,
colonizarea spațiului cosmic,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
nanoroboți auto-replicativi
sau încărcarea minții în calculator,
sau încărcarea minții în calculator,
08:14
all kinds of science fiction-y stuff
140
482311
2159
tot felul de chestii SF
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
care sunt totuși în concordanță
cu legile fizicii.
cu legile fizicii.
Pe toate astea superinteligența
le poate realiza, și încă foarte repede.
le poate realiza, și încă foarte repede.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Superinteligența de o astfel de
maturitate tehnologică
maturitate tehnologică
ar fi extrem de puternică
08:28
would be extremely powerful,
144
496007
2179
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
și, cel puțin în unele scenarii,
ar putea obține ce vrea.
ar putea obține ce vrea.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Atunci am avea viitorul
modelat de preferințele acesteia.
modelat de preferințele acesteia.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
O întrebare bună este:
care ar fi aceste preferințe?
care ar fi aceste preferințe?
08:46
Here it gets trickier.
148
514244
1769
Aici e mai cu schepsis.
08:48
To make any headway with this,
149
516013
1435
Pentru a avansa cu acest gând,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
în primul rând trebuie
să evităm antropomorfizarea.
să evităm antropomorfizarea.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
Iar asta e ironic pentru că
orice articol de ziar
orice articol de ziar
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
despre viitorul I.A. are o poză ca asta:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Cred că trebuie să concepem
chestiunea mai abstract,
chestiunea mai abstract,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
nu în termenii colorați
ai scenariilor hollywoodiene.
ai scenariilor hollywoodiene.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Trebuie să ne gândim la inteligență
ca un proces de optimizare,
ca un proces de optimizare,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
un proces ce îndreaptă viitorul
într-un anumit set de configurații.
într-un anumit set de configurații.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Superinteligența ca proces
de optimizare foarte puternic.
de optimizare foarte puternic.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Extrem de bună pentru a folosi
mijloacele existente
mijloacele existente
pentru a realiza o stare
în care obiectivele ei sunt atinse.
în care obiectivele ei sunt atinse.
09:26
in which its goal is realized.
159
554098
1909
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Aceasta înseamnă
că nu există neapărat legătură
că nu există neapărat legătură
între a fi foarte inteligent în acest sens
09:31
being highly intelligent in this sense,
161
559119
2734
și a avea un obiectiv pe care noi,
oamenii, l-am considera util și cu sens.
oamenii, l-am considera util și cu sens.
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Să zicem că îi dăm unei I.A. ca obiectiv
să-i facă pe oameni să zâmbească.
să-i facă pe oameni să zâmbească.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Când I.A. e slabă, acționează
util sau amuzant
util sau amuzant
09:46
that cause its user to smile.
165
574097
2517
ceea ce îl face pe utilizator
să zâmbească.
să zâmbească.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Când I.A. devine superinteligentă,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
își dă seama că există o cale
mai eficientă pentru a atinge acest scop:
mai eficientă pentru a atinge acest scop:
09:54
take control of the world
168
582554
1922
preia controlul asupra lumii
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
și implantează electrozi
în mușchii faciali ai oamenilor
în mușchii faciali ai oamenilor
09:59
to cause constant, beaming grins.
170
587638
2941
pentru a obține rânjete
strălucitoare constante.
strălucitoare constante.
Alt exemplu:
10:02
Another example,
171
590579
1035
dăm I.A. ca obiectiv să rezolve
o problemă de matematică grea.
o problemă de matematică grea.
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Când I.A. devine superinteligentă,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
își dă seama că modul cel mai eficient
pentru a găsi soluția problemei
pentru a găsi soluția problemei
este transformarea planetei
într-un calculator gigant
într-un calculator gigant
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
10:16
so as to increase its thinking capacity.
176
604035
2246
pentru a-i crește capacitatea de gândire.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Luați seamă că aceasta dă I.A.-ului
rațiunea instrumentală
rațiunea instrumentală
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
pentru a ne face lucruri
cu care nu suntem de acord.
cu care nu suntem de acord.
10:23
Human beings in this model are threats,
179
611561
1935
În acest caz, oamenii sunt o amenințare,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
am putea să împiedicăm rezolvarea
problemei de matematică.
problemei de matematică.
Desigur, se vede că lucrurile
nu vor degenera chiar astfel;
nu vor degenera chiar astfel;
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
acestea sunt exemple exagerate.
10:32
these are cartoon examples.
182
620701
1753
10:34
But the general point here is important:
183
622454
1939
Dar esența lor e importantă:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
dacă vrei să realizezi
un proces de optimizare puternic
un proces de optimizare puternic
10:39
to maximize for objective x,
185
627266
2234
pentru a maximiza
atingerea obiectivului x,
atingerea obiectivului x,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
ar fi bine să te asiguri
că definiția acelui x
că definiția acelui x
10:43
incorporates everything you care about.
187
631776
2469
încorporează tot ce contează pentru tine.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
E un motiv ce apare și în multe legende.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Regele Midas vroia ca tot ce atinge
să se transforme în aur.
să se transforme în aur.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Și-a atins fiica, s-a transformat în aur.
10:59
He touches his food, it turns into gold.
191
647378
2553
S-a atins de mâncare,
s-a transformat în aur.
s-a transformat în aur.
11:01
This could become practically relevant,
192
649931
2589
Aceasta poate fi relevant în practică,
nu doar ca o metaforă a lăcomiei,
11:04
not just as a metaphor for greed,
193
652520
2070
11:06
but as an illustration of what happens
194
654590
1895
ci și pentru a ilustra ce se întâmplă
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
dacă realizezi
un proces de optimizare puternic,
un proces de optimizare puternic,
cu obiectivele concepute eronat
sau insuficient de detaliate.
sau insuficient de detaliate.
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Ați putea zice că dacă un calculator
începe să implanteze electrozi în oameni
începe să implanteze electrozi în oameni
11:21
we'd just shut it off.
198
669300
2265
nu avem decât să îl închidem.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
A, poate să nu fie chiar așa de ușor
dacă suntem dependenți de sistem –
dacă suntem dependenți de sistem –
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
de unde se poate stinge Internetul?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B, de ce nu au apăsat cimpanzeii
pe întrerupătorul umanității?
pe întrerupătorul umanității?
11:37
or the Neanderthals?
202
685747
1551
Sau neanderthalienii?
11:39
They certainly had reasons.
203
687298
2666
Cu siguranță aveau motive să o facă.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Avem un întrerupător, de exemplu aici.
11:44
(Choking)
205
692759
1554
(Se sugrumă)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Motivul e că suntem
un adversar inteligent;
un adversar inteligent;
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
putem anticipa pericolul
și putem să-l preîntâmpinăm.
și putem să-l preîntâmpinăm.
11:51
But so could a superintelligent agent,
208
699966
2504
Dar la fel ar fi
și un agent superinteligent
și un agent superinteligent
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
și ar fi mult mai bun decât noi.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Faza e că nu ar trebui să credem
că deținem controlul aici.
că deținem controlul aici.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Am putea încerca,
pentru a ne ușura un pic treaba,
pentru a ne ușura un pic treaba,
12:08
putting the A.I. in a box,
212
716358
1590
să zicem să punem I.A. într-o cutie,
12:09
like a secure software environment,
213
717948
1796
de pildă un mediu de soft securizat,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
o simulare de realitate virtuală
din care nu poate scăpa.
din care nu poate scăpa.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Dar cât de siguri putem fi
că I.A. nu găsește un virus.
că I.A. nu găsește un virus.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Dat fiind că simplii hackeri umani
găsesc tot timpul viruși,
găsesc tot timpul viruși,
12:22
I'd say, probably not very confident.
217
730081
3036
aș zice că, probabil, nu foarte siguri.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Sau deconectăm cablul ethernet
pentru a crea o întrerupere.
pentru a crea o întrerupere.
12:30
but again, like merely human hackers
219
738785
2668
Dar, la fel, simplii hackeri umani
trec adesea peste întreruperi,
prin inginerie socială.
prin inginerie socială.
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
12:36
Right now, as I speak,
221
744834
1259
Chiar în acest moment,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
sunt sigur că există un angajat pe undeva
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
care este păcălit
să-și dea datele de cont
să-și dea datele de cont
de către cineva care se dă drept
funcționar la departamentul I.T.
funcționar la departamentul I.T.
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
12:46
More creative scenarios are also possible,
225
754574
2127
Există și alte scenarii creative posibile
12:48
like if you're the A.I.,
226
756701
1315
cum ar fi: dacă ești I.A.
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
ți-ai putea imagina să-ți pui
electrozi în circuitul intern propriu
electrozi în circuitul intern propriu
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
pentru a crea unde radio
pe care să le folosești pentru comunicare.
pe care să le folosești pentru comunicare.
Sau poate te-ai putea preface
că nu funcționezi corect
că nu funcționezi corect
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
și apoi, când programatorii te deschid
să vadă care-i baiul cu tine,
să vadă care-i baiul cu tine,
13:02
they look at the source code -- Bam! --
231
770931
1936
se uită la codul-sursă – pac! –
poate avea loc manipularea.
13:04
the manipulation can take place.
232
772867
2447
Sau ar putea produce planul
unei tehnologii mișto
unei tehnologii mișto
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
13:10
and when we implement it,
234
778744
1398
și, când să o implementăm,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
ea are niște efecte secundare ascunse
pe care le-a gândit I.A.
pe care le-a gândit I.A.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Concluzia este că nu ar trebui
să avem prea mare încredere
să avem prea mare încredere
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
că putem ține duhul superinteligent
închis în sticla sa pentru totdeauna.
închis în sticla sa pentru totdeauna.
13:23
Sooner or later, it will out.
238
791810
2254
Mai degrabă sau mai târziu, va ieși.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Cred că aici răspunsul este
să găsim modalitatea
să găsim modalitatea
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
de a crea o I.A. superinteligentă
care, chiar și după ce scapă,
care, chiar și după ce scapă,
e totuși sigură, pentru că
în mod fundamental e de partea noastră,
în mod fundamental e de partea noastră,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
13:38
because it shares our values.
242
806438
1899
pentru că are valorile noastre.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Nu văd altă cale de rezolvare
a acestei probleme dificile.
a acestei probleme dificile.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Sunt încrezător că putem rezolva
această problemă.
această problemă.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Nu ar trebui să facem o listă lungă
cu toate lucrurile la care ținem
cu toate lucrurile la care ținem
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
sau, mai rău, să le traducem
într-un limbaj mașină
într-un limbaj mașină
13:55
like C++ or Python,
247
823937
1454
ca C++ sau Python.
13:57
that would be a task beyond hopeless.
248
825391
2767
Asta ar fi o sarcină absolut imposibilă.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
În loc de asta, ar trebui să creăm o I.A.
ce-și folosește propria inteligență
ce-și folosește propria inteligență
14:04
to learn what we value,
250
832455
2771
pentru a ne învăța valorile,
iar sistemul ei de motivare
să fie construit astfel încât
să fie construit astfel încât
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
să fie motivată să ne urmeze valorile
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
sau să facă acțiuni la care se poate
aștepta să aibă aprobarea noastră.
aștepta să aibă aprobarea noastră.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Astfel am avea, pe cât posibil,
o pârghie asupra inteligenței
o pârghie asupra inteligenței
14:21
to solve the problem of value-loading.
254
849152
2745
în rezolvarea problemei
valorilor încărcate.
valorilor încărcate.
Se poate realiza,
14:24
This can happen,
255
852727
1512
iar rezultatul ar fi foarte bun
pentru umanitate.
pentru umanitate.
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
14:29
But it doesn't happen automatically.
257
857835
3957
Dar asta nu se întâmplă automat.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Condițiile inițiale
pentru explozia de inteligență
pentru explozia de inteligență
ar trebui setate corespunzător
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
dacă vrem să avem o explozie controlată.
14:39
if we are to have a controlled detonation.
260
867653
3530
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Valorile I.A. trebuie să fie
potrivite cu ale noastre,
potrivite cu ale noastre,
14:45
not just in the familiar context,
262
873801
1760
nu doar în contextul obișnuit,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
când putem verifica ușor
comportamentul I.A.
comportamentul I.A.
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
ci și în situațiile noi
în care se va putea afla I.A.
în care se va putea afla I.A.
14:53
in the indefinite future.
265
881233
1557
într-un viitor nedefinit.
Există și aspecte ezoterice
ce vor trebui rezolvate, clarificate:
ce vor trebui rezolvate, clarificate:
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
detaliile exacte ale teoriei deciziilor,
14:59
the exact details of its decision theory,
267
887527
2089
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
cum să trateze incertitudinea logică etc.
Problemele tehnice de rezolvat
pentru ca aceasta să funcționeze
pentru ca aceasta să funcționeze
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
par destul de dificile.
15:08
look quite difficult --
270
896432
1113
Nu chiar așa de dificile
ca realizarea I.A. superinteligente,
ca realizarea I.A. superinteligente,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
dar destul de dificile.
15:12
but fairly difficult.
272
900925
2868
15:15
Here is the worry:
273
903793
1695
Iată ce mă îngrijorează:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
realizarea I.A. superinteligente
e o mare provocare.
e o mare provocare.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Realizarea I.A. superinteligente
care este sigură
care este sigură
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
implică probleme suplimentare.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Riscul e ca cineva să reușească
să rezolve prima provocare
să rezolve prima provocare
fără a găsi calea rezolvării
problemelor suplimentare
problemelor suplimentare
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
15:34
of ensuring perfect safety.
279
922704
1901
de asigurare a unei siguranțe perfecte.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Cred că ar trebui să găsim o soluție
15:40
to the control problem in advance,
281
928706
2822
pentru a controla problema în avans,
pentru a o avea când va fi nevoie.
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
S-ar putea să nu putem rezolva
problema controlului total în avans
problema controlului total în avans
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
pentru că poate unele elemente
pot fi puse la locul lor
pot fi puse la locul lor
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
doar cunoscând detaliile arhitecturii
locului de implementare.
locului de implementare.
Dar cu cât rezolvăm mai mult
în avans problema controlului,
în avans problema controlului,
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
cu atât sunt mai mari șansele ca trecerea
la era inteligenței artificiale
la era inteligenței artificiale
să decurgă lin.
16:04
will go well.
288
952766
1540
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Mi se pare un lucru ce merită făcut
și pot să îmi imaginez că, dacă iese bine,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
oamenii, peste un milion de ani,
privind înapoi la acest secol,
privind înapoi la acest secol,
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
ar putea foarte bine zice
că singurul lucru important făcut de noi
că singurul lucru important făcut de noi
a fost că am făcut aceasta bine.
16:22
was to get this thing right.
293
970942
1567
Mulțumesc.
16:24
Thank you.
294
972509
1689
(Aplauze)
16:26
(Applause)
295
974198
2813
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com