TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Νικ Μποστρόμ: Τι θα συμβεί όταν οι υπολογιστές μας γίνουν εξυπνότεροι από εμάς;
Filmed:
Readability: 4.4
4,632,705 views
Η Τεχνητή Νοημοσύνη γίνεται εξυπνότερη με άλματα - εντός του αιώνα, σύμφωνα με ερευνητικές προβλέψεις, η Τ.Ν. των υπολογιστών θα μπορούσε να είναι όσο έξυπνη είναι ένα ανθρώπινο ον. Και τότε, λέει ο Νικ Μποστρόμ, θα μας ξεπεράσει: «Η Μηχανική Νοημοσύνη είναι η τελευταία εφεύρεση που χρειάζεται να κάνει η ανθρωπότητα». Ένας φιλόσοφος και λάτρης της τεχνολογίας, ο Μποστρόμ μας βάζει να σκεφτούμε πολύ τον κόσμο που χτίζουμε αυτή τη στιγμή, που βασίζεται σε σκεπτόμενες μηχανές. Οι έξυπνες μηχανές θα μας βοηθήσουν να διατηρήσουμε την ανθρωπιά μας και τις αξίες μας - ή θα έχουν δικές τους αξίες;
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Δουλεύω με μαθηματικούς
φιλόσοφους και προγραμματιστές,
φιλόσοφους και προγραμματιστές,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
και καθόμαστε και σκεφτόμαστε
το μέλλον της νοημοσύνης των μηχανών,
το μέλλον της νοημοσύνης των μηχανών,
00:21
among other things.
2
9986
2044
μεταξύ άλλων.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Κάποιοι νομίζουν ότι αυτά τα πράγματα
είναι ένα είδος επιστημονικής φαντασίας,
είναι ένα είδος επιστημονικής φαντασίας,
00:28
far out there, crazy.
4
16755
3101
πολύ μακριά, τρελά.
00:31
But I like to say,
5
19856
1470
Αλλά θα ήθελα να πω,
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
ωραία, ας δούμε
τη σημερινή ανθρώπινη κατάσταση.
τη σημερινή ανθρώπινη κατάσταση.
00:36
(Laughter)
7
24930
1692
(Γέλια)
00:38
This is the normal way for things to be.
8
26622
2402
Έτσι είναι κανονικά τα πράγματα.
00:41
But if we think about it,
9
29024
2285
Αλλά αν το σκεφτούμε,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
είμαστε στην πραγματικότητα
καινούργιοι ένοικοι αυτού του πλανήτη,
καινούργιοι ένοικοι αυτού του πλανήτη,
00:46
the human species.
11
34602
2082
το ανθρώπινο είδος.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Σκεφτείτε ότι, αν η Γη
δημιουργήθηκε ένα χρόνο πριν,
δημιουργήθηκε ένα χρόνο πριν,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
τότε το ανθρώπινο είδος
εμφανίστηκε πριν από 10 λεπτά.
εμφανίστηκε πριν από 10 λεπτά.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Η βιομηχανική εποχή ξεκίνησε
πριν από δύο δευτερόλεπτα.
πριν από δύο δευτερόλεπτα.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Άλλος ένας τρόπος για να το δούμε, είναι
με το ΑΕΠ των τελευταίων 10.000 ετών.
με το ΑΕΠ των τελευταίων 10.000 ετών.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Μπήκα στον κόπο να το υπολογίσω
για εσάς σε αυτό τον πίνακα.
για εσάς σε αυτό τον πίνακα.
01:09
It looks like this.
17
57530
1774
Είναι κάπως έτσι.
01:11
(Laughter)
18
59304
1363
(Γέλια)
Περίεργο σχήμα για
μια φυσιολογική κατάσταση.
μια φυσιολογική κατάσταση.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Δεν θα ήθελα να κάτσω επάνω σε αυτό.
01:16
(Laughter)
21
64516
2551
(Γέλια)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Ας αναρωτηθούμε, ποιος είναι
ο λόγος αυτής της ανωμαλίας;
ο λόγος αυτής της ανωμαλίας;
01:23
Some people would say it's technology.
23
71841
2552
Κάποιοι θα πουν ότι είναι η τεχνολογία.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Είναι αλήθεια, η τεχνολογία
συσσωρεύτηκε στην ανθρώπινη ιστορία,
συσσωρεύτηκε στην ανθρώπινη ιστορία,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
και τώρα, η τεχνολογία
εξελίσσεται απίστευτα γρήγορα --
εξελίσσεται απίστευτα γρήγορα --
01:35
that is the proximate cause,
26
83713
1565
αυτή είναι η εμφανής αιτία,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
και γι' αυτό είμαστε
τώρα τόσο παραγωγικοί.
τώρα τόσο παραγωγικοί.
Αλλά θα ήθελα να σκεφτώ
περισσότερο την πρωταρχική αιτία.
περισσότερο την πρωταρχική αιτία.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Δείτε αυτούς τους δύο
διακεκριμένους κυρίους:
διακεκριμένους κυρίους:
01:48
We have Kanzi --
30
96880
1600
Έχουμε τον Κάνζι --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
έχει μάθει 200 λέξεις,
ένα καταπληκτικό επίτευγμα.
ένα καταπληκτικό επίτευγμα.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
Και ο Εντ Γουίτεν εξαπέλυσε τη δεύτερη
επανάσταση υπερστοιχειοσειρών.
επανάσταση υπερστοιχειοσειρών.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Αν κοιτάξουμε κάτω από την επιφάνεια,
τι θα βρούμε;
τι θα βρούμε;
02:01
basically the same thing.
34
109141
1570
λίγο πολύ το ίδιο πράγμα.
02:02
One is a little larger,
35
110711
1813
Ο ένας είναι λίγο μεγαλύτερος,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
ίσως έχει λίγο πολυπλοκότερες καλωδιώσεις.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Αυτές οι αόρατες διαφορές
δεν μπορεί να είναι πολύπλοκες όμως,
δεν μπορεί να είναι πολύπλοκες όμως,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
επειδή έχουν περάσει μόνο 250.000 γενιές
02:15
since our last common ancestor.
39
123379
1732
από τον τελευταίο κοινό μας πρόγονο.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Ξέρουμε ότι οι πολύπλοκοι μηχανισμοί
χρειάζονται πολύ χρόνο για να εξελιχθούν.
χρειάζονται πολύ χρόνο για να εξελιχθούν.
02:22
So a bunch of relatively minor changes
41
130000
2499
Έτσι μόνο λίγες μικρές αλλαγές
02:24
take us from Kanzi to Witten,
42
132499
3067
μας οδηγούν από τον Κάνζι στον Γουίτεν,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
από σπασμένα κλαδιά σε Διηπειρωτικούς
Βαλλιστικούς Πυραύλους.
Βαλλιστικούς Πυραύλους.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Έτσι είναι προφανές
ότι όλα όσα έχουμε πετύχει,
ότι όλα όσα έχουμε πετύχει,
02:36
and everything we care about,
45
144774
1378
και για τα οποία νοιαζόμαστε,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
εξαρτώνται από μερικές μικρές αλλαγές
που έκαναν το ανθρώπινο μυαλό.
που έκαναν το ανθρώπινο μυαλό.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Και το πόρισμα, βέβαια,
είναι ότι περαιτέρω αλλαγές
είναι ότι περαιτέρω αλλαγές
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
που θα μπορούσαν να αλλάξουν σημαντικά
το υπόστρωμα της σκέψης
το υπόστρωμα της σκέψης
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
θα μπορούσαν να έχουν τεράστιες συνέπειες.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Κάποιοι από τους συναδέλφους μου
πιστεύουν ότι είμαστε στα πρόθυρα
πιστεύουν ότι είμαστε στα πρόθυρα
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
μιας μεγάλης αλλαγής σε αυτό το υπόστρωμα,
03:03
and that is machine superintelligence.
52
171134
3213
και αυτή είναι η μηχανική υπερνοημοσύνη.
Η Τεχνητή Νοημοσύνη είχε να κάνει
με τη συγγραφή εντολών σε ένα κουτί.
με τη συγγραφή εντολών σε ένα κουτί.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
03:11
You would have human programmers
54
179086
1665
Είχατε ανθρώπους προγραμματιστές
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
που με κόπο θα κατασκεύαζαν
αντικείμενα γνώσης.
αντικείμενα γνώσης.
03:15
You build up these expert systems,
56
183886
2086
Θα έφτιαχναν αυτά
τα εξειδικευμένα συστήματα,
τα εξειδικευμένα συστήματα,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
και ήταν κάπως χρήσιμα
για κάποιους σκοπούς,
για κάποιους σκοπούς,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
αλλά ήταν πολύ εύθραυστα
και δεν έμπαιναν σε κλίμακα.
και δεν έμπαιναν σε κλίμακα.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Βασικά, παίρνατε μόνο ό,τι τους βάζατε.
03:26
But since then,
60
194410
997
Αλλά από τότε,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
μια άλλη αντιμετώπιση έλαβε χώρα
στον τομέα της Τεχνητής Νοημοσύνης.
στον τομέα της Τεχνητής Νοημοσύνης.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Σήμερα όλη η δράση είναι
γύρω από τη μηχανική μάθηση.
γύρω από τη μηχανική μάθηση.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Επομένως αντί να κατασκευάσουμε
τη γνώση και τα χαρακτηριστικά,
τη γνώση και τα χαρακτηριστικά,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
φτιάχνουμε αλγόριθμους που μαθαίνουν συχνά
από ακατέργαστα αντιληπτικά δεδομένα.
από ακατέργαστα αντιληπτικά δεδομένα.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Βασικά το ίδιο πράγμα που κάνει ένα μωρό.
Το αποτέλεσμα είναι μια Τ.Ν.
που δεν περιορίζεται σε έναν τομέα --
που δεν περιορίζεται σε έναν τομέα --
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
το ίδιο σύστημα μπορεί να μάθει
να μεταφράζει μεταξύ κάθε ζεύγους γλωσσών,
να μεταφράζει μεταξύ κάθε ζεύγους γλωσσών,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
ή να μάθει να παίζει οποιοδήποτε
ηλεκτρονικό παιχνίδι στην κονσόλα Ατάρι.
ηλεκτρονικό παιχνίδι στην κονσόλα Ατάρι.
04:05
Now of course,
69
233338
1779
Τώρα, βέβαια,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
η Τ.Ν. δεν είναι καν κοντά στην ικανότητα
εκμάθησης και σχεδιασμού
εκμάθησης και σχεδιασμού
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
σε διάφορους τομείς όπως ένας άνθρωπος.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Ο φλοιός έχει ακόμα
μερικά αλγοριθμικά κόλπα
μερικά αλγοριθμικά κόλπα
τα οποία ακόμη δεν ξέρουμε
πώς να μεταφέρουμε σε μηχανές.
πώς να μεταφέρουμε σε μηχανές.
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
04:19
So the question is,
74
247886
1899
Επομένως η ερώτηση είναι,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
πόσο απέχουμε
από το να καλύψουμε αυτά τα κόλπα;
από το να καλύψουμε αυτά τα κόλπα;
04:26
A couple of years ago,
76
254245
1083
Πριν μερικά χρόνια,
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
κάναμε μια έρευνα
σε κορυφαίους ειδικούς Τ.Ν. στον κόσμο,
σε κορυφαίους ειδικούς Τ.Ν. στον κόσμο,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
για να δούμε τι σκέφτονται,
και μία από τις ερωτήσεις ήταν,
και μία από τις ερωτήσεις ήταν,
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
«Ποιο έτος πιστεύετε
ότι θα υπάρξει 50% πιθανότητα
ότι θα υπάρξει 50% πιθανότητα
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
να έχουμε πετύχει μηχανική
νοημοσύνη ανθρωπίνου επιπέδου;»
νοημοσύνη ανθρωπίνου επιπέδου;»
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Εδώ ορίσαμε το ανθρώπινο επίπεδο
ως την ικανότητα να φέρουμε εις πέρας
ως την ικανότητα να φέρουμε εις πέρας
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
σχεδόν κάθε δουλειά, τόσο καλά
τουλάχιστον όσο ένας ενήλικας,
τουλάχιστον όσο ένας ενήλικας,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
άρα σε πραγματικά ανθρώπινο-επίπεδο,
όχι απλά σε κάποιο περιορισμένο τομέα.
όχι απλά σε κάποιο περιορισμένο τομέα.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Και η μέση απάντηση ήταν το 2040 ή 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
ανάλογα με το πόσο ακριβής ήταν
η ερωτηθείσα ομάδα ειδικών.
η ερωτηθείσα ομάδα ειδικών.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Βέβαια μπορεί να συμβεί
πολύ αργότερα ή νωρίτερα,
πολύ αργότερα ή νωρίτερα,
05:02
the truth is nobody really knows.
87
290339
1940
η αλήθεια είναι ότι κανείς δεν ξέρει.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Αυτό που όντως ξέρουμε είναι ότι το
απώτατο όριο στην επεξεργασία πληροφοριών
απώτατο όριο στην επεξεργασία πληροφοριών
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
σε ένα μηχανικό υπόστρωμα είναι
εκτός των ορίων του βιολογικού ιστού.
εκτός των ορίων του βιολογικού ιστού.
05:15
This comes down to physics.
90
303241
2378
Όλα καταλήγουν στη φυσική.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Ένας βιολογικός νευρώνας δουλεύει περίπου
στα 200 Hz, 200 φορές το δευτερόλεπτο.
στα 200 Hz, 200 φορές το δευτερόλεπτο.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Αλλά ακόμα κι ένα σημερινό τρανζίστορ
δουλεύει σε γίγαχερτζ.
δουλεύει σε γίγαχερτζ.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Οι νευρώνες προχωρούν αργά σε άξονες,
100 μέτρα το δευτερόλεπτο, το πολύ.
100 μέτρα το δευτερόλεπτο, το πολύ.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Αλλά στους υπολογιστές,
τα σήματα ταξιδεύουν με ταχύτητα φωτός.
τα σήματα ταξιδεύουν με ταχύτητα φωτός.
Επίσης δεν υπάρχουν περιορισμοί μεγέθους
05:35
There are also size limitations,
95
323079
1869
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
όπως ο ανθρώπινος εγκέφαλος
που πρέπει να χωρέσει σε ένα κρανίο,
που πρέπει να χωρέσει σε ένα κρανίο,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
αλλά ο υπολογιστής μπορεί να έχει μέγεθος
μιας αποθήκης ή μεγαλύτερο.
μιας αποθήκης ή μεγαλύτερο.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Έτσι η δυνατότητα για υπερνοημοσύνη
βρίσκεται αδρανής στην ύλη,
βρίσκεται αδρανής στην ύλη,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
όπως ακριβώς η δύναμη του ατόμου
ήταν αδρανής στην ανθρώπινη ιστορία,
ήταν αδρανής στην ανθρώπινη ιστορία,
05:56
patiently waiting there until 1945.
100
344047
4405
περιμένοντας υπομονετικά μέχρι το 1945.
06:00
In this century,
101
348452
1248
Αυτόν τον αιώνα,
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
οι επιστήμονας ίσως μάθουν
πώς να ξυπνήσουν τη δύναμη της Τ.Ν.
πώς να ξυπνήσουν τη δύναμη της Τ.Ν.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Πιστεύω ότι τότε ίσως δούμε
μια έκρηξη στη νοημοσύνη.
μια έκρηξη στη νοημοσύνη.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Όταν οι περισσότεροι άνθρωποι σκέφτονται
τι είναι έξυπνο και τι χαζό,
τι είναι έξυπνο και τι χαζό,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
νομίζω ότι έχουν στο μυαλό τους
μια εικόνα λίγο πολύ σαν αυτή.
μια εικόνα λίγο πολύ σαν αυτή.
06:17
So at one end we have the village idiot,
106
365386
2598
Επομένως έχουμε από τη μία
τον χαζό του χωριού,
τον χαζό του χωριού,
06:19
and then far over at the other side
107
367984
2483
και μακριά στην άλλη άκρη
έχουμε τον Εντ Γουίτεν,
έχουμε τον Εντ Γουίτεν,
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
ή τον Αλβέρτο Αϊνστάιν, ή οποιοσδήποτε
είναι ο αγαπημένος σας γκουρού.
είναι ο αγαπημένος σας γκουρού.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Αλλά νομίζω ότι από την οπτική γωνία
της τεχνητής νοημοσύνης,
της τεχνητής νοημοσύνης,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
η πραγματική εικόνα πιθανώς
είναι περισσότερο κάπως έτσι:
είναι περισσότερο κάπως έτσι:
Η Τ.Ν. ξεκίνησε σε αυτό το σημείο,
με μηδέν νοημοσύνη,
με μηδέν νοημοσύνη,
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
κατόπιν, μετά από πάρα πολλά χρόνια
πραγματικά σκληρής δουλειάς,
πραγματικά σκληρής δουλειάς,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
ίσως τελικά να φτάσουμε
στην Τ.Ν. επιπέδου ποντικιού,
στην Τ.Ν. επιπέδου ποντικιού,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
κάτι που να μπορεί να περιηγηθεί
σε περιβάλλοντα με εμπόδια
σε περιβάλλοντα με εμπόδια
06:47
as well as a mouse can.
115
395921
1987
όσο καλά μπορεί και ένα ποντίκι.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Και μετά, μετά από πιο πολλά χρόνια
σκληρής δουλειάς και πολλές επενδύσεις,
σκληρής δουλειάς και πολλές επενδύσεις,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
ίσως τελικά να φτάσουμε
σε Τ.Ν. επιπέδου χιμπατζή.
σε Τ.Ν. επιπέδου χιμπατζή.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Και μετά από ακόμα πιο πολλά χρόνια
πολύ σκληρής δουλειάς,
πολύ σκληρής δουλειάς,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
θα φτάσουμε σε Τ.Ν.
του επιπέδου του χαζού του χωριού.
του επιπέδου του χαζού του χωριού.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Και μερικές στιγμές αργότερα,
θα ξεπεράσουμε τον Εντ Γουίτεν.
θα ξεπεράσουμε τον Εντ Γουίτεν.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Το τρένο δεν σταματά
στον Σταθμό του Ανθρωποχωριού.
στον Σταθμό του Ανθρωποχωριού.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Είναι μάλλον πιθανότερο να το προσπεράσει.
07:14
Now this has profound implications,
123
422247
1984
Αυτό έχει σημαντικές επιπτώσεις,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
ειδικά όσον αφορά θέματα δύναμης.
07:20
For example, chimpanzees are strong --
125
428093
1899
Παράδειγμα, ο χιμπατζής είναι δυνατός -
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
σε αναλογία βάρους, είναι δύο φορές
πιο δυνατός από έναν γυμνασμένο άντρα.
πιο δυνατός από έναν γυμνασμένο άντρα.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Όμως η μοίρα του Κάνζι και των φίλων του
εξαρτάται πολύ περισσότερο
εξαρτάται πολύ περισσότερο
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
από το τι κάνουμε εμείς οι άνθρωποι παρά
από το τι κάνουν οι ίδιοι οι χιμπατζήδες.
από το τι κάνουν οι ίδιοι οι χιμπατζήδες.
07:37
Once there is superintelligence,
129
445228
2314
Όταν υπάρξει υπερνοημοσύνη,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
η μοίρα της ανθρωπότητας ίσως να
εξαρτάται από το τι κάνει η υπερνοημοσύνη.
εξαρτάται από το τι κάνει η υπερνοημοσύνη.
07:44
Think about it:
131
452451
1057
Σκεφτείτε το:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
Η μηχανική νοημοσύνη είναι η τελευταία
εφεύρεση που χρειάζεται να κάνουμε.
εφεύρεση που χρειάζεται να κάνουμε.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Οι μηχανές θα είναι καλύτερες
στις εφευρέσεις από εμάς,
στις εφευρέσεις από εμάς,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
και θα το κάνουν
σε ψηφιακά χρονικά περιθώρια.
σε ψηφιακά χρονικά περιθώρια.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Αυτό συνεπάγεται ένα μέλλον
που βλέπουμε μέσα από το τηλεσκόπιο.
που βλέπουμε μέσα από το τηλεσκόπιο.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Σκεφτείτε όλες τις τρελές τεχνολογίες
που μπορείτε να φανταστείτε
που μπορείτε να φανταστείτε
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
που ίσως οι άνθρωποι θα έχουν αναπτύξει
στο πλήρωμα του χρόνου:
στο πλήρωμα του χρόνου:
08:07
cures for aging, space colonization,
138
475322
3258
θεραπείες για τη γήρανση,
αποικίες στο διάστημα,
αποικίες στο διάστημα,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
αυτοαναπαραγώμενα νανορομπότ
ή μεταφορτώσεις μυαλών σε υπολογιστές,
ή μεταφορτώσεις μυαλών σε υπολογιστές,
08:14
all kinds of science fiction-y stuff
140
482311
2159
επιστημονική φαντασία όλων των ειδών
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
που όμως συμφωνούν
με τους νόμους της φυσικής.
με τους νόμους της φυσικής.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Όλα αυτά η υπερνοημοσύνη θα μπορούσε
να τα αναπτύξει, και πιθανώς πολύ γρήγορα.
να τα αναπτύξει, και πιθανώς πολύ γρήγορα.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Μια υπερνοημοσύνη
με μια τέτοια τεχνολογική ωριμότητα
με μια τέτοια τεχνολογική ωριμότητα
08:28
would be extremely powerful,
144
496007
2179
θα ήταν πολύ ισχυρή,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
και τουλάχιστον σε μερικά σενάρια,
θα μπορούσε να πάρει αυτό που θέλει.
θα μπορούσε να πάρει αυτό που θέλει.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Τότε το μέλλον μας θα καθορίζεται
από τις προτιμήσεις αυτής της Τ.Ν.
από τις προτιμήσεις αυτής της Τ.Ν.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Μια καλή ερώτηση είναι,
ποιες είναι αυτές οι προτιμήσεις;
ποιες είναι αυτές οι προτιμήσεις;
08:46
Here it gets trickier.
148
514244
1769
Εδώ γίνεται πιο περίπλοκο.
08:48
To make any headway with this,
149
516013
1435
Για να προχωρήσουμε με αυτό,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
πρέπει πρώτα να αποφύγουμε
την αναγωγή σε ανθρώπινη μορφή.
την αναγωγή σε ανθρώπινη μορφή.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
Και αυτό είναι ειρωνικό
επειδή κάθε άρθρο εφημερίδας
επειδή κάθε άρθρο εφημερίδας
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
για το μέλλον της Τ.Ν.
έχει μια τέτοια εικόνα:
έχει μια τέτοια εικόνα:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Άρα νομίζω ότι χρειάζεται
να συλλάβουμε το θέμα πιο ελεύθερα,
να συλλάβουμε το θέμα πιο ελεύθερα,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
όχι όπως στα Χολυγουντιανά σενάρια.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Πρέπει να σκεφτόμαστε τη νοημοσύνη
ως μια διαδικασία βελτίωσης,
ως μια διαδικασία βελτίωσης,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
μια διαδικασία που κατευθύνει το μέλλον
σε ένα συγκεκριμένο σύνολο ρυθμίσεων.
σε ένα συγκεκριμένο σύνολο ρυθμίσεων.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Μια υπερνοημοσύνη είναι στα αλήθεια
μια ισχυρή διαδικασία βελτιστοποίησης.
μια ισχυρή διαδικασία βελτιστοποίησης.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Είναι πολύ καλή στη χρήση των διαθέσιμων
μέσων ώστε να φτάσει μια κατάσταση,
μέσων ώστε να φτάσει μια κατάσταση,
στην οποία πραγματοποιείται ο στόχος της.
09:26
in which its goal is realized.
159
554098
1909
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Αυτό σημαίνει ότι δεν υπάρχει
απαραίτητη σύνδεση μεταξύ
απαραίτητη σύνδεση μεταξύ
09:31
being highly intelligent in this sense,
161
559119
2734
του να είσαι πολύ έξυπνος
κατ' αυτή την έννοια,
κατ' αυτή την έννοια,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
και με το να έχεις έναν σκοπό που
οι άνθρωποι θεωρούμε σημαντικό και άξιο.
οι άνθρωποι θεωρούμε σημαντικό και άξιο.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Υποθέστε ότι δίνουμε σε μια Τ.Ν. στόχο
να κάνει ανθρώπους να γελάνε.
να κάνει ανθρώπους να γελάνε.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Όταν η Τ.Ν. είναι αδύναμη,
κάνει διασκεδαστικές κινήσεις
κάνει διασκεδαστικές κινήσεις
09:46
that cause its user to smile.
165
574097
2517
που κάνουν τον χρήστη να γελάσει.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Όταν η Τ.Ν. γίνεται υπερνοήμων,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
αντιλαμβάνεται ότι υπάρχει
καλύτερος τρόπος να πετύχει το στόχο της:
καλύτερος τρόπος να πετύχει το στόχο της:
09:54
take control of the world
168
582554
1922
να πάρει τον έλεγχο του κόσμου
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
και να βάλει ηλεκτρόδια
στους μύες του προσώπου των ανθρώπων
στους μύες του προσώπου των ανθρώπων
09:59
to cause constant, beaming grins.
170
587638
2941
για να προκαλέσει συνεχόμενα,
φωναχτά γέλια.
φωναχτά γέλια.
10:02
Another example,
171
590579
1035
Ένα άλλο παράδειγμα,
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
υποθέστε ότι δίνουμε στην Τ.Ν. τον στόχο
να λύσει ένα δύσκολο μαθηματικό πρόβλημα.
να λύσει ένα δύσκολο μαθηματικό πρόβλημα.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Όταν η Τ.Ν. γίνει υπερνοήμων,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
αντιλαμβάνεται ότι ο καλύτερος τρόπος
για να φτάσει στη λύση του προβλήματος
για να φτάσει στη λύση του προβλήματος
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
είναι να μεταμορφώσει τον πλανήτη
σε ένα γιγάντιο υπολογιστή,
σε ένα γιγάντιο υπολογιστή,
10:16
so as to increase its thinking capacity.
176
604035
2246
για να αυξήσει
την υπολογιστική της ικανότητα.
την υπολογιστική της ικανότητα.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Και προσέξτε ότι αυτό δίνει στις Τ.Ν.
έναν σημαντικό λόγο
έναν σημαντικό λόγο
να μας κάνουν πράγματα,
που μπορεί να μην εγκρίνουμε.
που μπορεί να μην εγκρίνουμε.
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
10:23
Human beings in this model are threats,
179
611561
1935
Σ' αυτό το μοντέλο
οι άνθρωποι είναι απειλή,
οι άνθρωποι είναι απειλή,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
μπορούμε να εμποδίσουμε
τη λύση του μαθηματικού προβλήματος.
τη λύση του μαθηματικού προβλήματος.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Βέβαια, μπορεί να μην υπάρξουν
τέτοιου είδους επιπλοκές,
τέτοιου είδους επιπλοκές,
10:32
these are cartoon examples.
182
620701
1753
αυτά είναι κωμικά σενάρια.
Αλλά το γενικό νόημα εδώ είναι σημαντικό:
10:34
But the general point here is important:
183
622454
1939
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
αν φτιάξετε μια πολύ ισχυρή
διαδικασία βελτιοποίησης
διαδικασία βελτιοποίησης
10:39
to maximize for objective x,
185
627266
2234
για να μεγιστοποιήσετε το ζητούμενο χ,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
καλύτερα να εξασφαλίσετε
ότι ο ορισμός του χ
ότι ο ορισμός του χ
10:43
incorporates everything you care about.
187
631776
2469
συμπεριλαμβάνει όλα αυτά
για τα οποία νοιάζεστε.
για τα οποία νοιάζεστε.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Αυτό είναι ένα μάθημα
που μας το μαθαίνουν πολλοί μύθοι.
που μας το μαθαίνουν πολλοί μύθοι.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Ο βασιλιάς Μίδας επιθυμούσε
ό,τι άγγιζε να γίνεται χρυσός.
ό,τι άγγιζε να γίνεται χρυσός.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Αγγίζει την κόρη του,
αυτή γίνεται χρυσάφι.
αυτή γίνεται χρυσάφι.
10:59
He touches his food, it turns into gold.
191
647378
2553
Αγγίζει το φαγητό του,
αυτό γίνεται χρυσάφι.
αυτό γίνεται χρυσάφι.
11:01
This could become practically relevant,
192
649931
2589
Αυτό μπορεί να γίνει σχετικό
με το θέμα,
με το θέμα,
11:04
not just as a metaphor for greed,
193
652520
2070
όχι σαν μια απλή μεταφορά πλεονεξίας,
11:06
but as an illustration of what happens
194
654590
1895
αλλά σαν μια επίδειξη του τι συμβαίνει
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
αν δημιουργήσουμε μια πολύ ισχυρή
διαδικασία βελτιοποίησης
διαδικασία βελτιοποίησης
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
και της δώσουμε κακώς εννοούμενους
ή ελλιπώς καθορισμένους στόχους.
ή ελλιπώς καθορισμένους στόχους.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Θα πείτε, αν ένας υπολογιστής ξεκινήσει
να βάζει ηλεκτρόδια στα πρόσωπα ανθρώπων,
να βάζει ηλεκτρόδια στα πρόσωπα ανθρώπων,
11:21
we'd just shut it off.
198
669300
2265
απλώς θα τον κλείναμε.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
Πρώτον, ίσως να μην είναι τόσο εύκολο
να γίνει αν εξαρτιόμαστε από το σύστημα --
να γίνει αν εξαρτιόμαστε από το σύστημα --
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
σα να ψάχνουμε τον διακόπτη
για να κλείσουμε το Διαδίκτυο;
για να κλείσουμε το Διαδίκτυο;
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Δεύτερον, γιατί δεν έκλεισαν τον διακόπτη
της ανθρωπότητας οι χιμπατζήδες
της ανθρωπότητας οι χιμπατζήδες
11:37
or the Neanderthals?
202
685747
1551
ή οι Νεάντερνταλ;
11:39
They certainly had reasons.
203
687298
2666
Σίγουρα είχαν λόγους να το κάνουν.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Έχουμε έναν διακόπτη,
για παράδειγμα, ακριβώς εδώ.
για παράδειγμα, ακριβώς εδώ.
11:44
(Choking)
205
692759
1554
(Πνίγεται)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Ο λόγος είναι ότι είμαστε
ένας έξυπνος αντίπαλος:
ένας έξυπνος αντίπαλος:
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
προβλέπουμε τις απειλές
και να σχεδιάζουμε βάσει αυτών.
και να σχεδιάζουμε βάσει αυτών.
11:51
But so could a superintelligent agent,
208
699966
2504
Αλλά το ίδιο θα έκανε
και ένα υπερνοήμον μέσο,
και ένα υπερνοήμον μέσο,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
και θα ήταν πολύ καλύτερο σε αυτό
απ' ό,τι είμαστε εμείς.
απ' ό,τι είμαστε εμείς.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Το προκείμενο είναι, δεν πρέπει να είμαστε
πολύ σίγουροι ότι έχουμε τον έλεγχο εδώ.
πολύ σίγουροι ότι έχουμε τον έλεγχο εδώ.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Θα μπορούσαμε να κάναμε
λίγο ευκολότερη τη δουλειά μας
λίγο ευκολότερη τη δουλειά μας
ας πούμε, βάζοντας την Τ.Ν. σε ένα κουτί,
12:08
putting the A.I. in a box,
212
716358
1590
σαν ένα ασφαλές περιβάλλον προγραμματισμού
12:09
like a secure software environment,
213
717948
1796
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
μια εξομοίωση εικονικής πραγματικότητας
από όπου δεν μπορεί να ξεφύγει.
από όπου δεν μπορεί να ξεφύγει.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Αλλά πόσο σίγουροι είμαστε ότι η Τ.Ν.
δεν θα βρει ένα ελάττωμα λογισμικού.
δεν θα βρει ένα ελάττωμα λογισμικού.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Δεδομένου ότι οι ανθρώπινοι χάκερς
συναντούν κενά λογισμικού συνεχώς,
συναντούν κενά λογισμικού συνεχώς,
12:22
I'd say, probably not very confident.
217
730081
3036
θα έλεγα, πιθανώς όχι τόσο σίγουροι.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Οπότε αποσυνδέουμε το καλώδιο του τοπικού
δικτύου για να φτιάξουμε ένα κενό,
δικτύου για να φτιάξουμε ένα κενό,
12:30
but again, like merely human hackers
219
738785
2668
αλλά πάλι, σαν τους ανθρώπινους χάκερς
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
που συχνά υπερβαίνουν τα κενά
χρησιμοποιώντας κοινωνική μηχανική.
χρησιμοποιώντας κοινωνική μηχανική.
12:36
Right now, as I speak,
221
744834
1259
Αυτή τη στιγμή που μιλάμε,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
είμαι σίγουρος ότι υπάρχει
κάποιος υπάλληλος κάπου
κάποιος υπάλληλος κάπου
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
που πείστηκε να δώσει
τους κωδικούς των λογαριασμών του,
τους κωδικούς των λογαριασμών του,
από κάποιον που ισχυρίζεται
ότι ανήκει στο τμήμα Πληροφορικής.
ότι ανήκει στο τμήμα Πληροφορικής.
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
12:46
More creative scenarios are also possible,
225
754574
2127
Πιο δημιουργικά σενάρια
είναι επίσης πιθανά,
είναι επίσης πιθανά,
12:48
like if you're the A.I.,
226
756701
1315
παράδειγμα αν είσαι η Τ.Ν.,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
μπορείς να φανταστείς ότι κουνάς
ηλεκτρόδια στα εσωτερικά σου κυκλώματα
ηλεκτρόδια στα εσωτερικά σου κυκλώματα
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
για να δημιουργήσεις ραδιοκύματα
που θα χρησιμοποιήσεις για επικοινωνία.
που θα χρησιμοποιήσεις για επικοινωνία.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Ή ίσως να μπορείς να προσποιηθείς
ότι έχεις βλάβη,
ότι έχεις βλάβη,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
και τότε όταν οι προγραμματιστές
σε ανοίξουν για να δουν τι πάει στραβά,
σε ανοίξουν για να δουν τι πάει στραβά,
13:02
they look at the source code -- Bam! --
231
770931
1936
και δουν τον κώδικά σου -- Μπαμ! --
13:04
the manipulation can take place.
232
772867
2447
η χειραγώγηση λαμβάνει χώρα.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Ή θα μπορούσε να δώσει ένα σχέδιο
για μια πολύ φίνα τεχνολογία,
για μια πολύ φίνα τεχνολογία,
13:10
and when we implement it,
234
778744
1398
και όταν την εφαρμόσουμε,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
έχει κάποια κρυφή παρενέργεια
που η Τ.Ν. είχε σχεδιάσει.
που η Τ.Ν. είχε σχεδιάσει.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Το θέμα εδώ είναι ότι δεν πρέπει
να είμαστε σίγουροι για την ικανότητά μας
να είμαστε σίγουροι για την ικανότητά μας
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
να κρατάμε ένα υπερνοήμων τζίνι
κλεισμένο στο λυχνάρι για πάντα.
κλεισμένο στο λυχνάρι για πάντα.
13:23
Sooner or later, it will out.
238
791810
2254
Αργά ή γρήγορα, θα βγει.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Πιστεύω ότι η απάντηση εδώ
βρίσκεται στην κατανόηση του
βρίσκεται στην κατανόηση του
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
πώς να δημιουργήσουμε μια υπερνοήμων Τ.Ν.
έτσι που ακόμα και αν - όταν - δραπετεύσει
έτσι που ακόμα και αν - όταν - δραπετεύσει
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
να είναι ακόμα ασφαλής
επειδή είναι θεσμικά με το μέρος μας
επειδή είναι θεσμικά με το μέρος μας
13:38
because it shares our values.
242
806438
1899
επειδή έχει τις αξίες μας.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Δεν βλέπω τρόπο να προσπεράσουμε
αυτό το δύσκολο πρόβλημα.
αυτό το δύσκολο πρόβλημα.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Τώρα, είμαι αρκετά αισιόδοξος
ότι αυτό το πρόβλημα μπορεί να λυθεί.
ότι αυτό το πρόβλημα μπορεί να λυθεί.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Δεν χρειάζεται να γράψουμε
μια μεγάλη λίστα όσων μας ενδιαφέρουν,
μια μεγάλη λίστα όσων μας ενδιαφέρουν,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ή χειρότερα, να τα εκφράσουμε
σε κάποια γλώσσα προγραμματισμού
σε κάποια γλώσσα προγραμματισμού
13:55
like C++ or Python,
247
823937
1454
όπως η C++ ή η Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
αυτή θα ήταν μια μάταιη εργασία.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Αντίθετα, θα δημιουργούσαμε μια Τ.Ν.
που χρησιμοποιεί τη νοημοσύνη της
που χρησιμοποιεί τη νοημοσύνη της
14:04
to learn what we value,
250
832455
2771
για να μαθαίνει σε τι δίνουμε αξία,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
και το σύστημα κινήτρων του
να είναι φτιαγμένο ώστε να έχει τα κίνητρα
να είναι φτιαγμένο ώστε να έχει τα κίνητρα
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
να ακολουθεί τις αξίες μας ή να πράττει
έτσι ώστε να προβλέπει τι θα εγκρίναμε.
έτσι ώστε να προβλέπει τι θα εγκρίναμε.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Θα είχαμε έτσι μια επιρροή στη
νοημοσύνη της όσο το δυνατόν περισσότερο
νοημοσύνη της όσο το δυνατόν περισσότερο
14:21
to solve the problem of value-loading.
254
849152
2745
για να λύσουμε το πρόβλημα
της φόρτωσης αξιών.
της φόρτωσης αξιών.
14:24
This can happen,
255
852727
1512
Αυτό μπορεί να γίνει,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
και το αποτέλεσμα θα ήταν πολύ καλό
για την ανθρωπότητα.
για την ανθρωπότητα.
14:29
But it doesn't happen automatically.
257
857835
3957
Αλλά δεν θα γίνει αυτόματα.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Οι πρωταρχικές συνθήκες
για την έκρηξη νοημοσύνης
για την έκρηξη νοημοσύνης
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
ίσως πρέπει απλά να ρυθμιστούν
με τον σωστό τρόπο
με τον σωστό τρόπο
14:39
if we are to have a controlled detonation.
260
867653
3530
αν πρόκειται να έχουμε
μια ελεγχόμενη πυροδότηση.
μια ελεγχόμενη πυροδότηση.
Οι αξίες της Τ.Ν. πρέπει
να είναι ίδιες με τις δικές μας,
να είναι ίδιες με τις δικές μας,
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
14:45
not just in the familiar context,
262
873801
1760
όχι μόνο σε οικείο περιβάλλον,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
όπου θα μπορούμε να ελέγξουμε
πώς συμπεριφέρεται η Τ.Ν.
πώς συμπεριφέρεται η Τ.Ν.
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
αλλά επίσης σε όλα τα νέα περιβάλλοντα
που η Τ.Ν. θα συναντήσει
στο αόριστο μέλλον.
στο αόριστο μέλλον.
14:53
in the indefinite future.
265
881233
1557
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Και υπάρχουν κάποια εσωτερικά θέματα
που πρέπει να επιλυθούν:
που πρέπει να επιλυθούν:
14:59
the exact details of its decision theory,
267
887527
2089
οι λεπτομέρειες για τη θεωρία αποφάσεων,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
πώς θα αντιμετωπίσει
τη λογική αβεβαιότητα κλπ.
τη λογική αβεβαιότητα κλπ.
Άρα τα τεχνικά προβλήματα
που πρέπει να λυθούν για να λειτουργήσει
που πρέπει να λυθούν για να λειτουργήσει
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
15:08
look quite difficult --
270
896432
1113
φαίνονται πολύ δύσκολα,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
όχι τόσο όσο το να φτιάξουμε
μια υπερνοήμων Τ.Ν.,
μια υπερνοήμων Τ.Ν.,
15:12
but fairly difficult.
272
900925
2868
αλλά αρκετά δύσκολα.
15:15
Here is the worry:
273
903793
1695
Εδώ είναι οι ανησυχίες:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Η κατασκευή μιας υπερνοήμων Τ.Ν.
είναι μια πολύ υψηλή πρόκληση.
είναι μια πολύ υψηλή πρόκληση.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Η κατασκευή μιας υπερνοήμωνος Τ.Ν.
που είναι ασφαλής,
που είναι ασφαλής,
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
εμπλέκει κάποια επιπλέον προβλήματα.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Το ρίσκο είναι ότι αν κάποιος καταλάβει
πώς να λύσει το πρώτο πρόβλημα
πώς να λύσει το πρώτο πρόβλημα
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
χωρίς να έχει ήδη λύσει
το επιπλέον πρόβλημα
το επιπλέον πρόβλημα
15:34
of ensuring perfect safety.
279
922704
1901
του να εγγυάται τη δημόσια ασφάλεια.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Άρα πιστεύω ότι πρέπει να βρούμε μια λύση
15:40
to the control problem in advance,
281
928706
2822
στο πρόβλημα του ελέγχου εκ των προτέρων,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
ώστε να είναι διαθέσιμη
τη στιγμή που θα χρειαστεί.
τη στιγμή που θα χρειαστεί.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Τώρα, ίσως να μην μπορούμε να λύσουμε
όλο το πρόβλημα του ελέγχου από πριν
όλο το πρόβλημα του ελέγχου από πριν
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
γιατί ίσως κάποια κομμάτια
να μπορούν να μπουν στη θέση τους
να μπορούν να μπουν στη θέση τους
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
μόνο όταν ξέρουμε τις λεπτομέρειες
της αρχιτεκτονικής που θα εφαρμοστεί.
της αρχιτεκτονικής που θα εφαρμοστεί.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Αλλά όσο περισσότερο από το πρόβλημα
ελέγχου λύνουμε εκ των προτέρων,
ελέγχου λύνουμε εκ των προτέρων,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
τόσο περισσότερες οι πιθανότητές μας
η μετάβαση στην εποχή της νοημοσύνης
των μηχανών να πάει καλά.
των μηχανών να πάει καλά.
16:04
will go well.
288
952766
1540
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Αυτό μου φαίνεται σαν κάτι
που αξίζει να γίνει
που αξίζει να γίνει
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
και μπορώ να φανταστώ
ότι αν όλα πάνε καλά,
ότι αν όλα πάνε καλά,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
ο κόσμος ένα εκατομμύριο χρόνια από τώρα
θα θυμάται αυτό τον αιώνα
θα θυμάται αυτό τον αιώνα
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
και ίσως να λένε ότι το ένα πράγμα
που κάναμε και που αλήθεια άξιζε
που κάναμε και που αλήθεια άξιζε
16:22
was to get this thing right.
293
970942
1567
ήταν να κάνουμε αυτό σωστά.
16:24
Thank you.
294
972509
1689
Ευχαριστώ.
16:26
(Applause)
295
974198
2813
(Χειροκρότημα)
Reviewed by Lucas Kaimaras
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com