TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Ντάνιελ Σουάρεζ: Η απόφαση θανάτωσης δεν θα πρέπει να ανήκει σε ρομπότ
Filmed:
Readability: 5.9
1,946,706 views
Ως συγγραφέας, ο Ντάνιελ Σουάρεζ γνέθει δυστοπικές ιστορίες του μέλλοντος. Αλλά, στη σκηνή του TEDGlobal, μας εξηγεί ένα ρεαλιστικό σενάριο για το οποίο όλοι μας χρειάζεται να γνωρίζουμε περισσότερα: η άνοδος των αυτόνομων ρομποτικών όπλων πολέμου. Εισηγείται ότι προηγμένα μη επανδρωμένα μέσα, αυτοματοποιημένα όπλα κι εργαλεία συλλογής πληροφοριών με τη χρήση τεχνητής νοημοσύνης θα μπορούσαν να πάρουν την απόφαση κήρυξης πολέμου μέσα από τα χέρια των ανθρώπων.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Γράφω θρίλερ επιστημονικής φαντασίας,
00:15
so if I say "killer robots,"
1
3849
2193
οπότε εάν πω «ρομπότ δολοφόνοι»,
00:18
you'd probably think something like this.
2
6042
2361
πιθανότατα θα σκεφτείτε κάτι σαν αυτό.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Αλλά, δεν είμαι εδώ για να μιλήσω
για επιστημονική φαντασία.
για επιστημονική φαντασία.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Είμαι εδώ για να μιλήσω για πολύ πραγματικά ρομπότ δολοφόνους,
00:25
autonomous combat drones.
5
13906
3122
αυτόνομα μη επανδρωμένα μέσα μάχης.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Τώρα, δεν αναφέρομαι στα μη επανδρωμένα
αεροσκάφη Predator και Reaper,
αεροσκάφη Predator και Reaper,
00:32
which have a human making targeting decisions.
7
20655
3260
στα οποία κάποιος άνθρωπος παίρνει
αποφάσεις στοχοποίησης.
αποφάσεις στοχοποίησης.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Μιλάω για πλήρως αυτόνομα ρομποτικά όπλα
00:39
that make lethal decisions about human beings
9
27044
2654
που παίρνουν θανατηφόρες αποφάσεις
σχετικές με τον άνθρωπο
σχετικές με τον άνθρωπο
00:41
all on their own.
10
29698
2417
τελείως μόνα τους.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Για την ακρίβεια υπάρχει ένας τεχνικός όρος
γι' αυτό: θανατηφόρα αυτονομία.
γι' αυτό: θανατηφόρα αυτονομία.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Τώρα, τα θανατηφόρα αυτόνομα ρομπότ δολοφόνοι
00:50
would take many forms -- flying, driving,
13
38971
3069
θα μπορούσαν να πάρουν πολλές μορφές
-ιπτάμενα, εποχούμενα
-ιπτάμενα, εποχούμενα
00:54
or just lying in wait.
14
42040
2746
ή απλά ευρισκόμενα σε αναμονή.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Και μάλιστα, γίνονται πολύ γρήγορα πραγματικότητα.
00:59
These are two automatic sniper stations
16
47895
2484
Αυτοί είναι δύο αυτόματοι σταθμοί ελεύθερου σκοπευτή
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
που τώρα παρατάσσονται στην αποστρατικοποιημένη ζώνη μεταξύ Β. & Ν. Κορέας.
01:06
Both of these machines are capable of automatically
18
54516
2171
Και τα δύο αυτά μηχανήματα είναι σε θέση
ν' αναγνωρίσουν
ν' αναγνωρίσουν
01:08
identifying a human target and firing on it,
19
56687
3524
αυτόματα έναν ανθρώπινο στόχο και
να ρίξουν σε αυτόν,
να ρίξουν σε αυτόν,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
αυτό στα αριστερά σε απόσταση
μεγαλύτερη του ενός χιλιομέτρου.
μεγαλύτερη του ενός χιλιομέτρου.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
Τώρα, και στις δύο περιπτώσεις, υπάρχει ακόμη κάποιος άνθρωπος στη διαδικασία
01:20
to make that lethal firing decision,
22
68124
2372
για να παρθεί αυτή η απόφαση θανάσιμης βολής,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
αλλά δεν είναι μια τεχνολογική απαίτηση.
Είναι μια επιλογή.
Είναι μια επιλογή.
01:27
And it's that choice that I want to focus on,
24
75909
3093
Και είναι αυτή η επιλογή στην οποία
θα ήθελα να εστιάσω,
θα ήθελα να εστιάσω,
01:31
because as we migrate lethal decision-making
25
79002
2641
γιατί καθώς μεταφέρουμε
τη λήψη θανατηφόρων αποφάσεων
τη λήψη θανατηφόρων αποφάσεων
01:33
from humans to software,
26
81643
3109
από τους ανθρώπους στο λογισμικό,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
κινδυνεύουμε όχι μόνο να θέσουμε
την ανθρωπιά εκτός πολέμου,
την ανθρωπιά εκτός πολέμου,
01:40
but also changing our social landscape entirely,
28
88228
3526
αλλά, ν' αλλάξουμε επίσης
το κοινωνικό μας τοπίο εξ' ολοκλήρου,
το κοινωνικό μας τοπίο εξ' ολοκλήρου,
01:43
far from the battlefield.
29
91754
2224
μακριά από το πεδίο της μάχης.
01:45
That's because the way humans resolve conflict
30
93978
4509
Αυτό γιατί ο τρόπος με τον οποίο
οι άνθρωποι επιλύουν τις διαφορές τους
οι άνθρωποι επιλύουν τις διαφορές τους
01:50
shapes our social landscape.
31
98487
1733
διαμορφώνει το κοινωνικό μας τοπίο.
01:52
And this has always been the case, throughout history.
32
100220
2633
Και πάντα αυτό ήταν το ζήτημα, σε όλη την Ιστορία.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Για παράδειγμα, αυτά ήταν
τα τελευταίας τεχνολογίας οπλικά συστήματα
τα τελευταίας τεχνολογίας οπλικά συστήματα
01:57
in 1400 A.D.
34
105514
2079
το 1400 μ.Χ..
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Ήταν και τα δύο πολύ ακριβά να κατασκευαστούν
και να διατηρηθούν,
και να διατηρηθούν,
02:02
but with these you could dominate the populace,
36
110737
3240
αλλά με αυτά θα μπορούσατε
να εξουσιάσετε τον λαό
να εξουσιάσετε τον λαό
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
κι αυτό αντικατοπτρίστηκε στην κατανομή
της πολιτικής εξουσίας στην φεουδαρχική κοινωνία.
της πολιτικής εξουσίας στην φεουδαρχική κοινωνία.
02:09
Power was focused at the very top.
38
117866
2687
Η εξουσία ήταν συγκεντρωμένη στην κορυφή.
02:12
And what changed? Technological innovation.
39
120553
3528
Και τι άλλαξε; Η τεχνολογική καινοτομία.
02:16
Gunpowder, cannon.
40
124081
1871
Μπαρούτι, κανόνι.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Κι αρκετά σύντομα, πανοπλίες και κάστρα απαρχαιώθηκαν
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
και είχε λιγότερη σημασία ποιον φέρνατε
στο πεδίο της μάχης
στο πεδίο της μάχης
02:24
versus how many people you brought to the battlefield.
43
132302
3779
σε αντίθεση με τον αριθμό των ατόμων
που φέρνατε στο πεδίο της μάχης.
που φέρνατε στο πεδίο της μάχης.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Και καθώς οι στρατοί μεγάλωναν σε μέγεθος, προέκυψε το έθνος-κράτος
02:31
as a political and logistical requirement of defense.
45
139719
3680
ως μια πολιτική και υλικοτεχνική
απαίτηση της άμυνας.
απαίτηση της άμυνας.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Και καθώς οι ηγέτες έπρεπε να βασίζονται περισσότερο στον λαό τους,
02:37
they began to share power.
47
145775
1833
άρχισαν να μοιράζουν την εξουσία.
02:39
Representative government began to form.
48
147608
2599
Άρχισε να δημιουργείται η αντιπροσωπευτική κυβέρνηση.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Έτσι και πάλι, τα εργαλεία που χρησιμοποιούμε
για την επίλυση διαφορών
για την επίλυση διαφορών
02:45
shape our social landscape.
50
153495
3304
διαμορφώνουν το κοινωνικό μας τοπίο.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Τα αυτόνομα ρομποτικά όπλα
είναι ένα τέτοιο εργαλείο,
είναι ένα τέτοιο εργαλείο,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
εκτός απ' το ότι, απαιτώντας
πολύ λίγους ανθρώπους να πάνε στον πόλεμο,
πολύ λίγους ανθρώπους να πάνε στον πόλεμο,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
ρισκάρουν την επανακεντρικοποίηση της εξουσίας
σε ελάχιστα χέρια,
σε ελάχιστα χέρια,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
αντιστρέφοντας ενδεχομένως μια τάση πέντε αιώνων
προς τη δημοκρατία.
προς τη δημοκρατία.
03:09
Now, I think, knowing this,
55
177386
1757
Τώρα, πιστεύω ότι, γνωρίζοντας αυτό,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
μπορούμε να λάβουμε αποφασιστικά μέτρα για να διατηρήσουμε τους δημοκρατικούς μας θεσμούς,
03:15
to do what humans do best, which is adapt.
57
183495
3979
να κάνουμε αυτό που ο άνθρωπος κάνει καλύτερα, που είναι η προσαρμογή.
03:19
But time is a factor.
58
187474
2005
Αλλά ο χρόνος είναι ένας παράγοντας.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Εβδομήντα χώρες αναπτύσσουν δικά τους τηλεκατευθυνόμενα
03:24
combat drones of their own,
60
192330
2157
μη επανδρωμένα μέσα μάχης
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
κι όπως θα δείτε, τα τηλεκατευθυνόμενα μη επανδρωμένα μέσα
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
είναι ο πρόδρομος των αυτόματων ρομποτικών όπλων.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Αυτό συμβαίνει γιατί άπαξ κι αναπτυχθούν τηλεκατευθυνόμενα μη επανδρωμένα μέσα,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
υπάρχουν τρεις ισχυροί παράγοντες
που σπρώχνουν τη λήψη αποφάσεων
που σπρώχνουν τη λήψη αποφάσεων
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
μακριά από τον άνθρωπο και
προς την ίδια την οπλική πλατφόρμα.
προς την ίδια την οπλική πλατφόρμα.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
Ο πρώτος από αυτούς είναι ο κατακλυσμός
από βίντεο που παράγουν τα μη επανδρωμένα μέσα.
από βίντεο που παράγουν τα μη επανδρωμένα μέσα.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Για παράδειγμα, το 2004, ο στόλος των μη επανδρωμένων μέσων των ΗΠΑ παρήγαγε
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
ένα γενικό σύνολο 71 ωρών βιντεοεπιτήρησης
για ανάλυση.
για ανάλυση.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
Μέχρι το 2011, αυτό είχε ανέβει στις 300.000 ώρες,
04:03
outstripping human ability to review it all,
70
231226
3149
ξεπερνώντας την ανθρώπινη ικανότητα
για την ολική του αξιολόγηση,
για την ολική του αξιολόγηση,
04:06
but even that number is about to go up drastically.
71
234375
3664
αλλά ακόμη κι αυτός ο αριθμός
είναι έτοιμος ν' αυξηθεί δραστικά.
είναι έτοιμος ν' αυξηθεί δραστικά.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Τα προγράμματα Gorgon Stare και Argus
του Πενταγώνου
του Πενταγώνου
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
θα θέσουν μέχρι 65 λειτουργικώς ανεξάρτητα
μάτια καμερών
μάτια καμερών
04:15
on each drone platform,
74
243778
2038
σε κάθε πλατφόρμα μη επανδρωμένου μέσου
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
κι αυτό θα ξεπερνούσε κατά πολύ
την ανθρώπινη ικανότητα για αξιολόγηση.
την ανθρώπινη ικανότητα για αξιολόγηση.
04:21
And that means visual intelligence software will need
76
249119
2160
Αυτό σημαίνει ότι το λογισμικό οπτικής νοημοσύνης
θα πρέπει
θα πρέπει
04:23
to scan it for items of interest.
77
251279
4048
να το εξετάζει για στοιχεία
που παρουσιάζουν ενδιαφέρον.
που παρουσιάζουν ενδιαφέρον.
04:27
And that means very soon
78
255327
1348
Κι αυτό σημαίνει ότι πολύ σύντομα
04:28
drones will tell humans what to look at,
79
256675
2747
τα μη επανδρωμένα μέσα
θα λένε στους ανθρώπους τι να κοιτάξουν,
θα λένε στους ανθρώπους τι να κοιτάξουν,
04:31
not the other way around.
80
259422
2497
όχι το αντίστροφο.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Αλλά υπάρχει ένα δεύτερο ισχυρό κίνητρο που ωθεί
04:36
decision-making away from humans and onto machines,
82
264392
3383
τη λήψη αποφάσεων μακριά από τους ανθρώπους και προς τις μηχανές
04:39
and that's electromagnetic jamming,
83
267775
2872
κι αυτό είναι οι ηλεκτρομαγνητικές παρεμβολές
04:42
severing the connection between the drone
84
270647
2236
που διακόπτουν τη σύνδεση μεταξύ
του μη επανδρωμένου μέσου
του μη επανδρωμένου μέσου
04:44
and its operator.
85
272883
2814
και του χειριστή του.
04:47
Now we saw an example of this in 2011
86
275697
2618
Είδαμε ένα τέτοιο παράδειγμα το 2011
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
όταν ένα αμερικανικό μη επανδρωμένο αεροσκάφος RQ-170 Sentinel
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
μπερδεύτηκε λίγο πάνω από το Ιράν, λόγω μιας επίθεσης εξαπάτησης του GPS, αλλά
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
οποιοδήποτε τηλεκατευθυνόμενο μη επανδρωμένο μέσο είναι ευπαθές σε αυτού του είδους την επίθεση
05:02
and that means drones
90
290692
2052
κι αυτό σημαίνει ότι τα μη επανδρωμένα μέσα
05:04
will have to shoulder more decision-making.
91
292744
3620
θα πρέπει να αναλάβουν περισσότερες
λήψεις αποφάσεων.
λήψεις αποφάσεων.
05:08
They'll know their mission objective,
92
296364
3043
Θα γνωρίζουν τον αντικειμενικό σκοπό της αποστολής τους
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
και θα αντιδρούν στα νέα δεδομένα
χωρίς ανθρώπινη καθοδήγηση.
χωρίς ανθρώπινη καθοδήγηση.
05:16
They'll ignore external radio signals
94
304252
2581
Θα αγνοούν εξωτερικά ραδιοσήματα
05:18
and send very few of their own.
95
306833
2330
και θα στέλνουν ελάχιστα δικά τους.
05:21
Which brings us to, really, the third
96
309163
2006
Αυτό μας φέρνει, πραγματικά, στο τρίτο
05:23
and most powerful incentive pushing decision-making
97
311169
3862
και πιο ισχυρό κίνητρο πίεσης της λήψης αποφάσεων
05:27
away from humans and onto weapons:
98
315031
3342
μακριά από τον άνθρωπο και προς τα όπλα:
05:30
plausible deniability.
99
318373
3293
την εύλογη δυνατότητα άρνησης.
05:33
Now we live in a global economy.
100
321666
2887
Ζούμε σε μια παγκόσμια οικονομία.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Κατασκευές υψηλής τεχνολογίας πραγματοποιούνται
στις περισσότερες ηπείρους.
στις περισσότερες ηπείρους.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
Η κυβερνοκατασκοπεία διακτινίζει
προηγμένα σχέδια μακριά
προηγμένα σχέδια μακριά
05:43
to parts unknown,
103
331801
1886
σε άγνωστα μέρη
05:45
and in that environment, it is very likely
104
333687
2014
και σε αυτό το περιβάλλον, είναι πολύ πιθανό
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
ότι ένας επιτυχής σχεδιασμός μη επανδρωμένου μέσου θα ξεφύγει από τα εργοστάσια της σύμβασης,
05:52
proliferate in the gray market.
106
340435
2170
θα εξαπλωθεί στην γκρίζα αγορά.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
Και σε αυτή την περίπτωση, σε μια προσεκτική εξέταση των συντριμμιών
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
μιας επίθεσης αυτοκτονίας μη επανδρωμένου μέσου, πολύ δύσκολα θα μπορεί να ειπωθεί
06:00
who sent that weapon.
109
348025
4400
ποιος έστειλε το εν λόγω όπλο.
06:04
This raises the very real possibility
110
352425
2800
Αυτό εγείρει την πολύ πραγματική πιθανότητα
06:07
of anonymous war.
111
355225
2935
του ανώνυμου πολέμου.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Αυτό θα μπορούσε να ταρακουνήσει
τις γεωπολιτικές ισορροπίες κατακέφαλα,
τις γεωπολιτικές ισορροπίες κατακέφαλα,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
να καταστήσει πολύ δύσκολο σε ένα έθνος
να στρέψει τη δύναμη πυρός του
να στρέψει τη δύναμη πυρός του
06:16
against an attacker, and that could shift the balance
114
364265
2848
εναντίον ενός εισβολέα και αυτό θα μπορούσε
να μετατοπίσει την ισορροπία
να μετατοπίσει την ισορροπία
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
του 21ου αιώνα, μακριά από την άμυνα
και προς την επίθεση.
και προς την επίθεση.
06:22
It could make military action a viable option
116
370877
3124
Θα μπορούσε να κάνει τη στρατιωτική δράση μία βιώσιμη επιλογή
06:26
not just for small nations,
117
374001
2288
όχι μόνο για τα μικρά έθνη,
06:28
but criminal organizations, private enterprise,
118
376289
2545
αλλά για εγκληματικές οργανώσεις,
ιδιωτικές επιχειρήσεις,
ιδιωτικές επιχειρήσεις,
06:30
even powerful individuals.
119
378834
2479
ακόμη και ισχυρών ατόμων.
06:33
It could create a landscape of rival warlords
120
381313
3328
Αυτό θα μπορούσε να δημιουργήσει ένα πεδίο
από αντίπαλους πολέμαρχους
από αντίπαλους πολέμαρχους
06:36
undermining rule of law and civil society.
121
384641
3680
υπονομεύοντας το κράτος δικαίου
και την κοινωνία των πολιτών.
και την κοινωνία των πολιτών.
06:40
Now if responsibility and transparency
122
388321
3616
Εάν η υπευθυνότητα και η διαφάνεια
06:43
are two of the cornerstones of representative government,
123
391937
2384
είναι δύο από τους ακρογωνιαίους λίθους
της αντιπροσωπευτικής κυβέρνησης,
της αντιπροσωπευτικής κυβέρνησης,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
τα αυτόνομα ρομποτικά όπλα θα μπορούσαν
να υποσκάψουν και τα δύο.
να υποσκάψουν και τα δύο.
06:50
Now you might be thinking that
125
398641
1546
Μπορεί να σκέφτεστε ότι
06:52
citizens of high-tech nations
126
400187
2246
οι πολίτες των εθνών υψηλής τεχνολογίας
06:54
would have the advantage in any robotic war,
127
402433
2703
θα είχαν το πλεονέκτημα σε κάθε ρομποτικό πόλεμο,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
ότι οι πολίτες αυτών των εθνών θα ήταν
λιγότερο ευάλωτοι,
λιγότερο ευάλωτοι,
07:00
particularly against developing nations.
129
408769
4288
ιδιαίτερα ενάντια στις αναπτυσσόμενες χώρες.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Αλλά νομίζω ότι η αλήθεια είναι το ακριβώς αντίθετο.
07:08
I think citizens of high-tech societies
131
416581
2251
Νομίζω ότι οι πολίτες των κοινωνιών
υψηλής τεχνολογίας
υψηλής τεχνολογίας
07:10
are more vulnerable to robotic weapons,
132
418832
3729
είναι πιο ευάλωτοι στα ρομποτικά όπλα
07:14
and the reason can be summed up in one word: data.
133
422561
4465
και η αιτία μπορεί να συνοψιστεί σε μία λέξη: Δεδομένα.
07:19
Data powers high-tech societies.
134
427026
3481
Τα δεδομένα κινούν τις κοινωνίες
υψηλής τεχνολογίας.
υψηλής τεχνολογίας.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Γεωτοποθεσία κινητού τηλεφώνου,
μεταδεδομένα τηλεπικοινωνιών,
μεταδεδομένα τηλεπικοινωνιών,
07:25
social media, email, text, financial transaction data,
136
433697
3472
κοινωνικά μέσα, ηλεκτρονικό ταχυδρομείο, κείμενα,
δεδομένα οικονομικών συναλλαγών,
δεδομένα οικονομικών συναλλαγών,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
μεταφορά δεδομένων,
είναι μία πληθώρα δεδομένων πραγματικού χρόνου
είναι μία πληθώρα δεδομένων πραγματικού χρόνου
07:32
on the movements and social interactions of people.
138
440701
3373
σχετικά με τις κινήσεις και
τις κοινωνικές αλληλεπιδράσεις των ατόμων.
τις κοινωνικές αλληλεπιδράσεις των ατόμων.
07:36
In short, we are more visible to machines
139
444074
3775
Εν ολίγοις, είμαστε πιο ορατοί στις μηχανές
07:39
than any people in history,
140
447849
2242
από οποιαδήποτε πληθυσμιακή ομάδα στην ιστορία
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
κι αυτό ταιριάζει απόλυτα στις ανάγκες στόχευσης
των αυτόνομων όπλων.
των αυτόνομων όπλων.
07:47
What you're looking at here
142
455707
1738
Αυτό που βλέπετε εδώ
07:49
is a link analysis map of a social group.
143
457445
3246
είναι ένας χάρτης ανάλυσης συνδέσμων
μιας κοινωνικής ομάδας.
μιας κοινωνικής ομάδας.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Οι γραμμές υποδηλώνουν κοινωνική συνεκτικότητα μεταξύ των ατόμων.
07:56
And these types of maps can be automatically generated
145
464325
2880
Κι αυτοί οι τύποι των χαρτών
μπορούν να δημιουργηθούν αυτόματα
μπορούν να δημιουργηθούν αυτόματα
07:59
based on the data trail modern people leave behind.
146
467205
4715
με βάση τα ίχνη δεδομένων
που οι σύγχρονοι άνθρωποι αφήνουν πίσω τους.
που οι σύγχρονοι άνθρωποι αφήνουν πίσω τους.
08:03
Now it's typically used to market goods and services
147
471920
2477
Συνήθως χρησιμοποιούνται για την προώθηση
αγαθών και υπηρεσιών
αγαθών και υπηρεσιών
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
με δημογραφική στόχευση, αλλά
είναι μια τεχνολογία διττής χρήσης,
είναι μια τεχνολογία διττής χρήσης,
08:10
because targeting is used in another context.
149
478813
3360
επειδή η στόχευση χρησιμοποιείται
σ' ένα άλλο πλαίσιο.
σ' ένα άλλο πλαίσιο.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Παρατηρήστε ότι ορισμένα άτομα
είναι επισημασμένα.
είναι επισημασμένα.
08:16
These are the hubs of social networks.
151
484733
3280
Είναι οι κόμβοι των κοινωνικών δικτύων.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
Πρόκειται για διοργανωτές, διαμορφωτές
της κοινής γνώμης, ηγέτες
της κοινής γνώμης, ηγέτες
08:23
and these people also can be automatically identified
153
491603
2682
κι αυτοί οι άνθρωποι επίσης μπορούν
ν' αναγνωριστούν αυτόματα
ν' αναγνωριστούν αυτόματα
08:26
from their communication patterns.
154
494285
2382
από τα μοτίβα επικοινωνίας τους.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Τώρα, εάν είστε έμποροι, ίσως μετά
να τους στοχοποιούσατε
να τους στοχοποιούσατε
08:30
with product samples, try to spread your brand
156
498813
2543
με δείγματα προϊόντων, ίσως επιχειρούσατε
να προωθήσετε τη μάρκα σας
να προωθήσετε τη μάρκα σας
08:33
through their social group.
157
501356
2829
μέσω των κοινωνικών τους ομάδων.
08:36
But if you're a repressive government
158
504185
1953
Αλλά, αν είστε μια τυραννική κυβέρνηση
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
που αναζητά πολιτικούς εχθρούς,
αντί αυτού μπορείτε ίσως να τους απομακρύνετε,
αντί αυτού μπορείτε ίσως να τους απομακρύνετε,
08:42
eliminate them, disrupt their social group,
160
510948
2760
να τους εξαλείψετε, να διαταράξετε
την κοινωνική ομάδα τους
την κοινωνική ομάδα τους
08:45
and those who remain behind lose social cohesion
161
513708
3169
κι εκείνοι που παραμείνουν πίσω
χάνουν την κοινωνική συνοχή
χάνουν την κοινωνική συνοχή
08:48
and organization.
162
516877
2621
και οργάνωση.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
Τώρα σε έναν κόσμο από φτηνά, πολλαπλασιαζόμενα ρομποτικά όπλα,
08:54
borders would offer very little protection
164
522822
2635
τα σύνορα θα προσέφεραν πολύ μικρή προστασία
08:57
to critics of distant governments
165
525457
1946
στους επικριτές απόμακρων κυβερνήσεων
08:59
or trans-national criminal organizations.
166
527403
3646
ή διακρατικών εγκληματικών οργανώσεων.
09:03
Popular movements agitating for change
167
531049
3493
Λαϊκά κινήματα διψασμένα για αλλαγή
09:06
could be detected early and their leaders eliminated
168
534542
3609
θα μπορούσαν να εντοπιστούν νωρίς
και οι ηγέτες τους να εξαλειφθούν
και οι ηγέτες τους να εξαλειφθούν
09:10
before their ideas achieve critical mass.
169
538151
2911
πριν οι ιδέες τους επιτύχουν την κρίσιμη μάζα.
09:13
And ideas achieving critical mass
170
541062
2591
Και οι ιδέες που επιτυγχάνουν την κρίσιμη μάζα
09:15
is what political activism in popular government is all about.
171
543653
3936
αφορούν τον πολιτικό ακτιβισμό στη λαϊκή κυβέρνηση.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Ανώνυμα θανατηφόρα όπλα θα μπορούσαν
να κάνουν τη θανατηφόρο δράση
να κάνουν τη θανατηφόρο δράση
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
μια εύκολη επιλογή για όλα τα είδη των ανταγωνιστικών συμφερόντων.
09:27
And this would put a chill on free speech
174
555368
3734
Κι αυτό θα πάγωνε την ελευθερία του λόγου
09:31
and popular political action, the very heart of democracy.
175
559102
5308
και την λαϊκή πολιτική δράση,
την ίδια την καρδιά της Δημοκρατίας.
την ίδια την καρδιά της Δημοκρατίας.
09:36
And this is why we need an international treaty
176
564410
2914
Γι' αυτό χρειαζόμαστε μια διεθνή συνθήκη
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
για τα ρομποτικά όπλα και ειδικότερα
μια καθολική απαγόρευση
μια καθολική απαγόρευση
09:42
on the development and deployment of killer robots.
178
570864
3908
στη δημιουργία και ανάπτυξη
των ρομπότ δολοφόνων.
των ρομπότ δολοφόνων.
09:46
Now we already have international treaties
179
574772
3254
Ήδη έχουμε διεθνείς συνθήκες
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
για πυρηνικά και βιολογικά όπλα και, παρότι ελλιπείς,
09:53
these have largely worked.
181
581412
2288
αυτές έχουν λειτουργήσει σε μεγάλο βαθμό.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Αλλά τα ρομποτικά όπλα μπορεί να είναι
εξίσου επικίνδυνα,
εξίσου επικίνδυνα,
09:59
because they will almost certainly be used,
183
587468
3288
επειδή σχεδόν σίγουρα θα χρησιμοποιηθούν
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
κι επίσης θα διάβρωναν
τους δημοκρατικούς μας θεσμούς.
τους δημοκρατικούς μας θεσμούς.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
Το Νοέμβριο του 2012,
το Υπουργείο Άμυνας των ΗΠΑ
το Υπουργείο Άμυνας των ΗΠΑ
10:11
issued a directive requiring
186
599251
2458
εξέδωσε μια οδηγία που απαιτούσε
10:13
a human being be present in all lethal decisions.
187
601709
4519
την παρουσία ανθρώπου σε όλες τις θανατηφόρες αποφάσεις.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Αυτό προσωρινά απαγόρευσε αποτελεσματικά
τα αυτόνομα όπλα του αμερικάνικου στρατού,
τα αυτόνομα όπλα του αμερικάνικου στρατού,
10:23
but that directive needs to be made permanent.
189
611004
3753
αλλά, η εν λόγω οδηγία χρειάζεται να γίνει μόνιμη.
10:26
And it could set the stage for global action.
190
614757
4376
Και θα μπορούσε να θέσει τη βάση
για παγκόσμια δράση.
για παγκόσμια δράση.
10:31
Because we need an international legal framework
191
619133
3845
Διότι χρειαζόμαστε ένα διεθνές νομικό πλαίσιο
10:34
for robotic weapons.
192
622978
2138
για τα ρομποτικά όπλα.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
Και το χρειαζόμαστε τώρα, προτού να υπάρξει
μια καταστροφική επίθεση
μια καταστροφική επίθεση
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
ή ένα τρομοκρατικό περιστατικό
που θα προκαλέσει στα έθνη του κόσμου
που θα προκαλέσει στα έθνη του κόσμου
10:43
to rush to adopt these weapons
195
631196
1924
να βιαστούν να υιοθετήσουν αυτά τα όπλα
10:45
before thinking through the consequences.
196
633120
3771
πριν σκεφτούν τις συνέπειες.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Τα αυτόνομα ρομποτικά όπλα επικεντρώνουν
πάρα πολύ δύναμη
πάρα πολύ δύναμη
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
σε λιγοστά χέρια κι αυτά θα έθεταν σε κίνδυνο
την ίδια τη δημοκρατία.
την ίδια τη δημοκρατία.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Μην με παρεξηγείτε, πιστεύω ότι υπάρχουν πάμπολες
11:00
of great uses for unarmed civilian drones:
200
648841
2618
σπουδαίες χρήσεις των αμάχων
μη επανδρωμένων μέσων:
μη επανδρωμένων μέσων:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
περιβαλλοντική παρακολούθηση,
έρευνα και διάσωση, μεταφορά προμηθειών.
έρευνα και διάσωση, μεταφορά προμηθειών.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Αν έχουμε μια διεθνή συνθήκη
για τα ρομποτικά όπλα,
για τα ρομποτικά όπλα,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
πώς κερδίζουμε τα οφέλη των αυτόνομων
μη επανδρωμένων μέσων
μη επανδρωμένων μέσων
11:13
and vehicles while still protecting ourselves
204
661811
2648
και οχημάτων ενόσω προστατεύουμε παράλληλα
τους εαυτούς μας
τους εαυτούς μας
11:16
against illegal robotic weapons?
205
664459
3980
από τα παράνομα ρομποτικά όπλα;
11:20
I think the secret will be transparency.
206
668439
4741
Νομίζω ότι το μυστικό θα είναι η διαφάνεια.
11:25
No robot should have an expectation of privacy
207
673180
3013
Κανένα ρομπότ δεν θα πρέπει να έχει την προσδοκία
της ιδιωτικότητας
της ιδιωτικότητας
11:28
in a public place.
208
676193
3451
σε δημόσιο χώρο.
11:31
(Applause)
209
679644
5048
(Χειροκρότημα)
11:36
Each robot and drone should have
210
684692
2045
Κάθε ρομπότ και μη επανδρωμένο μέσο
θα πρέπει να έχει
θα πρέπει να έχει
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
μια ψηφιακά κρυπτογραφημένη ταυτότητα
που να δημιουργείται στο εργοστάσιο και
που να δημιουργείται στο εργοστάσιο και
11:41
that can be used to track its movement through public spaces.
212
689620
2923
να μπορεί να χρησιμοποιηθεί για να παρακολουθείται η κίνησή του σε δημόσιους χώρους.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Έχουμε πινακίδες στα αυτοκίνητα,
αριθμούς σειράς στα αεροσκάφη.
αριθμούς σειράς στα αεροσκάφη.
11:47
This is no different.
214
695924
1841
Αυτό δεν είναι κάτι διαφορετικό.
11:49
And every citizen should be able to download an app
215
697765
2012
Κάθε πολίτης θα πρέπει να είναι σε θέση
να κατεβάσει μια εφαρμογή
να κατεβάσει μια εφαρμογή
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
που θα δείχνει τον πληθυσμό των μη επανδρωμένων μέσων και αυτόνομων οχημάτων
11:54
moving through public spaces around them,
217
702902
2429
που κινούνται μέσα σε δημόσιους χώρους γύρω του,
11:57
both right now and historically.
218
705331
2733
τόσο αυτή τη στιγμή όσο και ιστορικά.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Και οι πολιτικοί ηγέτες θα πρέπει να αναπτύξουν αισθητήρες και πολιτικά μη επανδρωμένα μέσα
12:03
to detect rogue drones,
220
711612
2344
για τον εντοπισμό έκνομων
μη επανδρωμένων μέσων,
μη επανδρωμένων μέσων,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
κι αντί της αποστολής δικών τους φονικών μη επανδρωμένων μέσων για να τα καταστρέψουν,
12:09
they should notify humans to their presence.
222
717132
2992
θα πρέπει να ενημερώνουν τους ανθρώπους
για την παρουσία τους.
για την παρουσία τους.
12:12
And in certain very high-security areas,
223
720124
2606
Και σε ορισμένες περιοχές πολύ υψηλής ασφάλειας,
12:14
perhaps civic drones would snare them
224
722730
1909
ίσως τα πολιτικά μη επανδρωμένα μέσα να τα παγιδεύουν
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
και να τα παρασέρνουν σε μια εγκατάσταση εξουδετέρωσης βομβών.
12:19
But notice, this is more an immune system
226
727480
3027
Αλλά προσέξτε, αυτό είναι περισσότερο
ένα ανοσοποιητικό σύστημα
ένα ανοσοποιητικό σύστημα
12:22
than a weapons system.
227
730507
1321
από ένα σύστημα όπλων.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Θα μας επέτρεπε να επωφεληθούμε οι ίδιοι τη χρήση
12:26
of autonomous vehicles and drones
229
734420
2032
αυτόνομων οχημάτων και μη επανδρωμένων μέσων,
12:28
while still preserving our open, civil society.
230
736452
4295
διατηρώντας ακόμα την ανοικτή μας
κοινωνία των πολιτών.
κοινωνία των πολιτών.
12:32
We must ban the deployment and development
231
740747
2999
Πρέπει να απαγορεύσουμε την ανάπτυξη
και δημιουργία
και δημιουργία
12:35
of killer robots.
232
743746
1862
ρομπότ δολοφόνων
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Ας μην υποκύψουμε στον πειρασμό
να αυτοματοποιήσουμε τον πόλεμο.
να αυτοματοποιήσουμε τον πόλεμο.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Αυταρχικές κυβερνήσεις
κι εγκληματικές οργανώσεις
κι εγκληματικές οργανώσεις
12:45
undoubtedly will, but let's not join them.
235
753176
2956
αναμφίβολα θα το κάνουν, αλλά
ας μην τους συμμεριστούμε.
ας μην τους συμμεριστούμε.
12:48
Autonomous robotic weapons
236
756132
1891
Τα αυτόνομα ρομποτικά όπλα
12:50
would concentrate too much power
237
758023
2051
θα συγκέντρωναν υπερβολική εξουσία
12:52
in too few unseen hands,
238
760074
2482
σε ελάχιστα αθέατα χέρια
12:54
and that would be corrosive to representative government.
239
762556
3255
κι αυτό θα ήταν διαβρωτικό
για την αντιπροσωπευτική κυβέρνηση.
για την αντιπροσωπευτική κυβέρνηση.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Ας σιγουρευτούμε ότι,
τουλάχιστον στις δημοκρατίες,
τουλάχιστον στις δημοκρατίες,
13:00
killer robots remain fiction.
241
768772
2604
τα ρομπότ δολοφόνοι
θα παραμείνουν επιστημονική φαντασία.
θα παραμείνουν επιστημονική φαντασία.
13:03
Thank you.
242
771376
1110
Ευχαριστώ.
13:04
(Applause)
243
772486
4565
(Χειροκρότημα)
13:09
Thank you. (Applause)
244
777051
4616
Σας ευχαριστώ.
(Χειροκρότημα)
(Χειροκρότημα)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com