ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

Iyad Rahwan: Kokius moralinius sprendimus turėtų priimti savieigiai automobiliai?

Filmed:
1,147,381 views

Ar jūsų savieigis automobilis paaukoti jūsų gyvybę, jei taip išsaugotų penkis pėsčiuosius? Šiame video apie socialines savieigių automobilių dilemas, Iyad Rahwan apžvelgia kaip technologija meta iššūkį mūsų moralei, ir pasakoja apie savo darbą renkant informaciją iš žmonių apie etinius kompromisus, kuriuos esame (ir nesame) pasirengę priimti.
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
TodayŠiandien I'm going to talk
about technologytechnologija and societyvisuomenė.
0
1000
4080
Šiandien kalbėsiu apie
technologiją ir visuomenę.
00:19
The DepartmentDepartamentas of TransportTransporto
estimatedapskaičiuotas that last yearmetai
1
7040
3696
Transporto departamentas
apskaičiavo, kad praėjusiais metais
00:22
35,000 people diedmirė
from trafficeismas crashesavarijos in the US alonevienas.
2
10760
4080
vien JAV auto įvykiuose
žuvo 35 tūkstančiai žmonių.
00:28
WorldwideVisame pasaulyje, 1.2 millionmln people
diemirti everykiekvienas yearmetai in trafficeismas accidentsavarijos.
3
16040
4800
Pasaulio mastu kasmet auto įvykiuose
žūsta 1,2 milijono žmonių.
00:33
If there was a way we could eliminatepašalinti
90 percentproc of those accidentsavarijos,
4
21760
4096
Jeigu rastumėme būdą
išvengti 90 procentų šių įvykių,
00:37
would you supportparama it?
5
25880
1200
ar pritartumėte šiam sprendimui?
Žinoma pritartumėte.
00:39
Of coursežinoma you would.
6
27720
1296
00:41
This is what driverlessbe vairuotojo carautomobilis technologytechnologija
promisespažadai to achievepasiekti
7
29040
3655
Būtent tai ir žada savieigių
transporto priemonių technologija,
00:44
by eliminatingpašalinti the mainpagrindinis
sourcešaltinis of accidentsavarijos --
8
32720
2816
panaikindama esminę
auto įvykių priežąstį –
00:47
humanžmogus errorklaida.
9
35560
1200
žmogiškąją klaidą.
00:49
Now picturenuotrauka yourselfsave
in a driverlessbe vairuotojo carautomobilis in the yearmetai 2030,
10
37920
5416
Įsivaizduokite save savieigiame
automobilyje 2030-iais metais –
00:55
sittingsėdi back and watchingžiūriu
this vintagederlius TEDxCambridgeTEDxCambridge videovideo.
11
43360
3456
sėdite atsipalaidavę ir žiūrite šį seną
įrašą iš TED konferencijos Kembridže.
00:58
(LaughterJuokas)
12
46840
2000
(Juokas.)
Staiga,
01:01
All of a suddenstaiga,
13
49520
1216
01:02
the carautomobilis experiencespatirtys mechanicalmechaninis failurenesėkmė
and is unablenegali to stop.
14
50760
3280
automobilyje įvyksta mechaninė
klaida ir jis negali sustoti.
01:07
If the carautomobilis continuestęsiasi,
15
55360
1520
Jei nekeis krypties
01:09
it will crashavarija into a bunchkrūva
of pedestrianspėstiesiems crossingperėjimas the streetgatvė,
16
57720
4120
automobilis rėšis į būrį
per perėją einančių pėsčiųjų.
01:15
but the carautomobilis mayGegužė swervemestis,
17
63080
2135
Jis taip pat gali pasukti į šalį,
tačiau tuomet partrenks
šalikelėje stovintį žmogų,
01:17
hittingpataikyti one bystanderstebėtojui,
18
65239
1857
01:19
killingžudymas them to savesutaupyti the pedestrianspėstiesiems.
19
67120
2080
kad išgelbėtų penkis pėsčiuosius.
01:22
What should the carautomobilis do,
and who should decidenuspręsti?
20
70040
2600
Kaip automobilis turėtų pasielgti,
ir kas turėtų tai nuspręsti?
01:25
What if insteadvietoj to the carautomobilis
could swervemestis into a wallsiena,
21
73520
3536
O jei automobilis galėtų
pasukti ir rėžtis į sieną
01:29
crashingkritimo and killingžudymas you, the passengerkeleivių,
22
77080
3296
taip užmušdamas jus – keleivį,
01:32
in orderįsakymas to savesutaupyti those pedestrianspėstiesiems?
23
80400
2320
kad išgelbėtų tuos penkis pėsčiuosius?
01:35
This scenarioscenarijus is inspiredĮkvėptas
by the trolleyvežimėlis problemproblema,
24
83240
3080
Šį scenarijų įkvėpė vežimėlio problema,
01:38
whichkuris was inventedišrastas
by philosophersfilosofai a fewnedaug decadesdešimtmečius agoprieš
25
86960
3776
kurią filosofai sukūrė
prieš kelis dešimtmečius,
01:42
to think about ethicsetikos.
26
90760
1240
mąstydami apie etiką.
Tai, kaip mes suvokiame
šią problemą, yra svarbu.
01:46
Now, the way we think
about this problemproblema mattersklausimai.
27
94120
2496
01:48
We mayGegužė for examplepavyzdys
not think about it at all.
28
96640
2616
Galbūt mes visai ir
nesistengiame jos suvokti,
01:51
We mayGegužė say this scenarioscenarijus is unrealisticnerealus,
29
99280
3376
sakydami, kad šis
scenarijus nėra realistiškas,
01:54
incrediblyneįtikėtinai unlikelymažai tikėtina, or just sillykvailas.
30
102680
2320
ypač mažai tikėtinas ar tiesiog kvailas.
01:57
But I think this criticismkritika
missespraleidžia the pointtaškas
31
105760
2736
Tačiau aš manau, kad tokia
kritika pameta esmę,
02:00
because it takes
the scenarioscenarijus too literallypažodžiui.
32
108520
2160
nes priima scenarijų pernelyg tiesiogiai.
02:03
Of coursežinoma no accidentavarija
is going to look like this;
33
111920
2736
Žinoma joks įvykis taip neatrodys,
02:06
no accidentavarija has two or threetrys optionsnustatymai
34
114680
3336
nė vienas įvykis nėra apribotas
dviem ar trimis pasirinkimais
02:10
where everybodyvisi diesmiršta somehowkažkaip.
35
118040
2000
kuriuose visuose kas nors žūsta.
Iš tiesų automobilis suskaičiuos
kažką panašaus į tikimybę,
02:13
InsteadVietoj to, the carautomobilis is going
to calculateapskaičiuoti something
36
121480
2576
02:16
like the probabilitytikimybė of hittingpataikyti
a certaintam tikras groupgrupė of people,
37
124080
4896
jog rėšis į tam tikrą žmonių grupę,
02:21
if you swervemestis one directionkryptis
versusprieš anotherkitas directionkryptis,
38
129000
3336
jeigu pasuks į vieną, o ne į kitą pusę.
02:24
you mightgali slightlyLengvai increasepadidinti the riskrizika
to passengerskeleiviams or other driversvairuotojai
39
132360
3456
Taip galbūt padidindamas keleivių
ar kitų vairuotojų riziką
02:27
versusprieš pedestrianspėstiesiems.
40
135840
1536
vietoj pėsčiųjų.
02:29
It's going to be
a more complexkompleksas calculationapskaičiavimas,
41
137400
2160
Tai bus kur kas sudetingesni skaičiavimai,
02:32
but it's still going
to involveĮtraukti trade-offskompromisai,
42
140480
2520
tačiau jie vis tiek reikalaus kompromisų,
02:35
and trade-offskompromisai oftendažnai requirereikalauti ethicsetikos.
43
143840
2880
o kompromisai dažnai reikalauja etikos.
02:39
We mightgali say then,
"Well, let's not worrynerimauti about this.
44
147840
2736
Galime sakyti: „Nesijaudinkime dėl to.
02:42
Let's wait untiliki technologytechnologija
is fullyvisiškai readyparuošta and 100 percentproc safesaugus."
45
150600
4640
Geriau palaukime kol technologija bus
pilnai paruošta ir 100-u procentų saugi.“
02:48
SupposeTarkime, kad that we can indeediš tikrųjų
eliminatepašalinti 90 percentproc of those accidentsavarijos,
46
156520
3680
Tarkime, kad galime išvengti
90 procentų šių įvykių,
02:53
or even 99 percentproc in the nextKitas 10 yearsmetai.
47
161080
2840
ar netgi 99 procentų per
ateinančius 10-čia metų.
02:56
What if eliminatingpašalinti
the last one percentproc of accidentsavarijos
48
164920
3176
O jeigu išvengti to paskutinio
procento auto įvykių
03:00
requiresreikalauja 50 more yearsmetai of researchtyrimai?
49
168120
3120
pareikalaus dar 50 metų tyrimų?
Ar turėtume nesinaudoti
šia technologija iki tol?
03:04
Should we not adoptpriimti the technologytechnologija?
50
172400
1800
03:06
That's 60 millionmln people
deadmiręs in carautomobilis accidentsavarijos
51
174720
4776
Tai – 60 milijonų žmonių,
žuvusių auto įvykiuose,
03:11
if we maintainišlaikyti the currentdabartinis ratenorma.
52
179520
1760
jei nieko nekeisime.
03:14
So the pointtaškas is,
53
182760
1216
Esmė tokia,
03:16
waitinglaukiu for fullpilnas safetysaugumas is alsotaip pat a choicepasirinkimas,
54
184000
3616
kad visiškai saugios technologijos
laukimas taip pat yra pasirinkimas,
03:19
and it alsotaip pat involvesapima trade-offskompromisai.
55
187640
2160
ir jis taip pat reikalauja kompromisų.
03:23
People onlineprisijungęs on socialsocialinis mediažiniasklaida
have been comingartėja up with all sortsrūšiuoja of waysbūdai
56
191560
4336
Žmonės internete ir socialinėse
medijose sugalvojo daugybę būdų,
03:27
to not think about this problemproblema.
57
195920
2016
kaip negalvoti apie šią problemą.
Vienas žmogus pasiūlė, kad automobilis
turėtų tiesiog kažkaip saugiai išlaviruoti
03:29
One personasmuo suggestedsiūloma
the carautomobilis should just swervemestis somehowkažkaip
58
197960
3216
03:33
in betweentarp the passengerskeleiviams --
59
201200
2136
tarp pėsčiųjų
03:35
(LaughterJuokas)
60
203360
1016
(Juokas.)
03:36
and the bystanderstebėtojui.
61
204400
1256
ir stovinčiųjų šalikelėse.
03:37
Of coursežinoma if that's what the carautomobilis can do,
that's what the carautomobilis should do.
62
205680
3360
Žinoma, jeigu automobilis gali tai
padaryti, jis turėtų taip ir padaryti.
03:41
We're interestedsuinteresuotas in scenariosscenarijai
in whichkuris this is not possiblegalimas.
63
209920
2840
Mums labiau rūpi situacijos, kuriose
tokie sprendimai nėra įmanomi.
03:45
And my personalasmeninis favoritemėgstamiausia
was a suggestionpasiūlymas by a bloggerBlogger
64
213280
5416
Mano mėgstamiausią sprendimą
pasiūlė vienas blogeris –
03:50
to have an ejectišstumti buttonmygtukas in the carautomobilis
that you presspaspauskite --
65
218720
3016
automobilyje įdiegti katapulto mygtuką,
kurį galima paspausti
03:53
(LaughterJuokas)
66
221760
1216
(Juokas.)
03:55
just before the carautomobilis self-destructssavarankiškai destructs.
67
223000
1667
prieš automobiliui susinaikinant.
03:56
(LaughterJuokas)
68
224691
1680
(Juokas.)
Tad jeigu pripažįstame,
03:59
So if we acknowledgepripažinti that carsautomobiliai
will have to make trade-offskompromisai on the roadkelias,
69
227840
5200
kad automobiliai keliuose
privalės priimti kompromisus,
04:06
how do we think about those trade-offskompromisai,
70
234200
1880
kaip mums galvoti apie tuos kompromisus,
04:09
and how do we decidenuspręsti?
71
237320
1576
ir kaip nuspręsti?
04:10
Well, maybe we should runpaleisti a surveyapklausa
to find out what societyvisuomenė wants,
72
238920
3136
Galėtume atlikti apklausą, kad
išsiaiškintume ko nori visuomenė,
04:14
because ultimatelygaliausiai,
73
242080
1456
nes juk nuostatai ir įstatymai –
visuomenės vertybių atspindys.
04:15
regulationsreglamentai and the lawteisė
are a reflectionatspindys of societalvisuomenės valuesvertybes.
74
243560
3960
04:20
So this is what we did.
75
248040
1240
Būtent tai ir padarėme.
04:21
With my collaboratorsbendradarbiai,
76
249880
1616
Su bendradarbiais
04:23
Jean-FranJean-FrançoisOIS BonnefonBonnefon and AzimJuventas ShariffShariff,
77
251520
2336
Jean-François Bonnefon ir Azim Shariff
04:25
we ranbėgo a surveyapklausa
78
253880
1616
atlikome apklausą,
04:27
in whichkuris we presentedpateiktas people
with these typestipai of scenariosscenarijai.
79
255520
2855
kurioje pateikėme tokio tipo situacijas.
04:30
We gavedavė them two optionsnustatymai
inspiredĮkvėptas by two philosophersfilosofai:
80
258399
3777
Dalyviams davėme du pasirinkimus,
įkvėptus dviejų filosofų:
04:34
JeremyJeremy BenthamBentham and ImmanuelStasys KantKanto.
81
262200
2640
Jeremy Bentham ir Immanuel Kant.
04:37
BenthamBentham sayssako the carautomobilis
should followsekite utilitarianutilitarizmo ethicsetikos:
82
265600
3096
Bentham teigia, kad automobiliai
turėtų sekti utilitarine logika –
04:40
it should take the actionveiksmas
that will minimizesumažinti iki minimumo totališ viso harmžala --
83
268720
3416
priimti bendrai mažiausią
žalą darantį sprendimą,
04:44
even if that actionveiksmas will killnužudyti a bystanderstebėtojui
84
272160
2816
net jei tai užmuštų
šalikelėje stovintį žmogų,
04:47
and even if that actionveiksmas
will killnužudyti the passengerkeleivių.
85
275000
2440
net jei tai užmuštų keleivį.
04:50
ImmanuelStasys KantKanto sayssako the carautomobilis
should followsekite duty-boundpareiga principlesprincipai,
86
278120
4976
Immanuel Kant teigia, kad automobilis
turėtų sekti pareigos principu,
04:55
like "ThouTu shaltbūsi not killnužudyti."
87
283120
1560
tokiu kaip „Nežudyk“.
04:57
So you should not take an actionveiksmas
that explicitlyaiškiai harmskenkia a humanžmogus beingesamas,
88
285480
4456
Tad neturėtume rinktis sprendimo,
kuris tyčia kelia žalą žmogui
05:01
and you should let the carautomobilis take its coursežinoma
89
289960
2456
ir automobilis turėtų važiuoti savo keliu,
05:04
even if that's going to harmžala more people.
90
292440
1960
net jeigu nuo to nukentės daugiau žmonių.
Ką manote jūs?
05:07
What do you think?
91
295640
1200
Bentham ar Kant?
05:09
BenthamBentham or KantKanto?
92
297360
1520
05:11
Here'sČia yra what we foundrasta.
93
299760
1256
Štai ką išsiaiškinome.
05:13
MostDauguma people sidedant abiejų pusių with BenthamBentham.
94
301040
1800
Dauguma žmonių sekė Bentham.
05:16
So it seemsatrodo that people
want carsautomobiliai to be utilitarianutilitarizmo,
95
304160
3776
Panašu, kad žmonės nori
utilitarinių automobilių,
05:19
minimizesumažinti iki minimumo totališ viso harmžala,
96
307960
1416
mažinančių bendrą žalą,
05:21
and that's what we should all do.
97
309400
1576
ir mes visi turėtume taip daryti.
05:23
ProblemProblema solvedišspręsta.
98
311000
1200
Problema išspręsta.
05:25
But there is a little catchgaudyti.
99
313240
1480
Bet tai dar ne viskas.
05:27
When we askedpaklausė people
whetherar they would purchasepirkti suchtoks carsautomobiliai,
100
315920
3736
Kai paklausėme žmonių,
ar jie pirktų tokias mašinas,
jie atsakė: „Tikrų tikriausiai ne.“
05:31
they said, "AbsolutelyAbsoliučiai not."
101
319680
1616
05:33
(LaughterJuokas)
102
321320
2296
(Juokas.)
05:35
They would like to buypirkti carsautomobiliai
that protectapsaugoti them at all costsišlaidos,
103
323640
3896
Jie nori pirkti automobilius, kurie
apsaugos juos bet kokiomis priemonėmis.
05:39
but they want everybodyvisi elseKitas
to buypirkti carsautomobiliai that minimizesumažinti iki minimumo harmžala.
104
327560
3616
Tačiau nori, kad visi kiti pirktų
automobilius mažinančius bendrą žalą.
05:43
(LaughterJuokas)
105
331200
2520
(Juokas.)
05:46
We'veMes jau seenmatė this problemproblema before.
106
334720
1856
Ši problema nėra nauja.
05:48
It's calledvadinamas a socialsocialinis dilemmadilema.
107
336600
1560
Ji vadinama socialine dilema.
05:51
And to understandsuprasti the socialsocialinis dilemmadilema,
108
339160
1816
Kad suprastume socialinę dilemą,
05:53
we have to go a little bitšiek tiek
back in historyistorija.
109
341000
2040
turime žvilgtelti į istoriją.
05:56
In the 1800s,
110
344000
2576
1800-aisiais,
05:58
EnglishAnglų economistekonomistas WilliamWilliam ForsterForster LloydLloyd
publishedpaskelbta a pamphletPlovyklos
111
346600
3736
anglų ekonomistas William Forster Lloyd
išspausdino brošiūrą,
06:02
whichkuris describesapibūdina the followingtoliau scenarioscenarijus.
112
350360
2216
kuri apibūdino tokią situaciją.
06:04
You have a groupgrupė of farmersūkininkai --
113
352600
1656
Turite grupę ūkininkų,
06:06
EnglishAnglų farmersūkininkai --
114
354280
1336
anglų ūkininkų,
06:07
who are sharingdalijimasis a commonbendras landžemė
for their sheepavys to grazeganosi.
115
355640
2680
kurie dalinasi bendra žeme avims ganytis.
Jei kiekvienas ūkininkas atsives
tam tikrą skaičių avių,
06:11
Now, if eachkiekvienas farmerūkininkas
bringsatneša a certaintam tikras numbernumeris of sheepavys --
116
359520
2576
06:14
let's say threetrys sheepavys --
117
362120
1496
sakykime tris avis,
06:15
the landžemė will be rejuvenatedatjaunėjusi,
118
363640
2096
žemė atsinaujins,
06:17
the farmersūkininkai are happylaimingas,
119
365760
1216
ūkininkai bus laimingi,
06:19
the sheepavys are happylaimingas,
120
367000
1616
avys – laimingos,
06:20
everything is good.
121
368640
1200
viskas gerai.
06:22
Now, if one farmerūkininkas bringsatneša one extrapapildomai sheepavys,
122
370440
2520
Jei vienas ūkininkas atsives
viena avimi daugiau,
06:25
that farmerūkininkas will do slightlyLengvai better,
and no one elseKitas will be harmednukentėjo.
123
373800
4720
šiam ūkininkui seksis truputį geriau
ir niekas nuo to nenukentės.
06:31
But if everykiekvienas farmerūkininkas madepagamintas
that individuallyindividualiai rationalracionalus decisionsprendimas,
124
379160
3640
Bet jei kiekvienas ūkininkas priims
tokį individualų ir racionalų sprendimą –
06:35
the landžemė will be overrunviršijanti suma,
and it will be depletedišeikvoti
125
383840
2720
žemė bus suniokota ir išeikvota,
06:39
to the detrimentžala of all the farmersūkininkai,
126
387360
2176
sukeldama žalą kitiems ūkininkams
06:41
and of coursežinoma,
to the detrimentžala of the sheepavys.
127
389560
2120
ir žinoma kitoms avims.
06:44
We see this problemproblema in manydaug placesvietos:
128
392720
3680
Šią problemą matome daugelyje sričių:
06:49
in the difficultysunku of managingvaldymas overfishingišteklių pereikvojimo,
129
397080
3176
pernelyg intensyvios žvejybos
valdymo sunkumuose
06:52
or in reducingsumažinti carbonanglis emissionsemisijos
to mitigatesušvelninti climateklimatas changekeisti.
130
400280
4560
ar siekiant sumažinti anglies dvideginio
išmetimą klimato kaitai sušvelninti.
06:59
When it comesateina to the regulationreguliavimas
of driverlessbe vairuotojo carsautomobiliai,
131
407160
2920
Kalbant apie savieigių
automobilių nuostatus,
07:03
the commonbendras landžemė now
is basicallyiš esmės publicvisuomenė safetysaugumas --
132
411080
4336
bendra žemė čia yra visuomenės saugumas.
07:07
that's the commonbendras good --
133
415440
1240
Tai – visuotinis gėris.
07:09
and the farmersūkininkai are the passengerskeleiviams
134
417400
1976
Ūkininkai – tai keleviai,
07:11
or the carautomobilis ownerssavininkai who are choosingrenkantis
to ridevažiuoti in those carsautomobiliai.
135
419400
3600
arba automobilių savininkai, kurie
pasirinko naudotis šiais automobiliais.
07:16
And by makingpriėmimo the individuallyindividualiai
rationalracionalus choicepasirinkimas
136
424960
2616
Priimdami individualų
racionalų sprendimą –
07:19
of prioritizingprioritetas their ownsavo safetysaugumas,
137
427600
2816
suteikti pirmenybę savo saugumui
07:22
they mayGegužė collectivelybendrai be
diminishingmažėja the commonbendras good,
138
430440
3136
jie kartu naikina visuotinį gėrį –
07:25
whichkuris is minimizingsumažinti totališ viso harmžala.
139
433600
2200
bendros žalos mažinimą.
07:30
It's calledvadinamas the tragedytragedija of the commonsbendri,
140
438320
2136
Tai tradiciškai vadinama
bendrųjų išteklių tragedija,
07:32
traditionallytradiciškai,
141
440480
1296
07:33
but I think in the caseatvejis
of driverlessbe vairuotojo carsautomobiliai,
142
441800
3096
tačiau kalbant apie savieigius
automobilius, aš manau,
07:36
the problemproblema mayGegužė be
a little bitšiek tiek more insidiousklastingas
143
444920
2856
problema yra šiek tiek klastingesnė,
07:39
because there is not necessarilybūtinai
an individualindividualus humanžmogus beingesamas
144
447800
3496
nes nebūtinai tai bus individualūs asmenys
07:43
makingpriėmimo those decisionssprendimai.
145
451320
1696
priimantys šiuos sprendimus.
07:45
So carautomobilis manufacturersgamintojai
mayGegužė simplytiesiog programprograma carsautomobiliai
146
453040
3296
Automobilių gamintojai
galbūt paprasčiausiai
užprogramuos automobilius taip,
07:48
that will maximizemaksimaliai padidinti safetysaugumas
for their clientsklientai,
147
456360
2520
kad jie užtikrintų maksimalų
saugumą jų klientams.
07:52
and those carsautomobiliai mayGegužė learnmokytis
automaticallyautomatiškai on their ownsavo
148
460080
2976
Ir automobiliai galbūt patys išmoks,
07:55
that doing so requiresreikalauja slightlyLengvai
increasingdidėja riskrizika for pedestrianspėstiesiems.
149
463080
3520
kad toks veiksmas reikalauja
padidinti pėsčiųjų riziką.
07:59
So to use the sheepavys metaphormetafora,
150
467520
1416
Grįžtant prie avių metaforos,
08:00
it's like we now have electricelektrinis sheepavys
that have a mindprotas of their ownsavo.
151
468960
3616
įsivaizduokite, kad šios avys –
elektrinės ir turi sąmonę.
08:04
(LaughterJuokas)
152
472600
1456
(Juokas.)
08:06
And they mayGegužė go and grazeganosi
even if the farmerūkininkas doesn't know it.
153
474080
3080
Taigi jos eis ir ganysis, net jeigu
jų ūkininkas ir nežino apie tai.
08:10
So this is what we mayGegužė call
the tragedytragedija of the algorithmicalgoritmų commonsbendri,
154
478640
3976
Būtent tai vadiname
algoritmine bendrumo tragedija
08:14
and if offerspasiūlymai newnaujas typestipai of challengesiššūkiai.
155
482640
2360
ir tai kelia naujus iššūkius.
08:22
TypicallyPaprastai, traditionallytradiciškai,
156
490520
1896
Paprastai, tradiciškai
08:24
we solveišspręsk these typestipai
of socialsocialinis dilemmasdilemos usingnaudojant regulationreguliavimas,
157
492440
3336
tokias socialines problemas
sprendžiame nuostatų pagalba.
08:27
so eitherarba governmentsvyriausybės
or communitiesbendruomenės get togetherkartu,
158
495800
2736
Kai vyriausybės ar
bendruomenės susiburia
08:30
and they decidenuspręsti collectivelybendrai
what kindmalonus of outcomerezultatas they want
159
498560
3736
ir kartu nusprendžia,
kokio rezultato siekti
08:34
and what sortrūšiuoti of constraintsapribojimai
on individualindividualus behaviorelgesys
160
502320
2656
ir kokius individualaus
elgesio apribojimus
08:37
they need to implementįgyvendinti.
161
505000
1200
reikėtų pritaikyti.
08:39
And then usingnaudojant monitoringstebėjimas and enforcementvykdymas,
162
507600
2616
Tuomet per stebėjimą ir veiksmus
08:42
they can make sure
that the publicvisuomenė good is preservedkonservuoti.
163
510240
2559
jie gali užtikrinti visuotinį gėrį.
08:45
So why don't we just,
164
513440
1575
Tad kodėl mums, reguliuotojams,
08:47
as regulatorsreguliatoriai,
165
515039
1496
nepareikalavus,
08:48
requirereikalauti that all carsautomobiliai minimizesumažinti iki minimumo harmžala?
166
516559
2897
kad automobiliai sumažintų žalą?
08:51
After all, this is
what people say they want.
167
519480
2240
Juk tai yra būtent tai,
ko žmonės sako, kad nori.
08:55
And more importantlysvarbiausia,
168
523200
1416
Bet svarbiausia,
08:56
I can be sure that as an individualindividualus,
169
524640
3096
tokiu būdu aš, kaip asmuo,
08:59
if I buypirkti a carautomobilis that mayGegužė
sacrificeauka me in a very rareretas caseatvejis,
170
527760
3856
pirkdamas automobilį, kuris paaukos
mane itin retoje situacijoje,
09:03
I'm not the only suckergyvis doing that
171
531640
1656
nebūsiu vienintelis toks nevykėlis,
09:05
while everybodyvisi elseKitas
enjoysmėgsta unconditionalbesąlygiškai protectionapsauga.
172
533320
2680
kol visi kiti mėgausis
besąlygiška apsauga.
09:09
In our surveyapklausa, we did askpaklausk people
whetherar they would supportparama regulationreguliavimas
173
537120
3336
Savo apklausoje,
mes klausėme žmonių, ar jie
palaikytų tokias nuostatas
09:12
and here'sčia yra what we foundrasta.
174
540480
1200
ir štai ką atradome.
09:14
First of all, people
said no to regulationreguliavimas;
175
542360
3760
Visų pirma, žmonės nesutiko
su tokiomis nuostatomis,
09:19
and secondantra, they said,
176
547280
1256
ir antra, jie sakė:
09:20
"Well if you regulatereguliuoti carsautomobiliai to do this
and to minimizesumažinti iki minimumo totališ viso harmžala,
177
548560
3936
„Jeigu jūs reguliuosite automobilių
veiksmus bendrai žalai mažinti,
09:24
I will not buypirkti those carsautomobiliai."
178
552520
1480
aš nepirksiu tokių automobilių.“
09:27
So ironicallyironiškai,
179
555400
1376
Ironiška,
09:28
by regulatingreguliuojant carsautomobiliai to minimizesumažinti iki minimumo harmžala,
180
556800
3496
bet reguliuodami automobilius
bendrai žalai mažinti,
09:32
we mayGegužė actuallyiš tikrųjų endgalas up with more harmžala
181
560320
1840
rezultate galbūt
turėsime daugiau žalos,
09:35
because people mayGegužė not
optpasirinkimas into the safersaugesnis technologytechnologija
182
563040
3656
nes žmonės nesirinks
saugesnės technologijos,
09:38
even if it's much safersaugesnis
than humanžmogus driversvairuotojai.
183
566720
2080
net jeigu ji ir yra kur kas saugesnė
už žmones vairuotojus.
09:42
I don't have the finalgalutinis
answeratsakyti to this riddlemįslė,
184
570360
3416
Aš neturiu galutinio
šios mįslės sprendimo.
09:45
but I think as a startingpradedant pointtaškas,
185
573800
1576
Tačiau manau, kad pirmiausia
09:47
we need societyvisuomenė to come togetherkartu
186
575400
3296
mes, visuomenė, turime susiburti
09:50
to decidenuspręsti what trade-offskompromisai
we are comfortablepatogus with
187
578720
2760
ir nuspręsti, kokius kompromisus
esame pasirengę priimti
09:54
and to come up with waysbūdai
in whichkuris we can enforcevykdomas those trade-offskompromisai.
188
582360
3480
ir surasti būdus, kuriais galėtume
šiuos kompromisus pritaikyti.
09:58
As a startingpradedant pointtaškas,
my brilliantpuikus studentsstudentai,
189
586520
2536
Pirmąjį žingsnį žengė mano
puikūs studentai
10:01
EdmondPrelatas AwadAWAD and SohanARM DsouzaDsouza,
190
589080
2456
Edmond Awad ir Sohan Dsouza
10:03
builtpastatytas the MoralMoralinis MachineMašina websiteInterneto svetainė,
191
591560
1800
sukurdami Moral Machine
(ang. moralinė mašina) tinklapį,
10:06
whichkuris generatesgeneruoja randomatsitiktinis scenariosscenarijai at you --
192
594200
2680
kuris generuoja atsitiktines situacijas,
10:10
basicallyiš esmės a bunchkrūva
of randomatsitiktinis dilemmasdilemos in a sequenceseka
193
598080
2456
tiesiog daugybę
atsitiktinių dilemų paeiliui.
10:12
where you have to choosepasirinkti what
the carautomobilis should do in a givenpateiktas scenarioscenarijus.
194
600560
3920
Ir jūs turite nuspręsti, kaip automobilis
turėtų pasielgti duotoje situacijoje.
10:17
And we varyskirtis the agesamžius and even
the speciesrūšis of the differentskiriasi victimsaukos.
195
605040
4600
Situacijose mes keičiame
aukų amžių ir netgi rūšį.
10:23
So fartoli we'vemes turime collectedsurinkta
over fivepenki millionmln decisionssprendimai
196
611040
3696
Šiuo metu turime surinkę
virš penkių milijonų sprendimų
10:26
by over one millionmln people worldwidevisame pasaulyje
197
614760
2200
iš daugiau nei milijono žmonių
visame pasaulyje,
10:30
from the websiteInterneto svetainė.
198
618400
1200
šio tinklapio dėka.
Ši informacija padeda mums
susidaryti ankstyvą įspūdį
10:32
And this is helpingpadedant us
formforma an earlyanksti picturenuotrauka
199
620360
2416
apie tai, kokius kompromisus
žmonės yra pasirengę priimti,
10:34
of what trade-offskompromisai
people are comfortablepatogus with
200
622800
2616
10:37
and what mattersklausimai to them --
201
625440
1896
ir kas jiems rūpi,
10:39
even acrossvisoje cultureskultūros.
202
627360
1440
visose kultūrose.
10:42
But more importantlysvarbiausia,
203
630240
1496
Tačiau svarbiausia yra tai,
10:43
doing this exercisepratimas
is helpingpadedant people recognizeatpažinti
204
631760
3376
kad toks pratimas padeda žmonėms suvokti
10:47
the difficultysunku of makingpriėmimo those choicespasirinkimai
205
635160
2816
kokie sudėtingi yra šie sprendimai,
10:50
and that the regulatorsreguliatoriai
are taskedpavesta with impossibleneįmanomas choicespasirinkimai.
206
638000
3800
ir kokius neįmanomas užduotis
turi atlikti reguliuotojai.
10:55
And maybe this will help us as a societyvisuomenė
understandsuprasti the kindsrūšys of trade-offskompromisai
207
643360
3576
Galbūt tai padės mums, kaip
visuomenei, suprasti kokie kompromisai
10:58
that will be implementedįgyvendintas
ultimatelygaliausiai in regulationreguliavimas.
208
646960
3056
galiausiai bus pritaikyti realybėje.
11:02
And indeediš tikrųjų, I was very happylaimingas to heargirdėti
209
650040
1736
Nudžiugau išgirdęs,
11:03
that the first setnustatyti of regulationsreglamentai
210
651800
2016
kad į pirmuosius Transporto
departamento išleistus nuostatus,
11:05
that cameatėjo from
the DepartmentDepartamentas of TransportTransporto --
211
653840
2136
paskelbtus praėjusią savaitę,
11:08
announcedpaskelbė last weeksavaitę --
212
656000
1376
buvo įtrauktas ir 15-os
punktų kontrolinis sąrašas,
11:09
includedįskaitant a 15-point-taškas checklistkontrolinis sąrašas
for all carmakersautomobilių gamintojų to providenumatyti,
213
657400
6576
skirtas automobilių gamintojams.
11:16
and numbernumeris 14 was ethicaletiška considerationsvarstymas --
214
664000
3256
14-as punktas jame – etikos klausimas –
11:19
how are you going to dealspręsti with that.
215
667280
1720
kaip ketinate tai spręsti.
Mes taip pat skatiname žmones
pagalvoti apie savo pačių sprendimus
11:23
We alsotaip pat have people
reflectatspindėti on their ownsavo decisionssprendimai
216
671800
2656
11:26
by givingduoti them summariessantraukos
of what they chosepasirinkote.
217
674480
3000
pateikdami jiems jų
pasirinkimų santraukas.
11:30
I'll give you one examplepavyzdys --
218
678440
1656
Duosiu jums vieną pavyzdį.
11:32
I'm just going to warnperspėk you
that this is not your typicaltipiškas examplepavyzdys,
219
680120
3536
Tik įspėju, tai nėra įprastas pavyzdys
ir tai nėra įprastas vartotojas.
11:35
your typicaltipiškas userVartotojas.
220
683680
1376
11:37
This is the mostlabiausiai sacrificedpaaukoti and the mostlabiausiai
savedišsaugotas charactercharakteris for this personasmuo.
221
685080
3616
Tai – šio dalyvio dažniausiai išgelbėtas
ir dažniausiai užmuštas personažai.
11:40
(LaughterJuokas)
222
688720
5200
(Juokas.)
11:46
Some of you mayGegužė agreesutinku with him,
223
694680
1896
Kai kurie jūsų galbūt sutiks su juo
11:48
or her, we don't know.
224
696600
1640
ar ja, mes nežinome.
11:52
But this personasmuo alsotaip pat seemsatrodo to slightlyLengvai
prefernorėčiau passengerskeleiviams over pedestrianspėstiesiems
225
700480
6136
Tačiau šis asmuo savo pasirinkimuose
išreiškia nestiprų polinkį
gelbėti keleivius vietoj pėsčiųjų
11:58
in their choicespasirinkimai
226
706640
2096
12:00
and is very happylaimingas to punishnubausti jaywalkingJaywalking.
227
708760
2816
ir mėgsta bausti einančius per raudoną.
12:03
(LaughterJuokas)
228
711600
3040
(Juokas.)
12:09
So let's wrapapvynioti up.
229
717320
1216
Apibendrinant,
12:10
We startedprasidėjo with the questionklausimas --
let's call it the ethicaletiška dilemmadilema --
230
718559
3416
mes pradėjome klausimu,
pavadinkime tai etikos dilema,
12:14
of what the carautomobilis should do
in a specifickonkretus scenarioscenarijus:
231
722000
3056
ką tam tikroje situacijoje
turėtų daryti automobilis –
12:17
swervemestis or staylikti?
232
725080
1200
keisti kryptį ar ne?
12:19
But then we realizedsupratau
that the problemproblema was a differentskiriasi one.
233
727240
2736
Tačiau tuomet suvokėme,
kad problema yra visai kita.
12:22
It was the problemproblema of how to get
societyvisuomenė to agreesutinku on and enforcevykdomas
234
730000
4536
Tikroji problema – kaip pasiekti
visuomenės susitarimą
ir pritaikyti kompromisus,
kuriems būtume pasirengę.
12:26
the trade-offskompromisai they're comfortablepatogus with.
235
734560
1936
12:28
It's a socialsocialinis dilemmadilema.
236
736520
1256
Tai socialinė dilema.
12:29
In the 1940s, IsaacIzaokas AsimovAsimov
wroteparašė his famousgarsus lawsįstatymai of roboticsrobotų technika --
237
737800
5016
1940-aisiais Isaac Asimov parašė
garsiąsias robotikos taisykles,
12:34
the threetrys lawsįstatymai of roboticsrobotų technika.
238
742840
1320
tris robotikos taisykles.
12:37
A robotrobotas mayGegužė not harmžala a humanžmogus beingesamas,
239
745240
2456
Robotas privalo nekenkti žmogui,
12:39
a robotrobotas mayGegužė not disobeynepaklusti a humanžmogus beingesamas,
240
747720
2536
robotas privalo paklusti žmogui
12:42
and a robotrobotas mayGegužė not allowleisti
itselfpats to come to harmžala --
241
750280
3256
ir robotas privalo apsaugoti
save nuo žalos.
12:45
in this orderįsakymas of importancesvarba.
242
753560
1960
Būtent tokiu svarbos eiliškumu.
12:48
But after 40 yearsmetai or so
243
756360
2136
Tačiau po 40 metų
12:50
and after so manydaug storiesistorijos
pushingstūmimas these lawsįstatymai to the limitriba,
244
758520
3736
ir po daugybės bandymų
pastūmėti šias ribas,
12:54
AsimovAsimov introducedįdiegta the zerothnulinis lawteisė
245
762280
3696
Asimov sukūrė dar vieną, nulinį įstatymą,
12:58
whichkuris takes precedencepirmumo teisė aboveaukščiau all,
246
766000
2256
turintį aukščiausią pirmenybę –
13:00
and it's that a robotrobotas
mayGegužė not harmžala humanityžmonija as a wholevisa.
247
768280
3280
robotas privalo nekenkti
žmonijai kaip visumai.
13:04
I don't know what this meansreiškia
in the contextkontekstas of driverlessbe vairuotojo carsautomobiliai
248
772480
4376
Aš nežinau ką tai reiškia
savieigių automobilių kontekste
13:08
or any specifickonkretus situationsituacija,
249
776880
2736
ar bet kokioje specifinėje situacijoje.
13:11
and I don't know how we can implementįgyvendinti it,
250
779640
2216
Nežinau ir kaip reikėtų tai pritaikyti.
13:13
but I think that by recognizingpripažinimas
251
781880
1536
Tačiau pripažindami,
13:15
that the regulationreguliavimas of driverlessbe vairuotojo carsautomobiliai
is not only a technologicaltechnologinis problemproblema
252
783440
6136
jog savieigių automobilių nustatymai
nėra tik technologinė problema,
13:21
but alsotaip pat a societalvisuomenės cooperationbendradarbiavimas problemproblema,
253
789600
3280
bet taip pat ir socialinės
kooperacijos problema,
13:25
I hopetikiuosi that we can at leastmažiausiai beginprasideda
to askpaklausk the right questionsklausimai.
254
793800
2880
tikiuosi, kad galėsime bent jau
pradėti kelti teisingus klausimus.
13:29
Thank you.
255
797200
1216
Ačiū.
13:30
(ApplausePlojimai)
256
798440
2920
(Plojimai.)

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com