ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

Iyad Rahwan: Welke morele keuzes moet een zelfrijdende auto maken?

Filmed:
1,147,381 views

Moet een zelfrijdende auto jou doden als het daarmee vijf voetgangers kan redden? In deze lezing over de sociale dilemmas van zelfrijdende autos bespreekt Iyad Rahwan hoe technologieën onze morele waardes uitdagen en ligt hij zijn werk,het verzamelen van data over hoe mensen ethische overwegingen maken, toe
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
TodayVandaag I'm going to talk
about technologytechnologie and societymaatschappij.
0
1000
4080
Vandaag ga ik het hebben
over technologie en maatschappij.
00:19
The DepartmentDepartement of TransportVervoer
estimatedgeschatte that last yearjaar
1
7040
3696
Het ministerie van transport
schatte dat afgelopen jaar
35.000 mensen zijn overleden
door verkeersongelukken in de VS.
00:22
35,000 people diedging dood
from trafficverkeer crashesloopt vast in the US alonealleen.
2
10760
4080
00:28
WorldwideWereldwijd, 1.2 millionmiljoen people
diedood gaan everyelk yearjaar in trafficverkeer accidentsongevallen.
3
16040
4800
Wereldwijd overlijden er ieder jaar
1,2 miljoen mensen in verkeersongelukken.
00:33
If there was a way we could eliminateelimineren
90 percentprocent of those accidentsongevallen,
4
21760
4096
Als er een manier was
om 90% van die ongelukken te voorkomen,
00:37
would you supportondersteuning it?
5
25880
1200
zou je er dan vóór zijn?
Natuurlijk ben je daar voor.
00:39
Of courseCursus you would.
6
27720
1296
00:41
This is what driverlesszonder stuurprogramma 's carauto technologytechnologie
promisesbeloften to achievebereiken
7
29040
3655
Dit is wat zelfrijdende auto's
beloven te doen
door de hoofdoorzaak van ongevallen,
menselijke fouten, weg te nemen.
00:44
by eliminatingelimineren the mainhoofd
sourcebron of accidentsongevallen --
8
32720
2816
00:47
humanmenselijk errorfout.
9
35560
1200
00:49
Now pictureafbeelding yourselfjezelf
in a driverlesszonder stuurprogramma 's carauto in the yearjaar 2030,
10
37920
5416
Stel je voor dat je in
een zelfrijdende auto zit, het is 2030,
en je kijkt naar deze
vintage TEDxCambridge video.
00:55
sittingzittend back and watchingkijken
this vintageVintage TEDxCambridgeTEDxCambridge videovideo-.
11
43360
3456
(Gelach)
00:58
(LaughterGelach)
12
46840
2000
01:01
All of a suddenplotseling,
13
49520
1216
Plotseling gaat er iets fout met de auto
en de auto kan niet meer stoppen.
01:02
the carauto experienceservaringen mechanicalmechanisch failuremislukking
and is unableniet in staat to stop.
14
50760
3280
01:07
If the carauto continuesblijft,
15
55360
1520
Als de auto door blijft rijden,
01:09
it will crashneerstorten into a bunchbos
of pedestriansvoetgangers crossingkruispunt the streetstraat,
16
57720
4120
rijdt deze in op een groep voetgangers
die de straat aan het oversteken zijn.
01:15
but the carauto maymei swerveuitwijken,
17
63080
2135
Maar de auto kan uitwijken
en een omstander aanrijden,
01:17
hittingraken one bystanderomstander,
18
65239
1857
wiens dood de redding
van de voetgangers zou betekenen.
01:19
killingdoden them to savebesparen the pedestriansvoetgangers.
19
67120
2080
01:22
What should the carauto do,
and who should decidebesluiten?
20
70040
2600
Wat zou de auto moeten doen
en wie moet dat besluiten?
01:25
What if insteadin plaats daarvan the carauto
could swerveuitwijken into a wallmuur,
21
73520
3536
Wat als de auto in plaats daarvan
kan uitwijken naar een muur,
01:29
crashingcrashen and killingdoden you, the passengerpassagier,
22
77080
3296
waarbij jij dan wel overlijdt,
01:32
in orderbestellen to savebesparen those pedestriansvoetgangers?
23
80400
2320
maar de voetgangers worden gered?
01:35
This scenarioscenario is inspiredgeinspireerd
by the trolleytrolley problemprobleem,
24
83240
3080
Dit scenario is gebaseerd
op 'The trolley problem',
01:38
whichwelke was inventeduitgevonden
by philosophersfilosofen a fewweinig decadestientallen jaren agogeleden
25
86960
3776
bedacht door filosofen
een paar decennium geleden
om te redeneren over ethiek.
01:42
to think about ethicsethiek.
26
90760
1240
01:46
Now, the way we think
about this problemprobleem mattersaangelegenheden.
27
94120
2496
Hoe we over dit probleem
denken, is belangrijk.
01:48
We maymei for examplevoorbeeld
not think about it at all.
28
96640
2616
We kunnen het bijvoorbeeld negeren.
01:51
We maymei say this scenarioscenario is unrealisticonrealistisch,
29
99280
3376
We kunnen zeggen
dat dit scenario onrealistisch,
01:54
incrediblyongelooflijk unlikelyonwaarschijnlijk, or just sillydwaas.
30
102680
2320
onwaarschijnlijk of zelfs flauw is.
01:57
But I think this criticismkritiek
missesmisses the pointpunt
31
105760
2736
Maar ik denk dat
dit soort kritiek het punt mist,
02:00
because it takes
the scenarioscenario too literallyletterlijk.
32
108520
2160
omdat het het scenario
te letterlijk neemt.
Natuurlijk is er geen ongeluk
wat er precies zo uit ziet.
02:03
Of courseCursus no accidentongeval
is going to look like this;
33
111920
2736
02:06
no accidentongeval has two or threedrie optionsopties
34
114680
3336
Er zijn nooit maar twee
of drie mogelijkheden,
waarbij altijd iedereen overlijdt.
02:10
where everybodyiedereen diesoverlijdt somehowhoe dan ook.
35
118040
2000
02:13
InsteadIn plaats daarvan, the carauto is going
to calculateberekenen something
36
121480
2576
In plaats daarvan
gaat de auto iets berekenen.
02:16
like the probabilitywaarschijnlijkheid of hittingraken
a certainzeker groupgroep of people,
37
124080
4896
Bijvoorbeeld, de kans dat hij een
bepaalde groep mensen gaat raken;
02:21
if you swerveuitwijken one directionrichting
versusversus anothereen ander directionrichting,
38
129000
3336
als je naar de ene kant uitwijkt
in plaats van de andere;
02:24
you mightmacht slightlylicht increasetoename the riskrisico
to passengerspassagiers or other driversstuurprogramma 's
39
132360
3456
je kunt het risico van passagiers
of andere bestuurders verhogen
02:27
versusversus pedestriansvoetgangers.
40
135840
1536
tegenover dat van voetgangers.
02:29
It's going to be
a more complexcomplex calculationberekening,
41
137400
2160
De berekening zal complexer zijn.
02:32
but it's still going
to involvebetrekken bij trade-offstrade-offs,
42
140480
2520
Maar er zullen afwegingen
gemaakt moeten worden.
02:35
and trade-offstrade-offs oftenvaak requirevereisen ethicsethiek.
43
143840
2880
En afwegingen vereisen vaak
ethische overwegingen.
We kunnen ervoor kiezen
om ons er geen zorgen over te maken.
02:39
We mightmacht say then,
"Well, let's not worryzorgen about this.
44
147840
2736
02:42
Let's wait untiltot technologytechnologie
is fullygeheel readyklaar and 100 percentprocent safeveilig."
45
150600
4640
Wacht gewoon tot de technologie
helemaal klaar en 100% veilig is.
02:48
SupposeStel dat that we can indeedinderdaad
eliminateelimineren 90 percentprocent of those accidentsongevallen,
46
156520
3680
Stel dat we daadwerkelijk 90%
van de ongelukken kunnen voorkomen,
02:53
or even 99 percentprocent in the nextvolgende 10 yearsjaar.
47
161080
2840
of zelfs 99%, in de komende 10 jaar.
02:56
What if eliminatingelimineren
the last one percentprocent of accidentsongevallen
48
164920
3176
Wat als het voorkomen van die laatste 1%
03:00
requiresvereist 50 more yearsjaar of researchOnderzoek?
49
168120
3120
ons 50 jaar extra onderzoek kost?
Moeten we de technologie dan negeren?
03:04
Should we not adoptadopteren the technologytechnologie?
50
172400
1800
03:06
That's 60 millionmiljoen people
deaddood in carauto accidentsongevallen
51
174720
4776
Dat betekent dat er 60 miljoen mensen
overlijden in auto-ongelukken,
gegeven de huidige trend.
03:11
if we maintainin stand houden the currentactueel ratetarief.
52
179520
1760
03:14
So the pointpunt is,
53
182760
1216
Het punt is,
03:16
waitingaan het wachten for fullvol safetyveiligheid is alsoook a choicekeuze,
54
184000
3616
wachten op veiligheid is ook een keuze
03:19
and it alsoook involvesimpliceert trade-offstrade-offs.
55
187640
2160
en heeft ook ethische afwegingen.
03:23
People onlineonline on socialsociaal mediamedia
have been comingkomt eraan up with all sortssoorten of waysmanieren
56
191560
4336
Mensen, online en op social media,
hebben allerlei manieren bedacht
om niet stil te hoeven staan
bij dit probleem.
03:27
to not think about this problemprobleem.
57
195920
2016
03:29
One personpersoon suggestedgesuggereerd
the carauto should just swerveuitwijken somehowhoe dan ook
58
197960
3216
Iemand stelde voor:
"De auto moet op de een of andere manier
tussen de passagiers en de voetgangers
03:33
in betweentussen the passengerspassagiers --
59
201200
2136
03:35
(LaughterGelach)
60
203360
1016
(Gelach)
door rijden."
03:36
and the bystanderomstander.
61
204400
1256
03:37
Of courseCursus if that's what the carauto can do,
that's what the carauto should do.
62
205680
3360
Natuurlijk moet de auto
dat doen als dat mogelijk is.
03:41
We're interestedgeïnteresseerd in scenariosscenario's
in whichwelke this is not possiblemogelijk.
63
209920
2840
Onze focus ligt op de scenarios
waar dit niet mogelijk is.
03:45
And my personalpersoonlijk favoritefavoriete
was a suggestionsuggestie by a bloggerblogger
64
213280
5416
Mijn persoonlijke favoriet was
een suggestie van een blogger,
03:50
to have an ejectuitwerpen buttonknop in the carauto
that you presspers --
65
218720
3016
om een schietstoel in de auto
te hebben die afgaat --
03:53
(LaughterGelach)
66
221760
1216
(Gelach)
net voor de auto botst.
03:55
just before the carauto self-destructsSelf-destructs.
67
223000
1667
(Gelach)
03:56
(LaughterGelach)
68
224691
1680
03:59
So if we acknowledgeerkennen that carsauto's
will have to make trade-offstrade-offs on the roadweg,
69
227840
5200
Als we erkennen dat auto's
afwegingen moeten maken op de weg,
04:06
how do we think about those trade-offstrade-offs,
70
234200
1880
hoe denken we over die overwegingen
04:09
and how do we decidebesluiten?
71
237320
1576
en hoe nemen we die beslissing.
Misschien moeten we een enquête houden
om te bepalen wat men wil,
04:10
Well, maybe we should runrennen a surveyenquête
to find out what societymaatschappij wants,
72
238920
3136
04:14
because ultimatelytenslotte,
73
242080
1456
want uiteindelijk zijn regels en wetten
04:15
regulationsreglement and the lawwet
are a reflectionreflectie of societalmaatschappelijke valueswaarden.
74
243560
3960
een afspiegeling
van maatschappelijke waarden.
04:20
So this is what we did.
75
248040
1240
Dus deden we dat.
04:21
With my collaboratorsmedewerkers,
76
249880
1616
Met mijn collega's,
04:23
Jean-FranJean-FrançoisOIS BonnefonBonnefon and AzimAzim ShariffShariff,
77
251520
2336
Jean-François Bonnefon en Azim Shariff,
04:25
we ranrende a surveyenquête
78
253880
1616
hielden we een enquête
04:27
in whichwelke we presentedgepresenteerd people
with these typestypes of scenariosscenario's.
79
255520
2855
waarin we mensen
dit soort scenario's voorlegden.
04:30
We gavegaf them two optionsopties
inspiredgeinspireerd by two philosophersfilosofen:
80
258399
3777
We gaven mensen twee opties
geïnspireerd door twee filosofen:
04:34
JeremyJeremy BenthamBentham and ImmanuelImmanuel KantKant.
81
262200
2640
Jeremy Bentham en Immanuel Kant.
04:37
BenthamBentham sayszegt the carauto
should followvolgen utilitarianutilitaire ethicsethiek:
82
265600
3096
Bentham zegt dat de auto
utilitaristisch moet handelen:
04:40
it should take the actionactie
that will minimizeverkleinen totaltotaal harmkwaad --
83
268720
3416
de auto moet dát doen
wat het minste letsel veroorzaakt.
04:44
even if that actionactie will killdoden a bystanderomstander
84
272160
2816
Zelfs als dat betekent
dat er een omstander overlijdt
en zelfs als dat betekent
dat de passagier overlijdt.
04:47
and even if that actionactie
will killdoden the passengerpassagier.
85
275000
2440
04:50
ImmanuelImmanuel KantKant sayszegt the carauto
should followvolgen duty-boundplicht principlesprincipes,
86
278120
4976
Immanuel Kant zegt dat de auto
plichtgebonden moet handelen,
04:55
like "ThouGij shaltzult not killdoden."
87
283120
1560
zoals in 'gij zult niet doden'.
04:57
So you should not take an actionactie
that explicitlyuitdrukkelijk harmsHarms a humanmenselijk beingwezen,
88
285480
4456
Hij mag dus niets doen
wat expliciet iemand letsel toebrengt
05:01
and you should let the carauto take its courseCursus
89
289960
2456
en de auto moet niet
van richting veranderen,
05:04
even if that's going to harmkwaad more people.
90
292440
1960
zelfs als dat meer letsel veroorzaakt.
05:07
What do you think?
91
295640
1200
Wat denk jij?
05:09
BenthamBentham or KantKant?
92
297360
1520
Bentham of Kant?
Dit is wat wij vonden.
05:11
Here'sHier is what we foundgevonden.
93
299760
1256
05:13
MostDe meeste people sideddubbelzijdig with BenthamBentham.
94
301040
1800
De meeste mensen kozen voor Bentham.
05:16
So it seemslijkt that people
want carsauto's to be utilitarianutilitaire,
95
304160
3776
Het lijkt dus dat mensen
utilitaire auto's willen,
letsel willen voorkomen,
05:19
minimizeverkleinen totaltotaal harmkwaad,
96
307960
1416
05:21
and that's what we should all do.
97
309400
1576
en dat iedereen dat zo moet doen.
05:23
ProblemProbleem solvedopgelost.
98
311000
1200
Probleem opgelost.
05:25
But there is a little catchvangst.
99
313240
1480
Maar er is één klein probleem.
05:27
When we askedgevraagd people
whetherof they would purchaseaankoop suchzodanig carsauto's,
100
315920
3736
Toen we vroegen of mensen
zo'n auto zouden kopen,
05:31
they said, "AbsolutelyAbsoluut not."
101
319680
1616
zeiden ze: "Natuurlijk niet."
05:33
(LaughterGelach)
102
321320
2296
(Gelach)
05:35
They would like to buykopen carsauto's
that protectbeschermen them at all costskosten,
103
323640
3896
Men koopt graag een auto
die hen te allen tijde beschermt,
05:39
but they want everybodyiedereen elseanders
to buykopen carsauto's that minimizeverkleinen harmkwaad.
104
327560
3616
maar wil dat de rest een auto koopt
die de totale schade vermindert.
05:43
(LaughterGelach)
105
331200
2520
(Gelach)
05:46
We'veWe hebben seengezien this problemprobleem before.
106
334720
1856
Dit is een bekent probleem
05:48
It's calledriep a socialsociaal dilemmadilemma.
107
336600
1560
en het heet een sociaal dilemma.
En om dit sociale dilemma te begrijpen,
05:51
And to understandbegrijpen the socialsociaal dilemmadilemma,
108
339160
1816
05:53
we have to go a little bitbeetje
back in historygeschiedenis.
109
341000
2040
moeten we naar het verleden kijken.
05:56
In the 1800s,
110
344000
2576
In de 18de eeuw
05:58
EnglishEngels economisteconoom WilliamWilliam ForsterForster LloydLloyd
publishedgepubliceerd a pamphletpamflet
111
346600
3736
publiceerde de Engelse econoom
William Forster Lloyd een pamflet
06:02
whichwelke describesbeschrijft the followingvolgend scenarioscenario.
112
350360
2216
waarin het volgende scenario
werd beschreven.
06:04
You have a groupgroep of farmersboeren --
113
352600
1656
Er is een groep boeren --
06:06
EnglishEngels farmersboeren --
114
354280
1336
Engelse boeren --
06:07
who are sharingdelen a commongemeenschappelijk landland-
for theirhun sheepschapen to grazegrazen.
115
355640
2680
die een stuk land delen
om hun schapen te laten grazen.
06:11
Now, if eachelk farmerboer
bringsbrengt a certainzeker numberaantal of sheepschapen --
116
359520
2576
Als iedere boer een bepaald
aantal schapen heeft --
06:14
let's say threedrie sheepschapen --
117
362120
1496
laten we zeggen drie --
06:15
the landland- will be rejuvenatedverjongd,
118
363640
2096
dan blijft het land goed
06:17
the farmersboeren are happygelukkig,
119
365760
1216
en zijn de boeren en de schapen gelukkig.
06:19
the sheepschapen are happygelukkig,
120
367000
1616
06:20
everything is good.
121
368640
1200
Alles is goed.
06:22
Now, if one farmerboer bringsbrengt one extraextra sheepschapen,
122
370440
2520
Als een boer een extra
schaap introduceert,
06:25
that farmerboer will do slightlylicht better,
and no one elseanders will be harmedgeschaad.
123
373800
4720
dan heeft die boer het iets beter
en daar heeft niemand last van.
06:31
But if everyelk farmerboer madegemaakt
that individuallyindividueel rationalrationeel decisionbesluit,
124
379160
3640
Maar als iedere boer
die individueel rationele keuze maakt,
06:35
the landland- will be overrunBufferoverloop,
and it will be depleteduitgeput
125
383840
2720
wordt het land overbegrazen
en is het niet meer bruikbaar.
06:39
to the detrimentschade of all the farmersboeren,
126
387360
2176
Ten nadele van alle boeren
06:41
and of courseCursus,
to the detrimentschade of the sheepschapen.
127
389560
2120
en natuurlijk de schapen.
06:44
We see this problemprobleem in manyveel placesplaatsen:
128
392720
3680
Dit is een probleem wat veel voorkomt:
06:49
in the difficultymoeilijkheid of managingbeheren overfishingoverbevissing,
129
397080
3176
bij het beleid van overbevissing,
06:52
or in reducingvermindering carbonkoolstof emissionsemissies
to mitigateverzachten climateklimaat changeverandering.
130
400280
4560
of CO2-uitstoot verminderen
om klimaatverandering tegen te gaan.
06:59
When it comeskomt to the regulationregulatie
of driverlesszonder stuurprogramma 's carsauto's,
131
407160
2920
Als het gaat over het reguleren
van autonome voertuigen
07:03
the commongemeenschappelijk landland- now
is basicallyeigenlijk publicopenbaar safetyveiligheid --
132
411080
4336
kan veiligheid worden gezien
als het gedeelde land van de boeren --
dat is het algemeen goed --
07:07
that's the commongemeenschappelijk good --
133
415440
1240
07:09
and the farmersboeren are the passengerspassagiers
134
417400
1976
en de boeren zijn de passagiers
07:11
or the carauto ownerseigenaren who are choosingkiezen
to riderijden in those carsauto's.
135
419400
3600
of de eigenaren van die auto's
die ervoor kiezen er in te rijden.
07:16
And by makingmaking the individuallyindividueel
rationalrationeel choicekeuze
136
424960
2616
En door de individueel
rationele keuze te maken,
07:19
of prioritizingprioriteiten stellen theirhun owneigen safetyveiligheid,
137
427600
2816
het prioriteren van de eigen veiligheid,
07:22
they maymei collectivelycollectief be
diminishingvermindering the commongemeenschappelijk good,
138
430440
3136
zorgt iedereen ervoor
dat het algemeen goed afneemt,
07:25
whichwelke is minimizingminimaliseren totaltotaal harmkwaad.
139
433600
2200
wat het verminderen
van het totale letsel is.
07:30
It's calledriep the tragedytragedie of the commonsburgerij,
140
438320
2136
Dit heet de tragedie van de meent,
07:32
traditionallyoudsher,
141
440480
1296
van oudsher,
07:33
but I think in the casegeval
of driverlesszonder stuurprogramma 's carsauto's,
142
441800
3096
maar in de context van zelfrijdende auto's
07:36
the problemprobleem maymei be
a little bitbeetje more insidiousverraderlijke
143
444920
2856
is het probleem
misschien wat verraderlijk,
07:39
because there is not necessarilynodig
an individualindividu humanmenselijk beingwezen
144
447800
3496
want er is niet perse
een menselijk individu
07:43
makingmaking those decisionsbeslissingen.
145
451320
1696
dat de beslissingen neemt.
07:45
So carauto manufacturersfabrikanten
maymei simplyeenvoudigweg programprogramma carsauto's
146
453040
3296
En dus kunnen autofabrikanten
auto's zo programmeren
07:48
that will maximizemaximaliseren safetyveiligheid
for theirhun clientsclients,
147
456360
2520
dat ze de veiligheid
van hun klanten maximaliseren,
07:52
and those carsauto's maymei learnleren
automaticallyautomatisch on theirhun owneigen
148
460080
2976
en dit soort auto's leren
automatisch en zelfstandig
07:55
that doing so requiresvereist slightlylicht
increasingtoenemend riskrisico for pedestriansvoetgangers.
149
463080
3520
dat dit vereist dat voetgangers
meer risico lopen.
07:59
So to use the sheepschapen metaphormetafoor,
150
467520
1416
Dus in het schaapmetafoor:
we hebben nu elektrische schapen
die zelf kunnen denken.
08:00
it's like we now have electricelektrisch sheepschapen
that have a mindgeest of theirhun owneigen.
151
468960
3616
08:04
(LaughterGelach)
152
472600
1456
(Gelach)
08:06
And they maymei go and grazegrazen
even if the farmerboer doesn't know it.
153
474080
3080
En die kunnen gaan grazen
zonder dat de boer het weet.
08:10
So this is what we maymei call
the tragedytragedie of the algorithmicalgoritmische commonsburgerij,
154
478640
3976
Dit kunnen we 'de tragedie
van de algoritmische meent' noemen.
08:14
and if offersaanbiedingen newnieuwe typestypes of challengesuitdagingen.
155
482640
2360
En het brengt nieuwe
uitdagingen met zich mee.
08:22
TypicallyMeestal, traditionallyoudsher,
156
490520
1896
Normaal gesproken, traditioneel,
08:24
we solveoplossen these typestypes
of socialsociaal dilemmasdilemma's usinggebruik makend van regulationregulatie,
157
492440
3336
lossen we dit soort
sociale dilemmas op met regulaties,
08:27
so eithereen van beide governmentsoverheden
or communitiesgemeenschappen get togethersamen,
158
495800
2736
dus overheden of
gemeenschappen komen samen
08:30
and they decidebesluiten collectivelycollectief
what kindsoort of outcomeresultaat they want
159
498560
3736
en beslissen samen
wat voor uitkomst men wil
08:34
and what sortsoort of constraintsbeperkingen
on individualindividu behaviorgedrag
160
502320
2656
en wat voor limitaties
op individueel vlak daarvoor nodig zijn.
08:37
they need to implementuitvoeren.
161
505000
1200
08:39
And then usinggebruik makend van monitoringtoezicht houden and enforcementhandhaving,
162
507600
2616
En dan, door middel van
monitoring en handhaving,
08:42
they can make sure
that the publicopenbaar good is preservedbewaard.
163
510240
2559
zorgen ze ervoor dat het
publieke goed beschermd wordt.
08:45
So why don't we just,
164
513440
1575
Dus waarom vragen we regelgevers niet
08:47
as regulatorsregelgevers,
165
515039
1496
08:48
requirevereisen that all carsauto's minimizeverkleinen harmkwaad?
166
516559
2897
om te vereisen dat alle auto's
letsel verminderen.
08:51
After all, this is
what people say they want.
167
519480
2240
Uiteindelijk zegt men dat te willen.
08:55
And more importantlybelangrijker,
168
523200
1416
En nog belangrijker,
08:56
I can be sure that as an individualindividu,
169
524640
3096
als individu ben ik zeker dat,
08:59
if I buykopen a carauto that maymei
sacrificeoffer me in a very rarezeldzaam casegeval,
170
527760
3856
indien mijn auto mij opoffert
in een buitengewoon scenario,
09:03
I'm not the only suckerZuignap doing that
171
531640
1656
ik niet de enige ben die dat doet en dat
anderen ongelimiteerd beschermd worden.
09:05
while everybodyiedereen elseanders
enjoysGeniet van unconditionalonvoorwaardelijke protectionbescherming.
172
533320
2680
09:09
In our surveyenquête, we did askvragen people
whetherof they would supportondersteuning regulationregulatie
173
537120
3336
In onze enquête vroegen we mensen
of ze regulatie zouden steunen
en dit is waar we achter kwamen.
09:12
and here'shier is what we foundgevonden.
174
540480
1200
09:14
First of all, people
said no to regulationregulatie;
175
542360
3760
Ten eerste, mensen
zeiden nee tegen regulatie.
09:19
and secondtweede, they said,
176
547280
1256
En ten tweede zegt men:
09:20
"Well if you regulateregelen carsauto's to do this
and to minimizeverkleinen totaltotaal harmkwaad,
177
548560
3936
"Als je wel de auto's reguleert
om letsel te verminderen,
09:24
I will not buykopen those carsauto's."
178
552520
1480
dan koop ik die autos niet."
09:27
So ironicallyironisch,
179
555400
1376
Ironisch:
09:28
by regulatingregulering van de carsauto's to minimizeverkleinen harmkwaad,
180
556800
3496
door auto's te reguleren
om letsel te verminderen,
09:32
we maymei actuallywerkelijk endeinde up with more harmkwaad
181
560320
1840
eindigen we misschien met meer letsel.
09:35
because people maymei not
optopteren into the saferveiliger technologytechnologie
182
563040
3656
Want mensen kiezen dan niet
voor de veiligere technologie,
09:38
even if it's much saferveiliger
than humanmenselijk driversstuurprogramma 's.
183
566720
2080
zelfs als die veel veiliger is dan mensen.
09:42
I don't have the finallaatste
answerantwoord to this riddleraadsel,
184
570360
3416
Ik heb niet de oplossing
voor dit probleem,
09:45
but I think as a startingbeginnend pointpunt,
185
573800
1576
maar ik denk dat om te beginnen
09:47
we need societymaatschappij to come togethersamen
186
575400
3296
de maatschappij samen moet komen
09:50
to decidebesluiten what trade-offstrade-offs
we are comfortablecomfortabel with
187
578720
2760
om te besluiten met welke trade-offs
we comfortabel zijn,
09:54
and to come up with waysmanieren
in whichwelke we can enforceafdwingen those trade-offstrade-offs.
188
582360
3480
en om manieren te bedenken
waarop we die kunnen afdwingen.
09:58
As a startingbeginnend pointpunt,
my brilliantbriljant studentsstudenten,
189
586520
2536
Dus als een startpunt
hebben mijn briljante studenten
10:01
EdmondEdmond AwadAwad and SohanSohan DsouzaDsouza,
190
589080
2456
Edmond Awad en Sohan Dsouza
10:03
builtgebouwd the MoralMorele MachineMachine websitewebsite,
191
591560
1800
de Morele Machine website gebouwd,
10:06
whichwelke generatesgenereert randomwillekeurig scenariosscenario's at you --
192
594200
2680
die random scenarios voor je maakt --
10:10
basicallyeigenlijk a bunchbos
of randomwillekeurig dilemmasdilemma's in a sequencevolgorde
193
598080
2456
simpelweg een hoop
random dilemma's op een rij
10:12
where you have to chooseKiezen what
the carauto should do in a givengegeven scenarioscenario.
194
600560
3920
waarbij jij moet kiezen wat de auto
moet doen in dat scenario.
10:17
And we varyvariëren the agesleeftijden and even
the speciessoorten of the differentverschillend victimsslachtoffers.
195
605040
4600
Hierbij variëren de leeftijden
en zelfs de diersoort van de slachtoffers.
10:23
So farver we'vewij hebben collectedverzamelde
over fivevijf millionmiljoen decisionsbeslissingen
196
611040
3696
Tot nu toe hebben we meer
dan vijf miljoen beslissingen verzameld,
10:26
by over one millionmiljoen people worldwidewereldwijd
197
614760
2200
door meer dan een miljoen mensen,
10:30
from the websitewebsite.
198
618400
1200
via de website.
10:32
And this is helpinghelpen us
formformulier an earlyvroeg pictureafbeelding
199
620360
2416
Dit helpt ons een beeld te schetsen
10:34
of what trade-offstrade-offs
people are comfortablecomfortabel with
200
622800
2616
van het soort trade-offs
waar men comfortabel mee is
10:37
and what mattersaangelegenheden to them --
201
625440
1896
en wat voor hen belangrijk is --
10:39
even acrossaan de overkant culturesculturen.
202
627360
1440
zelfs voor verschillende culturen.
10:42
But more importantlybelangrijker,
203
630240
1496
Maar nog belangrijker,
10:43
doing this exerciseoefening
is helpinghelpen people recognizeherken
204
631760
3376
door dit te doen herkennen mensen
10:47
the difficultymoeilijkheid of makingmaking those choiceskeuzes
205
635160
2816
hoe lastig het is
om dit soort keuzes te maken
10:50
and that the regulatorsregelgevers
are taskedbelast with impossibleonmogelijk choiceskeuzes.
206
638000
3800
en dat regelgevers de taak hebben
om onmogelijke keuzes te maken.
10:55
And maybe this will help us as a societymaatschappij
understandbegrijpen the kindssoorten of trade-offstrade-offs
207
643360
3576
En misschien helpt dit ons
om verschillende trade-offs te begrijpen
10:58
that will be implementedgeïmplementeerd
ultimatelytenslotte in regulationregulatie.
208
646960
3056
die geïmplementeerd
zullen worden in regulaties.
11:02
And indeedinderdaad, I was very happygelukkig to hearhoren
209
650040
1736
En ik was dan ook blij om te horen
11:03
that the first setreeks of regulationsreglement
210
651800
2016
dat de eerste regulaties
11:05
that camekwam from
the DepartmentDepartement of TransportVervoer --
211
653840
2136
van het ministerie van transport --
11:08
announcedaangekondigd last weekweek --
212
656000
1376
vorige week aangekondigd --
11:09
includedingesloten a 15-point-Wijs checklistControlelijst
for all carmakersautofabrikanten to providevoorzien,
213
657400
6576
een 15-punts checklist
voor alle autofabrikanten bevatten,
en nummer 14 was ethische overwegingen --
11:16
and numberaantal 14 was ethicalethisch considerationoverweging --
214
664000
3256
hoe ben je van plan dit te implementeren?
11:19
how are you going to dealtransactie with that.
215
667280
1720
We vragen ook te reflecteren
op de eigen beslissingen
11:23
We alsoook have people
reflectreflecteren on theirhun owneigen decisionsbeslissingen
216
671800
2656
11:26
by givinggeven them summariessamenvattingen
of what they chosekoos.
217
674480
3000
door men een samenvatting
te geven van hun keuzes.
11:30
I'll give you one examplevoorbeeld --
218
678440
1656
Ik zal een voorbeeld geven --
11:32
I'm just going to warnwaarschuwen you
that this is not your typicaltypisch examplevoorbeeld,
219
680120
3536
en ik waarschuw dat dit niet
een typisch voorbeeld is
11:35
your typicaltypisch usergebruiker.
220
683680
1376
van een typische gebruiker.
Dit zijn de figuren die het meest
opgeofferd and gered zijn door de persoon.
11:37
This is the mostmeest sacrificedopgeofferd and the mostmeest
savedgered characterkarakter for this personpersoon.
221
685080
3616
11:40
(LaughterGelach)
222
688720
5200
(Gelach)
11:46
Some of you maymei agreemee eens with him,
223
694680
1896
Misschien ben je het met hem eens,
11:48
or her, we don't know.
224
696600
1640
of haar, dat weten we niet.
11:52
But this personpersoon alsoook seemslijkt to slightlylicht
preferverkiezen passengerspassagiers over pedestriansvoetgangers
225
700480
6136
Maar deze persoon lijkt een voorkeur te
hebben voor passagiers boven voetgangers
11:58
in theirhun choiceskeuzes
226
706640
2096
in de keuzes
12:00
and is very happygelukkig to punishstraffen jaywalkingJaywalking.
227
708760
2816
en straft gevaarlijk oversteken af.
12:03
(LaughterGelach)
228
711600
3040
(Gelach)
12:09
So let's wrapinpakken up.
229
717320
1216
Om af te ronden.
We begonnen met de vraag --
noem 't het ethisch dilemma --
12:10
We startedbegonnen with the questionvraag --
let's call it the ethicalethisch dilemmadilemma --
230
718559
3416
12:14
of what the carauto should do
in a specificspecifiek scenarioscenario:
231
722000
3056
wat moet een auto doen
in een bepaald scenario:
12:17
swerveuitwijken or stayverblijf?
232
725080
1200
uitwijken of doorrijden?
Toen realiseerden we ons
dat het om een ander probleem ging.
12:19
But then we realizedrealiseerde
that the problemprobleem was a differentverschillend one.
233
727240
2736
12:22
It was the problemprobleem of how to get
societymaatschappij to agreemee eens on and enforceafdwingen
234
730000
4536
Namelijk: de gemeenschap zal het eens
moeten worden over wat ze wil
en dit ook gaan afdwingen.
12:26
the trade-offstrade-offs they're comfortablecomfortabel with.
235
734560
1936
Het is een sociaal dilemma.
12:28
It's a socialsociaal dilemmadilemma.
236
736520
1256
12:29
In the 1940s, IsaacIsaac AsimovAsimov
wroteschreef his famousberoemd lawswetten of roboticsRobotica --
237
737800
5016
In de jaren 40 schreef Isaac Asimov
zijn bekende wetten van robotica,
de drie wetten van de robotica.
12:34
the threedrie lawswetten of roboticsRobotica.
238
742840
1320
12:37
A robotrobot maymei not harmkwaad a humanmenselijk beingwezen,
239
745240
2456
Een robot mag niet
een mens letsel toebrengen;
12:39
a robotrobot maymei not disobeyongehoorzaam a humanmenselijk beingwezen,
240
747720
2536
een robot moet mensen gehoorzamen;
12:42
and a robotrobot maymei not allowtoestaan
itselfzelf to come to harmkwaad --
241
750280
3256
een robot mag zichzelf
niet laten beschadigen.
12:45
in this orderbestellen of importancebelang.
242
753560
1960
In afnemende mate van belangrijkheid.
12:48
But after 40 yearsjaar or so
243
756360
2136
Maar na ongeveer 40 jaar
12:50
and after so manyveel storiesverhalen
pushingduwen these lawswetten to the limitbegrenzing,
244
758520
3736
en na zoveel verhalen
die deze wetten hebben beproefd,
12:54
AsimovAsimov introducedintroduceerde the zerothnulde lawwet
245
762280
3696
introduceerde Asimov de nulde wet,
12:58
whichwelke takes precedencevoorrang abovebovenstaand all,
246
766000
2256
die belangrijker is dan alle andere.
Deze zegt dat een robot niet de mensheid
als geheel letsel mag toebrengen.
13:00
and it's that a robotrobot
maymei not harmkwaad humanityde mensheid as a wholegeheel.
247
768280
3280
13:04
I don't know what this meansmiddelen
in the contextcontext of driverlesszonder stuurprogramma 's carsauto's
248
772480
4376
Ik weet niet wat dit betekent
in de context van zelfrijdende auto's
13:08
or any specificspecifiek situationsituatie,
249
776880
2736
of welke specifieke situatie dan ook.
En ik weet niet hoe we
het kunnen implementeren,
13:11
and I don't know how we can implementuitvoeren it,
250
779640
2216
13:13
but I think that by recognizingherkennen
251
781880
1536
maar ik hoop dat door te erkennen
13:15
that the regulationregulatie of driverlesszonder stuurprogramma 's carsauto's
is not only a technologicaltechnologisch problemprobleem
252
783440
6136
dat de regulatie van zelfrijdende auto's
niet alleen een technisch probleem is,
13:21
but alsoook a societalmaatschappelijke cooperationsamenwerking problemprobleem,
253
789600
3280
maar ook een sociaal-economisch probleem,
13:25
I hopehoop that we can at leastminst beginbeginnen
to askvragen the right questionsvragen.
254
793800
2880
we op zijn minst de juiste vragen
kunnen beginnen te stellen.
13:29
Thank you.
255
797200
1216
Dank u zeer.
13:30
(ApplauseApplaus)
256
798440
2920
(Applaus)
Translated by Eric Cornelissen
Reviewed by Peter Van de Ven

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com