ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

Ияд Рахван: Какие этические решения должен принимать беспилотный автомобиль?

Filmed:
1,147,381 views

Должен ли ваш беспилотный автомобиль пожертвовать вами, если таким образом он спасёт пятерых пешеходов? В этой беседе о социальных дилеммах использования беспилотных автомобилей Ияд Рахван разбирает, как технологии заставят нас пересмотреть наши моральные принципы, а также говорит о своём исследовании о реальных людях, готовых (или не очень) принимать этически компромиссные решения.
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
TodayCегодня I'm going to talk
about technologyтехнологии and societyобщество.
0
1000
4080
Сегодня я поговорю
о технологиях и обществе.
00:19
The Departmentотдел of TransportТранспорт
estimatedпо оценкам that last yearгод
1
7040
3696
Министерство транспорта
подсчитало, что в прошлом году
00:22
35,000 people diedумер
from trafficтрафик crashesсбой in the US aloneв одиночестве.
2
10760
4080
35 000 человек погибло
в автомобильных авариях в США.
00:28
WorldwideМировой, 1.2 millionмиллиона people
dieумереть everyкаждый yearгод in trafficтрафик accidentsнесчастные случаи.
3
16040
4800
В мире 1,2 миллиона человек
погибает в авариях ежегодно.
00:33
If there was a way we could eliminateУстранить
90 percentпроцент of those accidentsнесчастные случаи,
4
21760
4096
Если бы была инициатива
сократить эту цифру на 90%,
00:37
would you supportподдержка it?
5
25880
1200
вы бы её поддержали?
00:39
Of courseкурс you would.
6
27720
1296
Конечно же да.
00:41
This is what driverlessнеуправляемый carавтомобиль technologyтехнологии
promisesобещания to achieveдостигать
7
29040
3655
Технология беспилотных
автомобилей обещает это
00:44
by eliminatingуничтожение the mainглавный
sourceисточник of accidentsнесчастные случаи --
8
32720
2816
за счёт исключения
основной причины аварий —
00:47
humanчеловек errorошибка.
9
35560
1200
человеческой ошибки.
00:49
Now pictureкартина yourselfсам
in a driverlessнеуправляемый carавтомобиль in the yearгод 2030,
10
37920
5416
Представьте, что вы
в беспилотной машине в 2030 году —
00:55
sittingсидящий back and watchingнаблюдение
this vintageмарочный TEDxCambridgeTEDxCambridge videoвидео.
11
43360
3456
смотрите этот винтажный ролик
TEDxCambridge.
00:58
(LaughterСмех)
12
46840
2000
(Смех)
01:01
All of a suddenвнезапно,
13
49520
1216
Как вдруг
01:02
the carавтомобиль experiencesопыт mechanicalмеханический failureотказ
and is unableне в состоянии to stop.
14
50760
3280
происходит поломка
и машина не может затормозить.
01:07
If the carавтомобиль continuesпродолжается,
15
55360
1520
Если машина продолжит движение,
01:09
it will crashавария into a bunchгроздь
of pedestriansпешеходы crossingскрещивание the streetулица,
16
57720
4120
она врежется в пешеходов,
переходящих дорогу.
01:15
but the carавтомобиль mayмай swerveсворачивать,
17
63080
2135
Но машина может повернуть
01:17
hittingударять one bystanderсвидетель,
18
65239
1857
и сбить прохожего,
01:19
killingубийство them to saveспасти the pedestriansпешеходы.
19
67120
2080
убив его и сохранив жизнь
других пешеходов.
01:22
What should the carавтомобиль do,
and who should decideпринимать решение?
20
70040
2600
Что должна сделать машина,
и кто это решает?
01:25
What if insteadвместо the carавтомобиль
could swerveсворачивать into a wallстена,
21
73520
3536
А что, если машина врежется в стену,
01:29
crashingгрохот and killingубийство you, the passengerпассажир,
22
77080
3296
убив тебя, пассажира,
01:32
in orderзаказ to saveспасти those pedestriansпешеходы?
23
80400
2320
чтобы спасти этих пешеходов?
01:35
This scenarioсценарий is inspiredвдохновенный
by the trolleyтележка problemпроблема,
24
83240
3080
Этот сценарий был вдохновлён
«Проблемой вагонетки» —
01:38
whichкоторый was inventedизобрел
by philosophersфилософы a fewмало decadesдесятилетия agoтому назад
25
86960
3776
она была придумана философами
несколько десятилетий назад
01:42
to think about ethicsэтика.
26
90760
1240
с целью поразмышлять об этике.
01:46
Now, the way we think
about this problemпроблема mattersвопросы.
27
94120
2496
Важно, как мы решаем
этот этический вопрос.
01:48
We mayмай for exampleпример
not think about it at all.
28
96640
2616
Мы можем, например,
вообще об этом не задумываться.
01:51
We mayмай say this scenarioсценарий is unrealisticнереально,
29
99280
3376
Можно сказать, что сценарий
не реалистичен,
01:54
incrediblyневероятно unlikelyвряд ли, or just sillyглупый.
30
102680
2320
маловероятен и глуп.
01:57
But I think this criticismкритика
missesпромахов the pointточка
31
105760
2736
Я думаю, что такая критика
упускает главное
02:00
because it takes
the scenarioсценарий too literallyбуквально.
32
108520
2160
из-за того, что смотрит
на проблему слишком буквально.
02:03
Of courseкурс no accidentавария
is going to look like this;
33
111920
2736
Конечно, авария будет выглядеть иначе,
02:06
no accidentавария has two or threeтри optionsопции
34
114680
3336
в авариях не бывает,
чтобы два или три исхода
02:10
where everybodyвсе diesумирает somehowкак-то.
35
118040
2000
вели к чьей-то неминуемой смерти.
02:13
InsteadВместо, the carавтомобиль is going
to calculateподсчитывать something
36
121480
2576
Вместо этого машина будет
рассчитывать вероятность
02:16
like the probabilityвероятность of hittingударять
a certainопределенный groupгруппа of people,
37
124080
4896
вреда для группы людей
02:21
if you swerveсворачивать one directionнаправление
versusпротив anotherдругой directionнаправление,
38
129000
3336
при различной смене движения,
02:24
you mightмог бы slightlyнемного increaseувеличение the riskриск
to passengersпассажиров or other driversводители
39
132360
3456
возможно, повышая риск
для пассажиров или других водителей
02:27
versusпротив pedestriansпешеходы.
40
135840
1536
по сравнению с пешеходами.
02:29
It's going to be
a more complexсложный calculationрасчет,
41
137400
2160
Такой расчёт будет довольно сложным,
02:32
but it's still going
to involveвключать trade-offsкомпромиссные,
42
140480
2520
но так или иначе будет
включать компромисс,
02:35
and trade-offsкомпромиссные oftenдовольно часто requireтребовать ethicsэтика.
43
143840
2880
а компромисс — это часто вопрос этики.
02:39
We mightмог бы say then,
"Well, let's not worryбеспокоиться about this.
44
147840
2736
Кто-то скажет: «Давайте
не будем об этом думать,
02:42
Let's wait untilдо technologyтехнологии
is fullyв полной мере readyготов and 100 percentпроцент safeбезопасно."
45
150600
4640
пока технология не разовьётся
и не станет безопасной на 100%».
02:48
Supposeпредполагать that we can indeedв самом деле
eliminateУстранить 90 percentпроцент of those accidentsнесчастные случаи,
46
156520
3680
Представим, что мы сможем
сократить число аварий на 90%,
02:53
or even 99 percentпроцент in the nextследующий 10 yearsлет.
47
161080
2840
или даже 99%, в ближайшие десять лет,
02:56
What if eliminatingуничтожение
the last one percentпроцент of accidentsнесчастные случаи
48
164920
3176
а на устранение последнего процента аварий
03:00
requiresтребует 50 more yearsлет of researchисследование?
49
168120
3120
потребуется ещё 50 лет исследований,
03:04
Should we not adoptпринять the technologyтехнологии?
50
172400
1800
нужно ли будет внедрить технологию?
03:06
That's 60 millionмиллиона people
deadмертвый in carавтомобиль accidentsнесчастные случаи
51
174720
4776
60 миллионов человек погибнут
в автомобильных авариях,
03:11
if we maintainподдерживать the currentтекущий rateставка.
52
179520
1760
если мы продолжим ждать.
03:14
So the pointточка is,
53
182760
1216
Я хочу сказать,
03:16
waitingожидание for fullполный safetyбезопасность is alsoтакже a choiceвыбор,
54
184000
3616
что продолжать ждать — это такой же выбор,
03:19
and it alsoтакже involvesвключает в себя trade-offsкомпромиссные.
55
187640
2160
требующий компромисса.
03:23
People onlineонлайн on socialСоциальное mediaСМИ
have been comingприход up with all sortsвиды of waysпути
56
191560
4336
Люди в социальных сетях
обмениваются идеями,
03:27
to not think about this problemпроблема.
57
195920
2016
как избежать этого конфликта.
03:29
One personчеловек suggestedпредложенный
the carавтомобиль should just swerveсворачивать somehowкак-то
58
197960
3216
Один человек предложил,
что машина должна повернуть так,
03:33
in betweenмежду the passengersпассажиров --
59
201200
2136
чтобы проехать между пешеходами...
03:35
(LaughterСмех)
60
203360
1016
(Смех)
03:36
and the bystanderсвидетель.
61
204400
1256
и прохожим.
03:37
Of courseкурс if that's what the carавтомобиль can do,
that's what the carавтомобиль should do.
62
205680
3360
Конечно, если такой вариант есть,
машина так и поступит.
03:41
We're interestedзаинтересованный in scenariosсценарии
in whichкоторый this is not possibleвозможное.
63
209920
2840
Нас интересуют сценарии,
где такой исход невозможен.
03:45
And my personalличный favoriteлюбимый
was a suggestionпредложение by a bloggerблоггер
64
213280
5416
Мой любимый вариант дал один блогер,
03:50
to have an ejectвыталкивать buttonкнопка in the carавтомобиль
that you pressНажмите --
65
218720
3016
который предложил сделать
кнопку эвакуации в машине...
03:53
(LaughterСмех)
66
221760
1216
(Смех)
03:55
just before the carавтомобиль self-destructsсамоликвидируется.
67
223000
1667
на которую нажимаешь перед аварией.
03:56
(LaughterСмех)
68
224691
1680
(Смех)
03:59
So if we acknowledgeпризнавать that carsлегковые автомобили
will have to make trade-offsкомпромиссные on the roadДорога,
69
227840
5200
В общем, если принять,
что компромисс на дорогах неизбежен,
04:06
how do we think about those trade-offsкомпромиссные,
70
234200
1880
как мы подойдём к его решению
04:09
and how do we decideпринимать решение?
71
237320
1576
и кто будет принимать решение?
04:10
Well, maybe we should runбег a surveyопрос
to find out what societyобщество wants,
72
238920
3136
Мы можем провести опрос,
чтобы узнать общественное мнение,
04:14
because ultimatelyв конечном счете,
73
242080
1456
в конце концов
04:15
regulationsнормативно-правовые акты and the lawзакон
are a reflectionотражение of societalсоциальный valuesзначения.
74
243560
3960
законы и регламенты являются отражением
общественных ценностей.
04:20
So this is what we did.
75
248040
1240
Мы так и поступили.
04:21
With my collaboratorsсотрудники,
76
249880
1616
Мои коллеги,
04:23
Jean-FranЖан-FrançoisOIS BonnefonBonnefon and AzimАзим ShariffShariff,
77
251520
2336
Жан-Франсуа Боннефон и Азим Шариф,
04:25
we ranпобежал a surveyопрос
78
253880
1616
и я провели опрос,
04:27
in whichкоторый we presentedпредставленный people
with these typesтипы of scenariosсценарии.
79
255520
2855
в котором предлагались
такого рода сценарии
04:30
We gaveдал them two optionsопции
inspiredвдохновенный by two philosophersфилософы:
80
258399
3777
и два варианта решения,
навеянные двумя философами,
04:34
JeremyДжереми BenthamБентам and ImmanuelИммануил KantКант.
81
262200
2640
Иеремией Бентамом и Иммануилом Кантом.
04:37
BenthamБентам saysговорит the carавтомобиль
should followследовать utilitarianутилитарный ethicsэтика:
82
265600
3096
По Бентаму, машина должна
следовать утилитарной этике:
04:40
it should take the actionдействие
that will minimizeминимизировать totalВсего harmвред --
83
268720
3416
действовать так,
чтобы минимизировать вред,
04:44
even if that actionдействие will killубийство a bystanderсвидетель
84
272160
2816
даже если такое действие
приведёт к гибели прохожего
04:47
and even if that actionдействие
will killубийство the passengerпассажир.
85
275000
2440
или пассажира.
04:50
ImmanuelИммануил KantКант saysговорит the carавтомобиль
should followследовать duty-boundобязанный principlesпринципы,
86
278120
4976
По Иммануилу Канту, машина должна
действовать по принципу долга:
04:55
like "Thouты shaltприноси not killубийство."
87
283120
1560
«Не убий».
04:57
So you should not take an actionдействие
that explicitlyэксплицитно harmsХармс a humanчеловек beingявляющийся,
88
285480
4456
То есть нельзя совершать
действие, которое навредит человеку,
05:01
and you should let the carавтомобиль take its courseкурс
89
289960
2456
машина должна продолжать движение,
05:04
even if that's going to harmвред more people.
90
292440
1960
даже если в результате
погибнет больше людей.
05:07
What do you think?
91
295640
1200
Что вы думаете?
05:09
BenthamБентам or KantКант?
92
297360
1520
Бентам или Кант?
05:11
Here'sВот what we foundнайденный.
93
299760
1256
Мы обнаружили следующее.
05:13
MostНаиболее people sidedсторонняя with BenthamБентам.
94
301040
1800
Бо́льшая часть людей выбирает Бентама.
05:16
So it seemsкажется that people
want carsлегковые автомобили to be utilitarianутилитарный,
95
304160
3776
Кажется, что люди более утилитарны
05:19
minimizeминимизировать totalВсего harmвред,
96
307960
1416
и хотят минимизировать вред,
05:21
and that's what we should all do.
97
309400
1576
и надо этому следовать.
05:23
Problemпроблема solvedрешена.
98
311000
1200
Проблема решена.
05:25
But there is a little catchпоймать.
99
313240
1480
Но есть небольшая загвоздка.
05:27
When we askedспросил people
whetherбудь то they would purchaseпокупка suchтакие carsлегковые автомобили,
100
315920
3736
Когда мы спросили людей,
купят ли они такой автомобиль,
05:31
they said, "AbsolutelyАбсолютно not."
101
319680
1616
они ответили: «Ни за что».
05:33
(LaughterСмех)
102
321320
2296
(Смех)
05:35
They would like to buyкупить carsлегковые автомобили
that protectзащищать them at all costsрасходы,
103
323640
3896
Они хотят купить машину,
которая их защитит, что бы ни случилось,
05:39
but they want everybodyвсе elseеще
to buyкупить carsлегковые автомобили that minimizeминимизировать harmвред.
104
327560
3616
при этом пусть другие покупают
машины, минимизирующие вред.
05:43
(LaughterСмех)
105
331200
2520
(Смех)
05:46
We'veУ нас seenвидели this problemпроблема before.
106
334720
1856
Эта проблема не нова,
05:48
It's calledназывается a socialСоциальное dilemmaдилемма.
107
336600
1560
она называется социальной дилеммой.
05:51
And to understandПонимаю the socialСоциальное dilemmaдилемма,
108
339160
1816
И чтобы понять социальную дилемму,
05:53
we have to go a little bitнемного
back in historyистория.
109
341000
2040
вернёмся ранее в историю,
05:56
In the 1800s,
110
344000
2576
в XIX век.
05:58
Englishанглийский economistэкономист WilliamУильям ForsterForster LloydLloyd
publishedопубликованный a pamphletброшюра
111
346600
3736
Английский экономист Уильям Фостер Ллойд
опубликовал памфлет,
06:02
whichкоторый describesописывает the followingследующий scenarioсценарий.
112
350360
2216
описывающий сценарий,
06:04
You have a groupгруппа of farmersфермеры --
113
352600
1656
в котором группа фермеров,
06:06
Englishанглийский farmersфермеры --
114
354280
1336
английских фермеров,
06:07
who are sharingразделение a commonобщий landземельные участки
for theirих sheepовца to grazeклевок.
115
355640
2680
имеет общее поле,
на котором пасутся их овцы.
06:11
Now, if eachкаждый farmerфермер
bringsприносит a certainопределенный numberномер of sheepовца --
116
359520
2576
Если у каждого определённое
количество овец,
06:14
let's say threeтри sheepовца --
117
362120
1496
скажем, три,
06:15
the landземельные участки will be rejuvenatedпомолодевшим,
118
363640
2096
то поле успевает восстановиться,
06:17
the farmersфермеры are happyсчастливый,
119
365760
1216
фермеры довольны,
06:19
the sheepовца are happyсчастливый,
120
367000
1616
овцы счастливы,
06:20
everything is good.
121
368640
1200
всё прекрасно.
06:22
Now, if one farmerфермер bringsприносит one extraдополнительный sheepовца,
122
370440
2520
Если один фермер приведёт
ещё одну овцу,
06:25
that farmerфермер will do slightlyнемного better,
and no one elseеще will be harmedвред.
123
373800
4720
он заживёт чуть лучше, никому не навредив.
06:31
But if everyкаждый farmerфермер madeсделал
that individuallyв отдельности rationalрациональный decisionрешение,
124
379160
3640
Но если каждый фермер
примет такое разумное решение,
06:35
the landземельные участки will be overrunперерасход,
and it will be depletedобедненный
125
383840
2720
то поле будет переполнено, оно истощится
06:39
to the detrimentущерб of all the farmersфермеры,
126
387360
2176
в убыток всем фермерам
06:41
and of courseкурс,
to the detrimentущерб of the sheepовца.
127
389560
2120
и, конечно, к огорчению овец.
06:44
We see this problemпроблема in manyмногие placesмест:
128
392720
3680
Такого рода проблема встречается часто,
06:49
in the difficultyтрудность of managingуправление overfishingперелов,
129
397080
3176
например черезмерный отлов рыбы
06:52
or in reducingсокращение carbonуглерод emissionsвыбросы
to mitigateсмягчать climateклимат changeизменение.
130
400280
4560
или сокращение выброса углерода
для предотвращения изменения климата.
06:59
When it comesвыходит to the regulationрегулирование
of driverlessнеуправляемый carsлегковые автомобили,
131
407160
2920
Когда речь идёт о регламентах
для беспилотных автомобилей,
07:03
the commonобщий landземельные участки now
is basicallyв основном publicобщественности safetyбезопасность --
132
411080
4336
общее поле — это, по сути,
общественная безопасность,
07:07
that's the commonобщий good --
133
415440
1240
это общее благо,
07:09
and the farmersфермеры are the passengersпассажиров
134
417400
1976
где фермеры — это пассажиры
07:11
or the carавтомобиль ownersвладельцы who are choosingвыбор
to rideпоездка in those carsлегковые автомобили.
135
419400
3600
или владельцы автомобилей,
которые в них ездят.
07:16
And by makingизготовление the individuallyв отдельности
rationalрациональный choiceвыбор
136
424960
2616
Если каждый сделает выбор,
рациональный для себя,
07:19
of prioritizingприоритезация theirих ownсвоя safetyбезопасность,
137
427600
2816
приоритизируя собственную безопасность,
07:22
they mayмай collectivelyколлективно be
diminishingуменьшающийся the commonобщий good,
138
430440
3136
то в целом пострадает общее благо,
07:25
whichкоторый is minimizingминимизация totalВсего harmвред.
139
433600
2200
то есть минимизация общего вреда.
07:30
It's calledназывается the tragedyтрагедия of the commonsОбще,
140
438320
2136
Это традиционно называется
07:32
traditionallyпо традиции,
141
440480
1296
«трагедией общин».
07:33
but I think in the caseдело
of driverlessнеуправляемый carsлегковые автомобили,
142
441800
3096
Но в случае с беспилотными
автомобилями, я думаю,
07:36
the problemпроблема mayмай be
a little bitнемного more insidiousковарный
143
444920
2856
проблема более хитрая,
07:39
because there is not necessarilyобязательно
an individualиндивидуальный humanчеловек beingявляющийся
144
447800
3496
так как необязательно кто-то конкретный
07:43
makingизготовление those decisionsрешения.
145
451320
1696
принимает эти решения.
07:45
So carавтомобиль manufacturersпроизводители
mayмай simplyпросто programпрограмма carsлегковые автомобили
146
453040
3296
Производители машин могут
запрограммировать их так,
07:48
that will maximizeмаксимизировать safetyбезопасность
for theirих clientsклиенты,
147
456360
2520
чтобы максимизировать
безопасность своих клиентов,
07:52
and those carsлегковые автомобили mayмай learnучить
automaticallyавтоматически on theirих ownсвоя
148
460080
2976
и эти машины могут самостоятельно усвоить,
07:55
that doing so requiresтребует slightlyнемного
increasingповышение riskриск for pedestriansпешеходы.
149
463080
3520
что это будет несколько
более рискованно для пешеходов.
07:59
So to use the sheepовца metaphorметафора,
150
467520
1416
Используя метафору с овцами,
08:00
it's like we now have electricэлектрический sheepовца
that have a mindразум of theirих ownсвоя.
151
468960
3616
получается, у нас теперь есть
электронная овца со своим разумом.
08:04
(LaughterСмех)
152
472600
1456
(Смех)
08:06
And they mayмай go and grazeклевок
even if the farmerфермер doesn't know it.
153
474080
3080
И они могут пастись самостоятельно,
не спрашивая фермера.
08:10
So this is what we mayмай call
the tragedyтрагедия of the algorithmicалгоритмический commonsОбще,
154
478640
3976
Можно это назвать «трагедией
алгоритмических общин»,
08:14
and if offersпредложения newновый typesтипы of challengesпроблемы.
155
482640
2360
уже с другими задачами.
08:22
Typicallyтипично, traditionallyпо традиции,
156
490520
1896
Традиционно такого рода
08:24
we solveрешать these typesтипы
of socialСоциальное dilemmasдилеммы usingс помощью regulationрегулирование,
157
492440
3336
социальные дилеммы решаются
с помощью законов,
08:27
so eitherили governmentsправительства
or communitiesсообщества get togetherвместе,
158
495800
2736
правительства или сообщества
вместе решают,
08:30
and they decideпринимать решение collectivelyколлективно
what kindсвоего рода of outcomeисход they want
159
498560
3736
что им нужно и как для этого
08:34
and what sortСортировать of constraintsограничения
on individualиндивидуальный behaviorповедение
160
502320
2656
ограничить поведение
08:37
they need to implementвоплощать в жизнь.
161
505000
1200
отдельной личности.
08:39
And then usingс помощью monitoringмониторинг and enforcementправоприменение,
162
507600
2616
Далее они контролируют
соблюдение этих правил,
08:42
they can make sure
that the publicобщественности good is preservedсохраняется.
163
510240
2559
чтобы обеспечить сохранность
общественного блага.
08:45
So why don't we just,
164
513440
1575
Почему бы тогда
08:47
as regulatorsрегуляторы,
165
515039
1496
ни создать закон,
08:48
requireтребовать that all carsлегковые автомобили minimizeминимизировать harmвред?
166
516559
2897
требующий минимизации вреда в машинах?
08:51
After all, this is
what people say they want.
167
519480
2240
В конце концов, это то, чего хотят люди.
08:55
And more importantlyважно,
168
523200
1416
И что более важно,
08:56
I can be sure that as an individualиндивидуальный,
169
524640
3096
я могу быть уверенным, что как личность,
08:59
if I buyкупить a carавтомобиль that mayмай
sacrificeжертва me in a very rareредкий caseдело,
170
527760
3856
если я покупаю машину
и в редком случае она мной жертвует,
09:03
I'm not the only suckerприсоска doing that
171
531640
1656
я буду не единственным лохом,
09:05
while everybodyвсе elseеще
enjoysпользуется unconditionalбезусловный protectionзащита.
172
533320
2680
в то время как другие получают
абсолютную безопасность.
09:09
In our surveyопрос, we did askпросить people
whetherбудь то they would supportподдержка regulationрегулирование
173
537120
3336
В нашем опросе мы спросили
людей, поддержат ли они такой закон,
09:12
and here'sвот what we foundнайденный.
174
540480
1200
и вот что мы обнаружили.
09:14
First of all, people
said no to regulationрегулирование;
175
542360
3760
Прежде всего, люди были
против такого закона,
09:19
and secondвторой, they said,
176
547280
1256
и во-вторых, они сказали:
09:20
"Well if you regulateрегулировать carsлегковые автомобили to do this
and to minimizeминимизировать totalВсего harmвред,
177
548560
3936
«Если машины будут обязаны
минимизировать вред,
09:24
I will not buyкупить those carsлегковые автомобили."
178
552520
1480
то я такую машину не куплю».
09:27
So ironicallyиронически,
179
555400
1376
Как ни странно,
09:28
by regulatingрегулирующий carsлегковые автомобили to minimizeминимизировать harmвред,
180
556800
3496
обязывая машины минимизировать вред,
09:32
we mayмай actuallyна самом деле endконец up with more harmвред
181
560320
1840
можно спровоцировать больший вред,
09:35
because people mayмай not
optвыбирать into the saferбезопаснее technologyтехнологии
182
563040
3656
так как люди не обязательно выберут
более безопасную технологию,
09:38
even if it's much saferбезопаснее
than humanчеловек driversводители.
183
566720
2080
даже если она надёжнее, чем водитель.
09:42
I don't have the finalокончательный
answerответ to this riddleзагадка,
184
570360
3416
У меня нет конечного ответа
на эту загадку,
09:45
but I think as a startingначало pointточка,
185
573800
1576
но я думаю, что для начала
09:47
we need societyобщество to come togetherвместе
186
575400
3296
нужно, чтобы общество
09:50
to decideпринимать решение what trade-offsкомпромиссные
we are comfortableудобный with
187
578720
2760
согласилось с тем, что является
приемлемым компромиссом
09:54
and to come up with waysпути
in whichкоторый we can enforceобеспечивать соблюдение those trade-offsкомпромиссные.
188
582360
3480
и как его можно обеспечить.
В качестве отправного пункта
мои замечательные студенты
09:58
As a startingначало pointточка,
my brilliantблестящий studentsстуденты,
189
586520
2536
10:01
EdmondЭдмон AwadАвада and SohanСохан DsouzaDsouza,
190
589080
2456
Эдмонд Авад и Сохан Дзуза
10:03
builtпостроен the Moralморальный MachineМашина websiteВеб-сайт,
191
591560
1800
сделали сайт «Moral Machine»,
10:06
whichкоторый generatesгенерирует randomслучайный scenariosсценарии at you --
192
594200
2680
который генерирует различные сценарии,
10:10
basicallyв основном a bunchгроздь
of randomслучайный dilemmasдилеммы in a sequenceпоследовательность
193
598080
2456
по сути, различные дилеммы,
10:12
where you have to chooseвыберите what
the carавтомобиль should do in a givenданный scenarioсценарий.
194
600560
3920
где вы выбираете, что машина должна
сделать в каждом случае.
10:17
And we varyварьировать the agesвозраст and even
the speciesвид of the differentдругой victimsжертвы.
195
605040
4600
Мы варьируем возраст
и даже биологический вид жертв.
10:23
So farдалеко we'veмы в collectedсобранный
over five5 millionмиллиона decisionsрешения
196
611040
3696
Мы собрали более пяти миллионов решений
10:26
by over one millionмиллиона people worldwideМировой
197
614760
2200
от более миллиона человек со всего мира
10:30
from the websiteВеб-сайт.
198
618400
1200
на этом сайте.
10:32
And this is helpingпомощь us
formформа an earlyрано pictureкартина
199
620360
2416
Это помогает нам иметь
раннее представление
10:34
of what trade-offsкомпромиссные
people are comfortableудобный with
200
622800
2616
о приемлемых компромиссах
10:37
and what mattersвопросы to them --
201
625440
1896
и о том, что важно людям
10:39
even acrossчерез culturesкультуры.
202
627360
1440
разных культур.
10:42
But more importantlyважно,
203
630240
1496
И ещё важнее,
10:43
doing this exerciseупражнение
is helpingпомощь people recognizeпризнать
204
631760
3376
такое упражнение помогает людям осознать
10:47
the difficultyтрудность of makingизготовление those choicesвыбор
205
635160
2816
тяжесть такого рода решений
10:50
and that the regulatorsрегуляторы
are taskedпоставлена ​​задача with impossibleневозможно choicesвыбор.
206
638000
3800
и что тот, кто принимает закон,
столкнётся с невыносимым выбором.
10:55
And maybe this will help us as a societyобщество
understandПонимаю the kindsвиды of trade-offsкомпромиссные
207
643360
3576
И возможно, это даст нам,
обществу, понять, какого рода компромиссы
10:58
that will be implementedреализованы
ultimatelyв конечном счете in regulationрегулирование.
208
646960
3056
будут в итоге приняты в законодательстве.
11:02
And indeedв самом деле, I was very happyсчастливый to hearзаслушивать
209
650040
1736
Я действительно был очень рад
11:03
that the first setзадавать of regulationsнормативно-правовые акты
210
651800
2016
увидеть, что первый набор регламентов
11:05
that cameпришел from
the Departmentотдел of TransportТранспорт --
211
653840
2136
от Министерства транспорта,
11:08
announcedобъявленный last weekнеделю --
212
656000
1376
объявленный на прошлой неделе,
11:09
includedвключены a 15-pointточечное checklistконтрольный список
for all carmakersавтомобилестроителей to provideпредоставлять,
213
657400
6576
включает 15 вопросов для всех
автопроизводителей,
11:16
and numberномер 14 was ethicalэтический considerationрассмотрение --
214
664000
3256
где вопрос под номером 14 — этический,
11:19
how are you going to dealпо рукам with that.
215
667280
1720
какое решение принять.
11:23
We alsoтакже have people
reflectотражать on theirих ownсвоя decisionsрешения
216
671800
2656
Мы также позволяем людям
поразмышлять над выбором,
11:26
by givingдающий them summariesрезюме
of what they choseвыбрал.
217
674480
3000
увидев сумму своих решений.
11:30
I'll give you one exampleпример --
218
678440
1656
Дам вам один пример.
11:32
I'm just going to warnпредупреждать you
that this is not your typicalтипичный exampleпример,
219
680120
3536
Я предупреждаю, это не самый обычный
11:35
your typicalтипичный userпользователь.
220
683680
1376
и типичный пользователь.
11:37
This is the mostбольшинство sacrificedпринесена в жертву and the mostбольшинство
savedсохранены characterперсонаж for this personчеловек.
221
685080
3616
Котика он спасал чаще всего,
а ребёнком чаще всего жертвовал.
11:40
(LaughterСмех)
222
688720
5200
(Смех)
11:46
Some of you mayмай agreeдать согласие with him,
223
694680
1896
Кто-то может с ним
11:48
or her, we don't know.
224
696600
1640
или с ней согласиться.
11:52
But this personчеловек alsoтакже seemsкажется to slightlyнемного
preferпредпочитать passengersпассажиров over pedestriansпешеходы
225
700480
6136
Он также предпочитает пассажиров пешеходам
11:58
in theirих choicesвыбор
226
706640
2096
в своём выборе
12:00
and is very happyсчастливый to punishнаказать jaywalkingjaywalking.
227
708760
2816
и рад наказать тех, кто перебегает дорогу.
12:03
(LaughterСмех)
228
711600
3040
(Смех)
12:09
So let's wrapзаворачивать up.
229
717320
1216
Подводя итог,
12:10
We startedначал with the questionвопрос --
let's call it the ethicalэтический dilemmaдилемма --
230
718559
3416
мы начали с вопроса,
назовём его этической дилеммой,
12:14
of what the carавтомобиль should do
in a specificконкретный scenarioсценарий:
231
722000
3056
о том, что должна сделать машина
в определённом сценарии,
12:17
swerveсворачивать or stayоставаться?
232
725080
1200
повернуть или ехать дальше?
12:19
But then we realizedпонял
that the problemпроблема was a differentдругой one.
233
727240
2736
Но затем мы поняли,
что проблема не в этом.
12:22
It was the problemпроблема of how to get
societyобщество to agreeдать согласие on and enforceобеспечивать соблюдение
234
730000
4536
Проблема в том, как достичь
согласия в обществе и как контролировать
12:26
the trade-offsкомпромиссные they're comfortableудобный with.
235
734560
1936
установленные компромиссы.
12:28
It's a socialСоциальное dilemmaдилемма.
236
736520
1256
Это социальная дилемма.
12:29
In the 1940s, IsaacИсаак AsimovАзимов
wroteписал his famousизвестный lawsзаконы of roboticsробототехника --
237
737800
5016
В 1940-е Айзек Азимов написал
свои знаменитые законы роботехники,
12:34
the threeтри lawsзаконы of roboticsробототехника.
238
742840
1320
три закона.
12:37
A robotробот mayмай not harmвред a humanчеловек beingявляющийся,
239
745240
2456
Робот не может причинить вред человеку,
12:39
a robotробот mayмай not disobeyне слушаться a humanчеловек beingявляющийся,
240
747720
2536
робот должен повиноваться
приказам человека,
12:42
and a robotробот mayмай not allowпозволять
itselfсам to come to harmвред --
241
750280
3256
Робот должен заботиться
о своей безопасности.
12:45
in this orderзаказ of importanceважность.
242
753560
1960
В этом порядке.
12:48
But after 40 yearsлет or so
243
756360
2136
Около 40 лет спустя,
12:50
and after so manyмногие storiesистории
pushingтолкая these lawsзаконы to the limitпредел,
244
758520
3736
после всех историй,
проверяющих эти законы,
12:54
AsimovАзимов introducedвведены the zerothнулевое lawзакон
245
762280
3696
Азимов ввёл нулевой закон,
12:58
whichкоторый takes precedenceстаршинство aboveвыше all,
246
766000
2256
идущий прежде всех остальных:
13:00
and it's that a robotробот
mayмай not harmвред humanityчеловечество as a wholeвсе.
247
768280
3280
робот не должен навредить
человечеству в целом.
13:04
I don't know what this meansозначает
in the contextконтекст of driverlessнеуправляемый carsлегковые автомобили
248
772480
4376
Я не знаю, какое это имеет влияние
в контексте беспилотных автомобилей
13:08
or any specificконкретный situationситуация,
249
776880
2736
или любой конкретной ситуации,
13:11
and I don't know how we can implementвоплощать в жизнь it,
250
779640
2216
и не знаю, как мы можем это обеспечить,
13:13
but I think that by recognizingпризнавая
251
781880
1536
но думаю, что важно осознать,
13:15
that the regulationрегулирование of driverlessнеуправляемый carsлегковые автомобили
is not only a technologicalтехнологический problemпроблема
252
783440
6136
что законы для беспилотных автомобилей
не только проблема технологии,
13:21
but alsoтакже a societalсоциальный cooperationсотрудничество problemпроблема,
253
789600
3280
но и проблема взаимного сотрудничества.
13:25
I hopeнадежда that we can at leastнаименее beginначать
to askпросить the right questionsвопросов.
254
793800
2880
Я надеюсь, что мы начнём
задавать правильные вопросы.
13:29
Thank you.
255
797200
1216
Спасибо.
13:30
(ApplauseАплодисменты)
256
798440
2920
(Аплодисменты)
Translated by Valeriya Salter
Reviewed by Anna Kotova

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com