TED2019
Janelle Shane: The danger of AI is weirder than you think
ג'נל שיין: הסכנות הטמונות בבינה המלאכותית מוזרות מכפי שחשבתם
Filmed:
Readability: 4.2
376,501 views
הסכנה הטמונה בב"מ (בינה מלאכותית) איננה שהיא תתמרד נגדנו, אלא שתעשה בדיוק את מה שאנו מבקשים ממנה לעשות, אומרת חוקרת הת"מ ג'נל שיין. היא מתארת את מעשי הקונדס המשונים והמבהילים לפעמים שבאמצעותם מנסים אלגוריתמי הב"מ לפתור בעיות אנושיות - כמו המצאת טעמי גלידה חדשים או זיהוי מכוניות בכביש - ומוכיחה שהב"מ עדיין אינה בת-השוואה למוח האנושי.
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
Double-click the English transcript below to play the video.
00:13
So, artificial intelligence
0
1765
3000
הבינה המלאכותית, ב"מ,
00:16
is known for disrupting
all kinds of industries.
all kinds of industries.
1
4789
3529
ידועה בכך שהיא משבשת
תעשיות שונות.
תעשיות שונות.
00:20
What about ice cream?
2
8961
2043
מה עם גלידה?
00:23
What kind of mind-blowing
new flavors could we generate
new flavors could we generate
3
11879
3639
מהם הטעמים החדשים והמדהימים
שנוכל להמציא
שנוכל להמציא
אם ניעזר בכוחה של ב"מ מתקדמת?
00:27
with the power of an advanced
artificial intelligence?
artificial intelligence?
4
15542
2976
00:31
So I teamed up with a group of coders
from Kealing Middle School
from Kealing Middle School
5
19011
4161
איחדתי כוחות עם קבוצת מתכנתים
מחטיבת הביניים של ביה"ס קילינג
מחטיבת הביניים של ביה"ס קילינג
00:35
to find out the answer to this question.
6
23196
2241
כדי למצוא את התשובה לשאלה זו.
00:37
They collected over 1,600
existing ice cream flavors,
existing ice cream flavors,
7
25461
5081
הם אספו מעל 1,600
טעמים קיימים של גלידה
טעמים קיימים של גלידה
00:42
and together, we fed them to an algorithm
to see what it would generate.
to see what it would generate.
8
30566
5522
וביחד הזנו אותם לאלגוריתם
כדי לראות מה הוא יצליח ליצור.
כדי לראות מה הוא יצליח ליצור.
00:48
And here are some of the flavors
that the AI came up with.
that the AI came up with.
9
36112
3753
הנה כמה מהטעמים שהב"מ המציאה.
[הפסקת זבל דלעת]
00:52
[Pumpkin Trash Break]
10
40444
1471
(צחוק)
00:53
(Laughter)
11
41939
1402
[סליים חמאת בוטנים]
00:55
[Peanut Butter Slime]
12
43365
2469
[מחלת קצפת תות]
00:58
[Strawberry Cream Disease]
13
46822
1343
(צחוק)
01:00
(Laughter)
14
48189
2126
אלה אינם טעמים טעימים,
כפי שקיווינו שיהיו.
כפי שקיווינו שיהיו.
01:02
These flavors are not delicious,
as we might have hoped they would be.
as we might have hoped they would be.
15
50339
4597
01:06
So the question is: What happened?
16
54960
1864
אז השאלה היא: מה קרה?
מה השתבש?
מה השתבש?
01:08
What went wrong?
17
56848
1394
האם הב"מ מנסה להרוג אותנו?
01:10
Is the AI trying to kill us?
18
58266
1959
01:13
Or is it trying to do what we asked,
and there was a problem?
and there was a problem?
19
61027
4310
ואולי היא מנסה לעשות מה שביקשנו,
והיתה כאן בעיה?
והיתה כאן בעיה?
01:18
In movies, when something
goes wrong with AI,
goes wrong with AI,
20
66567
2464
בסרטים, כשמשהו משתבש עם ב"מ,
01:21
it's usually because the AI has decided
21
69055
2712
זה בדרך כלל כי הב"מ החליטה
שהיא כבר לא רוצה לציית לבני האדם
01:23
that it doesn't want to obey
the humans anymore,
the humans anymore,
22
71791
2272
ויש לה מטרות משלה,
תודה רבה לכם.
תודה רבה לכם.
01:26
and it's got its own goals,
thank you very much.
thank you very much.
23
74087
2623
01:29
In real life, though,
the AI that we actually have
the AI that we actually have
24
77266
3216
אבל במציאות, הב"מ שיש לנו
ממש לא כל-כך חכמה.
01:32
is not nearly smart enough for that.
25
80506
1863
01:34
It has the approximate computing power
26
82781
2982
יש לה כוח מיחשוב
בערך כמו של שלשול,
בערך כמו של שלשול,
01:37
of an earthworm,
27
85787
1276
ולכל היותר - של דבורת דבש יחידה,
01:39
or maybe at most a single honeybee,
28
87087
3403
וכנראה פחות מכך.
01:42
and actually, probably maybe less.
29
90514
2215
הרי אנו כל הזמן לומדים
דברים חדשים אודות המוח
דברים חדשים אודות המוח
01:44
Like, we're constantly learning
new things about brains
new things about brains
30
92753
2594
01:47
that make it clear how much our AIs
don't measure up to real brains.
don't measure up to real brains.
31
95371
4360
שמבהירים עד כמה הב"מ
אינה בת-השוואה עם מוח אמיתי.
אינה בת-השוואה עם מוח אמיתי.
01:51
So today's AI can do a task
like identify a pedestrian in a picture,
like identify a pedestrian in a picture,
32
99755
5663
הב"מ של היום מסוגלת לעשות
לזהות בתמונה הולך-רגל,
לזהות בתמונה הולך-רגל,
01:57
but it doesn't have a concept
of what the pedestrian is
of what the pedestrian is
33
105442
2983
אבל אין לה מושג מהו הולך-רגל
מעבר להיותו אוסף קווים,
מרקמים וכדומה.
מרקמים וכדומה.
02:00
beyond that it's a collection
of lines and textures and things.
of lines and textures and things.
34
108449
4824
02:05
It doesn't know what a human actually is.
35
113792
2521
היא בכלל לא יודעת מהו אדם.
02:08
So will today's AI
do what we ask it to do?
do what we ask it to do?
36
116822
3282
האם הב"מ של ימינו
תעשה מה שנבקש ממנה?
תעשה מה שנבקש ממנה?
כן, אם היא תוכל,
02:12
It will if it can,
37
120128
1594
אבל אולי לא בדיוק מה שנרצה.
02:13
but it might not do what we actually want.
38
121746
2726
02:16
So let's say that you
were trying to get an AI
were trying to get an AI
39
124496
2415
נניח שאתם רוצים שהב"מ
02:18
to take this collection of robot parts
40
126935
2619
תיקח את אוסף חלקי הרובוט הזה
02:21
and assemble them into some kind of robot
to get from Point A to Point B.
to get from Point A to Point B.
41
129578
4197
ותרכיב מהן רובוט שיגיע
מנקודה א' לב'.
מנקודה א' לב'.
02:25
Now, if you were going to try
and solve this problem
and solve this problem
42
133799
2481
אילו ניסיתם לפתור בעיה זו
ע"י כתיבת תוכנת מחשב רגילה,
ע"י כתיבת תוכנת מחשב רגילה,
02:28
by writing a traditional-style
computer program,
computer program,
43
136304
2351
הייתם נותנים לתוכנה הוראות מפורטות
02:30
you would give the program
step-by-step instructions
step-by-step instructions
44
138679
3417
איך לקחת את החלקים האלה,
02:34
on how to take these parts,
45
142120
1329
להרכיב מהם רובוט עם רגליים
02:35
how to assemble them
into a robot with legs
into a robot with legs
46
143473
2407
02:37
and then how to use those legs
to walk to Point B.
to walk to Point B.
47
145904
2942
ולהשתמש ברגליים האלה
כדי ללכת עד נקודה ב'.
כדי ללכת עד נקודה ב'.
02:41
But when you're using AI
to solve the problem,
to solve the problem,
48
149441
2340
אבל כשמשתמשים בב"מ
כדי לפתור בעיה זו,
כדי לפתור בעיה זו,
02:43
it goes differently.
49
151805
1174
זה שונה.
אינכם אומרים לה
איך לפתור את הבעיה,
איך לפתור את הבעיה,
02:45
You don't tell it
how to solve the problem,
how to solve the problem,
50
153003
2382
אלא רק אומרים לה מהי המטרה,
02:47
you just give it the goal,
51
155409
1479
והיא צריכה להבין לבד
דרך ניסוי וטעייה
דרך ניסוי וטעייה
02:48
and it has to figure out for itself
via trial and error
via trial and error
52
156912
3262
איך להגיע למטרה זו.
02:52
how to reach that goal.
53
160198
1484
02:54
And it turns out that the way AI tends
to solve this particular problem
to solve this particular problem
54
162254
4102
ומסתבר שהב"מ נוטה לפתור
בעיה מסוימת זו באופן הבא:
בעיה מסוימת זו באופן הבא:
02:58
is by doing this:
55
166380
1484
היא מרכיבה מהחלקים מגדל שנופל
ונוחת על נקודה ב'.
ונוחת על נקודה ב'.
02:59
it assembles itself into a tower
and then falls over
and then falls over
56
167888
3367
03:03
and lands at Point B.
57
171279
1827
וטכנית, זה פותר את הבעיה.
03:05
And technically, this solves the problem.
58
173130
2829
טכנית, היא הגיעה לנקודה ב'.
03:07
Technically, it got to Point B.
59
175983
1639
03:09
The danger of AI is not that
it's going to rebel against us,
it's going to rebel against us,
60
177646
4265
הסכנה איננה שהב"מ
תתמרד נגדנו,
תתמרד נגדנו,
03:13
it's that it's going to do
exactly what we ask it to do.
exactly what we ask it to do.
61
181935
4274
אלא שתעשה בדיוק
מה שאנו דורשים ממנה.
מה שאנו דורשים ממנה.
03:18
So then the trick
of working with AI becomes:
of working with AI becomes:
62
186876
2498
לכן, החוכמה בעבודה עם ב"מ היא,
03:21
How do we set up the problem
so that it actually does what we want?
so that it actually does what we want?
63
189398
3828
איך להגדיר את הבעיה כך שהיא
תעשה בדיוק את מה שביקשנו?
תעשה בדיוק את מה שביקשנו?
03:26
So this little robot here
is being controlled by an AI.
is being controlled by an AI.
64
194726
3306
הרובוט הקטן הזה נשלט ע"י ב"מ.
הב"מ עיצבה את רגלי הרובוט
03:30
The AI came up with a design
for the robot legs
for the robot legs
65
198056
2814
03:32
and then figured out how to use them
to get past all these obstacles.
to get past all these obstacles.
66
200894
4078
ומצאה דרך להשתמש בהן
כדי לעבור את כל המכשולים האלה.
כדי לעבור את כל המכשולים האלה.
אבל כשדייויד הא
ערך את הניסוי הזה,
ערך את הניסוי הזה,
03:36
But when David Ha set up this experiment,
67
204996
2741
03:39
he had to set it up
with very, very strict limits
with very, very strict limits
68
207761
2856
היה עליו להגדיר מגבלות
נוקשות ביותר
נוקשות ביותר
לגבי גודל הרגליים שהב"מ
רשאית לקבוע,
רשאית לקבוע,
03:42
on how big the AI
was allowed to make the legs,
was allowed to make the legs,
69
210641
3292
03:45
because otherwise ...
70
213957
1550
כי אחרת...
03:55
(Laughter)
71
223058
3931
(צחוק)
04:00
And technically, it got
to the end of that obstacle course.
to the end of that obstacle course.
72
228563
3745
וטכנית, היא עברה את מסלול המכשולים.
04:04
So you see how hard it is to get AI
to do something as simple as just walk.
to do something as simple as just walk.
73
232332
4942
אז אתם מבינים כמה קשה לגרום
לב"מ לעשות משהו פשוט כמו הליכה.
לב"מ לעשות משהו פשוט כמו הליכה.
04:09
So seeing the AI do this,
you may say, OK, no fair,
you may say, OK, no fair,
74
237298
3820
אז כשאתם רואים את הב"מ
עושה כך, ודאי תגידו: "זה לא הוגן,
עושה כך, ודאי תגידו: "זה לא הוגן,
04:13
you can't just be
a tall tower and fall over,
a tall tower and fall over,
75
241142
2580
"אסור לך לבנות סתם מגדל שנופל.
"עלייך להשתמש ברגליים כדי ללכת."
04:15
you have to actually, like,
use legs to walk.
use legs to walk.
76
243746
3435
04:19
And it turns out,
that doesn't always work, either.
that doesn't always work, either.
77
247205
2759
ומסתבר שגם זה לא תמיד עובד.
04:21
This AI's job was to move fast.
78
249988
2759
המטלה של הב"מ הזאת
היתה לנוע מהר.
היתה לנוע מהר.
04:25
They didn't tell it that it had
to run facing forward
to run facing forward
79
253115
3593
לא נאמר לה שצריך לנוע קדימה
04:28
or that it couldn't use its arms.
80
256732
2258
או שאסור לה להשתמש בזרועות.
04:31
So this is what you get
when you train AI to move fast,
when you train AI to move fast,
81
259487
4618
זה מה שמקבלים כשמאמנים
את הב"מ לתנועה מהירה:
את הב"מ לתנועה מהירה:
04:36
you get things like somersaulting
and silly walks.
and silly walks.
82
264129
3534
סלטות והליכה משונה.
04:39
It's really common.
83
267687
1400
זה נפוץ מאד.
04:41
So is twitching along the floor in a heap.
84
269667
3179
כך גם התקדמות של ערימה בעוויתות.
04:44
(Laughter)
85
272870
1150
(צחוק)
04:47
So in my opinion, you know what
should have been a whole lot weirder
should have been a whole lot weirder
86
275241
3254
אז לדעתי, מה שהיה צריך
להיות הרבה יותר מוזר
להיות הרבה יותר מוזר
הם הרובוטים של "שליחות קטלנית".
04:50
is the "Terminator" robots.
87
278519
1396
04:52
Hacking "The Matrix" is another thing
that AI will do if you give it a chance.
that AI will do if you give it a chance.
88
280256
3755
גם פיצוח ה"מטריקס" הוא משהו
שב"מ תוכל לעשות אם יתנו לה הזדמנות.
שב"מ תוכל לעשות אם יתנו לה הזדמנות.
04:56
So if you train an AI in a simulation,
89
284035
2517
אז אם תאמנו ב"מ בהדמייה,
04:58
it will learn how to do things like
hack into the simulation's math errors
hack into the simulation's math errors
90
286576
4113
היא תלמד למשל לפצח
את השגיאות המתמטיות של ההדמייה
את השגיאות המתמטיות של ההדמייה
05:02
and harvest them for energy.
91
290713
2207
ולהפיק מהן אנרגיה.
05:04
Or it will figure out how to move faster
by glitching repeatedly into the floor.
by glitching repeatedly into the floor.
92
292944
5475
או תמצא איך לנוע מהר יותר
ע"י גלישה מתמדת על הרצפה.
ע"י גלישה מתמדת על הרצפה.
05:10
When you're working with AI,
93
298443
1585
כשעובדים עם ב"מ,
05:12
it's less like working with another human
94
300052
2389
זה דומה פחות לעבודה
עם יצור אנושי אחר,
עם יצור אנושי אחר,
05:14
and a lot more like working
with some kind of weird force of nature.
with some kind of weird force of nature.
95
302465
3629
ודומה יותר לעבודה
עם איזה כוח-טבע מוזר.
עם איזה כוח-טבע מוזר.
05:18
And it's really easy to accidentally
give AI the wrong problem to solve,
give AI the wrong problem to solve,
96
306562
4623
ולמעשה, קל מאד לתת לב"מ
בטעות את הבעיה הלא-נכונה,
בטעות את הבעיה הלא-נכונה,
05:23
and often we don't realize that
until something has actually gone wrong.
until something has actually gone wrong.
97
311209
4538
ועל פי רוב איננו מבינים זאת
עד שמשהו משתבש.
עד שמשהו משתבש.
05:28
So here's an experiment I did,
98
316242
2080
הנה ניסוי שערכתי,
05:30
where I wanted the AI
to copy paint colors,
to copy paint colors,
99
318346
3182
ובו רציתי שהב"מ תעתיק גווני צבע
05:33
to invent new paint colors,
100
321552
1746
כדי להמציא גוונים חדשים,
05:35
given the list like the ones
here on the left.
here on the left.
101
323322
2987
בהינתן רשימה כמו זו שמשמאל.
05:38
And here's what the AI
actually came up with.
actually came up with.
102
326798
3004
והנה הרשימה שהפיקה הב"מ.
05:41
[Sindis Poop, Turdly, Suffer, Gray Pubic]
103
329826
3143
[קקי סינדיס, גוון גלל, סבל, אפור ערווה]
05:44
(Laughter)
104
332993
4230
(צחוק)
05:51
So technically,
105
339177
1886
אז טכנית,
05:53
it did what I asked it to.
106
341087
1864
הב"מ עשתה מה שביקשתי.
05:54
I thought I was asking it for,
like, nice paint color names,
like, nice paint color names,
107
342975
3308
חשבתי שאני מבקשת ממנה
שמות חדשים ונחמדים של גוונים,
שמות חדשים ונחמדים של גוונים,
05:58
but what I was actually asking it to do
108
346307
2307
אבל מה שביקשתי ממנה בפועל
06:00
was just imitate the kinds
of letter combinations
of letter combinations
109
348638
3086
היה רק לחקות את צירופי האותיות
06:03
that it had seen in the original.
110
351748
1905
שהיא ראתה במקור.
06:05
And I didn't tell it anything
about what words mean,
about what words mean,
111
353677
3098
ולא אמרתי לה דבר
על משמעות המילים,
על משמעות המילים,
06:08
or that there are maybe some words
112
356799
2560
או שאולי יש מילים
06:11
that it should avoid using
in these paint colors.
in these paint colors.
113
359383
2889
שכדאי להימנע מהן
בשמות של גווני צבע.
בשמות של גווני צבע.
06:15
So its entire world
is the data that I gave it.
is the data that I gave it.
114
363141
3494
כל עולמה היה הנתונים שנתתי לה.
06:18
Like with the ice cream flavors,
it doesn't know about anything else.
it doesn't know about anything else.
115
366659
4028
כמו עם טעמי הגלידה,
היא לא מכירה שום דבר נוסף.
היא לא מכירה שום דבר נוסף.
06:24
So it is through the data
116
372491
1638
משמע שדרך הנתונים
06:26
that we often accidentally tell AI
to do the wrong thing.
to do the wrong thing.
117
374153
4044
אנו מרבים לטעות ולומר לב"מ
לעשות את הדבר הלא-נכון.
לעשות את הדבר הלא-נכון.
06:30
This is a fish called a tench.
118
378694
3032
זהו דג בשם טינקה.
06:33
And there was a group of researchers
119
381750
1815
והיתה קבוצת חוקרים
06:35
who trained an AI to identify
this tench in pictures.
this tench in pictures.
120
383589
3874
שאימנה ב"מ לזהות טינקה בתמונות.
06:39
But then when they asked it
121
387487
1296
אבל כשהם שאלו את הב"מ
06:40
what part of the picture it was actually
using to identify the fish,
using to identify the fish,
122
388807
3426
באיזה חלק מהתמונה היא השתמשה
כדי לזהות את הדג,
כדי לזהות את הדג,
06:44
here's what it highlighted.
123
392257
1358
זה מה שהיא הדגישה.
06:47
Yes, those are human fingers.
124
395203
2189
נכון, אצבעות אנושיות.
06:49
Why would it be looking for human fingers
125
397416
2059
מדוע היא מחפשת אצבעות אנושיות
כשהיא מנסה לזהות דג?
כשהיא מנסה לזהות דג?
06:51
if it's trying to identify a fish?
126
399499
1921
06:54
Well, it turns out that the tench
is a trophy fish,
is a trophy fish,
127
402126
3164
מסתבר שאת הטינקה דגים
בעיקר כשלל ציד,
בעיקר כשלל ציד,
06:57
and so in a lot of pictures
that the AI had seen of this fish
that the AI had seen of this fish
128
405314
3811
ולכן בתמונות רבות של הדג הזה
שהב"מ ראתה באימון שלה,
שהב"מ ראתה באימון שלה,
07:01
during training,
129
409149
1151
הדג נראה ככה.
07:02
the fish looked like this.
130
410324
1490
07:03
(Laughter)
131
411838
1635
(צחוק)
07:05
And it didn't know that the fingers
aren't part of the fish.
aren't part of the fish.
132
413497
3330
היא לא ידעה שהאצבעות
אינן איברים של הדג.
אינן איברים של הדג.
07:10
So you see why it is so hard
to design an AI
to design an AI
133
418808
4120
אז אתם מבינים למה
קשה כל-כך לתכנן ב"מ
קשה כל-כך לתכנן ב"מ
07:14
that actually can understand
what it's looking at.
what it's looking at.
134
422952
3319
שתוכל להבין מה היא רואה.
07:18
And this is why designing
the image recognition
the image recognition
135
426295
2862
ולכן קשה כך-כך לתכנן
זיהוי תמונה
זיהוי תמונה
07:21
in self-driving cars is so hard,
136
429181
2067
במכוניות אוטונומיות,
07:23
and why so many self-driving car failures
137
431272
2205
ומדוע כשלים רבים כל-כך
במכוניות אוטונומיות
במכוניות אוטונומיות
07:25
are because the AI got confused.
138
433501
2885
נובעים מבלבול של הב"מ.
07:28
I want to talk about an example from 2016.
139
436410
4008
אני רוצה לדבר על דוגמה מ-2016.
07:32
There was a fatal accident when somebody
was using Tesla's autopilot AI,
was using Tesla's autopilot AI,
140
440442
4455
היתה תאונה קטלנית כשמישהו השתמש
בב"מ של רכב אוטונומי של "טסלה",
בב"מ של רכב אוטונומי של "טסלה",
07:36
but instead of using it on the highway
like it was designed for,
like it was designed for,
141
444921
3414
אבל במקום להשתמש בה
בכביש המהיר, כפי שתוכננה,
בכביש המהיר, כפי שתוכננה,
07:40
they used it on city streets.
142
448359
2205
הוא השתמש בה ברחובות העיר.
07:43
And what happened was,
143
451239
1175
ומה שקרה הוא,
07:44
a truck drove out in front of the car
and the car failed to brake.
and the car failed to brake.
144
452438
3396
שמשאית חצתה לפני הרכב
והרכב לא בלם.
והרכב לא בלם.
07:48
Now, the AI definitely was trained
to recognize trucks in pictures.
to recognize trucks in pictures.
145
456507
4762
הב"מ הוכשרה בהחלט לזהות
משאיות בתמונות.
משאיות בתמונות.
07:53
But what it looks like happened is
146
461293
2145
אבל מה שכנראה קרה הוא,
07:55
the AI was trained to recognize
trucks on highway driving,
trucks on highway driving,
147
463462
2931
שהב"מ אומנה לזהות משאיות
בכביש המהיר,
בכביש המהיר,
07:58
where you would expect
to see trucks from behind.
to see trucks from behind.
148
466417
2899
ושם הציפיה היא לראות משאיות מאחור.
08:01
Trucks on the side is not supposed
to happen on a highway,
to happen on a highway,
149
469340
3420
משאיות במבט צידי
לא אמורות להיראות בכביש מהיר,
לא אמורות להיראות בכביש מהיר,
08:04
and so when the AI saw this truck,
150
472784
3455
אז כשב"מ ראתה את המשאית,
08:08
it looks like the AI recognized it
as most likely to be a road sign
as most likely to be a road sign
151
476263
4827
היא כנראה זיהתה אותה
כשלט דרכים,
כשלט דרכים,
08:13
and therefore, safe to drive underneath.
152
481114
2273
כזה שבטוח לעבור מתחתיו.
08:16
Here's an AI misstep
from a different field.
from a different field.
153
484114
2580
הנה טעות של ב"מ מתחום שונה.
08:18
Amazon recently had to give up
on a résumé-sorting algorithm
on a résumé-sorting algorithm
154
486718
3460
לאחרונה "אמזון" נאלצה לנטוש
אלגוריתם למיון קורות-חיים
אלגוריתם למיון קורות-חיים
שעליו הם עבדו,
08:22
that they were working on
155
490202
1220
08:23
when they discovered that the algorithm
had learned to discriminate against women.
had learned to discriminate against women.
156
491446
3908
כשגילו שהאלגוריתם
למד להפלות נגד נשים.
למד להפלות נגד נשים.
מה שקרה הוא שהם אימנו אותו
עם דגימות של קורות-חיים
עם דגימות של קורות-חיים
08:27
What happened is they had trained it
on example résumés
on example résumés
157
495378
2716
08:30
of people who they had hired in the past.
158
498118
2242
של אנשים שהם העסיקו בעבר.
08:32
And from these examples, the AI learned
to avoid the résumés of people
to avoid the résumés of people
159
500384
4023
ומהדוגמאות, הב"מ למדה
להימנע מקורות-חיים של אנשים
להימנע מקורות-חיים של אנשים
08:36
who had gone to women's colleges
160
504431
2026
שהלכו למכללות של נשים
08:38
or who had the word "women"
somewhere in their resume,
somewhere in their resume,
161
506481
2806
או שהמילה "נשים" הופיעה
בקורות החיים,
בקורות החיים,
08:41
as in, "women's soccer team"
or "Society of Women Engineers."
or "Society of Women Engineers."
162
509311
4576
כמו "נבחרת כדורגל נשים"
או "אגודת הנשים המהנדסות".
או "אגודת הנשים המהנדסות".
08:45
The AI didn't know that it wasn't supposed
to copy this particular thing
to copy this particular thing
163
513911
3974
הב"מ לא ידעה שהיא לא אמורה
להעתיק את הדבר המסוים הזה
להעתיק את הדבר המסוים הזה
08:49
that it had seen the humans do.
164
517909
1978
מבני האדם.
08:51
And technically, it did
what they asked it to do.
what they asked it to do.
165
519911
3177
וטכנית, היא עשתה כפי שהתבקשה.
08:55
They just accidentally asked it
to do the wrong thing.
to do the wrong thing.
166
523112
2797
אלא שביקשו ממנה בטעות
לעשות את הדבר הלא-נכון.
לעשות את הדבר הלא-נכון.
08:58
And this happens all the time with AI.
167
526653
2895
וזה קורה כל הזמן עם ב"מ.
09:02
AI can be really destructive
and not know it.
and not know it.
168
530120
3591
ב"מ יכולה להיות הרסנית מאד
מבלי לדעת זאת.
מבלי לדעת זאת.
09:05
So the AIs that recommend
new content in Facebook, in YouTube,
new content in Facebook, in YouTube,
169
533735
5078
אז הב"מ שממליצות על תכנים
ב"פייסבוק" ו"יו-טיוב",
ב"פייסבוק" ו"יו-טיוב",
09:10
they're optimized to increase
the number of clicks and views.
the number of clicks and views.
170
538837
3539
ממוטבות להגדיל את מספר הקליקים והצפיות.
09:14
And unfortunately, one way
that they have found of doing this
that they have found of doing this
171
542400
3436
למרבה הצער, אחת הדרכים
שהן מצאו לעשות זאת
שהן מצאו לעשות זאת
09:17
is to recommend the content
of conspiracy theories or bigotry.
of conspiracy theories or bigotry.
172
545860
4503
היא להמליץ על תכני
תיאוריות-קשר או גזענות.
תיאוריות-קשר או גזענות.
09:22
The AIs themselves don't have any concept
of what this content actually is,
of what this content actually is,
173
550902
5302
לב"מ עצמן אין שום מושג
מהם בעצם התכנים האלה,
מהם בעצם התכנים האלה,
09:28
and they don't have any concept
of what the consequences might be
of what the consequences might be
174
556228
3395
וגם לא מה עלולות להיות התוצאות
09:31
of recommending this content.
175
559647
2109
של ההמלצה על תכנים כאלה.
09:34
So, when we're working with AI,
176
562296
2011
אז כשאנו עובדים עם ב"מ,
09:36
it's up to us to avoid problems.
177
564331
4182
באחריותנו למנוע בעיות.
09:40
And avoiding things going wrong,
178
568537
2323
ומניעה מדברים להשתבש
09:42
that may come down to
the age-old problem of communication,
the age-old problem of communication,
179
570884
4526
יכולה להסתכם בבעייה עתיקת היומין
של קצרים בתקשורת.
של קצרים בתקשורת.
09:47
where we as humans have to learn
how to communicate with AI.
how to communicate with AI.
180
575434
3745
כשאנו, בני האדם, צריכים ללמוד
איך לתקשר עם ב"מ,
איך לתקשר עם ב"מ,
09:51
We have to learn what AI
is capable of doing and what it's not,
is capable of doing and what it's not,
181
579203
4039
עלינו ללמוד מה הב"מ
מסוגלת לעשות ומה לא,
מסוגלת לעשות ומה לא,
09:55
and to understand that,
with its tiny little worm brain,
with its tiny little worm brain,
182
583266
3086
ולהבין שעם מוח השלשול הזעיר שלה,
09:58
AI doesn't really understand
what we're trying to ask it to do.
what we're trying to ask it to do.
183
586376
4013
הב"מ לא ממש מבינה
מה אנו מנסים לבקש ממנה לעשות.
מה אנו מנסים לבקש ממנה לעשות.
10:03
So in other words, we have
to be prepared to work with AI
to be prepared to work with AI
184
591148
3321
במלים אחרות, עלינו להיות
מוכנים לעבוד עם ב"מ
מוכנים לעבוד עם ב"מ
10:06
that's not the super-competent,
all-knowing AI of science fiction.
all-knowing AI of science fiction.
185
594493
5258
שאיננה כל-יכולה ויודעת-כל
כמו במדע הבדיוני:
כמו במדע הבדיוני:
10:11
We have to prepared to work with an AI
186
599775
2862
עלינו להיות מוכנים לעבוד
עם הב"מ שיש לנו בהווה.
עם הב"מ שיש לנו בהווה.
10:14
that's the one that we actually have
in the present day.
in the present day.
187
602661
2938
10:17
And present-day AI is plenty weird enough.
188
605623
4205
והב"מ בהווה היא מספיק מוזרה.
תודה לכם.
10:21
Thank you.
189
609852
1190
10:23
(Applause)
190
611066
5225
(מחיאות כפיים)
ABOUT THE SPEAKER
Janelle Shane - AI researcherWhile moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.
Why you should listen
Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.
According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.
Janelle Shane | Speaker | TED.com