TED2019
Janelle Shane: The danger of AI is weirder than you think
جانل شِین: خطر هوش مصنوعی عجیب‌تر از آنی است که فکرش را کنید
Filmed:
Readability: 4.2
376,501 views
جانل شِین، محقق هوش مصنوعی می‌گوید: «خطر هوش مصنوعی این نیست که قرار است علیه ما انقلاب کند، بلکه قرار است دقیقاً کاری را انجام دهد که ما می‌خواهیم.» به اشتراک گذاشتن شِین با نشان دادن جنبه‌های عجیب و گاه خطرناک الگوریتم‌های هوش مصنوعی مانند خلق مزه‌های جدید بستنی، یا شناسایی خودروها در جاده، به ما نشان می‌دهد که هوش مصنوعی فاصله زیادی با مغز واقعی انسان دارد.
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
Double-click the English transcript below to play the video.
خب، هوش مصنوعی
00:13
So, artificial intelligence
0
1765
3000
00:16
is known for disrupting
all kinds of industries.
all kinds of industries.
1
4789
3529
به مختل کردن تمامی صنایع مشهور است.
00:20
What about ice cream?
2
8961
2043
صنعت بستنی سازی چطور؟
00:23
What kind of mind-blowing
new flavors could we generate
new flavors could we generate
3
11879
3639
چه نوع مزه های جدید و جالب را می توانیم
00:27
with the power of an advanced
artificial intelligence?
artificial intelligence?
4
15542
2976
با قدرت هوش مصنوعی پیشرفته تولید کنیم؟
00:31
So I teamed up with a group of coders
from Kealing Middle School
from Kealing Middle School
5
19011
4161
خب، من با گروهی از برنامه نویسان از
مدرسه متوسطه کیلینگ تیم شدیم
مدرسه متوسطه کیلینگ تیم شدیم
00:35
to find out the answer to this question.
6
23196
2241
تا پاسخ این سوال را پیدا کنیم.
00:37
They collected over 1,600
existing ice cream flavors,
existing ice cream flavors,
7
25461
5081
آنها بیش از ۱,۶۰۰ نوع مزه بستنی یافتند،
00:42
and together, we fed them to an algorithm
to see what it would generate.
to see what it would generate.
8
30566
5522
و ما با هم، آنها در الگوریتمی قرار دادیم
تا ببینیم جه چیزی تولید می شود.
تا ببینیم جه چیزی تولید می شود.
00:48
And here are some of the flavors
that the AI came up with.
that the AI came up with.
9
36112
3753
و اینها برخی از مزه هایی است که
هوش مصنوعی آنها را تولید کرده است.
هوش مصنوعی آنها را تولید کرده است.
00:52
[Pumpkin Trash Break]
10
40444
1471
[آشغال کدو تنبل]
00:53
(Laughter)
11
41939
1402
(صدای خنده)
00:55
[Peanut Butter Slime]
12
43365
2469
[لجنِ کره بادام زمینی]
00:58
[Strawberry Cream Disease]
13
46822
1343
[مرض خامه توت فرنگی]
01:00
(Laughter)
14
48189
2126
(صدای خنده)
01:02
These flavors are not delicious,
as we might have hoped they would be.
as we might have hoped they would be.
15
50339
4597
این طعم ها اصلا خوشمزه نیستند در حالی که
ما انتظار خوشمزه بودن آنها را داشتیم.
ما انتظار خوشمزه بودن آنها را داشتیم.
01:06
So the question is: What happened?
16
54960
1864
سوال اینجاست که: چه اتفاقی افتاد؟
01:08
What went wrong?
17
56848
1394
اشتباه از کجا بود؟
01:10
Is the AI trying to kill us?
18
58266
1959
آیا هوش مصنوعی سعی در کشتن ما را دارد؟
01:13
Or is it trying to do what we asked,
and there was a problem?
and there was a problem?
19
61027
4310
یا که سعی دارد آن کاری که ما خواستیم را
انجام دهد، و سپس مشکل پیش آمده است؟
انجام دهد، و سپس مشکل پیش آمده است؟
01:18
In movies, when something
goes wrong with AI,
goes wrong with AI,
20
66567
2464
در فیلم ها، زمانی که مشکلی برای
هوش مصنوعی رخ می دهد
هوش مصنوعی رخ می دهد
01:21
it's usually because the AI has decided
21
69055
2712
معمولاً به این خاطر است که هوش مصنوعی
تصمیم داشته
تصمیم داشته
01:23
that it doesn't want to obey
the humans anymore,
the humans anymore,
22
71791
2272
که از دستورات انسان ها دیگر پیروی نکند،
01:26
and it's got its own goals,
thank you very much.
thank you very much.
23
74087
2623
و هدفهای خودش را دارد،
خیلی ممنون.
خیلی ممنون.
01:29
In real life, though,
the AI that we actually have
the AI that we actually have
24
77266
3216
اما در زندگی واقعی، هوش مصنوعی که
ما در اختیار داریم
ما در اختیار داریم
01:32
is not nearly smart enough for that.
25
80506
1863
هنوز برای آن کارها آنقدر باهوش نیست.
01:34
It has the approximate computing power
26
82781
2982
هوش مصنوعی ما قدرت محاسباتی نزدیک به
01:37
of an earthworm,
27
85787
1276
یک کرم خاکی،
01:39
or maybe at most a single honeybee,
28
87087
3403
یا حداکثر یک زنبور عسل را دارد،
01:42
and actually, probably maybe less.
29
90514
2215
و در واقع حتی کمتر از آن.
01:44
Like, we're constantly learning
new things about brains
new things about brains
30
92753
2594
ما مدام در حال یادگیری جنبه های جدیدی از
مغز هستیم که
مغز هستیم که
01:47
that make it clear how much our AIs
don't measure up to real brains.
don't measure up to real brains.
31
95371
4360
مشخص می کند هوشهای مصنوعی ما
هنوز نزدیک به مغزهای واقعی نیستند.
هنوز نزدیک به مغزهای واقعی نیستند.
01:51
So today's AI can do a task
like identify a pedestrian in a picture,
like identify a pedestrian in a picture,
32
99755
5663
خب، امروزه هوش های مصنوعی می توانند
وظیفه ای مثل تشخیص پیاده رو در یک عکس را
وظیفه ای مثل تشخیص پیاده رو در یک عکس را
01:57
but it doesn't have a concept
of what the pedestrian is
of what the pedestrian is
33
105442
2983
انجام دهند اما آنها از مفهوم پیاده رو چیزی
جز یک سری
جز یک سری
02:00
beyond that it's a collection
of lines and textures and things.
of lines and textures and things.
34
108449
4824
خطوط و بافت نمی دانند.
02:05
It doesn't know what a human actually is.
35
113792
2521
آنها حتی نمی دانند انسان چیست.
02:08
So will today's AI
do what we ask it to do?
do what we ask it to do?
36
116822
3282
پس آیا هوش های مصنوعی امروزه کاری که
می خواهیم را انجام می دهند؟
می خواهیم را انجام می دهند؟
02:12
It will if it can,
37
120128
1594
در صورتی که بتوانند انجام می دهند
02:13
but it might not do what we actually want.
38
121746
2726
اما ممکن است کاری که ما می خواهیم نباشد.
02:16
So let's say that you
were trying to get an AI
were trying to get an AI
39
124496
2415
خب بگذارید فرض کنیم که شما می خواهید
یک هوش مصنوعی
یک هوش مصنوعی
02:18
to take this collection of robot parts
40
126935
2619
مجموعه ای از بخشهای یک روبات را بگیرد
02:21
and assemble them into some kind of robot
to get from Point A to Point B.
to get from Point A to Point B.
41
129578
4197
و آن را به رباتی تبدیل کند که از نقطه A
به نقطه B می رود.
به نقطه B می رود.
02:25
Now, if you were going to try
and solve this problem
and solve this problem
42
133799
2481
حالا، اگر شما می خواستید این مسئله را با
02:28
by writing a traditional-style
computer program,
computer program,
43
136304
2351
نوشتن یک برنامه سنتی کامپیوتری حل کنید،
02:30
you would give the program
step-by-step instructions
step-by-step instructions
44
138679
3417
شما به برنامه دستورالعملهای
پله پله می دادید
پله پله می دادید
02:34
on how to take these parts,
45
142120
1329
که چطور این بخش را برداشته،
02:35
how to assemble them
into a robot with legs
into a robot with legs
46
143473
2407
به هم بچسباند تا رباتی دو پا بسازد
02:37
and then how to use those legs
to walk to Point B.
to walk to Point B.
47
145904
2942
و سپس به وسیله آن پاها به نقطه B
برود.
برود.
02:41
But when you're using AI
to solve the problem,
to solve the problem,
48
149441
2340
اما زمانی که در حال استفاده از
هوش مصنوعی هستید
هوش مصنوعی هستید
02:43
it goes differently.
49
151805
1174
مسئله متفاوت است.
02:45
You don't tell it
how to solve the problem,
how to solve the problem,
50
153003
2382
شما به آن نمی گویید چطور مسئله را حال کند،
02:47
you just give it the goal,
51
155409
1479
شما تنها به آن هدف را می دهید،
02:48
and it has to figure out for itself
via trial and error
via trial and error
52
156912
3262
و او می بایست از طریق آزمایش و خطا
02:52
how to reach that goal.
53
160198
1484
خودش به هدف برسد.
02:54
And it turns out that the way AI tends
to solve this particular problem
to solve this particular problem
54
162254
4102
و اینطور به نظر می رسد که هوش مصنوعی
این مسئله خاص را
این مسئله خاص را
02:58
is by doing this:
55
166380
1484
بدین گونه حل می کند:
02:59
it assembles itself into a tower
and then falls over
and then falls over
56
167888
3367
ابتدا خودش را به یک برج تبدیل می کند
و سپس سقوط می کند
و سپس سقوط می کند
03:03
and lands at Point B.
57
171279
1827
و در نقطه B به زمین می خورد.
03:05
And technically, this solves the problem.
58
173130
2829
و از لحاظ تکنیکی مسئله حل شده است.
از لحاظ تکنیکی به نقطه B
رسیده است.
رسیده است.
03:07
Technically, it got to Point B.
59
175983
1639
03:09
The danger of AI is not that
it's going to rebel against us,
it's going to rebel against us,
60
177646
4265
خطر هوش مصنوعی این نیست که
او قرار است علیه ما شورش کند،
او قرار است علیه ما شورش کند،
03:13
it's that it's going to do
exactly what we ask it to do.
exactly what we ask it to do.
61
181935
4274
خطر این است که او دقیقاً کاری که ما
بخواهیم را انجام می دهد.
بخواهیم را انجام می دهد.
03:18
So then the trick
of working with AI becomes:
of working with AI becomes:
62
186876
2498
پس ترفند استفاده از هوش مصنوعی این است که:
03:21
How do we set up the problem
so that it actually does what we want?
so that it actually does what we want?
63
189398
3828
ما چطور مسئله را طرح کنیم که در واقع کاری
که می خواهیم را انجام دهد؟
که می خواهیم را انجام دهد؟
03:26
So this little robot here
is being controlled by an AI.
is being controlled by an AI.
64
194726
3306
این ربات کوچک در اینجا
توسط یک هوش مصنوعی کنترل می شود.
توسط یک هوش مصنوعی کنترل می شود.
03:30
The AI came up with a design
for the robot legs
for the robot legs
65
198056
2814
هوش مصنوعی به طرحی برای پاهای ربات
رسیده است
رسیده است
03:32
and then figured out how to use them
to get past all these obstacles.
to get past all these obstacles.
66
200894
4078
و چگونگی استفاده از این پاها را برای
گذشتن از این موانع را فهمیده است.
گذشتن از این موانع را فهمیده است.
03:36
But when David Ha set up this experiment,
67
204996
2741
اما زمانی که دیوید ها این آزمایش را
ساخته است،
ساخته است،
03:39
he had to set it up
with very, very strict limits
with very, very strict limits
68
207761
2856
محدودیتهای بسیار زیادی در رابطه با
03:42
on how big the AI
was allowed to make the legs,
was allowed to make the legs,
69
210641
3292
اندازه مجاز پاها گذاشته است.
03:45
because otherwise ...
70
213957
1550
زیرا در غیر این صورت ...
03:55
(Laughter)
71
223058
3931
(صدای خنده)
04:00
And technically, it got
to the end of that obstacle course.
to the end of that obstacle course.
72
228563
3745
و از لحاظ تکنیکی،
به انتهای موانع رسیده است.
به انتهای موانع رسیده است.
04:04
So you see how hard it is to get AI
to do something as simple as just walk.
to do something as simple as just walk.
73
232332
4942
پس می بینید که یک کار ساده مانند
به راه انداختن هوش مصنوعی چقدر سخت است.
به راه انداختن هوش مصنوعی چقدر سخت است.
04:09
So seeing the AI do this,
you may say, OK, no fair,
you may say, OK, no fair,
74
237298
3820
خب، با دیدن انجام این کار از هوش مصنوعی
شما ممکن است بگویید، عادلانه نیست،
شما ممکن است بگویید، عادلانه نیست،
04:13
you can't just be
a tall tower and fall over,
a tall tower and fall over,
75
241142
2580
شما نمی توانی یک برج بلند باشی و فقط
سقوط کنی
سقوط کنی
04:15
you have to actually, like,
use legs to walk.
use legs to walk.
76
243746
3435
شما باید از پاهایت برای راه رفتن
استفاده کنی.
استفاده کنی.
04:19
And it turns out,
that doesn't always work, either.
that doesn't always work, either.
77
247205
2759
اینطور که معلوم است،
این نظر همیشه صادق نیست.
این نظر همیشه صادق نیست.
04:21
This AI's job was to move fast.
78
249988
2759
کار این هوش مصنوعی این بوده است که
سریع حرکت کند.
سریع حرکت کند.
04:25
They didn't tell it that it had
to run facing forward
to run facing forward
79
253115
3593
آنها نگفتند که باید رو به جلو حرکت کند
04:28
or that it couldn't use its arms.
80
256732
2258
یا نمی تواند از دست هایش استفاده کند.
04:31
So this is what you get
when you train AI to move fast,
when you train AI to move fast,
81
259487
4618
پس زمانی که از یک هوش مصنوعی می خواهیم که
سریع حرکت کند،
سریع حرکت کند،
04:36
you get things like somersaulting
and silly walks.
and silly walks.
82
264129
3534
چیزی شبیه پُشتک زدن و ابلهانه راه رفتن
می گیرید.
می گیرید.
04:39
It's really common.
83
267687
1400
کاملاً معمول است.
04:41
So is twitching along the floor in a heap.
84
269667
3179
همینطور پیچ خوردن روی زمین.
04:44
(Laughter)
85
272870
1150
(صدای خنده)
04:47
So in my opinion, you know what
should have been a whole lot weirder
should have been a whole lot weirder
86
275241
3254
پس به عقیده من، چیزی که می بایست
خیلی عجیب تر باشد
خیلی عجیب تر باشد
04:50
is the "Terminator" robots.
87
278519
1396
ربات های فیلم ترمیناتور است.
هک کردن «ماتریکس» نیز کار دیگر ایست که
هوش مصنوعی اگر شانسش را داشت انجام می داد.
هوش مصنوعی اگر شانسش را داشت انجام می داد.
04:52
Hacking "The Matrix" is another thing
that AI will do if you give it a chance.
that AI will do if you give it a chance.
88
280256
3755
04:56
So if you train an AI in a simulation,
89
284035
2517
پس اگر یک هوش مصنوعی را در یک
شبیه سازی آموزش دهید
شبیه سازی آموزش دهید
04:58
it will learn how to do things like
hack into the simulation's math errors
hack into the simulation's math errors
90
286576
4113
یاد میگیرد که کارهایی چون استفاده از
خطاهای ریاضی شبیه سازی
خطاهای ریاضی شبیه سازی
05:02
and harvest them for energy.
91
290713
2207
و استفاده از آنها برای انرژی را انجام دهد.
05:04
Or it will figure out how to move faster
by glitching repeatedly into the floor.
by glitching repeatedly into the floor.
92
292944
5475
یا اینکه چگونه با پیچیدن به زمین
سریع تر حرکت کند.
سریع تر حرکت کند.
زمانیکه شما در حال کار
با هوش مصنوعی هستید
با هوش مصنوعی هستید
05:10
When you're working with AI,
93
298443
1585
05:12
it's less like working with another human
94
300052
2389
کمتر شبیه به کار با انسانی دیگر است
05:14
and a lot more like working
with some kind of weird force of nature.
with some kind of weird force of nature.
95
302465
3629
و بیشتر شبیه به کار با نیروی عجیبی
از طبیعت است.
از طبیعت است.
05:18
And it's really easy to accidentally
give AI the wrong problem to solve,
give AI the wrong problem to solve,
96
306562
4623
و به صورت اتفاقی دادن مسئله اشتباه برای
حل به هوش مصنوعی آسان است،
حل به هوش مصنوعی آسان است،
05:23
and often we don't realize that
until something has actually gone wrong.
until something has actually gone wrong.
97
311209
4538
و اغلب ما متوجه نمی شویم تا زمانی که
اشتباهی رخ دهد.
اشتباهی رخ دهد.
05:28
So here's an experiment I did,
98
316242
2080
خب، این یک آزمایش است که من انجام داده ام
05:30
where I wanted the AI
to copy paint colors,
to copy paint colors,
99
318346
3182
که در آن از هوش مصنوعی خواستم تا
رنگ ها را تکثیر کند
رنگ ها را تکثیر کند
05:33
to invent new paint colors,
100
321552
1746
تا به رنگ های جدیدی برسد،
05:35
given the list like the ones
here on the left.
here on the left.
101
323322
2987
با دادن لیستی که در سمت چپ می بینید.
05:38
And here's what the AI
actually came up with.
actually came up with.
102
326798
3004
و این چیزی است که هوش مصنوعی به
آن رسیده است.
آن رسیده است.
05:41
[Sindis Poop, Turdly, Suffer, Gray Pubic]
103
329826
3143
[ساندیس مدفوع، پشکل، زجر، موی قهوه ای]
05:44
(Laughter)
104
332993
4230
(صدای خنده)
05:51
So technically,
105
339177
1886
از لحاظ تکنیکی،
05:53
it did what I asked it to.
106
341087
1864
او کاری را که من خواسته بودم انجام داد.
05:54
I thought I was asking it for,
like, nice paint color names,
like, nice paint color names,
107
342975
3308
من فکر کردم که از او نام رنگ های
زیبا می خواهم
زیبا می خواهم
05:58
but what I was actually asking it to do
108
346307
2307
اما در واقع از او می خواستم که
06:00
was just imitate the kinds
of letter combinations
of letter combinations
109
348638
3086
ترکیب حروف را تقلید کند
06:03
that it had seen in the original.
110
351748
1905
که در نسخه اصلی دیده است.
06:05
And I didn't tell it anything
about what words mean,
about what words mean,
111
353677
3098
و من چیزی در رابطه با معنای کلمات
به او نگفتم،
به او نگفتم،
06:08
or that there are maybe some words
112
356799
2560
یا اینکه ممکن است کلماتی وجود داشته باشند
که او می بایست از استفاده آنها
برای این رنگ ها خودداری کند.
برای این رنگ ها خودداری کند.
06:11
that it should avoid using
in these paint colors.
in these paint colors.
113
359383
2889
06:15
So its entire world
is the data that I gave it.
is the data that I gave it.
114
363141
3494
بنابراین تمام دنیای او داده هایی است که من
به او داده ام.
به او داده ام.
06:18
Like with the ice cream flavors,
it doesn't know about anything else.
it doesn't know about anything else.
115
366659
4028
همانند طعم بستنی ها،
او از هیچ چیز دیگر باخبر نیست.
او از هیچ چیز دیگر باخبر نیست.
06:24
So it is through the data
116
372491
1638
پس از طریق داده است که
06:26
that we often accidentally tell AI
to do the wrong thing.
to do the wrong thing.
117
374153
4044
ما اغلب به اشتباه به هوش مصنوعی می گوییم
کاری را انجام دهد.
کاری را انجام دهد.
06:30
This is a fish called a tench.
118
378694
3032
این یک ماهی به نام «تنچ» است.
06:33
And there was a group of researchers
119
381750
1815
گروهی از محققان
06:35
who trained an AI to identify
this tench in pictures.
this tench in pictures.
120
383589
3874
هوش مصنوعی را پرورش دادند تا این ماهی
را در تصاویر تشخیص دهد.
را در تصاویر تشخیص دهد.
06:39
But then when they asked it
121
387487
1296
اما زمانی که از او پرسیدند
06:40
what part of the picture it was actually
using to identify the fish,
using to identify the fish,
122
388807
3426
که از طریق کدام بخش عکس این شناسایی را
انجام داده است
انجام داده است
06:44
here's what it highlighted.
123
392257
1358
او این قسمت را نشان داده است.
06:47
Yes, those are human fingers.
124
395203
2189
بله، آنها انگشت انسان هستند.
06:49
Why would it be looking for human fingers
125
397416
2059
چرا او باید به دنبال انگشت انسانها باشد
06:51
if it's trying to identify a fish?
126
399499
1921
اگر هدف یافتن ماهی است؟
06:54
Well, it turns out that the tench
is a trophy fish,
is a trophy fish,
127
402126
3164
خب، اینطور که معلوم است ماهی تنچ
یک نوع جایزه است،
یک نوع جایزه است،
06:57
and so in a lot of pictures
that the AI had seen of this fish
that the AI had seen of this fish
128
405314
3811
بنابراین در تصاویر زیادی که هوش مصنوعی
در طول آموزش
در طول آموزش
07:01
during training,
129
409149
1151
مشاهد کرده است،
07:02
the fish looked like this.
130
410324
1490
ماهی بدین صورت بوده است.
07:03
(Laughter)
131
411838
1635
(صدای خنده)
07:05
And it didn't know that the fingers
aren't part of the fish.
aren't part of the fish.
132
413497
3330
هوش مصنوعی از این حقیقت مطلع نبوده است
که انگشت ها عضوی از ماهی نیستند.
که انگشت ها عضوی از ماهی نیستند.
07:10
So you see why it is so hard
to design an AI
to design an AI
133
418808
4120
بنابراین شما می بینید که چرا طراحی
یک هوش مصنوعی که
یک هوش مصنوعی که
07:14
that actually can understand
what it's looking at.
what it's looking at.
134
422952
3319
تشخیص دهد به چه چیزی می نگرد
دشوار است.
دشوار است.
07:18
And this is why designing
the image recognition
the image recognition
135
426295
2862
و به همین دلیل طراحی دوربین های
تشخیص چهره
تشخیص چهره
07:21
in self-driving cars is so hard,
136
429181
2067
در خودروهای بدون سرنشین بسیار دشوار است،
07:23
and why so many self-driving car failures
137
431272
2205
و علت بسیاری از مشکلات
خودروهای بدون سرنشین
خودروهای بدون سرنشین
07:25
are because the AI got confused.
138
433501
2885
گیچ شدن هوش مصنوعی است.
07:28
I want to talk about an example from 2016.
139
436410
4008
می خواهم در رابطه با مثالی در سال ۲۰۱۶
صحبت کنم.
صحبت کنم.
07:32
There was a fatal accident when somebody
was using Tesla's autopilot AI,
was using Tesla's autopilot AI,
140
440442
4455
فردی با استفاده از راننده خودکار تسلا
وارد تصادفی خطرناک شده بود.
وارد تصادفی خطرناک شده بود.
07:36
but instead of using it on the highway
like it was designed for,
like it was designed for,
141
444921
3414
او بجای استفاده از این تکنولوژی بر اساس
طراحی آن در بزرگراه
طراحی آن در بزرگراه
07:40
they used it on city streets.
142
448359
2205
آن را در خیابان های شهر استفاده کرده بود.
07:43
And what happened was,
143
451239
1175
اتفاقی که رخ داد
چنین بود
چنین بود
07:44
a truck drove out in front of the car
and the car failed to brake.
and the car failed to brake.
144
452438
3396
کامیونی جلوی خودرو آمد و خودرو نتوانست
ترمز بگیرد.
ترمز بگیرد.
07:48
Now, the AI definitely was trained
to recognize trucks in pictures.
to recognize trucks in pictures.
145
456507
4762
خب، هوش مصنوعی کاملاً آموزش دیده بود تا
کامیون ها را در عکس تشخیص دهد
کامیون ها را در عکس تشخیص دهد
07:53
But what it looks like happened is
146
461293
2145
اما اتفاقی که افتاد چنین بود که
07:55
the AI was trained to recognize
trucks on highway driving,
trucks on highway driving,
147
463462
2931
هوش مصنوعی آموزش دیده بود تا کامیون ها را
در بزرگراه تشخیص دهد
در بزرگراه تشخیص دهد
07:58
where you would expect
to see trucks from behind.
to see trucks from behind.
148
466417
2899
که شما انتظار دارید کامیون ها
را پشت سرتان ببینید.
را پشت سرتان ببینید.
08:01
Trucks on the side is not supposed
to happen on a highway,
to happen on a highway,
149
469340
3420
کامیون های کناری قرار نیست
در بزرگراه ها باشند،
در بزرگراه ها باشند،
08:04
and so when the AI saw this truck,
150
472784
3455
پس زمانی که هوش مصنوعی این کامیون را دیده،
08:08
it looks like the AI recognized it
as most likely to be a road sign
as most likely to be a road sign
151
476263
4827
به احتمال زیاد آن را یکی از علائم خیابانی
دیده است
دیده است
08:13
and therefore, safe to drive underneath.
152
481114
2273
و به همین دلیل، رفتن به سمت آن امن بوده.
08:16
Here's an AI misstep
from a different field.
from a different field.
153
484114
2580
این یک اشتباه دیگر از هوش مصنوعی
در زمینه ای دیگر است.
در زمینه ای دیگر است.
08:18
Amazon recently had to give up
on a résumé-sorting algorithm
on a résumé-sorting algorithm
154
486718
3460
اخیراً شرکت آمازون مجبور شد الگوریتمی
که طبقه بندی رزومه ها را
که طبقه بندی رزومه ها را
08:22
that they were working on
155
490202
1220
انجام می داد کنار بگذارد
08:23
when they discovered that the algorithm
had learned to discriminate against women.
had learned to discriminate against women.
156
491446
3908
زیرا آنها دریافتند که آن الگوریتم تمایزهای
ضد زن داشته است.
ضد زن داشته است.
08:27
What happened is they had trained it
on example résumés
on example résumés
157
495378
2716
اتفاقی که افتاد به این صورت بود که آن ها
هوش مصنوعی را بر
هوش مصنوعی را بر
08:30
of people who they had hired in the past.
158
498118
2242
رزومه های نمونه افرادی که از قبل
می شناختند آموزش داده بودند
می شناختند آموزش داده بودند
08:32
And from these examples, the AI learned
to avoid the résumés of people
to avoid the résumés of people
159
500384
4023
و از این نمونه ها، هوش مصنوعی یاد گرفته
بود که از رزومه افرادی
بود که از رزومه افرادی
08:36
who had gone to women's colleges
160
504431
2026
که به کالج های زنانه رفته اند یا
08:38
or who had the word "women"
somewhere in their resume,
somewhere in their resume,
161
506481
2806
کلمه «زن» در هر جای رزومه آنها بوده،
دوری کند،
دوری کند،
08:41
as in, "women's soccer team"
or "Society of Women Engineers."
or "Society of Women Engineers."
162
509311
4576
مانند، «تیم فوتبال زنان»،
«جامعه مهندسان زن».
«جامعه مهندسان زن».
08:45
The AI didn't know that it wasn't supposed
to copy this particular thing
to copy this particular thing
163
513911
3974
هوش مصنوعی نمی دانسته
که نباید این مورد خاص را
که نباید این مورد خاص را
08:49
that it had seen the humans do.
164
517909
1978
که انسان ها انجام می دهند کپی کند.
08:51
And technically, it did
what they asked it to do.
what they asked it to do.
165
519911
3177
و از لحاظ تکنیکی هوش مصنوعی کاری را انجام
داده که از او خواسته اند.
داده که از او خواسته اند.
08:55
They just accidentally asked it
to do the wrong thing.
to do the wrong thing.
166
523112
2797
آنها به طور اتفاقی از او خواسته بودند که
کار اشتباهی را انجام دهد.
کار اشتباهی را انجام دهد.
08:58
And this happens all the time with AI.
167
526653
2895
این مسئله برای تمام هوش های مصنوعی
رخ می دهد.
رخ می دهد.
09:02
AI can be really destructive
and not know it.
and not know it.
168
530120
3591
هوش مصنوعی می تواند بدون آنکه بداند
بسیار مخرب باشد.
بسیار مخرب باشد.
09:05
So the AIs that recommend
new content in Facebook, in YouTube,
new content in Facebook, in YouTube,
169
533735
5078
پس هوش مصنوعی که محتوای جدید در فیسبوک
و یوتیوب پیشنهاد می کند،
و یوتیوب پیشنهاد می کند،
09:10
they're optimized to increase
the number of clicks and views.
the number of clicks and views.
170
538837
3539
طوری برنامه ریزی شده است که تعداد بیننده
و کلیک ها را افزایش دهد.
و کلیک ها را افزایش دهد.
09:14
And unfortunately, one way
that they have found of doing this
that they have found of doing this
171
542400
3436
و متاسفانه، راهی که هوش مصنوعی برای انجام
اینکار یافته این است که
اینکار یافته این است که
09:17
is to recommend the content
of conspiracy theories or bigotry.
of conspiracy theories or bigotry.
172
545860
4503
محتوای متعصابه و تئوری های توطئه را
پیشنهاد کند.
پیشنهاد کند.
09:22
The AIs themselves don't have any concept
of what this content actually is,
of what this content actually is,
173
550902
5302
هوش مصنوعی خودش نمی داند که این محتوا
چه معنایی دارد
چه معنایی دارد
09:28
and they don't have any concept
of what the consequences might be
of what the consequences might be
174
556228
3395
و از عواقب پیشنهاد کردن آن
09:31
of recommending this content.
175
559647
2109
هیچ اطلاعی ندارد.
09:34
So, when we're working with AI,
176
562296
2011
پس، زمانی که ما با هوش مصنوعی کار می کنیم،
09:36
it's up to us to avoid problems.
177
564331
4182
دوری کردن از مشکلات به خود ما
بستگی دارد.
بستگی دارد.
09:40
And avoiding things going wrong,
178
568537
2323
و همچنین دوری کردن از مسادلی که
به خطا می روند
به خطا می روند
09:42
that may come down to
the age-old problem of communication,
the age-old problem of communication,
179
570884
4526
و منجر به مشکلات قدیمی ارتباطات
می شود
می شود
09:47
where we as humans have to learn
how to communicate with AI.
how to communicate with AI.
180
575434
3745
که ما می بایست به عنوان انسان چگونگی
تعامل با هوش مصنوعی را بیاموزیم.
تعامل با هوش مصنوعی را بیاموزیم.
09:51
We have to learn what AI
is capable of doing and what it's not,
is capable of doing and what it's not,
181
579203
4039
ما باید بدانیم که هوش مصنوعی قادر به
انجام چه کارهایی می باشد
انجام چه کارهایی می باشد
09:55
and to understand that,
with its tiny little worm brain,
with its tiny little worm brain,
182
583266
3086
و برای فهمیدن هوش مصنوعی،
و مغز کوچک آن
و مغز کوچک آن
09:58
AI doesn't really understand
what we're trying to ask it to do.
what we're trying to ask it to do.
183
586376
4013
باید بدانیم که هوش مصنوعی از کاری که ما از
آن می خواهیم چیزی نمی داند.
آن می خواهیم چیزی نمی داند.
10:03
So in other words, we have
to be prepared to work with AI
to be prepared to work with AI
184
591148
3321
به بیان دیگر، ما باید آماده باشیم تا
با هوش مصنوعی کار کنیم که
با هوش مصنوعی کار کنیم که
10:06
that's not the super-competent,
all-knowing AI of science fiction.
all-knowing AI of science fiction.
185
594493
5258
قادر مطلق یا عالم مطلق، آن طور که در
فیلم های تخیلی دیده می شود نیست.
فیلم های تخیلی دیده می شود نیست.
10:11
We have to prepared to work with an AI
186
599775
2862
ما باید آماده باشیم تا با هوش مصنوعی
کار کنیم که
کار کنیم که
10:14
that's the one that we actually have
in the present day.
in the present day.
187
602661
2938
در حال حاضر در دسترس داریم
10:17
And present-day AI is plenty weird enough.
188
605623
4205
و هوش مصنوعی در دسترس ما
به اندازه کافی عجیب است.
به اندازه کافی عجیب است.
10:21
Thank you.
189
609852
1190
ممنونم.
10:23
(Applause)
190
611066
5225
(تشویق حضار)
ABOUT THE SPEAKER
Janelle Shane - AI researcherWhile moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.
Why you should listen
Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.
According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.
Janelle Shane | Speaker | TED.com