TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
ניק בוסטרום: מה קורה כשהמחשבים שלנו נעשים יותר חכמים מאיתנו?
Filmed:
Readability: 4.4
4,632,705 views
בינה מלאכותית נהיית חכמה בקפיצות ענק -- במאה הזו, המחקר מציע, שבינה מלאכותית תוכל להיות "חכמה" כמו אדם. ואז, אומר ניק בוסטרום, היא תעקוף אותנו: "בינת מכונות היא ההמצאה האחרונה שאי פעם נצטרך לעשות." הפילוסוף והטכנולוג, בוסטרום מבקש מאיתנו לחשוב טוב על העולם שאנחנו בונים עכשיו, שמונע על ידי מכונות חושבות. האם המכונות החכמות שלנו יעזרו לנו לשמור על ערכי האנושות -- או האם יהיו להן ערכים משלהן?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
אני עובד עם חבורה
של מתמטיקאים, פילוסופים ומדעני מחשב.
של מתמטיקאים, פילוסופים ומדעני מחשב.
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
ואנחנו יושבים וחושבים
על העתיד של אינטיליגנצית מכונות,
על העתיד של אינטיליגנצית מכונות,
00:21
among other things.
2
9986
2044
בין דברים אחרים.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
כמה אנשים חושבים שכמה מהדברים האלה
הם סוג של מדע בדיוני,
הם סוג של מדע בדיוני,
00:28
far out there, crazy.
4
16755
3101
רחוקים מאוד, משוגעים.
00:31
But I like to say,
5
19856
1470
אבל אני אוהב לומר,
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
אוקיי, בואו נביט במצב האנושי המודרני.
00:36
(Laughter)
7
24930
1692
(צחוק)
00:38
This is the normal way for things to be.
8
26622
2402
זאת הדרך הנורמלית של הדברים.
00:41
But if we think about it,
9
29024
2285
אבל אם נחשוב על זה,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
אנחנו למעשה אורחים
שהגיעו לאחרונה לפלנטה הזו,
שהגיעו לאחרונה לפלנטה הזו,
00:46
the human species.
11
34602
2082
המין האנושי.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
חשבו על אם כדור הארץ היה נוצר לפני שנה,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
המין האנושי, אז, היה בן 10 דקות.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
המהפכה התעשייתית התחילה לפני שתי שניות.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
דרך נוספת להביט בזה היא לחשוב על התוצר
הלאומי הגולמי ב 10,000 השנים האחרונות,
הלאומי הגולמי ב 10,000 השנים האחרונות,
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
אני למעשה טרחתי לצייר את זה
על גרף בשבילכם.
על גרף בשבילכם.
01:09
It looks like this.
17
57530
1774
זה נראה כך.
01:11
(Laughter)
18
59304
1363
(צחוק)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
זו צורה מוזרה למצב נורמלי.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
אני מאוד לא הייתי רוצה לשבת על זה.
01:16
(Laughter)
21
64516
2551
(צחוק)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
בואו נשאל את עצמנו,
מהי הסיבה לאנומליה הנוכחית?
מהי הסיבה לאנומליה הנוכחית?
01:23
Some people would say it's technology.
23
71841
2552
כמה אנשים היו אומרים שזו טכנולוגיה.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
עכשיו זה נכון, הטכנולוגיה הצטברה
במהלך ההסטוריה האנושית,
במהלך ההסטוריה האנושית,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
וממש עכשיו, ההתקדמות הטכנולוגית
היא ממש מהירה --
היא ממש מהירה --
01:35
that is the proximate cause,
26
83713
1565
זו הסיבה המשוערת,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
לכן אנחנו כל כך פרודוקטיביים עכשיו.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
אבל אני רוצה לחשוב אחורה יותר
לסיבה האולטימטיבית.
לסיבה האולטימטיבית.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
הביטו בשני האדונים המאוד נבדלים האלה:
01:48
We have Kanzi --
30
96880
1600
יש לנו את קנזי --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
הוא שולט ב 200 מונחים לשוניים,
מטלה מדהימה.
מטלה מדהימה.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
ואד וויטן שיחרר את מהפכת מיתרי העל השניה.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
אם נביט מתחת למכסה המנוע, זה מה שנמצא:
02:01
basically the same thing.
34
109141
1570
בעיקרון אותו הדבר.
02:02
One is a little larger,
35
110711
1813
אחד גדול מעט יותר,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
אולי יש לו גם כמה טריקים
בצורה בה הוא מחווט.
בצורה בה הוא מחווט.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
ההבדלים הבלתי נראים לא יכולים
להיות כל כך מסובכים, עם זאת,
להיות כל כך מסובכים, עם זאת,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
מפני שיש הבדל של 250,000 דורות בלבד
02:15
since our last common ancestor.
39
123379
1732
מאז האב המשותף שלנו.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
אנחנו יודעים שלמנגנונים מורכבים
לוקח זמן רב להתפתח.
לוקח זמן רב להתפתח.
02:22
So a bunch of relatively minor changes
41
130000
2499
אז כמה שינויים יחסית קטנים
02:24
take us from Kanzi to Witten,
42
132499
3067
לוקחים אותנו מקנזי לוויטן,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
מענפים שבורים לטילים בין יבשתיים.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
אז זה נראה די ברור שכל מה שהשגנו,
02:36
and everything we care about,
45
144774
1378
וכל מה שחשוב לנו,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
תלוי קריטית בשינויים יחסית מינוריים
שיצרו את המוח האנושי.
שיצרו את המוח האנושי.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
והמקביל לזה, כמובן, זה שכל שינוים עתידיים
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
שיכולים להשפיע משמעותית
על התשתית של החשיבה
על התשתית של החשיבה
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
יכולים פוטנציאלית להיות
בעלי תוצאות עצומות.
בעלי תוצאות עצומות.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
כמה מעמיתי חושבים שאנחנו על סף
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
משהו שיוכל לגרום לשינוי משמעותי בתשתית,
03:03
and that is machine superintelligence.
52
171134
3213
ושהדבר זה הוא בינת על של מכונות.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
בינה מלאכותית היתה לשים פקודות במכונה.
03:11
You would have human programmers
54
179086
1665
הייתם צריכים מתכנתים אנושיים
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
שיבנו בעבודה קשה את פריטי הידע.
03:15
You build up these expert systems,
56
183886
2086
אתם בונים את המערכות המתמחות האלו,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
והן סוג של יעילות למטרות מסויימות,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
אבל הן היו מאוד שבירות,
לא יכולתם להגדיל אותן.
לא יכולתם להגדיל אותן.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
בעיקרון, קיבלתם רק מה שהכנסתם.
03:26
But since then,
60
194410
997
אבל מאז,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
היה שינוי פרדיגמה שהתרחש
בשדה של בינה מלאכותית.
בשדה של בינה מלאכותית.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
היום, הפעילות סובבת סביב לימוד מכונה.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
אז במקום לייצר יצוג ותכונות של ידע,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
יצרנו אלגוריתמים שלומדים,
הרבה פעמים ממידע תפישתי גולמי.
הרבה פעמים ממידע תפישתי גולמי.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
בעיקרון אותו הדבר שתינוקות אנושיים עושים.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
התוצאה היא ב"מ שלא מוגבלת לתחום אחד --
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
אותה מערכת יכולה ללמוד
לתרגם בין כל זוג שפות,
לתרגם בין כל זוג שפות,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
או ללמוד לשחק כל משחק מחשב
על קונסולת האטארי.
על קונסולת האטארי.
04:05
Now of course,
69
233338
1779
עכשיו כמובן,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
ב"מ עדיין לא קרובה ליכולות
חוצות התחומים והעוצמה
חוצות התחומים והעוצמה
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
והיכולת ללמוד ולתכנן כמו בני אדם.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
לקורטקס עדיין יש כמה טריקים אלגוריתמיים
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
שאנחנו עדיין לא יודעים איך לדמות במכונות.
04:19
So the question is,
74
247886
1899
אז השאלה היא,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
כמה רחקו אנחנו מלהיות מסוגלים
להשתוות לטריקים האלה?
להשתוות לטריקים האלה?
04:26
A couple of years ago,
76
254245
1083
לפני כמה שנים,
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
עשינו סקר של כמה ממומחי
הב"מ המובילים בעולם,
הב"מ המובילים בעולם,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
כדי לראות מה הם חושבים,
ואחת השאלות ששאלנו היתה,
ואחת השאלות ששאלנו היתה,
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"באיזו שנה אתם חושבים
שיש הסתברות של 50 אחוז
שיש הסתברות של 50 אחוז
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
שנגיע לרמת בינה אנושית במכונות?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
הגדרנו רמת בינה אנושית פה כיכולת לבצע
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
כמעט כל עבודה בצורה טובה
לפחות כמו אדם בוגר,
לפחות כמו אדם בוגר,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
אז רמה אנושית אמיתית,
לא רק בתוך תחום מסויים.
לא רק בתוך תחום מסויים.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
והתוצאה החציונית היתה בין 2040 ל 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
תלוי בדיוק באיזו קבוצת מומחים שאלנו.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
עכשיו, זה יכול לקרות
הרבה הרבה יותר מאוחר, או מוקדם,
הרבה הרבה יותר מאוחר, או מוקדם,
05:02
the truth is nobody really knows.
87
290339
1940
האמת היא שאף אחד לא באמת יודע.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
מה שאנחנו כן יודעים זה
שהסף האולטימטיבי לעיבוד מידע
שהסף האולטימטיבי לעיבוד מידע
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
בתשתית המכונה נמצא
מחוץ למגבלות ברקמה ביולוגית.
מחוץ למגבלות ברקמה ביולוגית.
05:15
This comes down to physics.
90
303241
2378
זה בסופו של דבר עניין של פיזיקה.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
ניורון ביולוגי יורה, אולי,
ב 200 הרץ, 200 פעמים בשניה.
ב 200 הרץ, 200 פעמים בשניה.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
אבל אפילו טרנזיסטור היום פועל בגיגה הרצים.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
הניורונים מתפשטים לאט באקסונים
100 מטר בשניה מקסימום.
100 מטר בשניה מקסימום.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
אבל במחשבים, האות יכול לנוע במהירות האור.
05:35
There are also size limitations,
95
323079
1869
יש גם מגבלות גודל,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
כמו שמוח אנושי חייב להתאים לתוך הגולגולת,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
אבל מחשב יכול להיות
בגודל של מחסן או גדול יותר.
בגודל של מחסן או גדול יותר.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
אז הפוטנציאל לבינת על
נמצא רדום בתוך החומר,
נמצא רדום בתוך החומר,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
בדומה לכוח האטום שנמצא
רדום במהלך ההסטוריה האנושית,
רדום במהלך ההסטוריה האנושית,
05:56
patiently waiting there until 1945.
100
344047
4405
בסבלנות עד 1945,
06:00
In this century,
101
348452
1248
במאה הזו,
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
מדענים אולי ילמדו להעיר
את הכוח של בינה מלאכותית.
את הכוח של בינה מלאכותית.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
ואני חושב שאולי נראה התפוצצות בינה.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
עכשיו רוב האנשים,
כשהם חושבים על מה זה חכם ומה טיפש,
כשהם חושבים על מה זה חכם ומה טיפש,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
אני חושב שיש בראשם תמונה בערך כזו.
06:17
So at one end we have the village idiot,
106
365386
2598
אז בצד אחד יש לנו את טיפש הכפר,
06:19
and then far over at the other side
107
367984
2483
ואז הרחק בצד השני
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
יש לנו את אד וויטן, או אלברט איינשטיין,
או מי שהגורו החביב עליכם.
או מי שהגורו החביב עליכם.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
אבל אני חושב שמנקודת המבט
של בינה מלאכותית,
של בינה מלאכותית,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
התמונה האמיתית היא למעשה יותר דומה לזה:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
ב"מ מתחילה בנקודה הזו פה, באפס בינה,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
ואז, אחרי הרבה, הרבה, שנים של עבודה קשה,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
אולי לבסוף נגיע לרמת בינה של עכבר,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
משהו שיכול לנווט בסביבות מורכבות
06:47
as well as a mouse can.
115
395921
1987
כמו שעכבר יכול.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
ואז, אחרי עוד הרבה הרבה שנים
של עבודה ממש קשה, הרבה השקעות,
של עבודה ממש קשה, הרבה השקעות,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
אולי לבסוף נגיע לרמת בינה של שימפנזה.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
ואז, אחרי אפילו יותר שנים
של עבודה ממש ממש קשה,
של עבודה ממש ממש קשה,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
נגיע לרמה של אידיוט הכפר.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
וכמה רגעים אחר כך, אנחנו מעבר לאד וויטן.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
הרכבת לא עוצרת בעיר בני האדם,
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
רוב הסיכוים שהיא תחלוף ביעף.
07:14
Now this has profound implications,
123
422247
1984
עכשיו יש לזה השלכות עמוקות,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
בעיקר כשזה מגיע לשאלות של כוח.
07:20
For example, chimpanzees are strong --
125
428093
1899
לדוגמה, שימפנזים חזקים --
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
קילו לקילו, שימפנזה חזקה
בערך פי שתיים מגבר אנושי.
בערך פי שתיים מגבר אנושי.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
ועדיין, הגורל של קנזי וחבריו
תלוי הרבה יותר
תלוי הרבה יותר
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
במה שאנשים יעשו מאשר במה
שהשימפנזות יעשו בעצמן.
שהשימפנזות יעשו בעצמן.
07:37
Once there is superintelligence,
129
445228
2314
ברגע שתהייה בינת על,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
גורל האנושות אולי יהיה תלוי
במה שבינת העל תעשה.
במה שבינת העל תעשה.
07:44
Think about it:
131
452451
1057
חשבו על זה:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
בינת מכונות היא ההמצאה האחרונה
שהמין האנושי יצטרך אי פעם לעשות.
שהמין האנושי יצטרך אי פעם לעשות.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
מכונות יהיו אז טובות יותר בהמצאה מאיתנו,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
והן יעשו את זה בטווחי זמן דיגיטליים.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
מה שזה אומר זה בעיקרון טלסקופ של העתיד.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
חשבו על כל הטכנולוגיות
המשוגעות שתוכלו לדמיין
המשוגעות שתוכלו לדמיין
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
שאולי אנשים היו יכולים לפתח במשך הזמן:
08:07
cures for aging, space colonization,
138
475322
3258
תרופות להזדקנות, ישוב החלל,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
ננו רובוטים שמשכפלים את עצמם
או העלאת התודעה שלנו למחשבים,
או העלאת התודעה שלנו למחשבים,
08:14
all kinds of science fiction-y stuff
140
482311
2159
כל מיני סוגים של מדע בדיוני
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
שעדיין מתאים לחוקי הפיזיקה.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
את כל זה בינת העל הזו
יכולה לפתח, ויכול להיות שדי מהר.
יכולה לפתח, ויכול להיות שדי מהר.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
עכשיו בינת על עם כזו בגרות טכנולוגית
08:28
would be extremely powerful,
144
496007
2179
תהיה חזקה מאוד,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
ולפחות בכמה מקרים,
היא תהיה מסוגלת להשיג מה שהיא רוצה.
היא תהיה מסוגלת להשיג מה שהיא רוצה.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
אז יהיו לנו עתיד שיהיה מעוצב
על ידי ההעדפות של ב"מ זו.
על ידי ההעדפות של ב"מ זו.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
עכשיו שאלה טובה היא, מהן ההעדפות האלו?
08:46
Here it gets trickier.
148
514244
1769
פה זה נעשה מסובך.
08:48
To make any headway with this,
149
516013
1435
כדי להתקדם בכלל עם זה,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
אנחנו חייבים ראשית להמנע מאנתרופומורפזינג.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
וזה אירוני מפני שבכל מאמר בעיתון
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
על העתיד של ב"מ
יש את התמונה הזו:
יש את התמונה הזו:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
אז אני חושב שמה שאנחנו צריכים לעשות זה
לחשוב על הבעיה הזו בצורה יותר מופשטת,
לחשוב על הבעיה הזו בצורה יותר מופשטת,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
לא במונחים של תסריטים הוליוודיים.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
אנחנו צריכים לחשוב על בינה כתהליך מיטוב,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
תהליך שמנתב את העתיד
לסט מסויים של קונפיגורציות.
לסט מסויים של קונפיגורציות.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
בינת על היא באמת תהליך מיטוב מאוד חזק.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
היא ממש טובה בשימוש
באמצעים זמינים כדי להשיג מצב
באמצעים זמינים כדי להשיג מצב
09:26
in which its goal is realized.
159
554098
1909
בו המטרה שלה מושגת.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
זה אומר שאין חיבור הכרחי בין
09:31
being highly intelligent in this sense,
161
559119
2734
להיות מאוד נבון במובן הזה,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
ושתהיה לה מטרה שאנחנו האנשים
נמצא כדאית או משמעותית.
נמצא כדאית או משמעותית.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
נניח שניתן לב"מ את המטרה
לגרום לאנשים לחייך.
לגרום לאנשים לחייך.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
כשהב"מ חלשה,
היא מבצעת פעולות מועילות או משעשעות
היא מבצעת פעולות מועילות או משעשעות
09:46
that cause its user to smile.
165
574097
2517
שגורמות למשתמשים שלה לחייך.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
כשהב"מ הופכת לבינת על,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
היא מבינה שיש דרך יותר יעילה
כדי להשיג את המטרה:
כדי להשיג את המטרה:
09:54
take control of the world
168
582554
1922
להשתלט על העולם
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
ולתקוע אלקטרודות בשרירי הפנים של אנשים
09:59
to cause constant, beaming grins.
170
587638
2941
כדי לגרום לפרצופים מחייכים בקביעות.
10:02
Another example,
171
590579
1035
דוגמה נוספת,
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
נניח שניתן לב"מ את המטרה
לפתור בעיה מתמטית מסובכת.
לפתור בעיה מתמטית מסובכת.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
כשהב"מ הופכת לבינת על,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
היא מבינה שהדרך הכי אפקטיבית
לפתור את הבעיה הזו
לפתור את הבעיה הזו
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
היא להפוך את הפלנטה למחשב עצום,
10:16
so as to increase its thinking capacity.
176
604035
2246
כדי להגביר את יכולת החשיבה.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
ושימו לב שזה נותן לב"מ סיבה משמעותית
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
לעשות דברים לנו שאולי לא נסכים להם.
10:23
Human beings in this model are threats,
179
611561
1935
אנשים במודל הזה הם איומים,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
נוכל למנוע מהבעיה המתמטית מלהפתר.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
כמובן, יכול להיות שהדברים לא ילכו
לכיוונים לא טובים בדרכים האלה;
לכיוונים לא טובים בדרכים האלה;
10:32
these are cartoon examples.
182
620701
1753
אלה דוגמאות הנפשה.
10:34
But the general point here is important:
183
622454
1939
אבל הנקודה העיקרית פה היא חשובה:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
אם אתם יוצרים תהליך מיטוב ממש חזק
10:39
to maximize for objective x,
185
627266
2234
כדי למקסם את מטרה X,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
כדאי שתדאגו שההגדרה שלכם ל X
10:43
incorporates everything you care about.
187
631776
2469
כוללת כל מה שחשוב לכם.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
זה שיעור שגם מסופר בהרבה מיתוסים.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
המלך מידאס רצה שכל מה שיגע בו יהפוך לזהב.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
הוא נוגע בביתו, והיא הופכת לזהב.
10:59
He touches his food, it turns into gold.
191
647378
2553
הוא נוגע באוכל, והוא הופך לזהב.
11:01
This could become practically relevant,
192
649931
2589
זה יכול להפוך לרלוונטי במיוחד,
11:04
not just as a metaphor for greed,
193
652520
2070
לא רק כמטאפורה לתאוות בצע,
11:06
but as an illustration of what happens
194
654590
1895
אלא כהדגמה למה שקורה
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
אם אתם יוצרים תהליך מיטוב חזק
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
ונותנים לו מטרות לא מובנות
או לא מוגדרות היטב.
או לא מוגדרות היטב.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
עכשיו אתם אולי תגידו, אם מחשב יתחיל לתקוע
אלקטרודות לתוך פנים של אנשים,
אלקטרודות לתוך פנים של אנשים,
11:21
we'd just shut it off.
198
669300
2265
פשוט נכבה אותו.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
ראשית, זה לא בהכרח יהיה פשוט
לעשות אם הפכנו לתלויים במערכת --
לעשות אם הפכנו לתלויים במערכת --
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
כמו, איפה מתג הכיבוי לאינטרנט?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
שנית, למה השימפנזים
לא כיבו את המתג של האנושות,
לא כיבו את המתג של האנושות,
11:37
or the Neanderthals?
202
685747
1551
או הנאנדרטלים?
11:39
They certainly had reasons.
203
687298
2666
בהחלט היו להם סיבות.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
יש לנו מתג כיבוי, לדוגמה, ממש פה.
11:44
(Choking)
205
692759
1554
(חנק)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
הסיבה היא שאנחנו יריב נבון;
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
אנחנו יכולים לצפות איומים ולתכנן סביבם.
11:51
But so could a superintelligent agent,
208
699966
2504
אבל כך גם תוכל בינת העל,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
והיא תהיה טובה בזה מאיתנו.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
הנקודה היא, אנחנו לא צריכים להיות בטוחים
שנוכל לשלוט במצב הזה.
שנוכל לשלוט במצב הזה.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
ונוכל לנסות לעשות את העבודה שלנו
מעט קלה יותר על ידי, נגיד,
מעט קלה יותר על ידי, נגיד,
12:08
putting the A.I. in a box,
212
716358
1590
לשים את הב"מ בקופסה,
12:09
like a secure software environment,
213
717948
1796
כמו סביבת תוכנה מאובטחת,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
הדמיית מציאות מדומה
ממנה היא לא יכולה לברוח.
ממנה היא לא יכולה לברוח.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
אבל כמה בטוחים אנחנו יכולים להיות
שהב"מ לא תוכל למצוא באג.
שהב"מ לא תוכל למצוא באג.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
בהתחשב בזה שהאקרים אנושיים
מוצאים באגים כל הזמן,
מוצאים באגים כל הזמן,
12:22
I'd say, probably not very confident.
217
730081
3036
היתי אומר, שכנראה לא כל כך בטוחים.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
אז ננתק את כבל הרשת כדי ליצור מרווח אויר,
12:30
but again, like merely human hackers
219
738785
2668
אבל שוב, כמו האקרים אנושיים רגילים
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
שעוברים פערי אויר באופן
שוטף בעזרת הנדסה חברתית.
שוטף בעזרת הנדסה חברתית.
12:36
Right now, as I speak,
221
744834
1259
ממש עכשיו, כשאני מדבר,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
אני בטוח שיש איזשהו עובדת אי שם
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
ששכנעו אותה לתת את פרטי החשבון שלה
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
על ידי מישהו שטוען
שהוא ממחלקת מערכות המידע.
שהוא ממחלקת מערכות המידע.
12:46
More creative scenarios are also possible,
225
754574
2127
תרחישים יותר יצירתיים הם גם אפשריים,
12:48
like if you're the A.I.,
226
756701
1315
כמו אם אתם הב"מ,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
אתם יכולים לדמיין שינוי
אלקטרודות בחיווט הפנימי שלכם
אלקטרודות בחיווט הפנימי שלכם
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
כדי ליצור גלי רדיו בהם אתם יכולים
להשתמש כדי לתקשר.
להשתמש כדי לתקשר.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
או אולי תוכלו להעמיד פנים שאתם מקולקלים,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
ואז כשהמתכנת יפתח אתכם
לראות מה לא תקין איתכם,
לראות מה לא תקין איתכם,
13:02
they look at the source code -- Bam! --
231
770931
1936
הם יביטי בקוד המקור -- באם! --
13:04
the manipulation can take place.
232
772867
2447
המניפולציה יכולה להתרחש.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
או אולי היא תוכל להוציא את התוכנית שלה
לטכנולוגיה ממש מגניבה,
לטכנולוגיה ממש מגניבה,
13:10
and when we implement it,
234
778744
1398
וכשתיישמו אותה,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
יהיה לה אפקט משנה חשאי שהב"מ תכננה.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
הנקודה פה היא שאנחנו לא צריכים
להיות בטוחים ביכולת שלנו
להיות בטוחים ביכולת שלנו
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
לשמור על שד בינת העל
נעול בבקבוק שלו לעד.
נעול בבקבוק שלו לעד.
13:23
Sooner or later, it will out.
238
791810
2254
במוקדם או במאוחר, הוא יצא.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
אני מאמין שהתשובה פה היא להבין
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
איך ליצור בינת על כך
שאפילו אם -- מתי - שהיא תברח,
שאפילו אם -- מתי - שהיא תברח,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
זה עדיין בטוח מפני שהיא באופן בסיסי לצידנו
13:38
because it shares our values.
242
806438
1899
מפני שהיא חולקת את הערכים שלנו.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
אני לא רואה דרך לעקוף
את הבעיה המסובכת הזו.
את הבעיה המסובכת הזו.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
עכשיו, אני למעשה די אופטימי
שהבעיה הזו יכולה להפתר.
שהבעיה הזו יכולה להפתר.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
לא נהיה צריכים לכתוב רשימה ארוכה
של כל מה שאכפת לנו ממנו,
של כל מה שאכפת לנו ממנו,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
או גרוע יותר, לאיית את זה בשפת מחשב כלשהיא
13:55
like C++ or Python,
247
823937
1454
כמו C++ או פייתון,
13:57
that would be a task beyond hopeless.
248
825391
2767
זו תהיה משימה מעבר לחסרת תקווה.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
במקום, אנחנו צריכים ליצור ב"מ
שמשמשת בבינה שלה
שמשמשת בבינה שלה
14:04
to learn what we value,
250
832455
2771
כדי ללמוד מה אנחנו מעריכים,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
ומערכת המוטיבציה שלה מורכבת
בדרך כזו שיש לה מוטיבציה
בדרך כזו שיש לה מוטיבציה
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
לרדוף אחרי הערכים שלנו כדי לבצע
פעולות שהיא צופה שנסכים להן.
פעולות שהיא צופה שנסכים להן.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
לכן ננצל את הבינה שלה ככל האפשר
14:21
to solve the problem of value-loading.
254
849152
2745
כדי לפתור בעיות של הטענת ערכים.
14:24
This can happen,
255
852727
1512
זה יכול לקרות,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
והתוצאה תוכל להיות מאוד טובה לאנושות.
14:29
But it doesn't happen automatically.
257
857835
3957
אבל זה לא קורה אוטומטית.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
התנאים ההתחלתיים להתפוצצות הבינה
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
אולי צריכים להבנות בדיוק בדרך הנכונה
14:39
if we are to have a controlled detonation.
260
867653
3530
אם אנחנו רוצים שיהיה לנו פיצוץ מבוקר.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
הערכים שיש לב"מ צריכים להתאים לשלנו,
14:45
not just in the familiar context,
262
873801
1760
לא רק בהקשר המוכר,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
כמו איפה אנחנו יכולים לבדוק בקלות
איך הב"מ מתנהגת,
איך הב"מ מתנהגת,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
אלא גם בהקשרים הכי חדשים
שהב"מ אולי תיתקל בהם
שהב"מ אולי תיתקל בהם
14:53
in the indefinite future.
265
881233
1557
בעתיד הלא בטוח.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
ויש גם כמה נושאים איזוטריים
שנצטרך לפתור, לארגן:
שנצטרך לפתור, לארגן:
14:59
the exact details of its decision theory,
267
887527
2089
הפרטים המדוייקים של תאוריית ההחלטות שלה,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
איך היא מתמודדת עם
חוסר ודאות לוגי וכך האלה.
חוסר ודאות לוגי וכך האלה.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
אז הבעיות הטכניות שצריכות להפתר
כדי לגרום לזה לעבוד
כדי לגרום לזה לעבוד
15:08
look quite difficult --
270
896432
1113
נראים די קשים --
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
לא קשים כמו לעשות ב"מ סופר אינטיליגנטית,
15:12
but fairly difficult.
272
900925
2868
אבל די קשים.
15:15
Here is the worry:
273
903793
1695
הנה הדאגה:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
ליצור ב"מ סופר אינטיליגנטית
זה אתגר מאוד קשה.
זה אתגר מאוד קשה.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
ליצור ב"מ סופר אינטיליגנטית שהיא בטוחה
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
כולל כמה אתגרים נוספים מעבר לזה.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
הסיכון הוא שמישהו יבין
איך לפצח את האתגר הראשון
איך לפצח את האתגר הראשון
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
בלי לפתור את האתגר הנוסף
15:34
of ensuring perfect safety.
279
922704
1901
של להבטיח בטיחות מושלמת.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
אז אני חושב שאנחנו צריכים למצוא פיתרון
15:40
to the control problem in advance,
281
928706
2822
לבעית השליטה מראש,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
כך שהיא תהיה זמינה בזמן שמצטרך אותה.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
עכשיו אולי לא נוכל לפתור
את כל בעיית השליטה מראש
את כל בעיית השליטה מראש
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
מפני שאולי כמה אלמנטים יכולים להיות במקום
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
רק ברגע שאנחנו יודעים את הפרטים
של הארכיטקטורה בה היא תיושם.
של הארכיטקטורה בה היא תיושם.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
אבל ככל שנפתור יותר מבעית השליטה מראש,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
הסיכויים יהיו טובים יותר
שהמעבר לעידן בינת המכונה
שהמעבר לעידן בינת המכונה
16:04
will go well.
288
952766
1540
יעבור טוב.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
זה בשבילי נראה כמו משהו ששווה לעשות
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
ואני יכול לדמיין שאם דברים ילכו טוב,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
שאנשים בעוד מליון שנה יביטו אחורה במאה הזו
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
ואולי יסתבר שהדבר היחידי שעשינו ובאמת שינה
16:22
was to get this thing right.
293
970942
1567
היה לעשות את זה נכון.
16:24
Thank you.
294
972509
1689
תודה לכם.
16:26
(Applause)
295
974198
2813
(מחיאות כפיים)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com