Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Bilgisayarlarımız bizden zeki olduğu zaman ne olacak?
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
philosophers and computer scientists,
bilgisayar uzmanıyla çalışıyorum,
the future of machine intelligence,
oturup makine zekasının geleceği
things are sort of science fiction-y,
bir tür bilim kurgu olduğunu düşünüyor,
human condition.
durumuna bir bakalım.
için normal olan yoldur.
guests on this planet,
daha yeni gelmiş misafirleriyiz,
was created one year ago,
yaratıldığını düşünelim,
would be 10 minutes old.
on dakika yaşında olurdu.
two seconds ago.
başlamış olurdu.
world GDP over the last 10,000 years,
son on bin yıldaki GSYİH'sine bakalım.
to plot this for you in a graph.
zahmete girdim, aslında hiç kolay değildi.
for a normal condition.
tuhaf bir şekil.
beklemek istemezdim.
of this current anomaly?
sebebi nedir?
through human history,
birikimli bir şekilde gelişti,
advances extremely rapidly --
so very productive.
en yakın sebep bu.
to the ultimate cause.
daha geçmişe gitmek istiyorum.
distinguished gentlemen:
beyefendiye bakın:
tokens, an incredible feat.
inanılır gibi değil.
superstring revolution.
devrimini gerçekleştirdi.
this is what we find:
işte bunu buluruz:
in the exact way it's wired.
birkaç numarası daha vardır.
be too complicated, however,
çok karmaşık olamaz,
been 250,000 generations
beri sadece,
take a long time to evolve.
uzun zaman geçmesi gerektiğini biliyoruz.
to intercontinental ballistic missiles.
balistik füzelere götürür.
that everything we've achieved,
başardığımız ve önemsediğimiz
changes that made the human mind.
değişikliklere bağlıdır.
is that any further changes
ciddi şekilde değiştirebilecek
the substrate of thinking
enormous consequences.
think we're on the verge
özünde derinden bir değişikliğe
a profound change in that substrate,
olduğumuzu düşünüyor,
about putting commands in a box.
yerleştirmek için kullanılırdı.
handcraft knowledge items.
for some purposes,
için çok kullanışlı
you couldn't scale them.
ölçeklenemiyorlardı.
what you put in.
sadece onu alıyordunuz.
in the field of artificial intelligence.
bakış açısı türedi.
around machine learning.
öğrenmesine kadar dayandı.
representations and features,
fikirler, özellikler yerine
often from raw perceptual data.
algoritmalar yaratıyoruz.
that the human infant does.
yaptığı şeyle aynı.
limited to one domain --
tek bir alanla sınırlamaz.
between any pairs of languages,
çevirmeyi öğrenebilir ya da
on the Atari console.
oynamayı öğrenebilir.
the same powerful, cross-domain
etki alanları arası öğrenme ve planlama
as a human being has.
algorithmic tricks
eşleştirebileceğimizi henüz
how to match in machines.
algoritmik zorluklar var.
ne kadar uzaktayız?
to match those tricks?
leading A.I. experts,
araştırmacılarıyla ne düşündüklerini
and one of the questions we asked was,
sorduğumuz sorulardan biri de
there is a 50 percent probability
yüzde elli ihtimalle
human-level machine intelligence?"
ulaşabiliriz?"
as the ability to perform
yetişkin bir insan kadar
as an adult human,
olarak tanımladık.
within some limited domain.
belli bir alanla sınırlandırılamaz.
söylediklerine dayanarak
bu cevap ise 2040 ya da 2050 idi.
group of experts we asked.
much later, or sooner,
ya da daha erken bir tarihte olabilir,
makina bazında,
limit to information processing
the limits in biological tissue.
dokunun limitinin çok uzağındadır.
at 200 hertz, 200 times a second.
200 hertz'de sinyal transfer edebilir.
operates at the Gigahertz.
gigahertz bazında çalışır.
100 meters per second, tops.
maximum 100 metre yayılırlar.
at the speed of light.
ışık hızında taşınır.
to fit inside a cranium,
kafatasının içine sığmalıdır.
of a warehouse or larger.
büyüklüğünde ya da daha büyük olabilir.
lies dormant in matter,
madde boyutunda uykudadır,
lay dormant throughout human history,
boyunca uykuda olup,
beklemesi gibi.
the power of artificial intelligence.
açığa çıkartmayı öğrenebilir.
an intelligence explosion.
zeka patlaması görebiliriz.
olmayanı düşündüklerinde,
about what is smart and what is dumb,
roughly like this.
böyle bir tablo oluşuyor bana göre.
or whoever your favorite guru is.
ya da kimi örnek alıyorsanız.
of artificial intelligence,
açısından bakacak olursak,
probably more like this:
şöyle olacaktır:
at zero intelligence,
tamamen 0 zekayla başlıyor
years of really hard work,
uzun çalışmaların sonucunda
mouse-level artificial intelligence,
fare seviyesi yapay zekasına ulaşabiliriz.
cluttered environments
bile yolunu bulabilen
of really hard work, lots of investment,
ve yatırımların sonucunda,
chimpanzee-level artificial intelligence.
Yapay zekasına ulaşabiliriz.
of really, really hard work,
daha uzun çalışmalar sonucunda,
artificial intelligence.
ulaşabiliriz.
we are beyond Ed Witten.
Ed Witten'nin ötesinde olabiliriz.
at Humanville Station.
normal insan köyünde durmuyor
to questions of power.
soru güç konusuna gelince
twice as strong as a fit human male.
iki katı kadar güçlü olabilirler.
and his pals depends a lot more
kaderi bizim yaptığımız
what the chimpanzees do themselves.
daha fazlasına dayanır.
on what the superintelligence does.
ne yapabildiğine bağlı olabilir.
that humanity will ever need to make.
yapabileceği en son keşif.
at inventing than we are,
alanında bizde daha iyi olacaklar
on digital timescales.
alanlarda yapabilecekler.
a telescoping of the future.
geleceğe bakış atmadır.
that you could have imagined
müthiş teknolojileri düşünün,
in the fullness of time:
bunları keşfedicekler, mesela
of minds into computers,
bilgisayarlara zihin aktarma
with the laws of physics.
uygun bir şekilde olması lazım.
develop, and possibly quite rapidly.
Süper zeka ürünleri geliştirilebilir.
technological maturity
süper zeka düşünürsek
it would be able to get what it wants.
ne istediği varsa elde eder.
be shaped by the preferences of this A.I.
üzerine bizim geleceğimizi şekillendirir.
güzel bir soru sorulabilir.
what are those preferences?
avoid anthropomorphizing.
her şeyden kaçınmamız lazım.
every newspaper article
okuduğumuz her gazete
has a picture of this:
to conceive of the issue more abstractly,
Hollywood senaryoları gibi değil
as an optimization process,
getirme süreci olarak düşünmeliyiz.
into a particular set of configurations.
şekillerde yönlendirmeli.
a really strong optimization process.
getirmekse baya zordur.
available means to achieve a state
çok kolay bir şekilde para bulabilir
conenction between
yüksek zekaya sahip olmak
would find worthwhile or meaningful.
arasında bir bağlantı olmak zorunda değildir.
to make humans smile.
gülümsetmesi görevini verdik.
or amusing actions
kullanıcısını gülümseten,
effective way to achieve this goal:
yolu olduğunun farkına varır:
muscles of humans
elektrotlar ile
a difficult mathematical problem.
matematik problemi verdik.
to get the solution to this problem
ve tüm dünyayı kocaman
into a giant computer,
fark eder.
an instrumental reason
bize, bizim onaylamayacağımız
might not approve of.
etkili gerekçeler buluyor.
problem from being solved.
engelleyebiliriz.
şekilde ters gitmeyebilir; ama bunlar
go wrong in these particular ways;
optimization process
en güçlü seviyesinde bir
that your definition of x
emin olmalısınız.
in many a myth.
altına dönüşmesini ister.
he touches be turned into gold.
she turns into gold.
ve kızı altına dönüşür.
optimization process
ya da yetersiz belirtilmiş
or poorly specified goals.
olabileceğinin bir örneğidir.
sticking electrodes into people's faces,
insanların deri altlarına
if we've grown dependent on the system --
yüzden bunu yapması o kadar kolay değil.
to the Internet?
kapatma düğmesi nerede?
flicked the off switch to humanity,
insanların gelişme
bir kapatma düğmesi var.
for example, right here.
an intelligent adversary;
zeki bir düşmandık;
and plan around them.
plan yapabilirdik.
daha iyisini yapabilir.
at that than we are.
that we have this under control here.
kendimizden emin olmamalıyız.
a little bit easier by, say,
Yapay zekayı güvenli bir
from which it cannot escape.
the A.I. couldn't find a bug.
bulamayacağından ne kadar eminiz
find bugs all the time,
çoğunluğu aralık bulabiliyor.
to create an air gap,
internet kablosunu çekeriz
using social engineering.
hava boşluklarını ihlal ederler.
out there somewhere
her account details
olduğunu iddia eden birileri
from the I.T. department.
bilgileri alınıyor.
around in your internal circuitry
konuşmak için
can use to communicate.
hayal edebilirsiniz.
you up to see what went wrong with you,
öğrenmek için içinizi açtığında
taslağımızı aktarıyoruz.
to a really nifty technology,
that the A.I. had planned.
gizli saklı amaçları olabilir.
not be confident in our ability
süper zekayı kendi şişesinde
locked up in its bottle forever.
tutulabileceğine güvenmemeliyiz.
is to figure out
çözmemiz gereken
such that even if -- when -- it escapes,
süper zeka yaratmalıyız ki
temelinde bize sadık olmalı
fundamentally on our side
this difficult problem.
bir yolunu bulamıyorum.
that this problem can be solved.
daha fazla inanıyorum.
a long list of everything we care about,
yazmak zorunda değiliz
in some computer language
C++ veya Python gibi
that uses its intelligence
değer verdiğimiz her şeyi,
in such a way that it is motivated
bizim değerlerimizle ve
that it predicts we would approve of.
atmak için motive olmalı.
its intelligence as much as possible
olarak kullanarak insan değerleri
çok yararlı olabilir.
very good for humanity.
for the intelligence explosion
patlaması yaratabilirsek
in just the right way
gerekli şartlar
kolayca kontrol edebileceğimiz
need to match ours,
how the A.I. behaves,
gelecekte karşılaşabileceği
that the A.I. might encounter
olağan dışı problem de var.
that would need to be solved, sorted out:
uncertainty and so forth.
tam detayları gibi.
to be solved to make this work
gereken teknik problem ise
a superintelligent A.I.,
is a really hard challenge.
gerçekten zor.
challenge on top of that.
yapay zeka yapmaktır.
how to crack the first challenge
the additional challenge
work out a solution
by the time it is needed.
cevabını aramalıyız.
the entire control problem in advance
çok ilerleyemeceğiz
can only be put in place
sadece gerekli.
architecture where it will be implemented.
ortada olduğunda çözülebilir.
that we solve in advance,
sorununda ne kadar ilerlersek
to the machine intelligence era
çağına geçişimiz de
that is well worth doing
bir şey olarak geliyor
things turn out okay,
gibi giderse
look back at this century
yüzyılımıza baktığında
the one thing we did that really mattered
önemli olan tek şeyi
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com