17:58
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

آبي دافيز: تقنية الفيديو الجديدة التي تكشف الخصائص المخفية للكائن

Filmed:

حركة خفية تحدث من حولنا في كل وقت، بما في ذلك الاهتزازات الصغيرة الناجمة عن الصوت. تكنولوجيا جديدة تظهر أننا ممكن أن نتمكن من التقاط هذه الاهتزازات وفعلا إعادة إنشاء الصوت والمحادثات فقط من شريط فيديو . ولكن الآن ابي ديفيس يأخذ خطوة أبعد: ببرنامج تجريبي يسمح لأي شخص أن يتفاعل مع هذه الخصائص الخفية، فقط من شريط فيديو بسيط.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

أكثرنا يرى الحركة بإعتبارها شيئا بصريا فقط
00:13
Most of us think of motion
as a very visual thing.
لو مشيت عبر المسرح أو أشرت يدي بينما أتكلم
00:17
If I walk across this stage
or gesture with my hands while I speak,
فتلك الحركة هي شئ يمكنكم رؤيته
00:22
that motion is something that you can see.
ولكن هناك عالم من الحركات المهمة
00:26
But there's a world of important motion
that's too subtle for the human eye,
دقيقة جدا للعين البشرية
وخلال السنوات القليلة الماضية
00:31
and over the past few years,
بدأنا بمعرفة إن الكاميرا
00:33
we've started to find that cameras
تستطيع رؤية الحركة حتى لو لم يتمكن البشر
00:35
can often see this motion
even when humans can't.
لذلك دعوني اريكم ما اعني
00:40
So let me show you what I mean.
هنا إلى اليسار ترون فلما عن معصم شخص ما
00:42
On the left here, you see video
of a person's wrist,
وإلى اليمين ترون فلما عن طفلة نائمة
00:46
and on the right, you see video
of a sleeping infant,
ولكن لو لم اخبركم بانها أفلام
00:49
but if I didn't tell you
that these were videos,
ستعتثدون إنكم تنظرون إلى صورتين إعتياديتين
00:52
you might assume that you were looking
at two regular images,
لأن في الحالتين
00:56
because in both cases,
يظهر هاذان الفلمان بأنهما ثابتان تماما
00:58
these videos appear to be
almost completely still.
ولكن هناك الكثير من الحركات الدقيقة
01:02
But there's actually a lot
of subtle motion going on here,
التي تحدث هنا
وإذا تحسستم المعصم الذي على اليسار
01:06
and if you were to touch
the wrist on the left,
كنتم ستشعرون بالنبض
01:08
you would feel a pulse,
ولو أمسكتم الطفلة التي على اليمين
01:10
and if you were to hold
the infant on the right,
لشعرتم بإرتفاع وإنخفاض صدرها
01:12
you would feel the rise
and fall of her chest
بينما تأخذ أنفاسها
01:15
as she took each breath.
وهذه الحركات تأخذ الكثير من الأهمية
01:17
And these motions carry
a lot of significance,
ولكنها عادة دقيقة جدا علينا لنراها
01:21
but they're usually
too subtle for us to see,
وبدلا من ذلك علينا مراقبتها
01:24
so instead, we have to observe them
من خلال الأتصال المباشر أو اللمس المباشر
01:26
through direct contact, through touch.
ولكن قبل بضع سنوات
01:30
But a few years ago,
قام زملائي بتطوير ما سموه بمجهر الحركة
01:32
my colleagues at MIT developed
what they call a motion microscope,
وهو برنامج يجد الحركة الدقيقة في الافلام
01:36
which is software that finds
these subtle motions in video
ويضخمها بما يجعلها كبيرة كفاية لنا لنراها
01:41
and amplifies them so that they
become large enough for us to see.
و لو استخدمنا البرنامج على الفلم الأيسر
01:45
And so, if we use their software
on the left video,
يجعلنا نرى النبض في المعصم
01:48
it lets us see the pulse in this wrist,
وإذا اردنا حساب ذلك النبض
01:52
and if we were to count that pulse,
يمكننا تحديد معدل النبض لهذا الشخص
01:53
we could even figure out
this person's heart rate.
ولو إستخدمنا نفس البرنامج على الفلم الأيمن
01:57
And if we used the same software
on the right video,
يمكننا أن نرى كل تنفس تقوم به الطفلة
02:00
it lets us see each breath
that this infant takes,
ويمكننا هذا من مراقبة تنفسها دون لمسها
02:03
and we can use this as a contact-free way
to monitor her breathing.
وبهذا فإن هذه التكنولوجبا قوية فعلا
02:08
And so this technology is really powerful
because it takes these phenomena
لأنها تأخذ مثل هذه الظواهر
التي نمارسها عادة باللمس
02:14
that we normally have
to experience through touch
وتسمح لنا بالتقاطها بصريا وبدون احتكاك
02:16
and it lets us capture them visually
and non-invasively.
وهكذا ومنذ بضعة سنين
02:21
So a couple years ago, I started working
with the folks that created that software,
بدأت بالعمل مع الذين وضعوا هذا البرنامج
وقررنا أن نتابع فكرة مجنونة
02:25
and we decided to pursue a crazy idea.
رأينا إنها فكرة جيدة بأن نستخدم برنامجا
02:28
We thought, it's cool
that we can use software
لأستيعاب حركات دقيقة مثل هذه
02:31
to visualize tiny motions like this,
ولنا أن تأخذها كطريقة لتوسيع حاسة لمسنا
02:34
and you can almost think of it
as a way to extend our sense of touch.
ولكن ماذا لو أستطعنا عمل نفس الشيء
02:39
But what if we could do the same thing
with our ability to hear?
مع قدرتنا على السمع؟
ماذا لو تمكنا من إستخدام الأفلام
02:44
What if we could use video
to capture the vibrations of sound,
لأاتقاط ذبذبات الصوت
والتي هي ليست إلا نوع آخر من الحركة
02:49
which are just another kind of motion,
وتحويل كل ما نراه إلى ميكروفون
02:52
and turn everything that we see
into a microphone?
وهذه حقا فكرة غريبة قليلا
02:56
Now, this is a bit of a strange idea,
لذا دعوني أضعها بالشكل الصحيح لكم
02:58
so let me try to put it
in perspective for you.
03:01
Traditional microphones
work by converting the motion
لميكروفون العادي يعمل بتحويل الحركة
لغشاء داخلي إلى إشارة كهربائية
03:05
of an internal diaphragm
into an electrical signal,
وهذا الغشاء مصمم للحركة بسهولة تبعا للصوت
03:08
and that diaphragm is designed
to move readily with sound
بحيث يمكن تسجيل حركته و ترجمتها إلى صوت
03:12
so that its motion can be recorded
and interpreted as audio.
ولكن الصوت يسبب ذبذبة جميع الأجسام
03:17
But sound causes all objects to vibrate.
وهذه الذبذبات عادة تكون دقيقة جدا
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
وسريعة جدا لنا لنراها
أي إننا عندما نسجلها بكاميرا ذات سرع عالية
03:26
So what if we record them
with a high-speed camera
ونستخدم البرنامج لأستخلاص الحركات الدقيقة
03:30
and then use software
to extract tiny motions
من فلمنا العالي السرعة
03:34
from our high-speed video,
ثم نحلل هذه الحركات
03:36
and analyze those motions to figure out
what sounds created them?
لنجد أي صوت هو الذي سبّبها؟
وهذا يسمح لنا بتحويل الأشياء المنظورة
03:41
This would let us turn visible objects
into visual microphones from a distance.
إلى مكروفونات بصرية بعيدة
وهكذا جربنا ذلك
03:49
And so we tried this out,
وهذه واحدة من إحدى تجاربنا
03:51
and here's one of our experiments,
حيث أخذنا نبتة مزروعة نراها على اليمين
03:53
where we took this potted plant
that you see on the right
وصورناها بكاميرا عالية السرعة
03:56
and we filmed it with a high-speed camera
بينما كان مكبر صوت مجاور يظهر الصوت
03:58
while a nearby loudspeaker
played this sound.
(موسيقى بأغنية أطفال)
04:02
(Music: "Mary Had a Little Lamb")
وههذا هو الفيديو الذي سجلناه
04:11
And so here's the video that we recorded,
وصورناه بسرعة عدة ألاف من الأطر بالثانية
04:14
and we recorded it at thousands
of frames per second,
ولكن حتى إذا نظرت إليه عن قرب
04:18
but even if you look very closely,
سترى أن هناك بعض الاوراق
04:20
all you'll see are some leaves
لا تفعل شيئا سوى البقاء ساكنة
04:22
that are pretty much
just sitting there doing nothing,
لأن الصوت لم يحرك هذه الأوراق
04:25
because our sound only moved those leaves
by about a micrometer.
إلا أقل من ميكروميتر
04:31
That's one ten-thousandth of a centimeter,
وهو جزء من عشرة آلاف من السنتمتر
والذي يمتد بين واحد بالمائة وواحد بالألف
04:35
which spans somewhere between
a hundredth and a thousandth
من البكسل من هذه الصورة
04:39
of a pixel in this image.
04:41
So you can squint all you want,
ويمكنك أن تحدق كما تريد
ولكن حركة بهذا الصغر تبقى غير قابلة للرؤية
04:44
but motion that small is pretty much
perceptually invisible.
غير إنه ظهر إن هناك شيئا يمكن رؤيته
04:49
But it turns out that something
can be perceptually invisible
ويبقى رقميا شيئا مهما
04:53
and still be numerically significant,
لأننا باستخدام الخوارزمية الصحيحة
04:56
because with the right algorithms,
لأننا سنأخذ الفلم الصامت الذي يبدو ساكنا
04:58
we can take this silent,
seemingly still video
ونستطيع استعادة ذلك الصوت
05:02
and we can recover this sound.
(موسيقى أطفال )
05:04
(Music: "Mary Had a Little Lamb")
(تصفيق)
05:12
(Applause)
كيف كان ذلك ممكنا ؟
05:22
So how is this possible?
كيف تمكنا من الحصول على هذا القدر
05:23
How can we get so much information
out of so little motion?
من المعلومات من هذه الحركة القليلة؟
حسنا، لنقل بأن هذه الأوراق
05:28
Well, let's say that those leaves
move by just a single micrometer,
تحركت ميكروميترا واحدا
ولنقل بأن ذلك سيحرك الصورة
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
بمقدار واحد بالألف من البكسل
05:39
That may not seem like much,
ولا يبدو هذا كثيرا
ولكن صورة واحدة من الفلم الفيديو
05:41
but a single frame of video
يمكن ن يكون فيها مئات الآلاف من البكسلات
05:43
may have hundreds of thousands
of pixels in it,
لذلك اذا أدمجنا جميع الحركات الدقيقة
05:47
and so if we combine all
of the tiny motions that we see
التي نشاهدها عبر الصورة بكاملها
05:50
from across that entire image,
و فجأة يمكن لواحد بالألف من البكسل
05:52
then suddenly a thousandth of a pixel
أن يبدأ ليكون شيئا مهما جدا
05:55
can start to add up
to something pretty significant.
05:58
On a personal note, we were pretty psyched
when we figured this out.
وأقول بأننا أصبنا بالجنون عندما عرفنا ذلك
(ضحك)
06:02
(Laughter)
ولكن حتى مع الخوارزمية الصحيحة
06:04
But even with the right algorithm,
لا نزال نفتقد جزءا مهما من الحزورة
06:08
we were still missing
a pretty important piece of the puzzle.
ترون إن هناك العديد من العوامل تؤثر في
06:11
You see, there are a lot of factors
that affect when and how well
متى وكيف ستعمل هذه التقنية
06:15
this technique will work.
هناك الموضوع وكم يبعد
06:17
There's the object and how far away it is;
هناك الكاميرا والعدسة المستعملة
06:20
there's the camera
and the lens that you use;
كمبة الضوء النازل على الجسم و إرتفاع الصوت
06:22
how much light is shining on the object
and how loud your sound is.
وحتى مع الخوارزمية الصحيحة
06:27
And even with the right algorithm,
يجب أن نعتني جدا بتجاربنا الأولية
06:31
we had to be very careful
with our early experiments,
إذ لو إخترنا أي من هذه العوامل بشكل خاطئ
06:34
because if we got
any of these factors wrong,
لن نتمكن من معرفة ماذا كانت المشكلة
06:37
there was no way to tell
what the problem was.
وسنحصل على ضجيج فقط
06:39
We would just get noise back.
وهكذا بدت العديد من تجاربنا الأولية
06:42
And so a lot of our early
experiments looked like this.
وها أنا الآن
06:45
And so here I am,
وعلى اليسار تشاهدون الكاميرا عالية السرعة
06:47
and on the bottom left, you can kind of
see our high-speed camera,
تشير إلى كيس من الرقاقات
06:51
which is pointed at a bag of chips,
وكل شئ مضاء بهذه المصابيح القوية
06:53
and the whole thing is lit
by these bright lamps.
وكما قلت يجب أن نهتم بهذه التجارب الأولية
06:56
And like I said, we had to be
very careful in these early experiments,
وهكذا جرت التجربة أخيرا
07:01
so this is how it went down.
ئيب ديفز: ثلاثة إثنين واحد إبدأ
07:03
(Video) Abe Davis: Three, two, one, go.
أغنية أطفال
07:07
Mary had a little lamb!
Little lamb! Little lamb!
(ضحك)
07:12
(Laughter)
إذا تبدو هذه التجربة سخيفة تماما
07:17
AD: So this experiment
looks completely ridiculous.
(ضحك)
07:20
(Laughter)
أقصد إنني أصرخ على كيس من الرقاقات
07:21
I mean, I'm screaming at a bag of chips --
(ضحك)
07:24
(Laughter) --
ونحن نحاول تدميرها بهذه الكمية من الضوء
07:25
and we're blasting it with so much light,
وبالفعل فقد أذبنا الكيس الأول
07:27
we literally melted the first bag
we tried this on. (Laughter)
الذي أجرينا التجربة عليه (ضحك)
ولكن مهما بدت التجربة سخيفة
07:32
But ridiculous as this experiment looks,
فقد كانت فعلا مهمة جدا
07:35
it was actually really important,
لأننا إستطعنا إستعادة هذا الصوت
07:37
because we were able
to recover this sound.
صوت أغنية الاطفال
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
(تصفيق)
07:45
(Applause)
وكان هذا مهما فعلا
07:49
AD: And this was really significant,
لأنها كانت المرة الأولى
07:51
because it was the first time
we recovered intelligible human speech
التي إستعدنا فيها كلاما بشريا مفهوما
من الفلم الصامت لشيء ما
07:55
from silent video of an object.
وهكذا أعطتنا نقطة للبداية
07:57
And so it gave us this point of reference,
وتدريجيا بدأنا بتطوير التجربة
08:00
and gradually we could start
to modify the experiment,
بإستخدام مواضيع مختلفة
08:04
using different objects
or moving the object further away,
أو تغيير موضعها وبعدها
وإستخدام ضوء أقل أو اصوات أهدأ
08:07
using less light or quieter sounds.
وقمنا بتحليل كل هذه التجارب
08:11
And we analyzed all of these experiments
حتى فهمنا فعلا حدود تقنياتنا
08:14
until we really understood
the limits of our technique,
وما أن فهمنا هذه الحدود
08:18
because once we understood those limits,
فقد عرفنا كيف نوسعها
08:20
we could figure out how to push them.
وقادنا هذا إلى تجارب مثل هذه
08:22
And that led to experiments like this one,
حيث سأعود مجددا للتكلم مع كيس رقاقات
08:25
where again, I'm going to speak
to a bag of chips,
لكن هذه المرة ابعدنا الكاميرا 15 قدما
08:28
but this time we've moved our camera
about 15 feet away,
وفي الخارج من خلف نافذة عازلة للصوت
08:33
outside, behind a soundproof window,
وكان كل شيء مضاءا بنور الشمس الطبيعي فقط
08:36
and the whole thing is lit
by only natural sunlight.
والأن ها هو الفيديو الذي حصلنا عليه
08:40
And so here's the video that we captured.
وهذا ما بدا مسموعا من الداخل
08:44
And this is what things sounded like
from inside, next to the bag of chips.
من قرب كيس الرقاقات
صوت أغنية الأطفال
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
08:54
and everywhere that Mary went,
that lamb was sure to go.
وهذا ما أمكننا إستعادته من الفيديو الصامت
08:59
AD: And here's what we were able
to recover from our silent video
الذي صورناه من الخارج من خلف تلك النافذة
09:03
captured outside behind that window.
صوت أغنية الأطفال
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
09:10
and everywhere that Mary went,
that lamb was sure to go.
(تصفيق)
09:15
(Applause)
إعلان: وهناك طرق أخرى نستطيع بها
09:22
AD: And there are other ways
that we can push these limits as well.
دفع هذه الحدود ابعد وابعد
وإليكم هنا تجربة أهدأ
09:25
So here's a quieter experiment
حيث صورنا سماعات أذنية مركبة على حاسبة
09:27
where we filmed some earphones
plugged into a laptop computer,
وفي هذه الحالة كان هدفنا إستعادة موسيقى
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
تدور على الحاسبة من فيديو صامت
09:35
from just silent video
ومن سماعتي الأذن البلاستيكية الصغيرة هذه
09:38
of these two little plastic earphones,
تمكنا من القيام بهذا جيدا
09:40
and we were able to do this so well
بحيث كان يمكن أن أنشر النتائج
09:42
that I could even Shazam our results.
(ضحك)
09:45
(Laughter)
09:49
(Music: "Under Pressure" by Queen)
(موسيقى)
(تصفيق)
10:01
(Applause)
كما إننا نستطيع دفع الأمور والتوسع
10:06
And we can also push things
by changing the hardware that we use.
بإستبدال أجهزتنا التي نستعملها
لأن التجارب التي قمنا بها لحد الآن
10:11
Because the experiments
I've shown you so far
تمت بكاميرا ذات سرعة عالية
10:13
were done with a camera,
a high-speed camera,
تستطيع تصوير وتسجيل الفيديو 100 مرة اسرع
10:15
that can record video
about a 100 times faster
من أكثر الهواتف الخلوية
10:18
than most cell phones,
ولكننا وجدنا ايضا طريقة
10:20
but we've also found a way
to use this technique
لإستخدام هذه التقنية بكاميرات عادية أكثر
10:23
with more regular cameras,
و بذلك بالإستفادة مما يسمى المغلاق الدوار
10:25
and we do that by taking advantage
of what's called a rolling shutter.
تعرفون إن معظم الكاميرات تسجل الصور
10:29
You see, most cameras
record images one row at a time,
بصف واحد كل مرة
لهذا إذا تحرك الشيء خلال تسجيل صورة واحدة
10:34
and so if an object moves
during the recording of a single image,
سيكون هناك تأخير طفيف بين كل صف
10:40
there's a slight time delay
between each row,
ويسبب هذا حركة طفيفة
10:43
and this causes slight artifacts
تتحول إلى رمز في كل إطار من ذلك الفيديو
10:46
that get coded into each frame of a video.
ووجدنا إننا بتحليل هذه الحركات الطفيفة
10:49
And so what we found
is that by analyzing these artifacts,
سنتمكن فعلا من إستعادة الصوت
10:53
we can actually recover sound
using a modified version of our algorithm.
بإستخدام نسخة مطورة من الخوارزمية
وإليكم التجربة التي قمنا بها
10:58
So here's an experiment we did
حيث صورنا كيسا من الحلويات
11:00
where we filmed a bag of candy
بينما كان مكبر صوت قريب يعمل
11:01
while a nearby loudspeaker played
ونفس أغنية الأطفال السابقة
11:03
the same "Mary Had a Little Lamb"
music from before,
ولكننا هذه المرة إستخدمنا كاميرا عادية
11:06
but this time, we used just a regular
store-bought camera,
إشتريناها من مخزن
وهكذا سأعرض عليكم خلال ثواني
11:10
and so in a second, I'll play for you
the sound that we recovered,
الصوت الذي إستعدناه
لكنه سيبدو مشوها هذه المرة
11:13
and it's going to sound
distorted this time,
ولكن إسمعوا وإعرفوا إذا كان بإمكانكم
11:15
but listen and see if you can still
recognize the music.
تمييز هذه الموسيقى
11:19
(Audio: "Mary Had a Little Lamb")
11:37
And so, again, that sounds distorted,
وهكذا من جديد يبدو الصوت مشوها
ولكن العجيب هنا إننا إستطعنا القيام بذلك
11:40
but what's really amazing here
is that we were able to do this
بشيء كان يمكن أن نفقده
11:45
with something
that you could literally run out
ونشتري آخر منه من اي محزن
11:48
and pick up at a Best Buy.
هذه هي النقطة
11:51
So at this point,
الكثير من الناس يشاهدون هذا العمل
11:52
a lot of people see this work,
ويفكرون بالمراقبة
11:54
and they immediately think
about surveillance.
ولنكن منصفين
11:57
And to be fair,
ليس من الصعب أن تتخيل استخدام هذه التقنية
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
للتجسس على شخص ما
ولكن يجب أن تعرف بأن هناك تقنيات أكثر نضجا
12:04
But keep in mind that there's already
a lot of very mature technology
تستخدم حاليا للمراقبة
12:08
out there for surveillance.
في الواقع إن الناس بدأت بإستخدام الليزر
12:09
In fact, people have been using lasers
للتنصت على الناس من مسافات بعيدة قبل عقود
12:12
to eavesdrop on objects
from a distance for decades.
ولكن الجديد هنا فعلا
12:15
But what's really new here,
والمختلف هنا فعلا
12:18
what's really different,
إن لدينا الآن طريقة لتصوير ذبذبات شيء ما
12:19
is that now we have a way
to picture the vibrations of an object,
مما يعطينا عدسات جديدة ننظر خلالها للعالم
12:23
which gives us a new lens
through which to look at the world,
ونستطيع غستخدام هذه العدسات
12:27
and we can use that lens
لنتعلم ليس فقط عن القوى
12:28
to learn not just about forces like sound
that cause an object to vibrate,
التي تجعل الشياء تتذبذب مثل الصوت
ولكن عن الشيء نفسه
12:33
but also about the object itself.
لذا أريد أن اعود خطوة إلى الوراء
12:36
And so I want to take a step back
والتفكير في كيف إننا قد نغير
12:38
and think about how that might change
the ways that we use video,
أساليب إستخدامنا للفيديو
لأننا عادة نستخدم الفيديو لننظر الى الأشياء
12:42
because we usually use video
to look at things,
بينما عرضت عليكم كيف يمكن إستخدامها
12:46
and I've just shown you how we can use it
للأستماع إلى الاشياء
12:48
to listen to things.
ولكن هناك طريقة أخرى مهمة
12:50
But there's another important way
that we learn about the world:
يمكن معرفة العالم بها
وذلك بالتفاعل معه
12:54
that's by interacting with it.
نحن ندفع ونسحب ونلكز ونحث الشياء
12:56
We push and pull and poke and prod things.
نحن نهز الأشياء و نرى ما يحدث
13:00
We shake things and see what happens.
وهذه أشياء لا يسمح لنا الفيديو القيام بها
13:03
And that's something that video
still won't let us do,
على الأقل ليس تقليديا
13:07
at least not traditionally.
اذلك أريد أن أعرض عليكم عملا جديدا
13:09
So I want to show you some new work,
وأساسها فكرة جاءتني قبل بضعة شهور
13:11
and this is based on an idea I had
just a few months ago,
وهذه فعلا أول مرة أريها لمشاهدين عامة
13:14
so this is actually the first time
I've shown it to a public audience.
والفكرة الاساسية هي إننا
13:17
And the basic idea is that we're going
to use the vibrations in a video
سنستخدم الذبذبات في فيديو
لتصوير أشياء بطريقة تجعلنا نتفاعل معها
13:22
to capture objects in a way
that will let us interact with them
ولنرى كيف تتفاعل معنا
13:27
and see how they react to us.
هاكم أحد المواضيع أو الأجسام
13:31
So here's an object,
و هو جسم من الأسلاك على شكل إنسان
13:32
and in this case, it's a wire figure
in the shape of a human,
وسنصور هذا الجسم بكاميرا عادية
13:36
and we're going to film that object
with just a regular camera.
ولا يوجد شيء خاص بهذه الكاميرا
13:39
So there's nothing special
about this camera.
وفي الواقع قمت بذلك سابقا بهاتفي الخلوي
13:41
In fact, I've actually done this
with my cell phone before.
ولكننا نريد أن نرى الجسم يتذبذب
13:44
But we do want to see the object vibrate,
ولنجعل ذلك يحدث
13:47
so to make that happen,
سنقرع قليلا على السطح الذي يستقر عليه
13:48
we're just going to bang a little bit
on the surface where it's resting
بينما نسجل هذا الفيديو
13:51
while we record this video.
وهذا كل شيء فقط خمس ثواني من فيديو إعتيادي
13:59
So that's it: just five seconds
of regular video,
بينما نحن نقرع على السطح
14:03
while we bang on this surface,
وسنستخدم الذبذبة في ذلك الفيديو
14:05
and we're going to use
the vibrations in that video
لنعرف عن خواص هيكلية ومواد ذلك الجسم
14:08
to learn about the structural
and material properties of our object,
و بتلك الخواص نصنع شيئا جديدا وتفاعليا
14:13
and we're going to use that information
to create something new and interactive.
14:24
And so here's what we've created.
وهكذا إليكم ما صنعناه
ويبدو مثل اي صورة عادية
14:27
And it looks like a regular image,
ولكن هذه ليست صورة كما إنها ليست فيديو
14:29
but this isn't an image,
and it's not a video,
لأنني استطيع إستخدام فارة الحاسبة
14:32
because now I can take my mouse
والتفاعل مع هذا الشيء
14:35
and I can start interacting
with the object.
لذلك فإن ما ترونه هنا
14:44
And so what you see here
هو محاكاة لكيفية لستجابة
14:47
is a simulation of how this object
هذا الجسم لقوى جديدة لم يشاهدها قبلا
14:49
would respond to new forces
that we've never seen before,
وهذا ما صنعناه من خمس ثواني فيديو عادي فقط
14:54
and we created it from just
five seconds of regular video.
(تصفيق)
14:59
(Applause)
وبالفعل فهذه طريقة فعالة
15:09
And so this is a really powerful
way to look at the world,
ننظر بها الى العالم
15:12
because it lets us predict
how objects will respond
لأنها تسمح لكم بالتنبؤ برد فعل الأجسام
للأوضاع الجديدة
15:15
to new situations,
فيمكن لك أن تتصور مثلا النظر الى جسر قديم
15:17
and you could imagine, for instance,
looking at an old bridge
وأن تتخيل ماذا سيحدث وكم سيتحمل ذلك الجسر
15:20
and wondering what would happen,
how would that bridge hold up
إذا أردت قيادة سيارتي عبره
15:24
if I were to drive my car across it.
وهذا سؤال قد تريد الإجابة عليه
15:27
And that's a question
that you probably want to answer
قبل القيادة عبر هذا الجسر
15:30
before you start driving
across that bridge.
وبالطبع سيكون ناك تحديدات لهذه التقنية
15:33
And of course, there are going to be
limitations to this technique,
كما كانت للميكرفون البصري
15:37
just like there were
with the visual microphone,
لكننا وجدنا إنها تعمل في الكثير من الحالات
15:39
but we found that it works
in a lot of situations
التي قد لا تتوقعها
15:42
that you might not expect,
خاصة اذا اعطيتها فيديوات أطول
15:44
especially if you give it longer videos.
مثلا هذا فيديو أنا صورته
15:47
So for example,
here's a video that I captured
لشجيرات خارج شقتي
15:50
of a bush outside of my apartment,
ولم افعل شيئا لهذه ااشجيرات
15:52
and I didn't do anything to this bush,
لكن عند إلتقاطي الفيديو ذو الدقيقة الواحدة
15:55
but by capturing a minute-long video,
سبب بعض النسيم ذبذبة كافية
15:58
a gentle breeze caused enough vibrations
مما أمكننا من التعرف كفاية
16:01
that we could learn enough about this bush
to create this simulation.
على هذه الشجيرات لصنع هذه المحاكاة
(تصفيق)
16:07
(Applause)
وتخيل لو أعطيت هذا الفلم لمخرج سينمائي
16:13
And so you could imagine giving this
to a film director,
وتركت له أن يتحكم مثلا
16:16
and letting him control, say,
بقوة وإتجاه الريح في لقطة ما بعد تصويرها
16:18
the strength and direction of wind
in a shot after it's been recorded.
حسنا .. في هذه الحالة
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
وجهنا كاميرتنا إلى ستارة معلقة
ولا تستطيع أن ترى اي حركة في هذا الفيديو
16:29
and you can't even see
any motion in this video,
ولكن بتصوير فيديو بطول دقيقتين
16:33
but by recording a two-minute-long video,
فإن التيارات الهوائية العادية في الغرفة
16:36
natural air currents in this room
ولدت الكافي من الحركات الدقيقة
16:38
created enough subtle,
imperceptible motions and vibrations
والتي لا يمكن ملاحظتها ومن الذبذبات
وهكذا سنعرف ما يكفي لتوليد هذه المحاكاة
16:43
that we could learn enough
to create this simulation.
16:48
And ironically,
وللسخرية
لقد تعودنا على هذا النوع من التفاعلية
16:50
we're kind of used to having
this kind of interactivity
عندما عملنا بالأجسام الأفتراضية
16:53
when it comes to virtual objects,
وعندما حركنا الألعاب الفيديوية أوالمجسمات
16:56
when it comes to video games
and 3D models,
ولكن للحصول على هذه المعلومات
16:59
but to be able to capture this information
from real objects in the real world
لأجسام حقيقية في العالم الحقيقي
باستخدام كاميرا عادية بسيطة
17:04
using just simple, regular video,
فهو شيء جديد له الكثير من الأمكانيات
17:06
is something new that has
a lot of potential.
17:10
So here are the amazing people
who worked with me on these projects.
وها هم الاشخاص الرائعون
الذين عملوا معي على هذه المواضيع
(تصفيق)
17:16
(Applause)
وما عرضته عليكم اليوم هو البداية فقط
17:24
And what I've shown you today
is only the beginning.
لقد بدأنا الآن بخدش السطح فقط
17:27
We've just started to scratch the surface
لما يمكن أن نقوم به بمثل هذا التصوير
17:29
of what you can do
with this kind of imaging,
لأنه يعطينا طريقا جديدا
17:32
because it gives us a new way
لألتقاط محيطنا بواسطة تقنيات عامة و متوفرة
17:35
to capture our surroundings
with common, accessible technology.
17:40
And so looking to the future,
وعندما ننظر غلى المستقبل
17:41
it's going to be
really exciting to explore
سيكون من الممتع إستكشاف
ما يمكن أن يخبرنا هذا عن العالم
17:44
what this can tell us about the world.
شكرا لكم
17:46
Thank you.
17:47
(Applause)
Translated by Abdulaziz Al-Wandawi
Reviewed by Mohamed Nabil

▲Back to top

About the Speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com