TEDYouth 2012
Katherine Kuchenbecker: The technology of touch
Filmed:
Readability: 3.9
671,551 views
As we move through the world, we have an innate sense of how things feel -- the sensations they produce on our skin and how our bodies orient to them. Can technology leverage this? In this fun, fascinating TED-Ed lesson, learn about the field of haptics, and how it could change everything from the way we shop online to how dentists learn the telltale feel of a cavity.
Katherine Kuchenbecker - Mechanical engineer
Katherine Kuchenbecker works on incorporating the sense of touch directly into virtual objects. Imagine being able to feel textures on your digital screens. Full bio
Katherine Kuchenbecker works on incorporating the sense of touch directly into virtual objects. Imagine being able to feel textures on your digital screens. Full bio
Double-click the English transcript below to play the video.
00:14
I'm a mechanical engineering professor
0
14745
1943
Я профессор машиностроения
в Пенсильванском университете,
00:16
at the University of Pennsylvania,
1
16712
1645
моё любимое хобби — фотография.
00:18
and my favorite hobby is photography.
2
18381
2959
00:21
And as I travel around the world,
3
21364
1785
Во время своих путешествий по миру
я люблю делать подобные снимки —
00:23
I love taking photographs like these,
4
23173
2152
они позволяют мне помнить все красивые
и интересные вещи, которые я видела.
и интересные вещи, которые я видела.
00:25
so I can remember all
the beautiful and interesting things
the beautiful and interesting things
5
25349
2919
00:28
that I've seen.
6
28292
1278
00:29
But what I can't do is record and share
7
29594
3676
Но, к сожалению,
я не могу сохранить и поделиться
я не могу сохранить и поделиться
ощущениями от прикосновения
к этим объектам,
к этим объектам,
00:33
how these objects feel to touch.
8
33294
3349
и это очень странно,
00:36
And that's kind of surprising,
9
36667
1540
ведь наше осязание очень важно.
00:38
because your sense of touch
is really important.
is really important.
10
38231
2265
Оно участвует во всех повседневных задачах
00:40
It's involved in every physical
interaction you do every day,
interaction you do every day,
11
40520
2870
и во всех взаимодействиях с внешним миром.
00:43
every manipulation task,
anything you do in the world.
anything you do in the world.
12
43414
2550
Осязание — довольно интересная вещь,
00:45
So the sense of touch
is actually pretty interesting.
is actually pretty interesting.
13
45988
2507
оно состоит из двух компонентов.
00:48
It has two main components.
14
48519
1642
00:50
The first is tactile sensations,
15
50185
2337
Первый — это тактильные ощущения,
00:52
things you feel in your skin.
16
52546
2090
то, что вы чувствуете кожей;
второй — кинестетические,
00:54
And the second is kinesthetic sensations.
17
54660
2258
они связаны с положением
и движением вашего тела,
и движением вашего тела,
00:56
This has to do with the position
of your body and how it's moving,
of your body and how it's moving,
18
56942
3190
01:00
and the forces you encounter.
19
60156
1571
а также мышечными усилиями.
Человек очень хорошо объединяет
01:01
And you're really good at incorporating
20
61751
1897
эти два отдельных типа ощущений,
01:03
both of these types of sensations together
21
63672
2206
чтобы оценивать взаимодействие
с внешним миром
с внешним миром
01:05
to understand the physical interactions
you have with the world
you have with the world
22
65902
2980
и определять объект по касанию:
01:08
and understand as you touch a surface:
23
68906
1825
камень, кот, кролик — узнать,
к чему ты прикоснулся.
к чему ты прикоснулся.
01:10
is it a rock, is it a cat,
is it a bunny, what is it?
is it a bunny, what is it?
24
70755
3039
01:13
And so, as an engineer,
25
73818
2240
Как инженер, я просто восхищена
способностью человека
способностью человека
01:16
I'm really fascinated
26
76082
1392
получать столько информации
через свои руки.
через свои руки.
01:17
and I have a lot of respect
for how good people are with their hands.
for how good people are with their hands.
27
77498
3309
Это привлекло моё внимание,
01:20
And I'm intrigued and curious
28
80831
1902
и мне интересно, можно ли сделать
технологии более удобными,
технологии более удобными,
01:22
about whether we could
make technology better
make technology better
29
82757
2411
01:25
by doing a better job at leveraging
30
85192
1698
если в них будет использоваться
весь потенциал нашего осязания.
01:26
the human capability
with the sense of touch.
with the sense of touch.
31
86914
2122
Можно ли улучшить
интерфейс компьютеров и машин,
интерфейс компьютеров и машин,
01:29
Could I improve the interfaces
to computers and machines
to computers and machines
32
89060
2933
если учитывать все возможности рук?
01:32
by letting you take
advantage of your hands?
advantage of your hands?
33
92017
2573
01:34
And indeed, I think we can,
34
94614
1565
На самом деле это возможно,
и эти идеи — ядро области
под названием хаптика,
под названием хаптика,
01:36
and that's at the core
of a field called haptics,
of a field called haptics,
35
96203
2592
в которой я работаю.
01:38
and this is the area that I work in.
36
98819
1730
Её цель — интерактивная
осязательная технология.
осязательная технология.
01:40
It's all about interactive
touch technology.
touch technology.
37
100573
2345
И вот как это работает.
01:42
And the way it works is,
38
102942
1153
01:44
as you move your body through the world,
39
104119
2505
Я могу создать оборудование,
01:46
if, as an engineer, I can make a system
that can measure that motion,
that can measure that motion,
40
106648
3284
которое будет измерять ваши движения
и затем с течением времени
01:49
and then present to you
sensations over time
sensations over time
41
109956
2530
воспроизводить у вас
ощущения от движения,
ощущения от движения,
01:52
that kind of make sense,
42
112510
1244
которые покажутся естественными,
01:53
that match up with what you might feel
in the real world,
in the real world,
43
113778
2674
как при реальном движении.
Я могу заставить вас думать,
что вы касаетесь чего-то
что вы касаетесь чего-то
01:56
I can fool you into thinking
you're touching something
you're touching something
44
116476
2544
там, где просто гладкая поверхность.
01:59
even though there's nothing there.
45
119044
1685
02:00
So here are three examples
46
120753
1616
Вот три примера
из моих исследований
в университетской лаборатории.
в университетской лаборатории.
02:02
and these are all done
from research in my lab at Penn.
from research in my lab at Penn.
47
122393
3110
02:05
The first one is all about that same
problem that I was showing you:
problem that I was showing you:
48
125527
3257
В первом я расскажу о проблеме,
о которой уже упоминала:
о которой уже упоминала:
как сохранить информацию о фактуре объекта
02:08
how can we capture how objects feel
49
128808
1967
02:10
and recreate those experiences?
50
130799
1997
и потом воссоздать её?
02:12
So the way we solve this problem
51
132820
1999
Мы решили эту проблему,
создав портативное устройство
02:14
is by creating a hand-held tool
52
134843
2065
с большим количеством датчиков:
02:16
that has many different sensors inside.
53
136932
1872
02:18
It has a force sensor, so we can tell
how hard you're pushing;
how hard you're pushing;
54
138828
3352
в нём есть датчик давления,
он может рассказать о приложенной силе;
он может рассказать о приложенной силе;
датчик отслеживания движения
записывает траекторию движений;
записывает траекторию движений;
02:22
it has motion tracking, so we can tell
exactly where you've moved it;
exactly where you've moved it;
55
142204
3308
датчик вибрации и акселерометр
02:25
and it has a vibration sensor,
an accelerometer, inside,
an accelerometer, inside,
56
145536
2690
фиксируют небольшие колебания,
02:28
that detects the shaking
back and forth of the tool
back and forth of the tool
57
148250
2442
и по ним понятно, что это кусок холста,
02:30
that lets you know
that's a piece of canvas
that's a piece of canvas
58
150716
2032
а не шёлка или чего-то другого.
02:32
and not a piece of silk or something else.
59
152772
2022
Затем мы интерпретируем
всю собранную нами информацию.
всю собранную нами информацию.
02:34
Then we take the data we record
from these interactions.
from these interactions.
60
154818
2639
Вот запись за десять секунд.
02:37
Here's ten seconds of data.
61
157481
1294
02:38
You can see how the vibrations
get larger and smaller,
get larger and smaller,
62
158799
2885
Можно увидеть, как вибрация увеличивается
и уменьшается в зависимости от движений.
и уменьшается в зависимости от движений.
02:41
depending on how you move.
63
161708
1476
Затем создаём математическую
модель этих отношений
модель этих отношений
02:43
And we make a mathematical
model of those relationships
model of those relationships
64
163208
2743
02:45
and program them into a tablet computer
65
165975
2419
и загружаем в планшетный компьютер,
а когда вы берёте стилус
02:48
so that when you take the stylus
66
168418
1564
и проводите им по экрану,
02:50
and go and touch the screen,
67
170006
1429
магнитная катушка,
закреплённая на стилусе,
закреплённая на стилусе,
02:51
that voice-coil actuator
in the white bracket
in the white bracket
68
171459
2830
воспроизводит вибрации
и создаёт иллюзию того,
и создаёт иллюзию того,
02:54
plays vibrations to give you the illusion
69
174313
2267
02:56
that you're touching the real surface,
70
176604
2030
что вы касаетесь реальной поверхности,
02:58
just like if you touched, dragged
back and forth, on the real canvas.
back and forth, on the real canvas.
71
178658
3269
будто водите туда и обратно
по настоящему холсту.
по настоящему холсту.
Мы можем создать иллюзии
03:01
We can create very compelling illusions.
72
181951
1941
для большого количества поверхностей,
и это довольно интересно и занимательно.
и это довольно интересно и занимательно.
03:03
We can do this for all kinds of surfaces
and it's really a lot of fun.
and it's really a lot of fun.
73
183916
3570
Мы назвали это хаптографией,
или хаптической фотографией.
или хаптической фотографией.
03:07
We call it haptography --
haptic photography.
haptic photography.
74
187510
3917
03:11
And I think it has potential
benefits in all sorts of areas
benefits in all sorts of areas
75
191451
2780
Этому можно найти
применение в различных сферах:
применение в различных сферах:
03:14
like online shopping,
maybe interactive museum exhibits,
maybe interactive museum exhibits,
76
194255
2706
интернет-магазины,
интерактивные музеи и выставки,
интерактивные музеи и выставки,
03:16
where you're not supposed
to touch the precious artifacts,
to touch the precious artifacts,
77
196985
2754
где нельзя дотрагиваться
до ценных экспонатов,
до ценных экспонатов,
но всегда очень хочется.
03:19
but you always want to.
78
199763
1376
03:21
The second example I want to tell you
about comes from a collaboration I have
about comes from a collaboration I have
79
201163
3678
В качестве второго примера
я приведу совместную работу
я приведу совместную работу
с доктором Маргрит Маджио с факультета
стоматологии нашего университета.
стоматологии нашего университета.
03:24
with Dr. Margrit Maggio
at the Penn Dental School.
at the Penn Dental School.
80
204865
2342
Часть её работы — научить студентов
03:27
Part of her job is to teach
dental students
dental students
81
207231
2015
выявлять зубы, поражённые кариесом.
03:29
how to tell where in a patient's mouth
there are cavities.
there are cavities.
82
209270
2782
Естественно, они делают рентген,
03:32
Of course they look at X-rays,
83
212076
1521
но большу́ю роль в постановке диагноза
играет то, что врачи чувствуют
играет то, что врачи чувствуют
03:33
but a large part of this clinical judgment
comes from what they feel
comes from what they feel
84
213621
3250
03:36
when they touch your teeth
with a dental explorer.
with a dental explorer.
85
216895
2366
при осмотре зубоврачебным зондом.
Вы все проходили через подобную процедуру.
03:39
You've all had this happen,
they go across.
they go across.
86
219285
2008
Если зуб оказывается твёрдым —
значит он здоров,
значит он здоров,
03:41
What they're feeling for is if the tooth
is really hard, then it's healthy,
is really hard, then it's healthy,
87
221317
3543
если же он чуть мягкий и вязкий —
значит, эмаль уже начала разрушаться.
значит, эмаль уже начала разрушаться.
03:44
but if it's kind of soft and sticky,
88
224884
1746
03:46
that's a signal that the enamel
is starting to decay.
is starting to decay.
89
226654
2504
03:49
These types of judgments are hard
for a new dental student to make,
for a new dental student to make,
90
229182
3221
Делать подобного рода выводы
для студента-новичка сложно,
для студента-новичка сложно,
03:52
because they haven't touched
a lot of teeth yet.
a lot of teeth yet.
91
232427
2258
так как у него нет достаточного опыта.
Но они должны научиться это делать
до начала своей практики на пациентах.
до начала своей практики на пациентах.
03:54
And you want them to learn this
before they start practicing
before they start practicing
92
234709
2838
03:57
on real human patients.
93
237571
1160
В общем, мы закрепили акселерометр
на стоматологическом зонде
на стоматологическом зонде
03:58
So what we do is add an accelerometer
on to the dental explorer,
on to the dental explorer,
94
238755
4286
и записали ощущения доктора Маджио
04:03
and then we record what Dr. Maggio feels
95
243065
1933
при обследовании различных зубов.
04:05
as she touches different extracted teeth.
96
245022
2170
04:07
And we can play it back for you as a video
97
247216
2763
Мы можем затем воспроизвести вам это видео
с «осязательной» дорожкой,
не просто звук, но и ощущения,
не просто звук, но и ощущения,
04:10
with a touch track --
98
250003
1653
04:11
not just a sound track,
but also a touch track,
but also a touch track,
99
251680
2219
которые передаются на дублирующий зонд.
04:13
that you can feel by holding
that repeating tool.
that repeating tool.
100
253923
2326
Вы чувствуете то же,
что и дантист во время записи видео,
что и дантист во время записи видео,
04:16
You feel the same things the dentist
felt when they did the recording,
felt when they did the recording,
101
256273
3293
и таким образом можете практиковаться.
04:19
and practice making judgments.
102
259590
1441
04:21
So here's a sample one.
103
261055
1162
Вот запись.
04:22
Here's a tooth that looks
kind of suspicious, right?
kind of suspicious, right?
104
262241
2489
Видите этот зуб,
выглядит подозрительно, верно?
выглядит подозрительно, верно?
На нём столько коричневых пятен.
04:24
It has all those brown stains.
105
264754
2524
04:27
You might be thinking, "We should
definitely put a filling in this tooth."
definitely put a filling in this tooth."
106
267302
3483
Наверняка думаете:
«Конечно, надо ставить пломбу».
«Конечно, надо ставить пломбу».
Но на самом деле, при осмотре зондом,
04:30
But if you pay attention to how it feels,
107
270809
1960
04:32
all the surfaces of this tooth
are hard and healthy,
are hard and healthy,
108
272793
2634
он оказался твёрдым и здоровым,
и значит пациенту пломба не нужна.
04:35
so this patient does not need a filling.
109
275451
2259
04:37
And these are exactly the kind
of judgments doctors make every day
of judgments doctors make every day
110
277734
3123
Именно так доктора и принимают решения,
04:40
and I think this technology
we've invented has a lot of potential
we've invented has a lot of potential
111
280881
3072
мне кажется, эта технология имеет большой
потенциал в подготовке медперсонала,
потенциал в подготовке медперсонала,
04:43
for many different things in medical
training, because it's really simple
training, because it's really simple
112
283977
3451
потому что она проста
и воссоздаёт то, что чувствует доктор
и воссоздаёт то, что чувствует доктор
04:47
and it does a great job at recreating
what people feel through tools.
what people feel through tools.
113
287452
3546
при работе с медицинскими инструментами.
Она также может сделать
компьютерные игры более интерактивными
компьютерные игры более интерактивными
04:51
I think it could also help make games
more interactive and fun
more interactive and fun
114
291022
3020
и более реалистичными
в плане ощущений от игры.
в плане ощущений от игры.
04:54
and more realistic
in the sensations that you feel.
in the sensations that you feel.
115
294066
2577
В последнем примере
я расскажу вам о движениях человека.
я расскажу вам о движениях человека.
04:56
The last example I want to tell you about
is again about human movement.
is again about human movement.
116
296667
3629
05:00
So if any of you have ever learned sports,
117
300320
2000
Кто занимался спортом, тот знает,
05:02
how do you get good
at something like surfing?
at something like surfing?
118
302344
2263
хочешь преуспеть, например, в сёрфинге,
нужно тренироваться.
05:04
You practice.
119
304631
1151
05:05
You practice some more and more, right?
120
305806
1862
Постоянные тренировки, верно?
Потихоньку учитесь,
возможно, с помощью тренера,
возможно, с помощью тренера,
05:07
Making small corrections,
maybe getting some input from a coach,
maybe getting some input from a coach,
121
307692
3069
совершенствуете свою технику.
05:10
learning how to improve your motions.
122
310785
1776
А можно использовать компьютер,
05:12
I think we could use computers
123
312585
1462
чтобы сделать этот процесс
эффективнее и интереснее.
эффективнее и интереснее.
05:14
to help make that process
more efficient and more fun.
more efficient and more fun.
124
314071
2596
05:16
And so here, for example,
if I have six different arm movements
if I have six different arm movements
125
316691
2960
Допустим, есть шесть различных
движений рукой, которые надо отработать.
движений рукой, которые надо отработать.
05:19
that I want you to learn,
126
319675
1196
Вы можете прийти в мою лабораторию
и опробовать нашу систему.
и опробовать нашу систему.
05:20
you come into my lab at Penn
and try out our system.
and try out our system.
127
320895
3376
Мы используем Кинект для захвата движений,
затем выводим их на экран
затем выводим их на экран
05:24
We use a Kinect to measure your motions,
we show graphics on the screen,
we show graphics on the screen,
128
324295
3459
05:27
and then we also give you touch cues,
129
327778
2093
и даём вам подсказки при движении
05:29
haptic feedback on your arm,
130
329895
1588
05:31
delivered by these haptic arm bands
which have motors inside,
which have motors inside,
131
331507
3360
с помощью манжет с моторчиками внутри.
Они корректируют ваши движения.
05:34
and guide you as you move.
132
334891
1571
В общем, если при повторении движения
05:36
So, if we put it together,
133
336486
1266
05:37
as you're trying to track this motion,
134
337776
2325
вы отклонились: подняли руку чуть выше,
05:40
if you deviate -- say, maybe,
your arm is a little too high --
your arm is a little too high --
135
340125
3164
эти моторчики включаются
и дают вам сигнал опустить руку,
и дают вам сигнал опустить руку,
05:43
we turn on the motors
right there on the skin
right there on the skin
136
343313
2109
05:45
to let you know you should move down,
137
345446
1771
эта система, почти как тренер, помогает
вам достичь мастерства в движениях быстрее
вам достичь мастерства в движениях быстрее
05:47
almost like a coach gently guiding you
138
347241
1862
05:49
and helping you master
these movements more quickly
these movements more quickly
139
349127
2891
и делает более точные корректировки.
05:52
and make more precise corrections.
140
352042
1849
Мы разработали эту систему для реабилитации
пациентов после инсультов,
пациентов после инсультов,
05:53
We developed this system
for use in stroke rehabilitation,
for use in stroke rehabilitation,
141
353915
2762
05:56
but I think there are a lot
of applications,
of applications,
142
356701
2304
но у неё большой потенциал —
её можно применять для обучения танцам
или различным видам спорта.
или различным видам спорта.
05:59
like maybe dance training
or all sorts of sports training as well.
or all sorts of sports training as well.
143
359029
4210
06:03
So now you know a little bit
about the field of haptics,
about the field of haptics,
144
363263
2716
Итак, сегодня вы узнали немного о хаптике,
06:06
which I think you'll hear more
about in the coming years.
about in the coming years.
145
366003
2702
и, наверняка, услышите о ней ещё.
Я привела вам три примера.
06:08
I've shown you three examples.
146
368729
1430
Напоследок хочу поблагодарить студентов,
которые работали со мной,
которые работали со мной,
06:10
I just want to take a moment
147
370183
1351
06:11
to acknowledge the great students
who work with me in my lab at Penn
who work with me in my lab at Penn
148
371558
3208
а также своих коллег.
06:14
and my collaborators.
149
374790
1151
Они отличная команда.
06:15
They're a great group.
150
375965
1157
06:17
I also want to thank you
for your kind attention.
for your kind attention.
151
377146
2898
И большое спасибо вам за ваше внимание.
06:20
(Applause)
152
380068
3002
(Аплодисменты)
ABOUT THE SPEAKER
Katherine Kuchenbecker - Mechanical engineerKatherine Kuchenbecker works on incorporating the sense of touch directly into virtual objects. Imagine being able to feel textures on your digital screens.
Why you should listen
Could technology be more touchy feely? Mechanical engineer Katherine Kuchenbecker answers this question with a resounding ‘yes.’ Kuchenbecker researches the design, control and performance of robotic systems that enable a user to touch virtual objects and distant environments as though they were real and within reach. These interfaces combine electromechanical sensors, actuators and computer control, allowing for technology that can fool the human sense of touch, otherwise known as ‘haptics.’
Imagine a tablet computer that lets you feel fabrics and textures, robotic surgical tools that let doctors use their incredibly well-honed sense of touch, video games that allow you to feel hits and computer programs that teach you the movements of a sport. By researching these areas -- as well as applications in stroke rehabilitation and assistance for the blind -- Kuchenbecker seeks to improve our understanding of touch and uncover new opportunities to use it in interactions between humans, computers and machines.
An assistant professor at the University of Pennsylvania, Kuchenbecker has been named to the Popular Science Brilliant 10. She is also an avid photographer, and played volleyball at Stanford for two seasons.
Katherine Kuchenbecker | Speaker | TED.com