ABOUT THE SPEAKER
Rodney Brooks - Roboticist
Rodney Brooks builds robots based on biological principles of movement and reasoning. The goal: a robot who can figure things out.

Why you should listen

Former MIT professor Rodney Brooks studies and engineers robot intelligence, looking for the holy grail of robotics: the AGI, or artificial general intelligence. For decades, we've been building robots to do highly specific tasks -- welding, riveting, delivering interoffice mail -- but what we all want, really, is a robot that can figure things out on its own, the way we humans do.

Brooks realized that a top-down approach -- just building the biggest brain possible and teaching it everything we could think of -- would never work. What would work is a robot who learns like we do, by trial and error, and with many separate parts that learn separate jobs. The thesis of his work which was captured in Fast, Cheap and Out of Control,went on to become the title of the great Errol Morris documentary.

A founder of iRobot, makers of the Roomba vacuum, Brooks is now founder and CTO of Rethink Robotics, whose mission is to apply advanced robotic intelligence to manufacturing and physical labor. Its first robots: the versatile two-armed Baxter and one-armed Sawyer. Brooks is the former director of CSAIL, MIT's Computers Science and Artificial Intelligence Laboratory.

 
More profile about the speaker
Rodney Brooks | Speaker | TED.com
TED2003

Rodney Brooks: Robots will invade our lives

ロドニー・ブルックス「ロボットは我々の生活を侵略する」

Filmed:
689,918 views

2003年のこの予言的な講話において、ロボット研究者であるロドニー・ブルックスは、玩具から家事、そしてその先に至るまで、ロボットがどのように我々の生活において役割を果たして行くかを述べています。
- Roboticist
Rodney Brooks builds robots based on biological principles of movement and reasoning. The goal: a robot who can figure things out. Full bio

Double-click the English transcript below to play the video.

00:18
What I want to tell you about today今日 is how I see robotsロボット invading侵入する our lives人生
0
0
5000
本日お話ししたいのは
様々なレベルや時間尺度おいて
00:23
at multiple複数 levelsレベル, over multiple複数 timescalesタイムスケール.
1
5000
3000
ロボットが私たちの生活を
侵略していることついての私見です
00:26
And when I look out in the future未来, I can't imagine想像する a world世界, 500 years from now,
2
8000
4000
今から500年後の未来を考えると
00:30
where we don't have robotsロボット everywhereどこにでも.
3
12000
2000
至る所にロボットが存在する
世界しか想像できません
00:32
Assuming想定する -- despite何と all the dire恐ろしい predictions予測 from manyたくさんの people about our future未来 --
4
14000
5000
人類の運命に関する
悲観的な予測は別として
00:37
assuming前提 we're still around, I can't imagine想像する the world世界 not beingであること populated人口 with robotsロボット.
5
19000
4000
我々がこの世に存在しているとすれば
ロボットもたくさんいるはずです
00:41
And then the question質問 is, well, if they're going to be here in 500 years,
6
23000
3000
疑問は500年後に
この様に存在するであろうロボットが
00:44
are they going to be everywhereどこにでも soonerより早く than that?
7
26000
2000
それ以前に
至る所に存在するようになるか
00:46
Are they going to be around in 50 years?
8
28000
2000
50年後にでも
既にそうなるかということです
00:48
Yeah, I think that's prettyかなり likelyおそらく -- there's going to be lots of robotsロボット everywhereどこにでも.
9
30000
3000
十分にありえると思います
ロボットはそこらじゅうに存在し
00:51
And in fact事実 I think that's going to be a lot soonerより早く than that.
10
33000
3000
実際 もっと早い時期に
そうなると考えています
00:54
I think we're sortソート of on the cuspカスプ of robotsロボット becoming〜になる common一般,
11
36000
4000
現在はロボット普及の
「幕開け」であるとも言えます
00:58
and I think we're sortソート of around 1978 or 1980 in personal個人的 computerコンピューター years,
12
40000
6000
丁度 1978年から1980年あたりの
パソコンがそうであったように
01:04
where the first few少数 robotsロボット are starting起動 to appear現れる.
13
46000
3000
ロボットが徐々に登場し始めると
思っています
01:07
Computersコンピュータ sortソート of came来た around throughを通して gamesゲーム and toysおもちゃ.
14
49000
4000
コンピューターは はじめ
ゲームや玩具を通してやってきました
01:11
And you know, the first computerコンピューター most最も people had in the house
15
53000
3000
家庭に一番先にやってきたのは
01:14
mayかもしれない have been a computerコンピューター to play遊びます Pongポン,
16
56000
2000
「Pong」が遊べる
コンピューターだったかもしれません
01:16
a little microprocessorマイクロプロセッサ embedded埋め込み,
17
58000
2000
小さなマイクロプロセッサー内蔵のものです
01:18
and then other gamesゲーム that came来た after that.
18
60000
3000
他のゲームも次々に登場しました
01:21
And we're starting起動 to see that same同じ sortソート of thing with robotsロボット:
19
63000
3000
ロボットでも同じような事が
起こっています
01:24
LEGOレゴ Mindstormsマインドストーム, FurbiesFurbies -- who here -- did anyone誰でも here have a Furbyファービー?
20
66000
4000
LEGOマインドストームやファービー
ファービーを持っていた人は?
01:28
Yeah, there's 38 million百万 of them sold売った worldwide世界的に.
21
70000
3000
いますね
全世界で3800万個も売れました
01:31
They are prettyかなり common一般. And they're a little tiny小さな robotロボット,
22
73000
2000
結構 流行っていました
これは とても小さな
01:33
a simple単純 robotロボット with some sensorsセンサ,
23
75000
2000
センサー数個の シンプルなロボットで
01:35
a little bitビット of processing処理 actuation起動.
24
77000
2000
ちょっとした情報処理や動きをします
01:37
On the right there is another別の robotロボット doll人形, who you could get a coupleカップル of years ago.
25
79000
3000
右側は数年前に売られていた
別の人形ロボットです
01:40
And just as in the early早い days日々,
26
82000
2000
コンピューターの初期
01:42
when there was a lot of sortソート of amateurアマチュア interactionインタラクション over computersコンピュータ,
27
84000
5000
マニアの人たちが
コンピューターをいじっていた頃のように
01:47
you can now get various様々な hackingハッキング kitsキット, how-to-hackハウツーハック books.
28
89000
4000
様々なハッキング・キットや本も売っています
01:51
And on the left there is a platformプラットフォーム from Evolution進化 Roboticsロボット工学,
29
93000
4000
左側はEvolution Robotics社の
プラットフォームです
01:55
where you put a PCPC on, and you programプログラム this thing with a GUIGUI
30
97000
3000
PCをのせGUIでプログラムし
01:58
to wanderさまよう around your house and do various様々な stuffもの.
31
100000
3000
家の中をウロウロさせて
いろんな事ができます
02:01
And then there's a higher高い price価格 pointポイント sortソート of robotロボット toysおもちゃ --
32
103000
3000
もっと高額な
ロボット玩具のようなものもあって
02:04
the Sonyソニー Aiboアイボ. And on the right there, is one that the NECNEC developed発展した,
33
106000
4000
ソニーのアイボ
右側はNECの開発した
02:08
the PaPeRoPaPeRo, whichどの I don't think they're going to release解放.
34
110000
3000
PaPeRoです
発売はされないと思いますが
02:11
But neverthelessそれにもかかわらず, those sortsソート of things are out there.
35
113000
3000
でも こういったものが存在しています
02:14
And we've私たちは seen見た, over the last two or three years, lawn-mowing芝刈り robotsロボット,
36
116000
4000
ここ数年 芝刈りロボットも出てきました
02:18
Husqvarnaハスクバーナ on the bottom, Friendlyフレンドリー Roboticsロボット工学 on top there, an Israeliイスラエル company会社.
37
120000
6000
下はHusqvarna社製
上はイスラエルのFriendly Robotics社製
02:24
And then in the last 12 months数ヶ月 or so
38
126000
2000
そして 昨年あたりから
02:26
we've私たちは started開始した to see a bunch of home-cleaning自宅清掃 robotsロボット appear現れる.
39
128000
4000
たくさんの 家庭用掃除ロボットを
見るようになりました
02:30
The top left one is a very niceいい home-cleaning自宅清掃 robotロボット
40
132000
3000
左上は とても素晴らしい
家庭用掃除ロボットで
02:33
from a company会社 calledと呼ばれる Dysonダイソン, in the U.K. Except例外 it was so expensive高価な --
41
135000
4000
イギリスのDyson社製です
ただ とても高額で
02:37
3,500 dollarsドル -- they didn't release解放 it.
42
139000
2000
3,500ドルです
市場には出ませんでしたが
02:39
But at the bottom left, you see Electroluxエレクトロラックス, whichどの is on sale販売.
43
141000
3000
でも左下のElectrolux社製のものは
販売されています
02:42
Anotherもう一つ one from Karcherケルヒャー.
44
144000
2000
Karcher社製の また別のものもあって
02:44
At the bottom right is one that I built建てられた in my lab研究室
45
146000
2000
右下は 私の研究室で
02:46
about 10 years ago, and we finally最後に turned回した that into a product製品.
46
148000
3000
10年ほど前に作ったもので
最近製品化されました
02:49
And let me just showショー you that.
47
151000
2000
これをお見せしましょう
02:51
We're going to give this away I think, Chrisクリス said, after the talk.
48
153000
4000
後でこれは誰かに差し上げるとか
クリスは言っています
02:55
This is a robotロボット that you can go out and buy購入, and that will cleanクリーン up your floor.
49
157000
6000
これは皆さんも購入できるロボットで
床を掃除します
03:05
And it starts開始する off sortソート of just going around in ever-increasing増え続ける circles.
50
167000
5000
だんだん円を大きく描きながら動き
03:10
If it hitsヒット something -- you people see that?
51
172000
4000
何かにぶつかると…見えました?
03:14
Now it's doing wall-followingウォールフォロー, it's following以下 around my feetフィート
52
176000
3000
壁に沿って移動したり
私の足に沿って
03:17
to cleanクリーン up around me. Let's see, let's --
53
179000
4000
周りを掃除してくれています
ではここで...
03:21
oh, who stoleストール my Riceご飯 Krispiesクリスピーズ? They stoleストール my Riceご飯 Krispiesクリスピーズ!
54
183000
5000
あれ?誰か僕のシリアルを盗みました?
シリアルが盗まれてしまいました!
03:26
(Laughter笑い)
55
188000
6000
(笑)
03:32
Don't worry心配, relaxリラックス, no, relaxリラックス, it's a robotロボット, it's smartスマート!
56
194000
3000
心配しないで 大丈夫ですよ
ロボットだから賢いんです!
03:35
(Laughter笑い)
57
197000
3000
(笑)
03:38
See, the three-year-old3歳 kids子供たち, they don't worry心配 about it.
58
200000
4000
3歳の子供は心配しないんですよね
03:42
It's grown-ups大人たち that get really upset動揺.
59
204000
2000
大人だけが取り乱すんです
03:44
(Laughter笑い)
60
206000
1000
(笑)
03:45
We'll私たちは just put some crapひどい here.
61
207000
2000
では「ゴミ」を少しここに置いて
03:47
(Laughter笑い)
62
209000
4000
(笑)
03:51
Okay.
63
213000
2000
はい
03:53
(Laughter笑い)
64
215000
4000
(笑)
03:57
I don't know if you see -- so, I put a bunch of Riceご飯 Krispiesクリスピーズ there,
65
219000
3000
見えにくいですが
ここにたくさんシリアルを置きました
04:00
I put some penniesペニー, let's just shootシュート it at that, see if it cleansきれいにする up.
66
222000
7000
硬貨もいくつか置いて あれに向かって
動かしてみましょう 掃除するかどうか
04:10
Yeah, OK. So --
67
232000
2000
はい 大丈夫ですね では…
04:12
we'll私たちは leave離れる that for later後で.
68
234000
4000
これはひとまず置いておきましょう
04:16
(Applause拍手)
69
238000
5000
(拍手)
04:22
Part of the trickトリック was building建物 a better cleaningクリーニング mechanism機構, actually実際に;
70
244000
4000
難しかったのは 良い掃除メカニズムの
デザインでした
04:26
the intelligenceインテリジェンス on boardボード was fairlyかなり simple単純.
71
248000
4000
中の頭脳はかなり単純なものです
04:30
And that's true真実 with a lot of robotsロボット.
72
252000
2000
概してこれは他のロボットでも同じです
04:32
We've私たちは all, I think, become〜になる, sortソート of computational計算上の chauvinists信者,
73
254000
4000
私たちはある意味で
コンピュータ優位論者であるようで
04:36
and think that computation計算 is everything,
74
258000
2000
コンピュータ処理が全てと考えがちです
04:38
but the mechanics力学 still matter問題.
75
260000
2000
でも 機械部も大切なんです
04:40
Here'sここにいる another別の robotロボット, the PackBotPackBot,
76
262000
3000
これは 別のロボット
PacBotというもので
04:43
that we've私たちは been building建物 for a bunch of years.
77
265000
2000
ここ何年も作っているものです
04:45
It's a military軍事 surveillance監視 robotロボット, to go in ahead前方に of troops --
78
267000
6000
軍事用の偵察ロボットで
兵隊に先立って
04:51
looking at caves洞窟, for instanceインスタンス.
79
273000
3000
例えば 洞窟を偵察したりするものですが
04:54
But we had to make it fairlyかなり robustロバストな,
80
276000
2000
かなり頑丈に作る必要がありました
04:56
much more robustロバストな than the robotsロボット we buildビルドする in our labsラボ.
81
278000
7000
研究室で普段作るロボットよりも
かなり頑丈にね
05:03
(Laughter笑い)
82
285000
3000
(笑)
05:12
On boardボード that robotロボット is a PCPC runningランニング LinuxLinux.
83
294000
4000
ロボットの頭脳はLinux搭載のPCでして
05:16
It can withstand耐える a 400G shockショック. The robotロボット has local地元 intelligenceインテリジェンス:
84
298000
6000
400Gの衝撃に耐えることができます
ロボット自身が知能を持っていて
05:22
it can flipフリップ itself自体 over, can get itself自体 into communicationコミュニケーション range範囲,
85
304000
6000
自分を反転させたり 通信域に移動したり
05:28
can go upstairs二階 by itself自体, etet cetera同僚.
86
310000
3000
自力で階段を昇ったりすることなどができます
05:38
Okay, so it's doing local地元 navigationナビゲーション there.
87
320000
4000
ここでは 現場でのナビゲーションを
行っています
05:42
A soldier兵士 gives与える it a commandコマンド to go upstairs二階, and it does.
88
324000
6000
兵士が階段を昇る指令を出すと
それに従います
05:49
That was not a controlled制御された descent降下.
89
331000
3000
今のは意図的な落下ではありませんが…
05:52
(Laughter笑い)
90
334000
2000
(笑)
05:54
Now it's going to head off.
91
336000
2000
今度は回避します
05:56
And the big大きい breakthrough画期的な for these robotsロボット, really, was September9月 11thth.
92
338000
5000
これらのロボットの大きな転換点は
9・11の多発テロでした
06:01
We had the robotsロボット down at the World世界 Tradeトレード Centerセンター late遅く that eveningイブニング.
93
343000
4000
あの夜遅く ワールドトレードセンターに
出動させましたが
06:06
Couldn'tできなかった do a lot in the mainメイン rubble瓦礫 pileパイル,
94
348000
2000
中心の瓦礫の山では
大したことは出来ませんでした
06:08
things were just too -- there was nothing left to do.
95
350000
3000
全てがとても…
できることはありませんでした
06:11
But we did go into all the surrounding周囲 buildings建物 that had been evacuated避難した,
96
353000
5000
しかし 避難済みの周囲の建物に
全て入って行って
06:16
and searched検索された for possible可能 survivors生存者 in the buildings建物
97
358000
3000
危険すぎて入ることができない建物の中で
06:19
that were too dangerous危険な to go into.
98
361000
2000
生存者の探索を行うことができました
06:21
Let's run走る this videoビデオ.
99
363000
2000
この映像をご覧ください
06:23
Reporterレポーター: ...battlefield戦場 companionsコンパニオン are helping助ける to reduce減らす the combat戦闘 risksリスク.
100
365000
3000
戦場の友が
戦闘リスクの軽減に役立っています
06:26
Nickニック Robertsonロバートソン has that storyストーリー.
101
368000
3000
ニック・ロバートソンの報告です
06:31
Rodneyロドニー Brooksブルックス: Can we have another別の one of these?
102
373000
2000
ロドニー:これをもうひとつもらえますか?
06:38
Okay, good.
103
380000
2000
ありがとう
06:43
So, this is a corporal伍長 who had seen見た a robotロボット two weeks previously前に.
104
385000
3000
これは2週間前に
ロボットをはじめて見た伍長です
06:48
He's sending送信 robotsロボット into caves洞窟, looking at what's going on.
105
390000
4000
ロボットを洞窟に送り込み
状況を確認しています
06:52
The robot'sロボットの beingであること totally完全に autonomous自律的.
106
394000
2000
ロボットは完全に自律して動きます
06:54
The worst最悪 thing that's happened起こった in the cave洞窟 so far遠い
107
396000
4000
過去 洞窟内で起きた最悪の出来事は
06:58
was one of the robotsロボット fell落ちた down ten metersメートル.
108
400000
3000
ロボットの1つが10m落下したことでした
07:08
So one year ago, the US military軍事 didn't have these robotsロボット.
109
410000
3000
米軍がこの様なロボットを
使うようになって まだ一年ですが
07:11
Now they're on activeアクティブ duty義務 in Afghanistanアフガニスタン everyすべて day.
110
413000
2000
現在アフガニスタンで
毎日のように活躍しています
07:13
And that's one of the reasons理由 they say a robotロボット invasion侵入 is happeningハプニング.
111
415000
3000
ロボットの侵略が起きていると
言われる理由のひとつです
07:16
There's a sea change変化する happeningハプニング in how -- where technology's技術の going.
112
418000
4000
テクノロジーの未来もどんどん
変わって来ています
07:20
Thanksありがとう.
113
422000
2000
ありがとう
07:23
And over the next coupleカップル of months数ヶ月,
114
425000
2000
数ヶ月先には
07:25
we're going to be sending送信 robotsロボット in production製造
115
427000
3000
私達はロボットを油田に送り出し
07:28
down producing生産する oil wells井戸 to get that last few少数 years of oil out of the ground接地.
116
430000
4000
地中に残った数年分の石油を取り出すために
地下産出を行う予定です
07:32
Very hostile敵対的な environments環境, 150˚ C, 10,000 PSIPSI.
117
434000
4000
150℃ 圧力も10,000psiという
とても過酷な環境です
07:36
Autonomous自律 robotsロボット going down, doing this sortソート of work.
118
438000
4000
自律型ロボットが地中に潜り
この種の仕事を行うのです
07:40
But robotsロボット like this, they're a little hardハード to programプログラム.
119
442000
3000
しかし このようなロボットの制御は多少難しく
07:43
How, in the future未来, are we going to programプログラム our robotsロボット
120
445000
2000
将来 どの様にプログラムし
07:45
and make them easierより簡単に to use?
121
447000
2000
ロボットを使いやすくするかが
課題になります
07:47
And I want to actually実際に use a robotロボット here --
122
449000
3000
ここで 実際にロボットを見てみましょう
07:50
a robotロボット named名前 Chrisクリス -- standスタンド up. Yeah. Okay.
123
452000
5000
クリスという名前のロボットです
立ち上がって はい OK
07:57
Come over here. Now notice通知, he thinks考える robotsロボット have to be a bitビット stiff堅い.
124
459000
4000
こっちへ来て ロボットだから 堅苦しく
しなくてはと思っているようですね
08:01
He sortソート of does that. But I'm going to --
125
463000
3000
そんな風に見えますが
ここで...
08:04
Chrisクリス Andersonアンダーソン: I'm just Britishイギリス人. RBRB: Oh.
126
466000
2000
単にイギリス人だからですよ
なるほど
08:06
(Laughter笑い)
127
468000
2000
(笑)
08:08
(Applause拍手)
128
470000
2000
(拍手)
08:10
I'm going to showショー this robotロボット a task仕事. It's a very complex複合体 task仕事.
129
472000
3000
このロボットにタスク(作業)を見せます
とても複雑なタスクです
08:13
Now notice通知, he noddedうなずき there, he was giving与える me some indication表示
130
475000
3000
頷きましたね
ここで何かを私に伝えているわけです
08:16
he was understanding理解 the flowフロー of communicationコミュニケーション.
131
478000
3000
コミュニケーションの流れを
理解したのだとわかります
08:19
And if I'd said something completely完全に bizarre奇妙な
132
481000
2000
私が突拍子もないことを言ったとすると
08:21
he would have looked見た askance頼む at me, and regulated規制された the conversation会話.
133
483000
3000
顔をしかめて
会話を調整したでしょう
08:24
So now I brought持ってきた this up in frontフロント of him.
134
486000
3000
ここで これを彼の前にかざしてみます
08:27
I'd looked見た at his eyes, and I saw his eyes looked見た at this bottleボトル top.
135
489000
4000
彼の目を見て ボトルの頭を見たと
確認します
08:31
And I'm doing this task仕事 here, and he's checking点検 up.
136
493000
2000
そしてここでタスクを行い
彼はそれを見ています
08:33
His eyes are going back and forth前進 up to me, to see what I'm looking at --
137
495000
3000
彼は 私の目と 私の見ているものを
交互に見ています
08:36
so we've私たちは got shared共有 attention注意.
138
498000
2000
つまり 注意を共有しているわけです
08:38
And so I do this task仕事, and he looks外見, and he looks外見 to me
139
500000
3000
タスクを置こうなうと
それ見ると同時に 私のことも見て
08:41
to see what's happeningハプニング next. And now I'll give him the bottleボトル,
140
503000
4000
次に何が起こるか理解しようとしています
ここでボトルを渡します
08:45
and we'll私たちは see if he can do the task仕事. Can you do that?
141
507000
2000
ここでタスクができるでしょうか
できますか?
08:47
(Laughter笑い)
142
509000
3000
(笑)
08:50
Okay. He's prettyかなり good. Yeah. Good, good, good.
143
512000
4000
OK 上手ですね
はい 上手 上手
08:54
I didn't showショー you how to do that.
144
516000
2000
それは教えてないよ
08:56
Now see if you can put it back together一緒に.
145
518000
2000
では 元に戻せるか見てみましょう
08:58
(Laughter笑い)
146
520000
2000
(笑)
09:00
And he thinks考える a robotロボット has to be really slowスロー.
147
522000
1000
ロボットはゆっくり動くと
思っているみたいですね
09:01
Good robotロボット, that's good.
148
523000
2000
いいロボットだ よくできました
09:03
So we saw a bunch of things there.
149
525000
2000
さあ これでいろいろ解りました
09:06
We saw when we're interacting相互作用する,
150
528000
3000
相互のやりとりでは
09:09
we're trying試す to showショー someone誰か how to do something, we direct直接 their彼らの visualビジュアル attention注意.
151
531000
4000
何かやり方を見せるとき
相手の視線の注意を引きます
09:13
The other thing communicates通信する their彼らの internal内部 state状態 to us,
152
535000
4000
相手は自分の状態を伝え
09:17
whetherかどうか he's understanding理解 or not, regulates規制する a socialソーシャル interactionインタラクション.
153
539000
3000
理解したかどうかとか
対話を調整します
09:20
There was shared共有 attention注意 looking at the same同じ sortソート of thing,
154
542000
2000
同じものを見ることで
注意が共有され
09:22
and recognizing認識 socially社会的に communicated伝えられた reinforcement強化 at the end終わり.
155
544000
4000
最後には対話で
褒められたのを認識するのもわかりました
09:26
And we've私たちは been trying試す to put that into our lab研究室 robotsロボット
156
548000
3000
現在 これを研究室のロボットに
取り入れようとしています
09:29
because we think this is how you're going to want to interact相互作用する with robotsロボット in the future未来.
157
551000
4000
これが将来ロボットとやりとりする
望ましい方法だと思います
09:33
I just want to showショー you one technicalテクニカル diagram here.
158
555000
2000
ここで技術的な図をひとつお見せします
09:35
The most最も important重要 thing for building建物 a robotロボット that you can interact相互作用する with socially社会的に
159
557000
4000
対話できるロボットをつくる上で最も重要なのが
09:39
is its visualビジュアル attention注意 systemシステム.
160
561000
2000
視覚的な注意喚起システムです
09:41
Because what it pays払う attention注意 to is what it's seeing見る
161
563000
3000
なぜなら 注意を払っている対象は
それが見たり
09:44
and interacting相互作用する with, and what you're understanding理解 what it's doing.
162
566000
3000
関連している対象であり
ロボットの行動を理解するものだからです
09:47
So in the videosビデオ I'm about to showショー you,
163
569000
3000
今からお見せする映像では
09:50
you're going to see a visualビジュアル attention注意 systemシステム on a robotロボット
164
572000
4000
ロボットの視覚的な注意喚起システムを
ご覧いただきます
09:54
whichどの has -- it looks外見 for skin toneトーン in HSVHSV spaceスペース,
165
576000
4000
これは…HSV色空間で
肌色を探すので
09:58
so it works作品 across横断する all human人間 colorings着色料.
166
580000
4000
全ての人種の色に対応していてます
10:02
It looks外見 for highly高く saturated飽和した colors, from toysおもちゃ.
167
584000
2000
玩具の鮮やかなを見つけ出したり
10:04
And it looks外見 for things that move動く around.
168
586000
2000
動くものを探します
10:06
And it weights重み those together一緒に into an attention注意 window,
169
588000
3000
それらを視野の中で比較し
10:09
and it looks外見 for the highest-scoring最高得点 place場所 --
170
591000
2000
最も高いスコアの箇所を見つけます
10:11
the stuffもの where the most最も interesting面白い stuffもの is happeningハプニング --
171
593000
2000
最も興味深い出来事が起きている箇所に
10:13
and that is what its eyes then segueセグエ to.
172
595000
4000
そして そこに目をすみやかに移し
10:17
And it looks外見 right at that.
173
599000
2000
それを注視します
10:19
At the same同じ time, some top-downトップダウン sortソート of stuffもの:
174
601000
3000
同時に トップダウン的に
10:22
mightかもしれない decide決めます that it's lonely寂しい and look for skin toneトーン,
175
604000
3000
寂しいので 肌色を探そうと判断したり
10:25
or mightかもしれない decide決めます that it's bored退屈な and look for a toyおもちゃ to play遊びます with.
176
607000
3000
退屈なので 遊ぶための玩具を
探そうと判断したりするので
10:28
And so these weights重み change変化する.
177
610000
2000
ウエイトがかわります
10:30
And over here on the right,
178
612000
2000
そして この右側は
10:32
this is what we call the Stevenスティーブン Spielbergスピルバーグ memorial記念碑 moduleモジュール.
179
614000
3000
私達がスティーブン・スピルバーグの
記念モジュールと呼ぶ…
10:35
Did people see the movie映画 "AIAI"? (Audienceオーディエンス: Yes.)
180
617000
2000
「AI」という映画をご覧になりました?
(観客:はい)
10:37
RBRB: Yeah, it was really bad悪い, but --
181
619000
2000
ひどい映画でしたが
10:39
remember思い出す, especially特に when Haleyヘイリー Joelジョエル Osmentオスメント, the little robotロボット,
182
621000
4000
特に ハーレイ・ジョエル・オスメントの扮した
小さなロボットが
10:43
looked見た at the blue fairy妖精 for 2,000 years withoutなし taking取る his eyes off it?
183
625000
4000
ひと時も目を離さずに 青い妖精を
2000年もの間 見続けたのも
10:47
Well, this gets取得 rid除去する of that,
184
629000
2000
これは それに対処する答えです
10:49
because this is a habituation習慣 Gaussianガウスの that gets取得 negative,
185
631000
4000
なぜなら これは負に作用する
ガウス的な馴化でありまして
10:53
and more and more intense激しい as it looks外見 at one thing.
186
635000
3000
一つのものを見続けると
10:56
And it gets取得 bored退屈な, so it will then look away at something elseelse.
187
638000
3000
結果的に 飽きてしまい
何か他のものを見るようになります
10:59
So, once一度 you've got that -- and here'sここにいる a robotロボット, here'sここにいる Kismetキスメット,
188
641000
4000
簡単な説明でしたが
これがロボットの Kismetです
11:03
looking around for a toyおもちゃ. You can tell what it's looking at.
189
645000
4000
おもちゃを探しています
何を見ているかわかりますね
11:07
You can estimate推定 its gaze視線 direction方向 from those eyeballs眼球 coveringカバーする its cameraカメラ,
190
649000
5000
カメラを覆っている目玉から
目線の方向を推測できます
11:12
and you can tell when it's actually実際に seeing見る the toyおもちゃ.
191
654000
3000
おもちゃを見つける様子が
わかります
11:15
And it's got a little bitビット of an emotional感情の response応答 here.
192
657000
2000
ちょっと感情的な反応を示しましたね
11:17
(Laughter笑い)
193
659000
1000
(笑)
11:18
But it's still going to pay支払う attention注意
194
660000
2000
しかし 注意は継続しています
11:20
if something more significant重要な comes来る into its fieldフィールド of view見る --
195
662000
4000
もし もっと面白いものが視野に入れば
11:24
suchそのような as Cynthiaシンシア Breazealブレアジール, the builderビルダー of this robotロボット, from the right.
196
666000
4000
例えば右にいる このロボットの
生みの親であるシンシア・ブリジールなどに
11:28
It sees見える her, pays払う attention注意 to her.
197
670000
5000
気づくと そちらに注意を払います
11:33
Kismetキスメット has an underlying根底にある, three-dimensional三次元 emotional感情の spaceスペース,
198
675000
4000
Kismetは内的な3次元の感情空間を持っていて
11:37
a vectorベクター spaceスペース, of where it is emotionally感情的に.
199
679000
3000
それは感情の位置を示すベクトル空間で
11:40
And at different異なる places場所 in that spaceスペース, it expresses表現する --
200
682000
5000
その空間のどこにいるかを表現します
11:46
can we have the volumeボリューム on here?
201
688000
2000
音声を出してもらえますか?
11:48
Can you hear聞く that now, out there? (Audienceオーディエンス: Yeah.)
202
690000
2000
聞こえますか?(観客:はい)
11:50
Kismetキスメット: Do you really think so? Do you really think so?
203
692000
5000
本当にそう思う?本当にそう思う?
11:57
Do you really think so?
204
699000
2000
本当にそう思う?
12:00
RBRB: So it's expressing表現する its emotion感情 throughを通して its face
205
702000
3000
表情と声の調子を通して
12:03
and the prosody韻律 in its voice音声.
206
705000
2000
感情を表現するのです
12:05
And when I was dealing対処する with my robotロボット over here,
207
707000
4000
ここで私がロボットとやりとりしていた際
12:09
Chrisクリス, the robotロボット, was measuring測定する the prosody韻律 in my voice音声,
208
711000
3000
ロボットのクリスが私の声の調子を
測っていたように
12:12
and so we have the robotロボット measure測定 prosody韻律 for four4つの basic基本的な messagesメッセージ
209
714000
5000
声の調子で表現される
4種の基本メッセージを測るようにしました
12:17
that mothers母親の give their彼らの children子供 pre-linguistically言語学的に前の.
210
719000
4000
これは言葉以前に
母親が子供に伝えるものです
12:21
Here we've私たちは got naiveナイーブ subjects科目 praising賛美 the robotロボット:
211
723000
3000
ここでは事前情報のない被験者が
ロボットを褒めています
12:26
Voice音声: Niceニース robotロボット.
212
728000
2000
いいロボットね
12:29
You're suchそのような a cute可愛い little robotロボット.
213
731000
2000
小さくてかわいいロボットね
12:31
(Laughter笑い)
214
733000
2000
(笑)
12:33
RBRB: And the robot'sロボットの reacting反応する appropriately適切に.
215
735000
2000
そして ロボットは適切に反応しています
12:35
Voice音声: ...very good, Kismetキスメット.
216
737000
4000
よくできたわ Kismet
12:40
(Laughter笑い)
217
742000
2000
(笑)
12:42
Voice音声: Look at my smileスマイル.
218
744000
2000
私の笑顔を見て
12:46
RBRB: It smiles笑顔. She imitates模倣する the smileスマイル. This happens起こる a lot.
219
748000
3000
笑顔になります 笑顔を真似するんです
これは頻繁に起こります
12:49
These are naiveナイーブ subjects科目.
220
751000
2000
これらは事前情報のない被験者です
12:51
Here we asked尋ねた them to get the robot'sロボットの attention注意
221
753000
3000
ロボットの気を引いて
12:54
and indicate示す when they have the robot'sロボットの attention注意.
222
756000
3000
ロボットの気が引けたら
知らせるように頼みました
12:57
Voice音声: Hey, Kismetキスメット, ahああ, there it is.
223
759000
4000
Kismet はい そうね
13:01
RBRB: So she realizes実現する she has the robot'sロボットの attention注意.
224
763000
4000
彼女はロボットの注意が
得られたとわかりました
13:08
Voice音声: Kismetキスメット, do you like the toyおもちゃ? Oh.
225
770000
4000
おもちゃが好き?
13:13
RBRB: Now, here they're asked尋ねた to prohibit禁止する the robotロボット,
226
775000
2000
さて ここではロボットを咎めるよう
頼みました
13:15
and this first woman女性 really pushesプッシュ the robotロボット into an emotional感情の cornerコーナー.
227
777000
4000
この最初の女性はほんとうにロボットを
感情的に追い詰めます
13:19
Voice音声: No. No. You're not to do that. No.
228
781000
5000
だめ だめ
やっちゃいけません だめ
13:24
(Laughter笑い)
229
786000
3000
(笑)
13:27
Not appropriate適切な. No. No.
230
789000
6000
そんなのだめ だめ だめ
13:33
(Laughter笑い)
231
795000
3000
(笑)
13:36
RBRB: I'm going to leave離れる it at that.
232
798000
2000
これくらいにしておきましょう
13:38
We put that together一緒に. Then we put in turn順番 taking取る.
233
800000
2000
これらを組み合わせ
順番交替を追加しました
13:40
When we talk to someone誰か, we talk.
234
802000
3000
誰かと話す際 まず話して
13:43
Then we sortソート of raise上げる our eyebrows眉毛, move動く our eyes,
235
805000
4000
次に 眉を上げたり 目を動かしたりして
13:47
give the other person the ideaアイディア it's their彼らの turn順番 to talk.
236
809000
3000
相手に会話の順番が来たと気づかせます
13:50
And then they talk, and then we passパス the batonバトン back and forth前進 betweenの間に each other.
237
812000
4000
そうして相手が話し そして交互に
かわるがわる話します
13:54
So we put this in the robotロボット.
238
816000
2000
これをロボットに組み込みました
13:56
We got a bunch of naiveナイーブ subjects科目 in,
239
818000
2000
何も知らない被験者を
何人も用意して
13:58
we didn't tell them anything about the robotロボット,
240
820000
2000
ロボットのことは何も教えず
14:00
sat座っている them down in frontフロント of the robotロボット and said, talk to the robotロボット.
241
822000
2000
ロボットの前に座らせ
会話をしてもらいました
14:02
Now what they didn't know was,
242
824000
2000
彼らが知らないのは
14:04
the robotロボット wasn'tなかった understanding理解 a wordワード they said,
243
826000
2000
ロボットは実は言葉を全く理解せず
14:06
and that the robotロボット wasn'tなかった speaking話し中 English英語.
244
828000
3000
話しているのも英語ではない
という事です
14:09
It was just saying言って randomランダム English英語 phonemes音素.
245
831000
2000
ランダムな英語の音素を話すだけです
14:11
And I want you to watch carefully慎重に, at the beginning始まり of this,
246
833000
2000
この冒頭の部分を
良く見て頂きたいのですが
14:13
where this person, Ritchieリッチー, who happened起こった to talk to the robotロボット for 25 minutes --
247
835000
4000
この方 リッチーはロボットと
25分も会話をしました
14:17
(Laughter笑い)
248
839000
2000
(笑)
14:19
-- says言う, "I want to showショー you something.
249
841000
2000
「見せたいものがあるんだ
14:21
I want to showショー you my watch."
250
843000
2000
この時計を見せたいんだ」と言って
14:23
And he bringsもたらす the watch centerセンター, into the robot'sロボットの fieldフィールド of visionビジョン,
251
845000
5000
彼は時計をロボットの
視界の中心に持ってきて
14:28
pointsポイント to it, gives与える it a motionモーション cue合図,
252
850000
2000
指さし 動かして示し
14:30
and the robotロボット looks外見 at the watch quiteかなり successfully正常に.
253
852000
2000
ロボットに時計を見せる事に成功します
14:32
We don't know whetherかどうか he understood理解された or not that the robotロボット --
254
854000
3000
気が付いていたかわかりませんが
14:36
Notice通知 the turn-takingターン.
255
858000
2000
ロボットは順番交替もしています
14:38
Ritchieリッチー: OK, I want to showショー you something. OK, this is a watch
256
860000
3000
「見せたいものがあるんだ
これは時計
14:41
that my girlfriendガールフレンド gave与えた me.
257
863000
3000
僕の彼女がくれたんだ」
14:44
Robotロボット: Oh, coolクール.
258
866000
2000
「あら、いい」
14:46
Ritchieリッチー: Yeah, look, it's got a little blue light in it too. I almostほぼ lost失われた it this week週間.
259
868000
4000
「そうだろ 見て 中に青いライトも
あるんだ 先週失くしそうになったよ」
14:51
(Laughter笑い)
260
873000
4000
(笑)
14:55
RBRB: So it's making作る eye contact接触 with him, following以下 his eyes.
261
877000
3000
彼の目を追いかけて
彼とアイ・コンタクトをとっています
14:58
Ritchieリッチー: Can you do the same同じ thing? Robotロボット: Yeah, sure.
262
880000
2000
「まねできる?」
「ええ もちろん」
15:00
RBRB: And they successfully正常に have that sortソート of communicationコミュニケーション.
263
882000
2000
こんな具合で
コミュニケーションに成功しました
15:02
And here'sここにいる another別の aspectアスペクト of the sortsソート of things that Chrisクリス and I were doing.
264
884000
4000
クリスと私がやった
また別のこともお見せします
15:06
This is another別の robotロボット, Cogコグ.
265
888000
2000
これは別の「コグ」というロボットで
15:08
They first make eye contact接触, and then, when Christieクリスティ looks外見 over at this toyおもちゃ,
266
890000
6000
最初にアイ・コンタクトをして
次に クリスティーが玩具に目をやると
15:14
the robotロボット estimates見積り her gaze視線 direction方向
267
896000
2000
ロボットは彼女の視線を推測して
15:16
and looks外見 at the same同じ thing that she's looking at.
268
898000
2000
彼女が見ているのと同じ物を見ます
15:18
(Laughter笑い)
269
900000
1000
(笑)
15:19
So we're going to see more and more of this sortソート of robotロボット
270
901000
3000
この種のロボットが さらに多く
15:22
over the next few少数 years in labsラボ.
271
904000
2000
研究されるようになるでしょ
15:24
But then the big大きい questions質問, two big大きい questions質問 that people ask尋ねる me are:
272
906000
5000
そこで大きな疑問が出てきます
私が聞かれる2つの大きな疑問は
15:29
if we make these robotsロボット more and more human-like人間のような,
273
911000
2000
これらのロボットが更にもっと
人間に近づいたら
15:31
will we accept受け入れる them, will we -- will they need rights権利 eventually最終的に?
274
913000
5000
彼らを受け入れられるでしょうか?
将来 彼らにも権利が必要になるでしょうか?
15:36
And the other question質問 people ask尋ねる me is, will they want to take over?
275
918000
3000
もう一つ良く訊かれるのが
ロボットは人間にとって代わろうとするか?
15:39
(Laughter笑い)
276
921000
1000
(笑)
15:40
And on the first -- you know, this has been a very Hollywoodハリウッド themeテーマ
277
922000
3000
最初の疑問は
ハリウッドの映画によくある
15:43
with lots of movies映画. You probably多分 recognize認識する these characters文字 here --
278
925000
3000
テーマです
これらのキャラクターはお馴染みですが
15:46
where in each of these cases症例, the robotsロボット want more respect尊敬.
279
928000
4000
いずれの場合も
ロボット達は尊厳を求めています
15:50
Well, do you ever need to give robotsロボット respect尊敬?
280
932000
3000
ロボットに権利を与える必要があるでしょうか?
15:54
They're just machines機械, after all.
281
936000
2000
たかが機械です
15:56
But I think, you know, we have to accept受け入れる that we are just machines機械.
282
938000
4000
でも 良く考えれば
私たちだって機械です
16:00
After all, that's certainly確かに what modernモダン molecular分子 biology生物学 says言う about us.
283
942000
5000
分子科学者の目でみると
そうなります
16:05
You don't see a description説明 of how, you know,
284
947000
3000
例えば「A」という分子がやってきて
16:08
Molecule分子 A, you know, comes来る up and docksドック with this other molecule分子.
285
950000
4000
他の分子と結合するなんて
説明はありませんが
16:12
And it's moving動く forward前進, you know, propelled推進された by various様々な charges料金,
286
954000
3000
いろいろな力がはたらいて
進んできて
16:15
and then the soul stepsステップ in and tweaks微調整 those molecules分子 so that they connect接続する.
287
957000
4000
そこに魂がやってきて分子が
きちんとつながる様になっている
16:19
It's all mechanistic機械論的. We are mechanism機構.
288
961000
3000
全て機械的なのです
私たちは機械です
16:22
If we are machines機械, then in principle原理 at least少なくとも,
289
964000
3000
もし我々が機械なら
少なくとも原則的には
16:25
we should be ableできる to buildビルドする machines機械 out of other stuffもの,
290
967000
4000
他のものから機械を作って
16:29
whichどの are just as alive生きている as we are.
291
971000
4000
私たちの様に生きてるものを
作れるはずです
16:33
But I think for us to admit認める that,
292
975000
2000
でも それを認めるには
16:35
we have to give up on our special-ness特別な, in a certainある way.
293
977000
3000
自分たちが 特別な存在である事を
あきらめなければなりません
16:38
And we've私たちは had the retreat退却 from special-ness特別な
294
980000
2000
これまでも この特別性から
後退してきました
16:40
under the barrage弾幕 of science科学 and technology技術 manyたくさんの times
295
982000
3000
少なくとも過去数百年渡り
科学と技術の攻撃を受け何度もです
16:43
over the last few少数 hundred years, at least少なくとも.
296
985000
2000
少なくとも過去数百年渡り
科学と技術の攻撃を受け何度もです
16:45
500 years ago we had to give up the ideaアイディア
297
987000
2000
500年前には宇宙の中心であるという考えを
16:47
that we are the centerセンター of the universe宇宙
298
989000
3000
捨てなければなりませんでした
16:50
when the earth地球 started開始した to go around the sun太陽;
299
992000
2000
地球が太陽の中心を周りはじめたときにです
16:52
150 years ago, with Darwinダーウィン, we had to give up the ideaアイディア we were different異なる from animals動物.
300
994000
5000
150年前には ダーウィンによって
他の動物と違うという考えを
捨てなければなりませんでした
16:57
And to imagine想像する -- you know, it's always hardハード for us.
301
999000
3000
そして想像するに…いつもながら厳しいことですが
17:00
Recently最近 we've私たちは been battered殴られた with the ideaアイディア that maybe
302
1002000
3000
近年 こんな考えもつきつけられています
17:03
we didn't even have our own自分の creation創造 eventイベント, here on earth地球,
303
1005000
2000
我々は地球で生まれたのでは
ないかもしれない
17:05
whichどの people didn't like much. And then the human人間 genomeゲノム said,
304
1007000
3000
これは皆嫌います
そして人間の遺伝子は
17:08
maybe we only have 35,000 genes遺伝子. And that was really --
305
1010000
3000
3500個しかないなんて言われると
17:11
people didn't like that, we've私たちは got more genes遺伝子 than that.
306
1013000
3000
そんなはずでない
もっとあるはずだと感じるものです
17:14
We don't like to give up our special-ness特別な, so, you know,
307
1016000
3000
このように人間の特別性を
あきらめたくないので
17:17
having持つ the ideaアイディア that robotsロボット could really have emotions感情,
308
1019000
2000
ロボットが本当に感情を持つ可能性や
17:19
or that robotsロボット could be living生活 creatures生き物 --
309
1021000
2000
生き物と考えられるとなると
17:21
I think is going to be hardハード for us to accept受け入れる.
310
1023000
2000
受け入れがたいものになるでしょう
17:23
But we're going to come to accept受け入れる it over the next 50 years or so.
311
1025000
4000
でも ここ50年ぐらいで
これを受け入れるようになるでしょう
17:27
And the second二番 question質問 is, will the machines機械 want to take over?
312
1029000
3000
次の疑問は 機械が我々に
とって代わるかということですが
17:30
And here the standard標準 scenarioシナリオ is that we create作成する these things,
313
1032000
5000
一般的なシナリオとしては
我々が彼らを創造し
17:35
they grow成長する, we nurture育成 them, they learn学ぶ a lot from us,
314
1037000
3000
彼らが育ち 我々が育成し
彼らが我々から多くを学習し
17:38
and then they start開始 to decide決めます that we're prettyかなり boring退屈な, slowスロー.
315
1040000
4000
いつかしら我々をのろまで
退屈だと判断するようになる
17:42
They want to take over from us.
316
1044000
2000
我々にとって代わりたいとなるわけです
17:44
And for those of you that have teenagersティーンエイジャー, you know what that's like.
317
1046000
3000
10代のお子さんをお持ちなら
よくわかると思います
17:47
(Laughter笑い)
318
1049000
1000
(笑)
17:48
But Hollywoodハリウッド extends拡張する it to the robotsロボット.
319
1050000
3000
ハリウッドでは この感情を
ロボットに延長するわけですが
17:51
And the question質問 is, you know,
320
1053000
3000
でも ここで不思議に思うのは
17:54
will someone誰か accidentally誤って buildビルドする a robotロボット that takes over from us?
321
1056000
4000
一体誰が 人間をのっとる
ロボットを間違って作るかということです
17:58
And that's sortソート of like this lone孤独 guy in the backyard裏庭,
322
1060000
3000
庭で一人でゴチャゴチャやって
18:01
you know -- "I accidentally誤って built建てられた a 747."
323
1063000
3000
「間違って747を作っちまった!」という感じで
18:04
I don't think that's going to happen起こる.
324
1066000
2000
それは起きないでしょう
18:06
And I don't think --
325
1068000
2000
そして…
18:08
(Laughter笑い)
326
1070000
1000
(笑)
18:09
-- I don't think we're going to deliberately故意に buildビルドする robotsロボット
327
1071000
3000
故意に危険なロボットを作るということは
18:12
that we're uncomfortable不快な with.
328
1074000
2000
あり得ないでしょう
18:14
We'll私たちは -- you know, they're not going to have a superスーパー bad悪い robotロボット.
329
1076000
2000
すごく悪いロボットが登場する前に
18:16
Before that has to come to be a mildly軽度 bad悪い robotロボット,
330
1078000
3000
なんとなく悪いロボットが登場するはずですし
18:19
and before that a not so bad悪い robotロボット.
331
1081000
2000
その前には大して悪くはないロボットが
いるはずです
18:21
(Laughter笑い)
332
1083000
1000
(笑)
18:22
And we're just not going to let it go that way.
333
1084000
2000
だから これを放っておくわけありません
18:24
(Laughter笑い)
334
1086000
1000
(笑)
18:25
So, I think I'm going to leave離れる it at that: the robotsロボット are coming到来,
335
1087000
6000
結論としては ロボットはやってきます
18:31
we don't have too much to worry心配 about, it's going to be a lot of fun楽しい,
336
1093000
3000
でも心配する程の事はありません
楽しいものになるでしょう
18:34
and I hope希望 you all enjoy楽しんで the journey over the next 50 years.
337
1096000
4000
これからの50年の旅を
楽しみましょう
18:38
(Applause拍手)
338
1100000
2000
(拍手)
Translated by Shungo Haraguchi
Reviewed by Akiko Hicks

▲Back to top

ABOUT THE SPEAKER
Rodney Brooks - Roboticist
Rodney Brooks builds robots based on biological principles of movement and reasoning. The goal: a robot who can figure things out.

Why you should listen

Former MIT professor Rodney Brooks studies and engineers robot intelligence, looking for the holy grail of robotics: the AGI, or artificial general intelligence. For decades, we've been building robots to do highly specific tasks -- welding, riveting, delivering interoffice mail -- but what we all want, really, is a robot that can figure things out on its own, the way we humans do.

Brooks realized that a top-down approach -- just building the biggest brain possible and teaching it everything we could think of -- would never work. What would work is a robot who learns like we do, by trial and error, and with many separate parts that learn separate jobs. The thesis of his work which was captured in Fast, Cheap and Out of Control,went on to become the title of the great Errol Morris documentary.

A founder of iRobot, makers of the Roomba vacuum, Brooks is now founder and CTO of Rethink Robotics, whose mission is to apply advanced robotic intelligence to manufacturing and physical labor. Its first robots: the versatile two-armed Baxter and one-armed Sawyer. Brooks is the former director of CSAIL, MIT's Computers Science and Artificial Intelligence Laboratory.

 
More profile about the speaker
Rodney Brooks | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee