sponsored links
TEDxExeter

Alan Smith: Why we're so bad at statistics

アラン・スミス: 統計を好きになるべき理由

April 15, 2016

あなたは統計データを推測するのは得意ですか?そう思う人は考え直した方がいいでしょう。数学の得意、不得意に関わらず、私たちが数字を理解し操作する能力は極めて限られている、そう話すのはデータ視覚化の専門家アラン・スミスです。彼は、楽しい話を通して、私たちが知っていることと、そう思っているだけなことのギャップを探ります。

Alan Smith - Data visualisation editor
Alan Smith uses interactive graphics and statistics to breathe new life into how data is presented. Full bio

sponsored links
Double-click the English subtitles below to play the video.
Back in 2003,
2003年に
00:12
the UK government carried out a survey.
イギリス政府が ある調査をしました
00:15
And it was a survey that measured
levels of numeracy
国民の数学能力のレベルを測るための
00:19
in the population.
調査です
00:22
And they were shocked to find out
関係者が衝撃を受けたのは
00:23
that for every 100 working age
adults in the country,
数学能力がレベル1に達しない人が
00:25
47 of them lacked Level 1 numeracy skills.
成人の労働人口100人当たり
47人に上ったことです
00:28
Now, Level 1 numeracy skills --
that's low-end GCSE score.
レベル1は一般中等教育修了資格試験で
一番下のレベルに相当し
00:32
It's the ability to deal with fractions,
percentages and decimals.
分数、割合、小数を使えるレベルです
00:37
So this figure prompted
a lot of hand-wringing in Whitehall.
この結果を受けてイギリス政府に
不安が広がりました
00:40
Policies were changed,
政策を見直し
00:45
investments were made,
教育予算を増額して
00:46
and then they ran
the survey again in 2011.
2011年に再び
調査を実施しました
00:48
So can you guess
what happened to this number?
結果は どうなったと思いますか?
00:51
It went up to 49.
100人中49人に増えたんです
00:55
(Laughter)
(笑)
00:57
And in fact, when I reported
this figure in the FT,
私がフィナンシャル・タイムズ紙で
この結果を報じた時
00:58
one of our readers joked and said,
こんなジョークを言った
読者がいました
01:01
"This figure is only shocking
to 51 percent of the population."
「この結果にショックを受けるのは
国民の51%だけだ」
01:03
(Laughter)
(笑)
01:06
But I preferred, actually,
the reaction of a schoolchild
私がもっと気に入ったのは
この話を学校で紹介した時の
01:09
when I presented
at a school this information,
ある生徒の反応でした
01:12
who raised their hand and said,
その生徒は挙手して言ったんです
01:15
"How do we know that the person
who made that number
「その結果をまとめた人は本当に
01:16
isn't one of the 49 percent either?"
49%の方には
入ってないんですよね?」
01:19
(Laughter)
(笑)
01:21
So clearly, there's a numeracy issue,
数学能力が大事な問題であるのは
明らかです
01:22
because these are
important skills for life,
生活上 大切なスキルですし
01:26
and a lot of the changes
that we want to introduce in this century
私たちが今世紀中の
実現を目指す変革の多くは
01:28
involve us becoming
more comfortable with numbers.
私たちが数字に強くなることを
必要とするからです
01:32
Now, it's not just an English problem.
これはイギリスだけの
問題ではありません
01:35
OECD this year released some figures
looking at numeracy in young people,
OECDは2016年に 若者の数学能力に関する
調査結果を公表しました
01:37
and leading the way, the USA --
まずは アメリカですが
01:42
nearly 40 percent of young people
in the US have low numeracy.
40%近くの若者は
十分な数学能力が身についていません
01:44
Now, England is there too,
イギリスも グラフにありますが
01:49
but there are seven OECD countries
with figures above 20 percent.
割合が20%を超えるOECD諸国が
7つもあります
01:50
That is a problem,
because it doesn't have to be that way.
これは問題です
必然的な結果ではないからです
01:56
If you look at the far end of this graph,
このグラフの右端を見ると
01:59
you can see the Netherlands and Korea
are in single figures.
オランダや韓国は
1桁台なのがわかります
02:01
So there's definitely a numeracy
problem that we want to address.
だから数学能力の問題には
絶対に取り組む必要があります
02:04
Now, as useful as studies like these are,
さて こういった調査と同様に
役に立つのは
02:09
I think we risk herding people
inadvertently into one of two categories;
つい人を2種類に分けてしまう
私たちの傾向を考えてみることでしょう
02:12
that there are two kinds of people:
つまり人間には2タイプいて
02:17
those people that are comfortable
with numbers, that can do numbers,
数字に強く計算が得意な人と
02:19
and the people who can't.
計算が苦手な人に
分けてしまいがちなのです
02:23
And what I'm trying
to talk about here today
私が今日お話ししたいのは
02:26
is to say that I believe
that is a false dichotomy.
そんな分け方は
間違っているということです
02:28
It's not an immutable pairing.
決して変えられない分類ではありません
02:31
I think you don't have to have
tremendously high levels of numeracy
数字から新たな発想をするのに
そこまで高度な数学的能力は
02:33
to be inspired by numbers,
必要ないでしょうし
02:36
and that should be the starting point
to the journey ahead.
そういう考え方を元にして
検討を進めていくべきです
02:38
And one of the ways in which
we can begin that journey, for me,
検討を進める方法の1つとして
私の場合は
02:42
is looking at statistics.
統計を取り上げました
02:46
Now, I am the first to acknowledge
that statistics has got somewhat
統計は イメージに問題があると
認める人間は
02:48
of an image problem.
私が初めてですかね?
02:51
(Laughter)
(笑)
02:53
It's the part of mathematics
統計学は数学の一部門ですが
02:54
that even mathematicians
don't particularly like,
数学者さえ
それほど好きではありません
02:55
because whereas the rest of maths
is all about precision and certainty,
統計学を除く数学では
正確さと確実性がすべてですが
02:58
statistics is almost the reverse of that.
統計学は ほぼ正反対だからです
03:02
But actually, I was a late convert
to the world of statistics myself.
ただ本当は 私が統計の世界に入ったのも
比較的最近のことです
03:05
If you'd asked my undergraduate professors
もし私が学部生だった頃 教授に
03:10
what two subjects would I be least likely
to excel in after university,
卒業後 私が才能を発揮する見込みが
最も低い分野を2つ挙げてもらったら
03:12
they'd have told you statistics
and computer programming,
統計とプログラミングを
挙げたでしょうが
03:17
and yet here I am, about to show you
some statistical graphics
これから皆さんに見ていただくのは
03:20
that I programmed.
私がプログラムした統計グラフです
03:23
So what inspired that change in me?
私に一体何が起きたのでしょう?
03:24
What made me think that statistics
was actually an interesting thing?
統計が 本当は面白いと
思うようになったのは なぜでしょう?
03:26
It's really because
statistics are about us.
それは統計が 私たち自身に
関する学問だからです
03:30
If you look at the etymology
of the word statistics,
「統計」の語源を見ていくと
03:32
it's the science of dealing with data
それは私たちが暮らす
国や地域に関わる
03:35
about the state or the community
that we live in.
データを扱う科学のことだと
わかります
03:38
So statistics are about us as a group,
つまり統計とは 個人ではなく
集団としての私たちに関する
03:40
not us as individuals.
学問なのです
03:43
And I think as social animals,
私たちは社会的存在として
03:45
we share this fascination about how
we as individuals relate to our groups,
個人が集団や仲間と
どう関わっているかに
03:47
to our peers.
皆 関心を持つものです
03:51
And statistics in this way
are at their most powerful
統計が最も力を発揮するのは
03:52
when they surprise us.
驚くべき発見がある時です
03:55
And there's been some really wonderful
surveys carried out recently
ここ数年 調査会社イプソスモリが
とても素晴らしい調査を
03:57
by Ipsos MORI in the last few years.
実施しています
04:00
They did a survey of over
1,000 adults in the UK,
ある調査ではイギリス国内の
1,000人以上の成人を対象に
04:02
and said, for every 100 people
in England and Wales,
こんな質問をしました
「イングランドとウェールズで
04:05
how many of them are Muslim?
イスラム教徒は
100人当たり何人でしょう?」
04:08
Now the average answer from this survey,
この調査での平均的な回答—
04:10
which was supposed to be representative
of the total population, was 24.
つまり全人口を代表する回答は
「24人」でした
04:13
That's what people thought.
これが人々のイメージなのです
04:16
British people think 24 out of every 100
people in the country are Muslim.
イギリス人は 国内の100人中24人が
イスラム教徒だと思っています
04:20
Now, official figures reveal
that figure to be about five.
一方 公表された数値によれば
実際の数は およそ5人です
04:24
So there's this big variation
between what we think, our perception,
つまり 私たちのイメージや認識と
統計からわかる現実との間には
04:29
and the reality as given by statistics.
大きな隔たりがあるのです
04:33
And I think that's interesting.
そこが面白いところだと思います
04:35
What could possibly be causing
that misperception?
こういう認識の誤りは
何が原因で起こるのでしょう?
04:37
And I was so thrilled with this study,
私はこの調査に すっかり興奮して
04:41
I started to take questions out
in presentations. I was referring to it.
自分のプレゼンで 調査項目から
質問を出すようになったのです
04:42
Now, I did a presentation
ハマースミスにある
04:46
at St. Paul's School for Girls
in Hammersmith,
セント・ポール女学校で
プレゼンをした時は
04:47
and I had an audience rather like this,
今と同じような聴衆でしたが
04:50
except it was comprised entirely
of sixth-form girls.
全員 女子高生でした
04:52
And I said, "Girls,
そこで私は言ったんです
04:56
how many teenage girls do you think
the British public think
「イギリスの一般市民は
十代の女子が毎年何人妊娠すると
04:59
get pregnant every year?"
考えているでしょう?」
05:04
And the girls were apoplectic when I said
私が答えを言うと
皆 激怒しました
05:05
the British public think that 15
out of every 100 teenage girls
イギリスの一般市民は 1年間で
十代女子の100人中15人が
05:09
get pregnant in the year.
妊娠したと思っていたのです
05:13
And they had every right to be angry,
彼女たちが怒るのも もっともで
05:15
because in fact, I'd have to have
closer to 200 dots
公表された数字によると
実際には 妊娠した女の子を
05:17
before I could color one in,
1人見つけるには
05:20
in terms of what
the official figures tell us.
200人近く 必要になるのです
05:21
And rather like numeracy,
this is not just an English problem.
数学能力の場合と同じで
これはイギリスだけの問題ではありません
05:24
Ipsos MORI expanded the survey
in recent years to go across the world.
イプソスモリ社は近年
調査対象を世界に拡大し
05:28
And so, they asked Saudi Arabians,
サウジアラビア人には
こんな質問をしました
05:32
for every 100 adults in your country,
「サウジアラビアの成人100人につき
05:35
how many of them are overweight or obese?
太り気味または肥満の人は
何人でしょうか?」
05:38
And the average answer from the Saudis
was just over a quarter.
平均は4分の1ちょっとという
回答でした
05:42
That's what they thought.
これが彼らのイメージです
05:48
Just over a quarter of adults
are overweight or obese.
太り気味または肥満は
全体の4分の1ちょっと
05:49
The official figures show, actually,
it's nearer to three-quarters.
でも公表された数字によると
実際は4分の3近くに上ります
05:52
(Laughter)
(笑)
05:56
So again, a big variation.
ここにも 大きな開きがあります
05:58
And I love this one: they asked in Japan,
they asked the Japanese,
私のお気に入りはこれ
日本人への質問です
06:00
for every 100 Japanese people,
「日本人100人当たり
06:05
how many of them live in rural areas?
農村部に住んでいる人は
何人でしょうか?」
06:07
The average was about a 50-50 split,
just over halfway.
平均は だいたい半々
半分を少し超えるくらいでした
06:10
They thought 56 out of every 100
Japanese people lived in rural areas.
日本人は100人中56人が
農村部に住んでいると思っていたのです
06:15
The official figure is seven.
でも公表された数字では7人です
06:19
So extraordinary variations,
and surprising to some,
ズレがあまりにも大きいので
驚く人もいますが
06:22
but not surprising to people
who have read the work
例えばノーベル賞経済学者
ダニエル・カーネマンの
06:26
of Daniel Kahneman, for example,
the Nobel-winning economist.
著書を読んだことがあれば
それほど驚かないでしょう
06:29
He and his colleague, Amos Tversky,
spent years researching this disjoint
カーネマンと
同僚のエイモス・トベルスキーは
06:33
between what people perceive
and the reality,
人の認識と現実は かけ離れていて
統計に対する勘は
06:38
the fact that people are actually
pretty poor intuitive statisticians.
まったく当てにならないことを
長年研究してきました
06:41
And there are many reasons for this.
これには理由がいろいろあります
06:45
Individual experiences, certainly,
can influence our perceptions,
確かに個人の経験は
認識に影響を与えますが
06:47
but so, too, can things like the media
reporting things by exception,
例えば メディアなどからの
影響もあります
06:50
rather than what's normal.
普通のことより
例外を大きく報じますから
06:54
Kahneman had a nice way
of referring to that.
カーネマンは これを
うまく説明しています
06:56
He said, "We can be blind
to the obvious" --
「明白なものも見えない時がある」
06:58
so we've got the numbers wrong --
だから数字を見誤るわけです
07:01
"but we can be blind
to our blindness about it."
「ただ 見えていないことにさえ
気づかないことがある」
07:02
And that has enormous
repercussions for decision making.
これは意思決定に
大きな影響を及ぼします
07:05
So at the statistics office
while this was all going on,
この頃 私は
国家統計局に勤務していて
07:08
I thought this was really interesting.
とても面白いと思い
こう考えました
07:11
I said, this is clearly a global problem,
これは明らかに
地球規模の問題だけれど
07:13
but maybe geography is the issue here.
重要なのは地理に
詳しいかどうかかもしれない
07:15
These were questions that were all about,
how well do you know your country?
結局 自分の国をどれだけ
知っているかに尽きるのではないか
07:17
So in this case, it's how well
do you know 64 million people?
この場合 イギリス国民6,400万人を
どれだけよく知っているのか?
07:21
Not very well, it turns out.
I can't do that.
実は それほど知らないのです
知りようがありません
07:25
So I had an idea,
そこで思いついたのが
07:28
which was to think about
this same sort of approach
イプソスモリの調査と
同じアプローチをとりつつ
07:29
but to think about it
in a very local sense.
もっと地域志向の
考え方をすることでした
07:32
Is this a local?
地域が問題なのではないか?と
07:34
If we reframe the questions and say,
質問の仕方を変えて
07:36
how well do you know your local area,
回答者の地元についての知識を尋ねれば
07:38
would your answers be any more accurate?
回答はもっと正確になるだろうか?
07:40
So I devised a quiz:
そこで私はテストを作りました
07:43
How well do you know your area?
あなたはどのくらい地元を知っているか?
07:45
It's a simple Web app.
これは単純なウェブ・アプリです
07:48
You put in a post code
郵便番号を入力すると
07:50
and then it will ask you questions
based on census data
その地域の国勢調査データを
元にした―
07:51
for your local area.
テストが出ます
07:54
And I was very conscious
in designing this.
デザインには
とても気を使いました
07:56
I wanted to make it open
to the widest possible range of people,
私は 数字を理解できる
[51%]の人々だけでなく
07:58
not just the 49 percent
who can get the numbers.
できるだけ いろいろな人を
対象にしたかったし
08:02
I wanted everyone to engage with it.
皆にやって欲しかったのです
08:05
So for the design of the quiz,
だからテストのデザインには
08:07
I was inspired by the isotypes
オットー・ノイラートによる
1920〜30年代の図像統計の技法—
08:08
of Otto Neurath from the 1920s and '30s.
「アイソタイプ」からヒントを得ました
08:12
Now, these are methods
for representing numbers
アイコンをこんなふうに並べて
数字を表現するという
08:14
using repeating icons.
この技法を使っています
08:19
And the numbers are there,
but they sit in the background.
数字は存在していますが
背景に潜んでいるのです
08:21
So it's a great way
of representing quantity
この技法だと
数量をうまく表すことができ
08:24
without resorting to using terms
like "percentage,"
「パーセント」とか「何分の1」とか
「比」といった用語を
08:27
"fractions" and "ratios."
使う必要がなくなります
08:30
So here's the quiz.
さて テストを見てみましょう
08:31
The layout of the quiz is,
レイアウトは
08:34
you have your repeating icons
on the left-hand side there,
画面の左側に
アイコンが並んでいて
08:35
and a map showing you the area
we're asking you questions about
右側には 質問の対象となる
地域を示した
08:38
on the right-hand side.
地図が表示されます
08:41
There are seven questions.
質問は7つです
08:43
Each question, there's a possible answer
between zero and a hundred,
それぞれ 0から100で答え
08:44
and at the end of the quiz,
テストが終わると
08:48
you get an overall score
between zero and a hundred.
合計スコアが
0から100の値で表示されます
08:49
And so because this is TEDxExeter,
ここはTEDxExeterですから
08:52
I thought we would have
a quick look at the quiz
テストの最初の数問は
08:55
for the first few questions of Exeter.
エクスターに関するものにしました
08:57
And so the first question is:
1番目の質問は こうです
08:59
For every 100 people,
how many are aged under 16?
「16歳未満の人は
100人当たり何人?」
09:01
Now, I don't know Exeter very well
at all, so I had a guess at this,
私はエクセターについて
よく知らないので 勘で答えましたが
09:04
but it gives you an idea
of how this quiz works.
テストの仕組みは
わかるでしょう
09:08
You drag the slider
to highlight your icons,
スライダーをドラッグして
アイコンに色をつけ
09:10
and then just click "Submit" to answer,
「送信」をクリックするだけで
回答できます
09:14
and we animate away the difference
between your answer and reality.
すると送った答えと現実との違いが
アニメーションで表示されます
09:16
And it turns out, I was a pretty
terrible guess: five.
結局 推測は全然違いました
5人でした
09:20
How about the next question?
次の質問はどうでしょう?
09:25
This is asking about
what the average age is,
平均年齢を聞く質問ですから
09:26
so the age at which half
the population are younger
要は人口の半分が
その年齢より年下になり
09:28
and half the population are older.
半分が年上になる年齢を答えます
09:31
And I thought 35 -- that sounds
middle-aged to me.
私の答えは35歳—
まさに「中年」でしょう
09:32
(Laughter)
(笑)
09:36
Actually, in Exeter,
it's incredibly young,
実際は エクセターは
かなり若い地域です
09:40
and I had underestimated the impact
of the university in this area.
私は この地域にある大学の影響を
小さく見積もっていました
09:42
The questions get harder
as you go through.
質問は進むにつれて難しくなります
09:46
So this one's now asking
about homeownership:
ここでは家の所有率を聞いています
09:48
For every 100 households, how many
are owned with a mortgage or loan?
住宅ローンが残っている家は
100軒当たり何軒でしょう?
09:51
And I hedged my bets here,
ここは無難な数にしました
09:55
because I didn't want to be
more than 50 out on the answer.
答えが50軒以上違うのは
嫌ですから
09:56
(Laughter)
(笑)
10:00
And actually, these get harder,
these questions,
質問はどんどん難しくなります
10:02
because when you're in an area,
when you're in a community,
その地域に住んでいれば
「年齢」のような問題だと
10:04
things like age -- there are clues
to whether a population is old or young.
住民が若いか 年をとっているか
判断する手がかりがあります
10:07
Just by looking around
the area, you can see it.
地域を歩き回れば
状況が見えるのです
10:12
Something like homeownership
is much more difficult to see,
「家の所有率」のような問題は
はるかに見えにくく
10:15
so we revert to our own heuristics,
「何人くらい家を持っているか」に関する
10:18
our own biases about how many people
we think own their own homes.
経験則やバイアスに
いつものように頼ってしまいます
10:21
Now the truth is,
when we published this quiz,
実は 私たちが
このテストを公開した時
10:25
the census data that it's based on
was already a few years old.
元になった国勢調査データは
数年前のものでした
10:29
We've had online applications
that allow you to put in a post code
当時もうオンライン・アプリに
郵便番号を入れると
10:32
and get statistics back for years.
数年分の統計自体は
見られるようになっていました
10:36
So in some senses,
だから ある意味
10:38
this was all a little bit old
and not necessarily new.
これは少し遅れた企画で
まったく新規のものとは言えません
10:39
But I was interested to see
what reaction we might get
ただ 面白かったのは
こんな風に
10:43
by game-ifying the data
in the way that we have,
データをゲーム化し
10:46
by using animation
アニメーションを使い
10:49
and playing on the fact
that people have their own preconceptions.
皆 先入観があるという事実で遊ぶことで
どんな反応があるか知ることでした
10:51
It turns out, the reaction was, um ...
実際のところ 反応は —
10:55
was more than I could have hoped for.
期待以上でした
11:00
It was a long-held ambition of mine
to bring down a statistics website
統計のウェブサイトが
大量のアクセスのせいで落ちることが
11:02
due to public demand.
以前から私の野望でしたから
11:05
(Laughter)
(笑)
11:07
This URL contains the words
"statistics," "gov" and "UK,"
このURLは “statistics(統計)”
“gov”、“UK”という
11:08
which are three of people's least
favorite words in a URL.
誰もが嫌がる3つの言葉が入っています
11:12
And the amazing thing about this
was that the website came down
でも すごいのは
そのサイトのダウンが
11:15
at quarter to 10 at night,
午後9時45分に起きたことです
11:19
because people were actually
engaging with this data
皆このデータに 自分の意思で
11:21
of their own free will,
しかも個人の時間を割いて
11:24
using their own personal time.
アクセスしているということですから
11:26
I was very interested to see
とても興味深かったのは
11:28
that we got something like
a quarter of a million people
公開から48時間で
11:31
playing the quiz within the space
of 48 hours of launching it.
およそ25万人が
このテストに取り組んだことです
11:34
And it sparked an enormous discussion
online, on social media,
インターネット上でもSNSでも
大きな話題になりました
11:38
which was largely dominated
話の内容は主に
11:42
by people having fun
with their misconceptions,
自分の思い違いを楽しむもので
11:44
which is something that
I couldn't have hoped for any better,
ある意味では いくつかの点で
11:48
in some respects.
私が一番望んでいた姿です
11:51
I also liked the fact that people started
sending it to politicians.
これを政治家に送る人が出てきたのも
いいと思いました
11:52
How well do you know the area
you claim to represent?
「お膝元のことを
どれだけ知っていますか?」と
11:55
(Laughter)
(笑)
11:58
And then just to finish,
話の最後に
11:59
going back to the two kinds of people,
人間には2種類いるという
話に戻りますが
12:01
I thought it would be
really interesting to see
私は 数に強い人々が
どの程度の成績なのかを
12:04
how people who are good with numbers
would do on this quiz.
確認するのが とても楽しみでした
12:06
The national statistician
of England and Wales, John Pullinger,
イングランドとウェールズの
国家統計官ジョン・プリンジャーなら
12:09
you would expect he would be pretty good.
かなり良い成績だと思うでしょう
12:12
He got 44 for his own area.
44ポイントでした
自分の地元のことなのに
12:15
(Laughter)
(笑)
12:17
Jeremy Paxman -- admittedly,
after a glass of wine -- 36.
ジェレミー・パックスマンさえ
少し飲んでいたとはいえ 36ポイントでした
12:20
Even worse.
さらに悪いですね
12:25
It just shows you that the numbers
can inspire us all.
数字は私たち全員を刺激するのです
12:27
They can surprise us all.
私たちに驚きを与えます
12:30
So very often, we talk about statistics
私たちは統計を不確実性の科学と
12:31
as being the science of uncertainty.
呼ぶことも多いです
12:34
My parting thought for today is:
今日 最後にお伝えしたいのは
12:35
actually, statistics is the science of us.
統計とは本来 私たち自身に関する
科学だということです
12:37
And that's why we should
be fascinated by numbers.
だからこそ数字に
関心を持つべきなのです
12:40
Thank you very much.
ありがとうございました
12:43
(Applause)
(拍手)
12:44
Translator:Kazunori Akashi
Reviewer:Naoko Fujii

sponsored links

Alan Smith - Data visualisation editor
Alan Smith uses interactive graphics and statistics to breathe new life into how data is presented.

Why you should listen

Alan Smith is Data Visualisation Editor at the Financial Times in London. Previously he was Head of Digital Content at the UK Office for National Statistics (ONS).

With a background in cartography and digital mapping, he has spent the last decade finding ways of bringing statistics to wider audiences. In 2010, he was an inaugural recipient of the Royal Statistical Society's Award for Excellence in Official Statistics. He was appointed Office of the Order of the British Empire (OBE) in the Queen's 2011 Birthday Honours list.

sponsored links

If you need translations, you can install "Google Translate" extension into your Chrome Browser.
Furthermore, you can change playback rate by installing "Video Speed Controller" extension.

Data provided by TED.

This website is owned and operated by Tokyo English Network.
The developer's blog is here.