TEDMED 2012
Ben Goldacre: What doctors don't know about the drugs they prescribe
เบน โกเดเคอร์ (Ben Goldacre): สิ่งที่คุณแพทย์ไม่รู้เกี่ยวกับยาที่พวกเขาสั่งให้คนไข้
Filmed:
Readability: 5
2,501,600 views
เมื่อยาตัวใหม่ได้ถูกทดสอบ ผลการทดลองก็ควรจะได้รับการตีพิมพ์เพื่อให้โลกแห่งการแพทย์ที่เหลือได้รับรู้ แต่ทว่า ส่วนมากแล้ว การทดลองที่มีผลเชิงลบหรือหาข้อสรุปไม่ได้นั้น ไม่มีการรายงาน ทิ้งให้แพทย์และนักวิจัยอยู่ในความมืด
ในการบรรยายที่กระตือรือร้นนี้ เบน โกเดเคอร์ อธิบายว่า ทำไมตัวอย่างของข้อมูลเชิงลบที่ไม่ได้ถูกนำมารายงานเหล่านี้ เฉพาะอย่างยิ่งจึงทำให้เกิดการเข้าใจผิดและเป็นอันตราย
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:16
Hi. So, this chap here,
0
671
2785
สวัสดีครับ ครับ เจ้าหนุ่มคนนี้
00:19
he thinks he can tell you the future.
1
3456
2262
เขาคิดว่าเขาสามารถบอกอนาคตคุณได้
00:21
His name is Nostradamus, although here the Sun have
2
5718
1979
เขาชื่อนอสตราดามุส แม้ว่าในรูปนี้ดวงอาทิตย์
00:23
made him look a little bit like Sean Connery. (Laughter)
3
7697
3670
ทำให้เขาดูเหมือนชอน คอนเนอรี่บ้างเล็กน้อย (เสียงหัวเราะ)
00:27
And like most of you, I suspect, I don't really believe
4
11367
2903
และเหมือนกับพวกคุณส่วนใหญ่ ผมเดาว่า
ผมไม่เชื่อจริงๆ
ผมไม่เชื่อจริงๆ
00:30
that people can see into the future.
5
14270
1108
ว่าคนเราสามารถมองเห็นอนาคตได้
00:31
I don't believe in precognition, and every now and then,
6
15378
2704
ผมไม่เชื่อเรื่องการมองเห็นอนาคต แต่บางครั้งบางคราว
00:33
you hear that somebody has been able to predict something that happened in the future,
7
18082
3182
คุณก็ได้ยินว่าใครบางคนสามารถทำนาย
สิ่งที่จะเกิดขึ้นในอนาคตได้
สิ่งที่จะเกิดขึ้นในอนาคตได้
00:37
and that's probably because it was a fluke, and we only
8
21264
3059
และนั่นอาจเป็นเพราะว่าบังเอิญโชคช่วย
และเราก็เพียงแค่
และเราก็เพียงแค่
00:40
hear about the flukes and about the freaks.
9
24323
2615
ได้ยินเกี่ยวกับลูกฟลุ๊ค และเรื่องแปลกๆนั้น
00:42
We don't hear about all the times that people got stuff wrong.
10
26938
4079
เราไม่ได้ยินทุกๆครั้งที่ คนเราทำนายอะไรผิดๆ
00:46
Now we expect that to happen with silly stories
11
31017
2160
ทีนี้เราคาดว่าเรื่องอย่างนี้จะเกิดกับเรื่องไร้สาระ
00:49
about precognition, but the problem is,
12
33177
3139
เกี่ยวกับการมองเห็นอนาคต แต่ปัญหาอยู่ที่ว่า
00:52
we have exactly the same problem in academia
13
36316
3344
เรามีปัญหาอย่างเดียวกันนี้ในวงการวิชาการ
00:55
and in medicine, and in this environment, it costs lives.
14
39660
4501
และในวงการแพทย์ และในบริบทนี้ ผลของมันหมายถึงชีวิต
01:00
So firstly, thinking just about precognition, as it turns out,
15
44161
3365
ดังนั้น ประการแรก ลองคิดถึงแค่การมองเห็นอนาคต
อย่างที่ผลมันปรากฎออกมาว่า
อย่างที่ผลมันปรากฎออกมาว่า
01:03
just last year a researcher called Daryl Bem conducted
16
47526
2529
เมื่อปีที่แล้วนี้เอง นักวิจัยชื่อ ดาริล เบม (Daryl Bem) ได้ทำ
01:05
a piece of research where he found evidence
17
50055
1836
งานวิจัยชิ้นหนึ่งที่เขาพบหลักฐาน
01:07
of precognitive powers in undergraduate students,
18
51891
3658
เรื่องพลังการมองเห็นอนาคต ของนักศึกษาปริญญาตรี
01:11
and this was published in a peer-reviewed academic journal
19
55549
2574
และงานวิจัยนี้ถูกตีพิมพ์ในวารสารวิชาการ
ที่ตรวจทานโดยผู้เชี่ยวชาญ
ที่ตรวจทานโดยผู้เชี่ยวชาญ
01:14
and most of the people who read this just said, "Okay, well,
20
58123
2281
และคนส่วนใหญ่ที่อ่านเรื่องนี้ก็จะบอกว่า "โอเค
01:16
fair enough, but I think that's a fluke, that's a freak, because I know
21
60404
2181
ก็ยุติธรรมดีหรอกนะ แต่ผมคิดว่ามันเป็นโชคบังเอิญ
มันประหลาดนะ เพราะผมรู้ว่า
มันประหลาดนะ เพราะผมรู้ว่า
01:18
that if I did a study where I found no evidence
22
62585
2834
ถ้าผมทำการศึกษาแล้วไม่พบหลักฐานว่า
01:21
that undergraduate students had precognitive powers,
23
65419
2512
นักศึกษาปริญญาตรี มีพลังทำนายอนาคต
01:23
it probably wouldn't get published in a journal.
24
67931
3552
งานก็คงจะไม่ได้ตีพิมพ์ในวารสารหรอก
01:27
And in fact, we know that that's true, because
25
71483
2855
และที่จริง เราก็รู้กันว่าเป็นอย่างนั้นจริง เพราะ
01:30
several different groups of research scientists tried
26
74338
2529
นักวิจัยทางวิทยาศาสตร์หลายกลุ่มพยายามที่จะ
01:32
to replicate the findings of this precognition study,
27
76867
3520
ทดลองซ้ำ เพื่อให้ได้ผลเหมือนอย่างการศึกษาญาณวิเศษนั้น
01:36
and when they submitted it to the exact same journal,
28
80387
2635
แล้วเมื่อพวกเขาส่งผลไปที่วารสารเดียวกันนั้น
01:38
the journal said, "No, we're not interested in publishing
29
83022
3152
วารสารนั้นตอบกลับว่า "ไม่ เราไม่สนใจจะพิมพ์
01:42
replication. We're not interested in your negative data."
30
86174
4525
ผลงานที่ทำซ้ำ เราไม่สนใจข้อมูลเชิงลบของคุณหรอก"
01:46
So this is already evidence of how, in the academic
31
90699
2754
แค่นี้ก็เป็นหลักฐานแล้วว่าเป็นอย่างไร
ในงานเขียนเชิงวิชาการ
ในงานเขียนเชิงวิชาการ
01:49
literature, we will see a biased sample of the true picture
32
93453
4870
เราจะเห็นตัวอย่างหนึ่งของอคติ ในภาพจริง
01:54
of all of the scientific studies that have been conducted.
33
98323
3467
ของงานวิจัยทางวิทยาศาสตร์ทั้งหมด ที่ได้ถูกทำขึ้น
01:57
But it doesn't just happen in the dry academic field of psychology.
34
101790
4429
แต่นั่นไม่ได้แค่เกิดขึ้น ในสาขาวิชาการของจิตวิทยาที่น่าเบื่อ
02:02
It also happens in, for example, cancer research.
35
106219
4367
มันเกิดขึ้นใน ตัวอย่างเช่น การวิจัยโรคมะเร็งด้วย
02:06
So in March, 2012, just one month ago, some researchers
36
110586
4077
เดือนมีนาคม 2012 หนึ่งเดือนที่ผ่านมานี้เอง นักวิจัยจำนวนหนึ่ง
02:10
reported in the journal Nature how they had tried
37
114663
2896
รายงานในวารสาร Nature ว่าพวกเขาได้พยายามอย่างไร
02:13
to replicate 53 different basic science studies looking at
38
117559
3846
ในการทำซํ้า งานวิจัยวิทยาศาสตร์พื้นฐานต่างๆกัน
53 งานวิจัย เพื่อตรวจดู
53 งานวิจัย เพื่อตรวจดู
02:17
potential treatment targets in cancer,
39
121405
3555
เป้าหมายในการรักษาโรคมะเร็งที่มีศักยภาพ
02:20
and out of those 53 studies, they were only able
40
124960
2638
และจากงานวิจัยทั้ง 53 นั้น พวกเขาทำซ้ำได้
02:23
to successfully replicate six.
41
127598
3076
สำเร็จเพียง 6 เท่านั้น
02:26
Forty-seven out of those 53 were unreplicable.
42
130674
4333
47 จาก 53 เป็นการทดลองที่ทำซ้ำแล้วไม่ให้ผลเหมือนเดิม
02:30
And they say in their discussion that this is very likely
43
135007
3913
และพวกเขา เขียนในอภิปรายผลว่า มันน่าจะเป็นเช่นนี้
02:34
because freaks get published.
44
138920
2639
เพราะว่าผลงานที่แปลกประหลาด ได้รับการตีพิมพ์
02:37
People will do lots and lots and lots of different studies,
45
141559
2096
ผู้คนจะทำการศึกษาวิจัยเยอะแยะมากมาย
02:39
and the occasions when it works they will publish,
46
143655
2120
แล้วเวลาที่การทดลองเป็นผลสำเร็จ งานก็ได้ตีพิมพ์
02:41
and the ones where it doesn't work they won't.
47
145775
1679
และเวลาที่งานไม่เป็นผลสำเร็จ ก็ไม่ได้รับการตีพิมพ์
02:43
And their first recommendation of how to fix this problem,
48
147454
3941
และข้อเสนอแรกจากพวกเขาในการแก้ปัญหานี้
02:47
because it is a problem, because it sends us all down blind alleys,
49
151395
3289
เพราะว่านี่เป็นปัญหา เพราะว่ามันส่งเราเดินไปสู่ทางตัน
02:50
their first recommendation of how to fix this problem
50
154684
1706
ข้อเสนอแรกของพวกเขาในการแก้ปัญหานี้ ก็คือ
02:52
is to make it easier to publish negative results in science,
51
156390
3393
ทำให้งานวิจัยวิทยาศาสตร์ที่มีผลเป็นลบตีพิมพ์ ได้ง่ายขึ้น
02:55
and to change the incentives so that scientists are
52
159783
2907
และเปลี่ยนแปลงแรงจูงใจ เพื่อให้นักวิทยาศาสตร์
02:58
encouraged to post more of their negative results in public.
53
162690
4352
ได้รับการส่งเสริมให้แสดงผลการทดลองที่เป็นลบของเขา
ต่อสาธารณชนให้มากขึ้น
ต่อสาธารณชนให้มากขึ้น
03:02
But it doesn't just happen in the very dry world
54
167042
3852
แต่มันไม่ได้เกิดขึ้นแค่ ในโลกที่น่าเบื่อ
03:06
of preclinical basic science cancer research.
55
170894
3851
ของงานวิจัยมะเร็งเชิงวิทยาศาสตร์พื้นฐาน
ระยะก่อนทดลองในมนุษย์
ระยะก่อนทดลองในมนุษย์
03:10
It also happens in the very real, flesh and blood
56
174745
3657
มันยังเกิดขึ้นกับเนื้อหนังจริงๆด้วย
03:14
of academic medicine. So in 1980,
57
178402
3591
ของการแพทย์เชิงวิชาการ ดังนั้นในปี 1980
03:17
some researchers did a study on a drug called lorcainide,
58
181993
3008
นักวิจัยบางคนทำการศึกษายาชื่อ โลร์คาไนด์ (lorcainide)
03:20
and this was an anti-arrhythmic drug,
59
185001
2331
เป็นยาต้านอาการเต้นของหัวใจผิดจังหวะ
03:23
a drug that suppresses abnormal heart rhythms,
60
187332
2251
เป็นยาที่ระงับจังหวะการเต้นของหัวใจที่ไม่ปกติ
03:25
and the idea was, after people have had a heart attack,
61
189598
2228
และแนวคิดก็คือ หลังจากที่คนมีอาการหัวใจวาย
03:27
they're quite likely to have abnormal heart rhythms,
62
191826
1537
เป็นไปได้มากทีเดียว ที่พวกเขาจะมีจังหวะการเต้นของหัวใจผิดปกติ
03:29
so if we give them a drug that suppresses abnormal heart
63
193363
2377
ดังนั้น ถ้าเราให้ยาที่ระงับจังหวะการเต้นของหัวใจที่ไม่ปกติ
03:31
rhythms, this will increase the chances of them surviving.
64
195740
3713
มันจะช่วยเพิ่ม โอกาสในการรอดชีวิตของพวกเขา
03:35
Early on its development, they did a very small trial,
65
199453
3008
เบื้องต้นของการพัฒนา พวกเขาทำการทดสอบที่เล็กมาก
03:38
just under a hundred patients.
66
202461
1644
ในผู้ป่วยแค่ไม่ถึงร้อยคน
03:40
Fifty patients got lorcainide, and of those patients, 10 died.
67
204105
3652
คนไข้ห้าสิบคนได้รับโลร์คาไนด์ และในกลุ่มคนไข้นั้น
10 คนเสียชีวิต
10 คนเสียชีวิต
03:43
Another 50 patients got a dummy placebo sugar pill
68
207757
3043
อีก 50 คนได้รับยาหลอกที่ทำจากน้ำตาล
03:46
with no active ingredient, and only one of them died.
69
210800
2958
ซึ่งไม่มีสารออกฤทธิ์ใดๆ และเพียงหนึ่งในนั้นเสียชีวิต
03:49
So they rightly regarded this drug as a failure,
70
213758
2649
ดังนั้น พวกเขาจึงพิจารณาถูกต้องได้ว่า
ยานี้ไม่ประสบผลสำเร็จ
ยานี้ไม่ประสบผลสำเร็จ
03:52
and its commercial development was stopped, and because
71
216407
2869
และการทำโฆษณาเพื่อการค้าก็ถูกระงับไป
และเพราะว่า
และเพราะว่า
03:55
its commercial development was stopped, this trial was never published.
72
219276
4348
พอการโฆษณาไม่มี การทดลองนี้ก็เลยไม่เคยได้รับการตีพิมพ์
03:59
Unfortunately, over the course of the next five, 10 years,
73
223624
5397
แต่โชคร้าย กว่า 5 หรือ 10 ปีต่อจากนั้น
04:04
other companies had the same idea about drugs that would
74
229021
3825
บริษัทอื่นๆ มีความคิดเดียวกันเกี่ยวกับยา
04:08
prevent arrhythmias in people who have had heart attacks.
75
232846
2592
ที่จะป้องกันอาการหัวใจเต้นผิดจังหวะ
ในคนที่เคยมีอาการหัวใจวาย
ในคนที่เคยมีอาการหัวใจวาย
04:11
These drugs were brought to market. They were prescribed
76
235438
1720
ยาเหล่านี้ถูกนำเข้าสู่ตลาด มันถูกจ่ายตามใบสั่งยา
ไปใช้อย่างกว้างขวาง
ไปใช้อย่างกว้างขวาง
04:13
very widely because heart attacks are a very common thing,
77
237158
3412
เพราะว่า โรคหัวใจวายนั้น พบได้ทั่วไป
04:16
and it took so long for us to find out that these drugs
78
240570
3843
และใช้เวลานานมากก่อนที่เราจะพบว่า ยาเหล่านี้
04:20
also caused an increased rate of death
79
244413
2911
ยังเป็นสาเหตุ ของอัตราการเสียชีวิตที่สูงขึ้น
04:23
that before we detected that safety signal,
80
247324
2747
ซึ่งก่อนที่เราจะตรวจพบสัญญาณปลอดภัยนั้น
04:25
over 100,000 people died unnecessarily in America
81
250071
6051
คนกว่า 100,000 ในอเมริกาต้องตาย อย่างไม่มีสาเหตุอันควร
04:32
from the prescription of anti-arrhythmic drugs.
82
256122
3451
จากการสั่งใช้ ยาต้านหัวใจเต้นไม่เป็นจังหวะนี้
04:35
Now actually, in 1993,
83
259573
3598
ทีนี้ จริงๆแล้วในปี 1993
04:39
the researchers who did that 1980 study, that early study,
84
263171
3560
นักวิจัยที่ทำการศึกษาของปี 1980นั้น หรือการวิจัยแต่แรกนั้น
04:42
published a mea culpa, an apology to the scientific community,
85
266731
3841
ตีพิมพ์บทความขอโทษต่อวงการวิทยาศาสตร์
[mea culpa แปลว่า ข้าผิดเอง]
[mea culpa แปลว่า ข้าผิดเอง]
04:46
in which they said, "When we carried out our study in 1980,
86
270572
3125
ซึ่งเขาได้กล่าวว่า "เมื่อเราได้ทำการทดลองในปี 1980
04:49
we thought that the increased death rate that occurred
87
273697
1936
เราคิดว่า อัตราการเสียชีวิตที่เกิดขึ้น
04:51
in the lorcainide group was an effect of chance."
88
275633
3358
ในกลุ่มผู้ใช้ยาโลร์คาไนด์นั้น เป็นผลมาจากความบังเอิญ"
04:54
The development of lorcainide was abandoned for commercial reasons,
89
278991
2032
การพัฒนาของยาโลคาไนด์
ถูกละทิ้งด้วยเหตุผลทางการค้า
ถูกละทิ้งด้วยเหตุผลทางการค้า
04:56
and this study was never published;
90
281023
1638
และการศึกษานี้ไม่เคยได้รับการตีพิมพ์
04:58
it's now a good example of publication bias.
91
282661
2386
มันเป็นตัวอย่างที่ดี ของความลำเอียงในการตีพิมพ์
05:00
That's the technical term for the phenomenon where
92
285047
1891
นั่นเป็นคำเฉพาะสำหรับปรากฏการณ์ซึ่ง
05:02
unflattering data gets lost, gets unpublished, is left
93
286938
4238
ข้อมูลการทดลองไม่เป็นที่พอใจหายไป ไม่ได้รับการตีพิมพ์
05:07
missing in action, and they say the results described here
94
291176
3371
ถูกทิ้งไว้ไม่นำมาใช้ และเขาได้บอกว่าผลการทดลองนั้น
05:10
"might have provided an early warning of trouble ahead."
95
294547
4808
"น่าจะได้ให้คำเตือนเสียแต่เนิ่นๆ ถึงปัญหาในภายภาคหน้า"
05:15
Now these are stories from basic science.
96
299355
3213
นี่เป็นเรื่องราวจากวิทยาศาสตร์พื้นฐาน
05:18
These are stories from 20, 30 years ago.
97
302568
4787
นี่เป็นเรื่องราว จากเมื่อ 20, 30 ปีที่แล้ว
05:23
The academic publishing environment is very different now.
98
307355
3147
บรรยากาศการตีพิมพ์ทางวิชาการเปลี่ยนไปมากในปัจจุบันนี้
05:26
There are academic journals like "Trials," the open access journal,
99
310502
3995
มีวารสารวิชาการเช่น "Trial" ที่เป็นวารสารเปิดเสรี
05:30
which will publish any trial conducted in humans
100
314497
2655
ซึ่งจะตีพิมพ์การทดลองใดๆก็ตามที่ทดลองในมนุษย์
05:33
regardless of whether it has a positive or a negative result.
101
317152
3303
ไม่ว่าผลจะออกมาเป็นเชิงบวก หรือเป็นเชิงลบ
05:36
But this problem of negative results that go missing in action
102
320455
3969
แต่ปัญหาของผลการทดลองที่เป็นลบ
ที่หายไป ไม่ได้รับการปฎิบัติ
ที่หายไป ไม่ได้รับการปฎิบัติ
05:40
is still very prevalent. In fact it's so prevalent
103
324424
3559
ยังพบได้เยอะมาก ที่จริงแล้วมันเยอะมากเสียจน
05:43
that it cuts to the core of evidence-based medicine.
104
327983
5851
มันบาดลึกไปถึงแก่น
ของการแพทย์ที่ยึดเอาหลักฐานเป็นที่ตั้ง
ของการแพทย์ที่ยึดเอาหลักฐานเป็นที่ตั้ง
05:49
So this is a drug called reboxetine, and this is a drug
105
333834
3015
นี่คือยาที่เรียกว่า โรบ๊อกซิทิน (roboxetine) และมันเป็นยา
05:52
that I myself have prescribed. It's an antidepressant.
106
336849
2535
ที่ผมเองเคยเขียนใบสั่งให้คนไข้ใช้
มันเป็นยาต้านอาการซึมเศร้า
มันเป็นยาต้านอาการซึมเศร้า
05:55
And I'm a very nerdy doctor, so I read all of the studies
107
339384
2536
และผมเป็นหมอหนอนหนังสือ
ผมจึงอ่านงานวิจัยทั้งหมด
ผมจึงอ่านงานวิจัยทั้งหมด
05:57
that I could on this drug. I read the one study that was published
108
341920
3052
ที่ผมหาได้เกี่ยวกับยาตัวนี้ ผมอ่านงานวิจัยหนึ่งที่ตีพิมพ์
06:00
that showed that reboxetine was better than placebo,
109
344972
2947
ที่แสดงให้เห็นว่า ยาโรบ๊อกซิทินนั้นดีกว่ายาหลอก
06:03
and I read the other three studies that were published
110
347919
1864
และผมอ่านงานวิจัยอื่นที่ตีพิมพ์อีกสามเรื่อง
06:05
that showed that reboxetine was just as good as any other antidepressant,
111
349783
3571
ที่แสดงให้เห็นว่า ยาโรบ๊อกซิทินดีพอๆกับยาต้านอาการซึมเศร้าตัวอื่นๆ
06:09
and because this patient hadn't done well on those other antidepressants,
112
353354
2187
และเพราะว่า คนไข้ไม่ได้ตอบสนองต่อยาอื่นๆได้ดีกว่า
06:11
I thought, well, reboxetine is just as good. It's one to try.
113
355541
2466
ผมก็คิด เอ ถ้าโรบ๊อกซิทินก็ดีพอๆกัน ก็น่าจะลองดูนะ
06:13
But it turned out that I was misled. In fact,
114
358007
3392
แต่มันกลายเป็นว่า ผมถูกทำให้เข้าใจผิด ที่จริงแล้ว
06:17
seven trials were conducted comparing reboxetine
115
361399
2449
มีการทดลองเจ็ดครั้งเพื่อเปรียบเทียบ โรบ๊อกซิทิน
06:19
against a dummy placebo sugar pill. One of them
116
363848
2712
กับยาหลอกที่ทำจากน้ำตาล หนึ่งในนั้นให้ผลเชิงบวก
06:22
was positive and that was published, but six of them
117
366560
2312
และได้รับการตีพิมพ์ แต่ที่เหลือหกครั้งนั้น
06:24
were negative and they were left unpublished.
118
368872
4048
ได้ผลเชิงลบ และพวกมันถูกทิ้งไป ไม่ได้รับการตีพิมพ์
06:28
Three trials were published comparing reboxetine
119
372920
1739
การทดลองสามครั้งได้รับการตีพิมพ์
เพื่อเปรียบเทียบโรบ๊อกซิทิน
เพื่อเปรียบเทียบโรบ๊อกซิทิน
06:30
against other antidepressants in which reboxetine
120
374659
2226
กับยาต้านอาการซึมเศร้าอื่นๆ ซึ่งโรบ๊อกซิทิน
06:32
was just as good, and they were published,
121
376885
1793
ก็ให้ผลดีพอๆกัน และมันก็ได้รับการตีพิมพ์
06:34
but three times as many patients' worth of data was collected
122
378678
4389
แต่ข้อมูลจากคนไข้จำนวนมากกว่าถึงสามเท่า
ที่เก็บรวบรวมได้
ที่เก็บรวบรวมได้
06:38
which showed that reboxetine was worse than
123
383067
1871
ซึ่งแสดงให้เห็นว่า โรบ๊อกซิทินนั้นแย่กว่า
06:40
those other treatments, and those trials were not published.
124
384938
4701
การรักษาแบบอื่นๆ แต่การทดลองเหล่านั้นไม่ได้ถูกตีพิมพ์
06:45
I felt misled.
125
389639
3759
ผมรู้สึกถูกทำให้ไขว้เขว
06:49
Now you might say, well, that's an extremely unusual example,
126
393398
2130
คุณอาจบอกว่า ก็ นั่นมันเป็นตัวอย่างที่ผิดปกติไปอย่างสุดๆ
06:51
and I wouldn't want to be guilty of the same kind of
127
395528
2008
และผมก็ไม่อยากที่จะรู้สึกผิดในแบบเดียวกับ
06:53
cherry-picking and selective referencing
128
397536
2981
การอ้างอิงที่เลือกมาเฉพาะบางจุดที่นำมายืนยันได้
06:56
that I'm accusing other people of.
129
400517
1791
ซึ่งผมกล่าวหาคนอื่นๆอยู่
06:58
But it turns out that this phenomenon of publication bias
130
402308
1884
แต่มันกลายเป็นว่า ปรากฏการณ์ของการตีพิมพ์ที่ลำเอียงนี้
07:00
has actually been very, very well studied.
131
404192
2127
จริงๆแล้ว ได้มีการศึกษาวิจัยไว้อย่างดีมากๆ
07:02
So here is one example of how you approach it.
132
406319
2218
ตรงนี้จึงเป็น ตัวอย่างหนึ่งของวิธีที่คุณจะเข้าถึงมันได้
07:04
The classic model is, you get a bunch of studies where
133
408537
2440
แบบจำลองชั้นคลาสสิกก็คือ คุณทำการรวบรวมงานวิจัย
07:06
you know that they've been conducted and completed,
134
410977
2185
ที่คุณรู้ว่าพวกเขาได้ทำการทดลองและทำจนเสร็จสิ้นแล้ว
07:09
and then you go and see if they've been published anywhere
135
413162
2321
แล้วคุณก็ไปดูว่ามันได้รับการตีพิมพ์ที่ไหน
07:11
in the academic literature. So this took all of the trials
136
415483
2863
ในเอกสารทางวิชาการบ้าง
ดังนั้นจึงเป็นการนำการทดลองทั้งหมด
ดังนั้นจึงเป็นการนำการทดลองทั้งหมด
07:14
that had ever been conducted on antidepressants
137
418346
2154
ที่เคยทำการศึกษากับยาต้านอาการซึมเศร้า
07:16
that were approved over a 15-year period by the FDA.
138
420500
3642
ที่ได้รับการอนุมัติมาแล้วกว่า ช่วง15 ปี
โดยองค์การอาหารและยาสหรัฐฯ (FDA)
โดยองค์การอาหารและยาสหรัฐฯ (FDA)
07:20
They took all of the trials which were submitted to the FDA as part of the approval package.
139
424142
3756
พวกเขาเอาการทดลองทั้งหมดนั้น ที่ถูกส่งให้ FDA
ซึ่งเป็นส่วนของชุดเอกสารเพื่อการขออนุมัติ
ซึ่งเป็นส่วนของชุดเอกสารเพื่อการขออนุมัติ
07:23
So that's not all of the trials that were ever conducted on these drugs,
140
427898
3200
ดังนั้น นั่นจึงไม่ใช่การทดลองทั้งหมด
ที่เคยทำการศึกษายาเหล่านี้
ที่เคยทำการศึกษายาเหล่านี้
07:26
because we can never know if we have those,
141
431098
2098
เพราะว่า เราไม่อาจทราบได้เลยว่า มันมีหรือไม่
07:29
but it is the ones that were conducted in order to get the marketing authorization.
142
433196
3494
แต่มันเป็นงานวิจัยที่ถูกทำขึ้น เพื่อขออนุมัติเพื่อออกสู่ตลาด
07:32
And then they went to see if these trials had been published
143
436690
2349
แล้วพวกเขาก็ไปดูว่าการทดลองเหล่านี้ได้ถูกตีพิมพ์หรือไม่
07:34
in the peer-reviewed academic literature. And this is what they found.
144
439039
2572
ในเอกสารทางวิชาการที่ได้รับการตรวจโดยผู้เชี่ยวชาญ
และนี่คือสื่งที่เขาพบ
และนี่คือสื่งที่เขาพบ
07:37
It was pretty much a 50-50 split. Half of these trials
145
441611
3169
เกือบจะแยกออกเป็น 50-50 ทีเดียว
ครึ่งหนึ่งของการวิจัยเหล่านี้
ครึ่งหนึ่งของการวิจัยเหล่านี้
07:40
were positive, half of them were negative, in reality.
146
444780
3597
มีผลเป็นเชิงบวก อีกครึ่งเป็นเชิงลบ ตามความเป็นจริง
07:44
But when they went to look for these trials in the peer-reviewed academic literature,
147
448377
4741
แต่เมื่อพวกเขามองหางานวิจัยเหล่านี้
ในเอกสารวิชาการที่ได้รับการตรวจทาน
ในเอกสารวิชาการที่ได้รับการตรวจทาน
07:49
what they found was a very different picture.
148
453118
2234
สิ่งที่เขาพบนั้นเป็นคนละเรื่อง
07:51
Only three of the negative trials were published,
149
455352
4372
การศึกษาที่ผลเป็นเชิงลบเพียงสามงานเท่านั้นที่ถูกตีพิมพ์
07:55
but all but one of the positive trials were published.
150
459724
4642
และส่วนงานวิจัยที่มีผลเชิงบวก มีการตีพิมพ์ทั้งหมด
ขาดไปงานเดียว
ขาดไปงานเดียว
08:00
Now if we just flick back and forth between those two,
151
464366
3761
ถ้าคุณพลิกดูกลับไปกลับมา ระหว่างงานวิจัยสองแบบนั้น
08:04
you can see what a staggering difference there was
152
468127
2594
คุณจะเห็นความแตกต่างจนแทบช๊อก
08:06
between reality and what doctors, patients,
153
470721
3450
ระหว่างความเป็นจริง กับสิ่งที่แพทย์ คนไข้
08:10
commissioners of health services, and academics
154
474171
2622
ผู้มีหน้าที่ด้านบริการสุขอนามัย และนักวิชาการ
08:12
were able to see in the peer-reviewed academic literature.
155
476793
3281
สามารถเห็นได้ จากเอกสารวิชาการที่ได้รับการตรวจเหล่านี้
08:15
We were misled, and this is a systematic flaw
156
480074
4454
เราถูกชักนำไปในทางที่ผิด และนี่เป็นความผิดพลาดของระบบ
08:20
in the core of medicine.
157
484528
3330
ในแก่นของการแพทย์
08:23
In fact, there have been so many studies conducted on
158
487858
2663
ที่จริง ในปัจจุบัน มีการศึกษาวิจัยมากมายทีเดียวเกี่ยวกับ
08:26
publication bias now, over a hundred, that they've been
159
490521
3384
ความลำเอียงของการตีพิมพ์ คือมากกว่าร้อยชิ้นงาน
08:29
collected in a systematic review, published in 2010,
160
493905
3194
ทีถูกจัดเก็บรวบรวมไว้ในการตรวจสอบ (review) อย่างมีระบบ
และตีพิมพ์ในปี 2010
และตีพิมพ์ในปี 2010
08:32
that took every single study on publication bias
161
497099
2766
ซึ่งเอางานวิจัยทุกชิ้นเรื่องความลำเอียงในการตีพิมพ์
08:35
that they could find.
162
499865
1299
ที่พวกเขาสามารถหามาได้
08:37
Publication bias affects every field of medicine.
163
501164
2852
ความลำเอียงในการตีพิมพ์ ส่งผลต่อทุกสาขาทางการแพทย์
08:39
About half of all trials, on average, go missing in action,
164
504016
4313
ประมาณครึ่งหนึ่งของการทดลองทั้งหมด โดยเฉลี่ย
หายไปไม่ได้นำมาใช้
หายไปไม่ได้นำมาใช้
08:44
and we know that positive findings are around twice as likely
165
508329
3058
และเรารู้ว่า ผลการวิจัยที่เป็นเชิงบวก จะได้รับการตีพิมพ์
08:47
to be published as negative findings.
166
511387
3054
มากประมาณสองเท่า ของผลงานวิจัยที่เป็นเชิงลบ
08:50
This is a cancer at the core of evidence-based medicine.
167
514441
4061
สิ่งนี้เป็นมะเร็งที่แก่น ของการแพทย์บนพื้นฐานของหลักฐาน
08:54
If I flipped a coin 100 times but then
168
518502
3871
ถ้าผมโยนเหรียญ 100 ครั้ง แล้วก็
08:58
withheld the results from you from half of those tosses,
169
522373
3259
ไม่ยอมบอกคุณผลที่ได้ จากครึ่งหนึ่งของการโยนนั้น
09:01
I could make it look as if I had a coin that always came up heads.
170
525632
3400
ผมทำให้เหมือนกับว่า ผมมีเหรียญที่จะออกหัวทุกครั้งได้
09:04
But that wouldn't mean that I had a two-headed coin.
171
529032
1806
แต่นั่นไม่ได้หมายความว่า ผมมีเหรียญที่มีหัวทั้งสองด้าน
09:06
That would mean that I was a chancer
172
530853
1712
แต่นั่นจะหมายความว่าผมเป็นพวกฉวยโอกาส
09:08
and you were an idiot for letting me get away with it. (Laughter)
173
532565
3114
และคุณก็เป็นไอ้โง่ที่ปล่อยให้ผมหลอกได้ (เสียงหัวเราะ)
09:11
But this is exactly what we blindly tolerate
174
535679
3637
แต่แน่ๆ นี่เป็นสิ่งที่เราหลับหูหลับตาทน
09:15
in the whole of evidence-based medicine.
175
539316
3789
ในการแพทย์บนพื้นฐานของหลักฐานทั้งหมด
09:19
And to me, this is research misconduct.
176
543105
4432
และสำหรับผม นี่มันเป็นพฤติกรรมที่ไม่เหมาะสมทางการวิจัย
09:23
If I conducted one study and I withheld
177
547537
2743
ถ้าผมทำการศึกษาวิจัยสักเรื่อง และปกปิด
09:26
half of the data points from that one study,
178
550280
3000
ครึ่งหนึ่งของข้อมูลที่ได้จากงานวิจัยนั้น
09:29
you would rightly accuse me, essentially, of research fraud.
179
553280
4707
คุณก็มีสิทธิจะกล่าวหาผม โดยหลักการแล้ว ว่าโกงการวิจัย
09:33
And yet, for some reason, if somebody conducts
180
557987
2783
แต่ด้วยเหตุผลบางอย่าง ถ้าใครสักคนทำงานวิจัย
09:36
10 studies but only publishes the five that give the result that they want,
181
560770
4558
10 เรื่่อง แต่ตีพิมพ์แค่ห้าเรื่องที่ให้ผลอย่างที่เขาต้องการ
09:41
we don't consider that to be research misconduct.
182
565328
2788
เราไม่คิดว่านั่นเป็นการประพฤติผิดทางการวิจัย
09:44
And when that responsibility is diffused between
183
568116
2567
และเมื่อความรับผิดชอบนั้น แพร่กระจายไปทั่ว
09:46
a whole network of researchers, academics,
184
570683
3161
ทั้งเครือข่ายของนักวิจัย นักวิชาการ
09:49
industry sponsors, journal editors, for some reason
185
573844
3528
ผู้ให้การสนับสนุนทางอุตสหกรรม บรรณาธิการวารสาร
09:53
we find it more acceptable,
186
577372
1453
ด้วยเหตุผลบางอย่าง เราคิดว่ามันรับได้
09:54
but the effect on patients is damning.
187
578825
3675
แต่ผลที่มีต่อคนไข้นั้น นำไปสู่ความเสียหาย
09:58
And this is happening right now, today.
188
582500
5018
และมันเกิดขึ้น ณ ขณะนี้ วันนี้
10:03
This is a drug called Tamiflu. Tamiflu is a drug
189
587518
2711
นี่คือยาที่เรียกว่า ทามิฟลู (Tamiful) ทามิฟลูเป็นยา
10:06
which governments around the world have spent billions
190
590229
2596
ที่รัฐบาลทั่วโลกใช้เงินหลายต่อหลายพันล้าน
10:08
and billions of dollars on stockpiling,
191
592825
2572
ดอลล่าร์กักตุนมันไว้ในคลัง
10:11
and we've stockpiled Tamiflu in panic,
192
595397
3148
และพวกเราก็กักตุนทามิฟลูกันไว้ อย่างตื่นตระหนก
10:14
in the belief that it will reduce the rate of complications of influenza.
193
598545
3949
ด้วยความเชื่อที่ว่า มันจะช่วยลดอัตราภาวะแซกซ้อน
จากไข้หวัดใหญ่
จากไข้หวัดใหญ่
10:18
Complications is a medical euphemism for pneumonia
194
602494
2684
ภาวะแซกซ้อนเป็นคำนุ่มนวลทางการแพทย์
สำหรับโรคปอดบวม
สำหรับโรคปอดบวม
10:21
and death. (Laughter)
195
605178
4814
และความตายครับ (เสียงหัวเราะ)
10:25
Now when the Cochrane systematic reviewers
196
609992
3208
ทีนี้ เมื่อผู้ตรวจสอบจาก Cochrane systematic review
10:29
were trying to collect together all of the data from all
197
613200
2525
พยายามที่จะรวบรวมข้อมูลทั้งหมด
10:31
of the trials that had ever been conducted on whether Tamiflu actually did this or not,
198
615725
3648
จากการทดลองที่ได้ทำไว้ เกี่ยวกับว่าจริงๆแล้วทามิฟลู
ทำอย่างที่ว่าได้หรือไม่
ทำอย่างที่ว่าได้หรือไม่
10:35
they found that several of those trials were unpublished.
199
619373
2951
พวกเขาพบว่า งานวิจัยทดลองเหล่านั้น
หลายงานไม่ได้ตีพิมพ์
หลายงานไม่ได้ตีพิมพ์
10:38
The results were unavailable to them.
200
622324
1842
ผลการทดลองเหล่านั้น ไม่มีให้พวกเขา
10:40
And when they started obtaining the writeups of those trials through various different means,
201
624166
3964
และเมื่อพวกเขาเริ่มได้รับบทความวิจารณ์
การทดลองเหล่านั้น ผ่านทางวิธีการต่างๆ ได้แก่
การทดลองเหล่านั้น ผ่านทางวิธีการต่างๆ ได้แก่
10:44
through Freedom of Information Act requests, through
202
628130
1682
การขอข้อมูลผ่านทาง พ.ร.บ.ว่าด้วยเสรีภาพของข้อมูล (Freedom of Information Act)
10:45
harassing various different organizations, what they found was inconsistent.
203
629812
4809
ผ่านทางการก่อกวนองค์กรต่างๆหลากหลาย
สิ่งที่พวกเขาค้นพบ ก็ไม่สอดคล้องกัน
สิ่งที่พวกเขาค้นพบ ก็ไม่สอดคล้องกัน
10:50
And when they tried to get a hold of the clinical study reports,
204
634621
2466
และเมื่อพวกเขาพยายามที่จะให้ได้
รายงานการวิจัยทางการแพทย์มา
รายงานการวิจัยทางการแพทย์มา
10:52
the 10,000-page long documents that have
205
637087
3046
ซึ่งเป็นเอกสารความยาว 10,000 หน้า
10:56
the best possible rendition of the information,
206
640133
3600
ที่มีการถอดความข้อมูลที่ดีที่สุดเท่าที่จะทำได้
10:59
they were told they weren't allowed to have them.
207
643733
2888
พวกเขาได้รับการบอกว่า ไม่อนุญาตให้พวกเขาเอาข้อมูลได้
11:02
And if you want to read the full correspondence
208
646621
2683
และถ้าคุณอยากจะอ่านจดหมายโต้ตอบเรื่องนั้นเต็มๆ
11:05
and the excuses and the explanations given by the drug company,
209
649304
3290
และข้ออ้างและคำอธิบายที่บริษัทยาให้
11:08
you can see that written up in this week's edition
210
652594
2717
คุณสามารถอ่านได้ในวารสาร PLOS Medicine
11:11
of PLOS Medicine.
211
655311
4367
ฉบับสัปดาห์นี้
11:15
And the most staggering thing of all of this, to me,
212
659678
3859
และสิ่งที่น่าประหลาดใจมากที่สุดในทั้งหมดนี้ สำหรับผมแล้ว
11:19
is that not only is this a problem, not only do we recognize
213
663537
3299
ไม่ใช่เพียงแค่ว่านี่เป็นปัญหา ไม่ใช่แค่ว่าเรารับรู้
11:22
that this is a problem, but we've had to suffer fake fixes.
214
666836
4195
ว่ามันคือปัญหา แต่ว่าเราทนรับกรรมกับการแก้ไขหลอกๆ
11:26
We've had people pretend that this is a problem that's been fixed.
215
671031
3058
พวกเรามี คนที่แกล้งทำเป็นว่า นี่เป็นปัญหาที่แก้ไขแล้ว
11:29
First of all, we had trials registers, and everybody said,
216
674089
2188
อย่างแรกเลย เรามีการลงทะเบียนการทดลอง
และทุกๆคนบอกว่า โอเค ตกลง
และทุกๆคนบอกว่า โอเค ตกลง
11:32
oh, it's okay. We'll get everyone to register their trials, they'll post the protocol,
217
676277
3603
เราจะให้ทุกคนมาลงทะเบียนการวิจัยทดลอง
พวกเขาจะได้ประกาศต้นร่างการทดลองออกมา
พวกเขาจะได้ประกาศต้นร่างการทดลองออกมา
11:35
they'll say what they're going to do before they do it,
218
679880
2024
พวกเขาจะบอกว่า พวกเขาจะทำอะไร
ก่อนที่จะทำการวิจัยทดลองจริง
ก่อนที่จะทำการวิจัยทดลองจริง
11:37
and then afterwards we'll be able to check and see if all the trials which
219
681904
2121
แล้วจากนั้น เราก็จะตรวจสอบได้ และจะเห็นว่า
การทดลองทั้งหมด
การทดลองทั้งหมด
11:39
have been conducted and completed have been published.
220
684025
2468
ที่ได้ทำและเสร็จสิ้นสมบูรณ์จะได้รับการตีพิมพ์
11:42
But people didn't bother to use those registers.
221
686493
2196
แต่คนไม่ได้ใส่ใจที่จะไปลงทะเบียน
11:44
And so then the International Committee of Medical Journal Editors came along,
222
688689
2619
ดังนั้น คณะกรรมการบรรณาธิการวารสารการแพทย์ระหว่างประเทศ (ICMJE) จึงเข้ามา
11:47
and they said, oh, well, we will hold the line.
223
691308
1543
และบอกว่า เอาล่ะ เราจะหยุดการตีพิมพ์ไว้
11:48
We won't publish any journals, we won't publish any trials,
224
692851
2633
เราจะไม่ตีพิมพ์วารสารใดๆ เราจะไม่ตีพิมพ์การทดลองใดๆ
11:51
unless they've been registered before they began.
225
695484
2682
เว้นเสียแต่ว่า พวกเขาจะลงทะเบียนก่อนที่จะทำการศึกษา
11:54
But they didn't hold the line. In 2008, a study was conducted
226
698166
3531
แต่พวกเขาก็ไม่ได้หยุดการพิมพ์
ในปี 2008 มีการทำการศึกษา
ในปี 2008 มีการทำการศึกษา
11:57
which showed that half of all of trials published by journals
227
701697
3015
ซึ่งแสดงให้เห็นว่า ครึ่งหนึ่งของการทดลองทั้งหมดที่ตีพิมพ์ในวารสาร
12:00
edited by members of the ICMJE
228
704712
2667
ที่ผ่านการตรวจสอบโดยสมาชิกของ ICMJE
12:03
weren't properly registered, and a quarter of them weren't registered at all.
229
707379
4813
ไม่ได้ลงทะเบียนอย่างถูกต้อง และหนึ่งในสี่ของจำนวนนั้น
ไม่ได้ลงทะเบียนด้วยซ้ำ
ไม่ได้ลงทะเบียนด้วยซ้ำ
12:08
And then finally, the FDA Amendment Act was passed
230
712192
2801
แล้วในที่สุด พ.ร.บ. แก้ไขปรับปรุง FDA ก็ผ่านออกมา
12:10
a couple of years ago saying that everybody who conducts
231
714993
2349
ได้สองปีมาแล้ว กล่าวว่า ทุกคนที่ทำการศึกษาทดลอง
12:13
a trial must post the results of that trial within one year.
232
717342
3443
ต้องประกาศผลการศึกษานั้น ภายในหนึ่งปี
12:16
And in the BMJ, in the first edition of January, 2012,
233
720785
4096
และใน BMJ ฉบับแรกของเดือนมกราคมปี 2012
12:20
you can see a study which looks to see if people kept
234
724881
2704
คุณสามารถไปดูการศึกษา ที่ตามดูว่า
12:23
to that ruling, and it turns out that only one in five
235
727585
3719
คนทำตามกฎที่ว่านั้นหรือเปล่า และกลับเป็นว่าแค่หนึ่งในห้า
12:27
have done so.
236
731304
2864
ที่ทำตามนั้น
12:30
This is a disaster.
237
734168
3283
นี่มันเป็นหายนะ
12:33
We cannot know the true effects of the medicines
238
737451
3564
เราไม่สามารถรู้ ผลจริงๆของยา
12:36
that we prescribe if we do not have access
239
741015
3216
ที่เราจ่ายออกไปได้ ถ้าเราไม่สามารถเข้าถึง
12:40
to all of the information.
240
744231
3180
ข้อมูลทั้งหมดได้
12:43
And this is not a difficult problem to fix.
241
747411
3959
และนี่ไม่ได้เป็นปัญหาที่แก้ไขยาก
12:47
We need to force people to publish all trials
242
751370
5128
เราต้องบังคับ ให้ผู้คนตีพิมพ์การทดลองทั้งหมด
12:52
conducted in humans, including the older trials,
243
756498
2971
ที่ทำในมนุษย์ รวมทั้งการทดลองเก่าๆด้วย
12:55
because the FDA Amendment Act only asks that you publish the trials conducted after 2008,
244
759469
3945
เพราะว่า พ.ร.บ. แก้ไขปรับปรุง FDA นั้น แค่ขอให้คุณตีพิมพ์การทดลองที่ทำหลังปี 2008 เท่านั้น
12:59
and I don't know what world it is in which we're only
245
763414
2613
และผมไม่ทราบว่า ในโลกอะไรกันนี่ ที่เรา
13:01
practicing medicine on the basis of trials that completed in the past two years.
246
766027
4456
ปฎิบัติงานทางการแพทย์ บนรากฐานของการวิจัยทดลอง
ที่ทำเสร็จกันในแค่สองปีที่ผ่านมาเท่านั้น
ที่ทำเสร็จกันในแค่สองปีที่ผ่านมาเท่านั้น
13:06
We need to publish all trials in humans,
247
770483
2105
เราต้องการให้ตีพิมพ์การทดสอบในมนุษย์ทั้งหมด
13:08
including the older trials, for all drugs in current use,
248
772588
3074
รวมทั้งงานเก่าๆ ที่เกี่ยวกับยาทั้งหมดที่ใช้อยู่ในขณะนี้
13:11
and you need to tell everyone you know
249
775662
2916
และคุณต้องบอกทุกคนที่คุณรู้จัก
13:14
that this is a problem and that it has not been fixed.
250
778578
3442
ว่านี่มันเป็นปัญหา และมันก็ยังไม่ได้รับการแก้ไข
13:17
Thank you very much. (Applause)
251
782020
2951
ขอบคุณมากครับ (เสียงปรบมือ)
13:20
(Applause)
252
784971
3273
(เสียงปรบมือ)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com