ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com
TEDMED 2012

Ben Goldacre: What doctors don't know about the drugs they prescribe

Bens Goldakrs: Ko ārsti nezina par pašu izrakstītajām zālēm?

Filmed:
2,501,600 views

Pētot jaunas zāles, šo pētījumu rezultātiem būtu jābūt publiski pieejamiem visās mediķu aprindās, taču lielā daļā gadījumu par negatīviem vai neviennozīmīgiem rezultātiem netiek ziņots, atstājot ārstus un pētniekus neziņā. Šajā aizrautīgajā runā Bens Goldakrs skaidro, kāpēc šie neziņotie gadījumi un negatīvie dati ir sevišķi maldinoši un bīstami.
- Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio

Double-click the English transcript below to play the video.

00:16
Hičau. So, this chapCHAP here,
0
671
2785
Sveiki! Šis vecais zēns,
00:19
he thinksdomā he can tell you the futurenākotne.
1
3456
2262
viņš domā, ka var jums pavēstīt nākotni.
00:21
His namevārds is NostradamusNostradamus, althoughkaut arī here the SunSaule have
2
5718
1979
Viņa vārds ir Nostradams, lai gan te avīze „The Sun”
00:23
madeizgatavots him look a little bitmazliet like SeanSean ConneryKonerijs. (LaughterSmiekli)
3
7697
3670
liek viņam nedaudz izskatīties pēc Šona Konerija. (Smiekli)
00:27
And like mostlielākā daļa of you, I suspectaizdomās, I don't really believe
4
11367
2903
Tāpat kā, šķiet, lielākā daļa klātesošo, es īsti neticu tam,
00:30
that people can see into the futurenākotne.
5
14270
1108
ka cilvēki var ielūkoties nākotnē.
00:31
I don't believe in precognitionprecognition, and everykatrs now and then,
6
15378
2704
Es neticu pareģošanai, taču šad un tad
00:33
you heardzirdēt that somebodykāds has been ablespējīgs to predictprognozēt something that happenednotika in the futurenākotne,
7
18082
3182
var dzirdēt, ka kāds ir spējis paredzēt kaut ko, kas ir noticis nākotnē,
00:37
and that's probablydroši vien because it was a flukeparazīts, and we only
8
21264
3059
tas droši vien ir tāpēc, ka tā bija apstākļu sakritība, un mēs
00:40
heardzirdēt about the flukesfasciola and about the freaksFreaks.
9
24323
2615
dzirdam tikai par sakritībām un anomālijām.
00:42
We don't heardzirdēt about all the timesreizes that people got stuffstuff wrongnepareizi.
10
26938
4079
Mēs nedzirdam par visiem gadījumiem, kad cilvēki ir kļūdījušies.
00:46
Now we expectsagaidīt that to happennotikt with sillymuļķīgi storiesstāsti
11
31017
2160
Mēs sagaidām, ka tā tas notiks ar muļķīgiem nostāstiem
00:49
about precognitionprecognition, but the problemproblēma is,
12
33177
3139
par pareģošanu, taču problēma ir tajā,
00:52
we have exactlytieši tā the samepats problemproblēma in academiaakadēmiskajām aprindām
13
36316
3344
ka tieši tas pats notiek akadēmiskajās disciplīnās
00:55
and in medicinezāles, and in this environmentvide, it costsizmaksas livesdzīvo.
14
39660
4501
un medicīnā, un šajā vidē tas prasa dzīvības.
01:00
So firstlypirmkārt, thinkingdomāšana just about precognitionprecognition, as it turnspagriežas out,
15
44161
3365
Pirmkārt, domājot tikai par pareģošanu, izrādās,
01:03
just last yeargads a researcherpētnieks calledsauc DarylDaryl BemBem conductedveikts
16
47526
2529
ka pērn pētnieks vārdā Derils Bems veica
01:05
a piecegabals of researchpētniecība where he foundatrasts evidencepierādījumi
17
50055
1836
pētījumu, kurā guva pierādījumus
01:07
of precognitiveprecognitive powerspilnvaras in undergraduatebakalaura studentsstudenti,
18
51891
3658
universitātes studentu pareģošanas spējām,
01:11
and this was publishedpublicēts in a peer-reviewedpeer-reviewed academicakadēmiskā journalžurnāls
19
55549
2574
un tas tika publicēts zinātniski recenzētā akadēmiskajā žurnālā,
01:14
and mostlielākā daļa of the people who readlasīt this just said, "Okay, well,
20
58123
2281
lielākā daļa cilvēku, kas to izlasīja, teica: „Labi, nu,
01:16
fairtaisnīga enoughpietiekami, but I think that's a flukeparazīts, that's a freakķēms, because I know
21
60404
2181
pieņemsim, ka tā notika, taču, manuprāt, tā ir sakritība, anomālija, jo es zinu,
01:18
that if I did a studypētījums where I foundatrasts no evidencepierādījumi
22
62585
2834
ja es veiktu pētījumu, kurā neatrastu pierādījumus tam,
01:21
that undergraduatebakalaura studentsstudenti had precognitiveprecognitive powerspilnvaras,
23
65419
2512
ka universitātes studentiem piemīt pareģošanas spējas,
01:23
it probablydroši vien wouldn'tnebūtu get publishedpublicēts in a journalžurnāls.
24
67931
3552
to droši vien nepublicētu nevienā žurnālā.”
01:27
And in factfakts, we know that that's truetaisnība, because
25
71483
2855
Patiesībā mēs zinām, ka tā ir taisnība, jo
01:30
severalvairāki differentatšķirīgs groupsgrupām of researchpētniecība scientistszinātnieki triedmēģinājis
26
74338
2529
vairākas pētniecisko zinātnieku grupas mēģināja
01:32
to replicateatkārtot the findingssecinājumi of this precognitionprecognition studypētījums,
27
76867
3520
atkārtot šī pareģošanas pētījuma rezultātus,
01:36
and when they submittediesniegti it to the exactprecīzi samepats journalžurnāls,
28
80387
2635
un iesniedzot tos tam pašam žurnālam,
01:38
the journalžurnāls said, "No, we're not interestedinteresē in publishingizdevējdarbība
29
83022
3152
viņi saņēma atbildi: „Nē, mēs neesam ieinteresēti publicēt
01:42
replicationreplikācija. We're not interestedinteresē in your negativenegatīvs datadatus."
30
86174
4525
pētījuma atkārtojumu. Mums neinteresē jūsu negatīvie dati.”
01:46
So this is alreadyjau evidencepierādījumi of how, in the academicakadēmiskā
31
90699
2754
Tas jau liecina par to, ka akadēmiskajā literatūrā
01:49
literatureliteratūra, we will see a biasedneobjektīvs sampleparaugs of the truetaisnība picturebilde
32
93453
4870
mēs no visiem veiktajiem zinātniskajiem pētījumiem
01:54
of all of the scientificzinātnisks studiespētījumi that have been conductedveikts.
33
98323
3467
redzēsim patiesās ainas subjektīvi izvēlētu fragmentu.
01:57
But it doesn't just happennotikt in the drysauss academicakadēmiskā fieldlaukā of psychologypsiholoģija.
34
101790
4429
Taču tas nenotiek tikai sausajā akadēmiskās psiholoģijas jomā.
02:02
It alsoarī happensnotiek in, for examplepiemērs, cancervēzis researchpētniecība.
35
106219
4367
Tas notiek arī, piemēram, vēža izpētē.
02:06
So in MarchMarts, 2012, just one monthmēnesis agopirms, some researcherspētnieki
36
110586
4077
2012. gada martā, tikai pirms 1 mēneša, daži pētnieki
02:10
reportedziņots in the journalžurnāls NatureDaba how they had triedmēģinājis
37
114663
2896
ziņoja žurnālā „Nature” par to, kā viņi mēģināja
02:13
to replicateatkārtot 53 differentatšķirīgs basicpamata sciencezinātne studiespētījumi looking at
38
117559
3846
atkārtot 53 dažādus zinātniskos pētījumus par
02:17
potentialpotenciāls treatmentārstēšana targetsmērķi in cancervēzis,
39
121405
3555
potenciāliem vēža terapijas mērķiem,
02:20
and out of those 53 studiespētījumi, they were only ablespējīgs
40
124960
2638
no šiem 53 pētījumiem, viņi spēja
02:23
to successfullyveiksmīgi replicateatkārtot sixseši.
41
127598
3076
veiksmīgi atkārtot tikai sešus.
02:26
Forty-sevenČetrdesmit septiņi out of those 53 were unreplicablenereplicējamu.
42
130674
4333
47 no šiem 53 pētījumiem nebija atkārtojami.
02:30
And they say in theirviņu discussiondiskusija that this is very likelyiespējams
43
135007
3913
Viņi sava pētījuma diskusijā atzīst, ka tas ir ļoti iespējams,
02:34
because freaksFreaks get publishedpublicēts.
44
138920
2639
jo publicētas tiek anomālijas.
02:37
People will do lots and lots and lots of differentatšķirīgs studiespētījumi,
45
141559
2096
Cilvēki veic daudzus jo daudzus dažādus pētījumus,
02:39
and the occasionsgadījumi when it worksdarbi they will publishpublicēt,
46
143655
2120
un gadījumos, kad tie izdodas, tie tiek publicēti,
02:41
and the onestiem where it doesn't work they won'tnebūs.
47
145775
1679
un gadījumos, kad tie neizdodas, tie netiks publicēti.
02:43
And theirviņu first recommendationieteikums of how to fixlabot this problemproblēma,
48
147454
3941
Viņu pirmais ieteikums, kā risināt šo problēmu,
02:47
because it is a problemproblēma, because it sendssūta us all down blindakls alleysalejas,
49
151395
3289
jo tā tiešām ir problēma un tā noved mūs pie kļūdainiem secinājumiem,
02:50
theirviņu first recommendationieteikums of how to fixlabot this problemproblēma
50
154684
1706
viņu pirmais ieteikums šīs problēmas risināšanai
02:52
is to make it easiervieglāk to publishpublicēt negativenegatīvs resultsrezultātus in sciencezinātne,
51
156390
3393
ir atvieglot negatīvu rezultātu publicēšanu zinātnē,
02:55
and to changemainīt the incentivesatvieglojumi so that scientistszinātnieki are
52
159783
2907
un mainīt pamudinājumu tā, lai zinātniekus
02:58
encouragedmudināja to postpasts more of theirviņu negativenegatīvs resultsrezultātus in publicsabiedrība.
53
162690
4352
iedrošinātu biežāk publicēt savus negatīvos rezultātus.
03:02
But it doesn't just happennotikt in the very drysauss worldpasaule
54
167042
3852
Bet tas nenotiek tikai pārlieku sausajā
03:06
of preclinicalPirmsklīniskie basicpamata sciencezinātne cancervēzis researchpētniecība.
55
170894
3851
pirmsklīniskās zinātniskās vēža izpētes pasaulē.
03:10
It alsoarī happensnotiek in the very realreāls, fleshmiesa and bloodasinis
56
174745
3657
Tas notiek arī tik ļoti reālajā un taustāmajā
03:14
of academicakadēmiskā medicinezāles. So in 1980,
57
178402
3591
akadēmiskajā medicīnā. 1980. gadā
03:17
some researcherspētnieki did a studypētījums on a drugzāles calledsauc lorcainidelorcainide,
58
181993
3008
daži pētnieki veica pētījumu par zālēm, ko sauc lorkainīdu,
03:20
and this was an anti-arrhythmicAnti-arrhythmic drugzāles,
59
185001
2331
tās bija zāles pret sirds aritmiju,
03:23
a drugzāles that suppressesnomāc abnormalpatoloģiska heartsirds rhythmsritmi,
60
187332
2251
zāles, kas nomāc anormālus sirds ritmus.
03:25
and the ideaideja was, after people have had a heartsirds attackuzbrukums,
61
189598
2228
Doma bija tāda, ka cilvēkiem pēc sirdstriekas
03:27
they're quitediezgan likelyiespējams to have abnormalpatoloģiska heartsirds rhythmsritmi,
62
191826
1537
ir liela iespēja attīstīties anormāliem sirds ritmiem,
03:29
so if we give them a drugzāles that suppressesnomāc abnormalpatoloģiska heartsirds
63
193363
2377
tādējādi, dodot viņiem zāles, kas nomāc anormālus sirds
03:31
rhythmsritmi, this will increasepalielināt the chancesizredzes of them survivingizdzīvot.
64
195740
3713
ritmus, varētu palielināt viņu izdzīvošanas iespējas.
03:35
EarlySākumā on its developmentattīstība, they did a very smallmazs trializmēģinājums,
65
199453
3008
Agrīnā zāļu attīstības stadijā, tika veikts ļoti neliels pētījums
03:38
just underzem a hundredsimts patientspacienti.
66
202461
1644
ar nedaudz mazāk kā 100 pacientiem.
03:40
FiftyPiecdesmit patientspacienti got lorcainidelorcainide, and of those patientspacienti, 10 diednomira.
67
204105
3652
50 pacienti saņēma lorkainīdu, un no šiem pacientiem 10 nomira.
03:43
AnotherVēl viens 50 patientspacienti got a dummylelle placeboplacebo sugarcukurs pillpill
68
207757
3043
Vēl 50 pacienti saņēma placebo cukura tableti
03:46
with no activeaktīva ingredientsastāvdaļas, and only one of them diednomira.
69
210800
2958
bez aktīvās vielas tās sastāvā, un nomira tikai viens no šiem cilvēkiem.
03:49
So they rightlypareizi regardeduzskata this drugzāles as a failureneveiksme,
70
213758
2649
Tādējādi viņi pareizi novērtēja šis zāles kā neizdevušās,
03:52
and its commercialkomerciāls developmentattīstība was stoppedapstājās, and because
71
216407
2869
un šo zāļu komerciālā izveide tika pārtraukta, un tāpēc, ka
03:55
its commercialkomerciāls developmentattīstība was stoppedapstājās, this trializmēģinājums was never publishedpublicēts.
72
219276
4348
šo zāļu komerciālā izveide tika pārtraukta, šis pētījums nekad netika publicēts.
03:59
UnfortunatelyDiemžēl, over the courseprotams of the nextnākamais fivepieci, 10 yearsgadiem,
73
223624
5397
Diemžēl nākamo piecu, desmit gadu laikā
04:04
other companieskompānijas had the samepats ideaideja about drugsnarkotikas that would
74
229021
3825
citām zāļu kompānijām radās tāda pati ideja par zālēm, kas varētu
04:08
preventnovērst arrhythmiasaritmiju in people who have had heartsirds attacksuzbrukumi.
75
232846
2592
novērst aritmijas cilvēkiem pēc sirdstriekas.
04:11
These drugsnarkotikas were broughtcelta to markettirgus. They were prescribednoteiktas
76
235438
1720
Šīs zāles nonāca zāļu tirgū. Tās ļoti plaši
04:13
very widelyplaši because heartsirds attacksuzbrukumi are a very commonkopīgs thing,
77
237158
3412
tika izrakstītas, jo sirdstriekas ir ļoti bieži sastopama lieta,
04:16
and it tookpaņēma so long for us to find out that these drugsnarkotikas
78
240570
3843
un pagāja ļoti ilgs laiks, kamēr mēs uzzinājām, ka šīs zāles
04:20
alsoarī causedizraisa an increasedpieauga ratelikme of deathnāve
79
244413
2911
arī paaugstināja cilvēku mirstību,
04:23
that before we detectedatklāti that safetydrošība signalsignāls,
80
247324
2747
un kamēr mēs pamanījām šo trauksmes signālu,
04:25
over 100,000 people diednomira unnecessarilynevajadzīgi in AmericaAmerika
81
250071
6051
antiaritmisko zāļu izrakstīšanas dēļ nevajadzīgi mira
04:32
from the prescriptionrecepte of anti-arrhythmicAnti-arrhythmic drugsnarkotikas.
82
256122
3451
vairāk kā 100 000 cilvēku.
04:35
Now actuallyfaktiski, in 1993,
83
259573
3598
Vēlāk 1993. gadā
04:39
the researcherspētnieki who did that 1980 studypētījums, that earlyagri studypētījums,
84
263171
3560
pētnieki, kas veica minēto pētījumu 1980. gadā,
04:42
publishedpublicēts a meaMEA culpaculpa, an apologyatvainošanās to the scientificzinātnisks communitykopiena,
85
266731
3841
publicēja atvainošanos zinātniskajai sabiedrībai,
04:46
in whichkas they said, "When we carriedpārvadā out our studypētījums in 1980,
86
270572
3125
kurā viņi teica: „Kad mēs 1980. gadā veicām savu pētījumu,
04:49
we thought that the increasedpieauga deathnāve ratelikme that occurrednotika
87
273697
1936
mēs domājām, ka palielinātā mirstība, kas tika novērota
04:51
in the lorcainidelorcainide groupgrupa was an effectefekts of chanceiespēja."
88
275633
3358
lorkainīda grupā bija sakritība.”
04:54
The developmentattīstība of lorcainidelorcainide was abandonedpamesta for commercialkomerciāls reasonsiemeslu dēļ,
89
278991
2032
Lorkainīda izveide tika pārtraukta komerciālu iemeslu dēļ,
04:56
and this studypētījums was never publishedpublicēts;
90
281023
1638
un šis pētījums nekad netika publicēts;
04:58
it's now a good examplepiemērs of publicationpublikācija biasaizspriedums.
91
282661
2386
nu tas ir labs piemērs publikāciju subjektivitātei.
05:00
That's the technicaltehnisks termtermiņš for the phenomenonparādība where
92
285047
1891
Tas ir tehnisks termins parādībai, kad
05:02
unflatteringunflattering datadatus getsizpaužas lostzaudējis, getsizpaužas unpublishedlīdz šim nepublicētu, is left
93
286938
4238
neglaimojoši dati tiek pazaudēti, netiek publicēti vai netiek ievākti
05:07
missingtrūkst in actionrīcība, and they say the resultsrezultātus describedaprakstīts here
94
291176
3371
pētījuma gaitā, un tiek paziņots, ka šeit aprakstītie rezultāti
05:10
"mightvarētu have providednodrošināts an earlyagri warningbrīdinājums of troublenepatikšanas aheaduz priekšu."
95
294547
4808
„būtu varējuši sniegt agrīnu brīdinājumu par priekšā esošajām briesmām.”
05:15
Now these are storiesstāsti from basicpamata sciencezinātne.
96
299355
3213
Šie ir stāsti no pamatzinātnēm.
05:18
These are storiesstāsti from 20, 30 yearsgadiem agopirms.
97
302568
4787
Šie ir stāsti no laika pirms 20, 30 gadiem.
05:23
The academicakadēmiskā publishingizdevējdarbība environmentvide is very differentatšķirīgs now.
98
307355
3147
Šobrīd akadēmisko publikāciju vide ir ļoti mainījusies.
05:26
There are academicakadēmiskā journalsŽurnāli like "TrialsIzmēģinājumu," the openatvērts accesspiekļuvi journalžurnāls,
99
310502
3995
Pastāv tādi akadēmiskie žurnāli kā „Trials”, brīvās piekļuves žurnāls,
05:30
whichkas will publishpublicēt any trializmēģinājums conductedveikts in humanscilvēki
100
314497
2655
kas publicēs jebkuru par cilvēkiem veiktu pētījumu
05:33
regardlessneskatoties uz of whethervai it has a positivepozitīvs or a negativenegatīvs resultrezultāts.
101
317152
3303
neatkarīgi no tā, vai rezultāts ir bijis pozitīvs vai negatīvs.
05:36
But this problemproblēma of negativenegatīvs resultsrezultātus that go missingtrūkst in actionrīcība
102
320455
3969
Taču šī problēma ar negatīvajiem rezultātiem, kas pazūd pētījuma laikā,
05:40
is still very prevalentizplatīta. In factfakts it's so prevalentizplatīta
103
324424
3559
vēl joprojām ir ļoti aktuāla. Īstenībā tā ir tik aktuāla,
05:43
that it cutsizcirtņi to the corekodols of evidence-basedpierādījumiem balstītu medicinezāles.
104
327983
5851
ka grauj uz pierādījumiem balstītās medicīnas pamatus.
05:49
So this is a drugzāles calledsauc reboxetinereboxetine, and this is a drugzāles
105
333834
3015
Šīs ir zāles, ko sauc par reboksetīnu, tās ir zāles,
05:52
that I myselfsevi have prescribednoteiktas. It's an antidepressantantidepresantu.
106
336849
2535
kuras arī es pats esmu izrakstījis. Tas ir antidepresants.
05:55
And I'm a very nerdynerdy doctorārsts, so I readlasīt all of the studiespētījumi
107
339384
2536
Es esmu ļoti nūģīgs ārsts, tāpēc es izlasīju visus pētījumus,
05:57
that I could on this drugzāles. I readlasīt the one studypētījums that was publishedpublicēts
108
341920
3052
kurus es varēju atrast par šīm zālēm. Es izlasīju vienu pētījumu, kas tika publicēts
06:00
that showedparādīja that reboxetinereboxetine was better than placeboplacebo,
109
344972
2947
un parādīja, ka reboksetīns ir labāks par placebo,
06:03
and I readlasīt the other threetrīs studiespētījumi that were publishedpublicēts
110
347919
1864
un es izlasīju pārējos 3 publicētos pētījumus,
06:05
that showedparādīja that reboxetinereboxetine was just as good as any other antidepressantantidepresantu,
111
349783
3571
kas parādīja, ka reboksetīns ir tikpat labs kā jebkurš cits antidepresants,
06:09
and because this patientpacients hadn'tnebija donepabeigts well on those other antidepressantsantidepresanti,
112
353354
2187
un tādēļ, ka manam pacientam nebija palīdzējuši pārējie antidepresanti,
06:11
I thought, well, reboxetinereboxetine is just as good. It's one to try.
113
355541
2466
es nodomāju, ka reboksetīns varētu būt vienlīdz labs variants, kuru pamēģināt.
06:13
But it turnedpagriezies out that I was misledmaldināti. In factfakts,
114
358007
3392
Bet izrādījās, ka es tiku maldināts. Patiesībā
06:17
sevenseptiņi trialsizmēģinājumi were conductedveikts comparingsalīdzinot reboxetinereboxetine
115
361399
2449
tika veikti 7 pētījumi, kas salīdzināja reboksetīnu
06:19
againstpret a dummylelle placeboplacebo sugarcukurs pillpill. One of them
116
363848
2712
ar placebo cukura tableti. Viens no šiem pētījumiem
06:22
was positivepozitīvs and that was publishedpublicēts, but sixseši of them
117
366560
2312
bija pozitīvs un tas tika publicēts, bet seši no šiem pētījumiem
06:24
were negativenegatīvs and they were left unpublishedlīdz šim nepublicētu.
118
368872
4048
bija negatīvi un tie palika nepublicēti.
06:28
ThreeTrīs trialsizmēģinājumi were publishedpublicēts comparingsalīdzinot reboxetinereboxetine
119
372920
1739
Tika publicēti 3 pētījumi, kas salīdzināja reboksetīnu
06:30
againstpret other antidepressantsantidepresanti in whichkas reboxetinereboxetine
120
374659
2226
ar citiem antidepresantiem un kuros reboksetīns
06:32
was just as good, and they were publishedpublicēts,
121
376885
1793
izrādījās vienlīdz labs, un šie pētījumi tika publicēti,
06:34
but threetrīs timesreizes as manydaudzi patients'pacientu worthvērts of datadatus was collectedsavākti
122
378678
4389
bet tika iegūti trīsreiz vairāk pacientu datu,
06:38
whichkas showedparādīja that reboxetinereboxetine was worsesliktāk than
123
383067
1871
kas liecināja, ka reboksetīns ir sliktāks par
06:40
those other treatmentsārstēšana, and those trialsizmēģinājumi were not publishedpublicēts.
124
384938
4701
šiem pārējiem līdzekļiem, un šie pētījumi netika publicēti.
06:45
I feltfilcs misledmaldināti.
125
389639
3759
Es jutos maldināts.
06:49
Now you mightvarētu say, well, that's an extremelyārkārtīgi unusualneparasts examplepiemērs,
126
393398
2130
Jūs iespējams teiktu, ka tas ir ārkārtīgi neparasts piemērs,
06:51
and I wouldn'tnebūtu want to be guiltyvainīgs of the samepats kindlaipns of
127
395528
2008
un es negribētu būt vainojams pie tāda paša veida
06:53
cherry-pickingcherry-picking and selectiveselektīvs referencingatsaukšanās uz
128
397536
2981
izvēlības un selektīvas pieminēšanas,
06:56
that I'm accusingapsūdzot other people of.
129
400517
1791
kādā es vainoju citus cilvēkus.
06:58
But it turnspagriežas out that this phenomenonparādība of publicationpublikācija biasaizspriedums
130
402308
1884
Taču izrādās, ka šī publikāciju subjektivitātes parādība
07:00
has actuallyfaktiski been very, very well studiedstudējis.
131
404192
2127
patiesībā ir tiksui ļoti labi izpētīta.
07:02
So here is one examplepiemērs of how you approachpieeja it.
132
406319
2218
Tātad, lūk, viens piemērs, kā tam pieiet.
07:04
The classicklasisks modelmodelis is, you get a bunchķekars of studiespētījumi where
133
408537
2440
Klasiskajā variantā jūs atrodat vairākus pētījumus, par kuriem
07:06
you know that they'veviņi esam been conductedveikts and completedpabeigts,
134
410977
2185
jūs zināt, ka tie ir veikti un pabeigti,
07:09
and then you go and see if they'veviņi esam been publishedpublicēts anywherevisur
135
413162
2321
tad jūs meklējat, vai tie kaut kur ir bijuši publicēti
07:11
in the academicakadēmiskā literatureliteratūra. So this tookpaņēma all of the trialsizmēģinājumi
136
415483
2863
akadēmiskajā literatūrā. Te ir paņemti visi pētījumi,
07:14
that had ever been conductedveikts on antidepressantsantidepresanti
137
418346
2154
kas jebkad veikti par antidepresantiem un
07:16
that were approvedapstiprināts over a 15-year-gada gadu periodperiods by the FDAFDA.
138
420500
3642
kurus 15 gadu laika posmā apstiprināja FDA.
07:20
They tookpaņēma all of the trialsizmēģinājumi whichkas were submittediesniegti to the FDAFDA as partdaļa of the approvalapstiprinājums packagepakete.
139
424142
3756
Tika paņemti visi pētījumi, kas tika iesniegti FDA apstiprinājuma saņemšanai.
07:23
So that's not all of the trialsizmēģinājumi that were ever conductedveikts on these drugsnarkotikas,
140
427898
3200
Tātad tie nav visi jebkad par šīm zālēm veiktie pētījumi,
07:26
because we can never know if we have those,
141
431098
2098
jo mēs nekad nevaram zināt, vai esam tos visus atraduši,
07:29
but it is the onestiem that were conductedveikts in orderkārtībā to get the marketingmārketings authorizationatļauja.
142
433196
3494
bet tie ir pētījumi, kas tika veikti, lai zāles varētu reģistrēt.
07:32
And then they wentdevās to see if these trialsizmēģinājumi had been publishedpublicēts
143
436690
2349
Tad tika pārbaudīts, vai šie pētījumi ir bijuši publicēti
07:34
in the peer-reviewedpeer-reviewed academicakadēmiskā literatureliteratūra. And this is what they foundatrasts.
144
439039
2572
zinātniski recenzētā akadēmiskajā literatūrā. Lūk, kas tika atklāts.
07:37
It was prettyskaista much a 50-50 splitsadalīt. HalfPuse of these trialsizmēģinājumi
145
441611
3169
Principā tas bija 50 pret 50 sadalījums. Reāli puse
07:40
were positivepozitīvs, halfpuse of them were negativenegatīvs, in realityrealitāte.
146
444780
3597
no šiem pētījumiem bija pozitīvi, puse bija negatīvi.
07:44
But when they wentdevās to look for these trialsizmēģinājumi in the peer-reviewedpeer-reviewed academicakadēmiskā literatureliteratūra,
147
448377
4741
Taču meklējot šos pētījumus zinātniski recenzētajā akadēmiskajā literatūrā,
07:49
what they foundatrasts was a very differentatšķirīgs picturebilde.
148
453118
2234
pavērās pavisam citāda aina.
07:51
Only threetrīs of the negativenegatīvs trialsizmēģinājumi were publishedpublicēts,
149
455352
4372
Tikai trīs no visiem negatīvajiem pētījumiem bija publicēti,
07:55
but all but one of the positivepozitīvs trialsizmēģinājumi were publishedpublicēts.
150
459724
4642
bet visi pozitīvie pētījumi, izņemot vienu, tika publicēti.
08:00
Now if we just flickkinoizrāde back and forthtālāk betweenstarp those two,
151
464366
3761
Ja mēs paslēgājam turp un atpakaļ starp šiem diviem attēliem,
08:04
you can see what a staggeringgrīļodamies differencestarpība there was
152
468127
2594
jūs varat redzēt milzīgo atšķirību
08:06
betweenstarp realityrealitāte and what doctorsārsti, patientspacienti,
153
470721
3450
starp realitāti un to, ko ārsti, pacienti,
08:10
commissionerskomisāri of healthveselība servicespakalpojumi, and academicsakadēmiķi
154
474171
2622
veselības aprūpes ierēdņi un akadēmiķi
08:12
were ablespējīgs to see in the peer-reviewedpeer-reviewed academicakadēmiskā literatureliteratūra.
155
476793
3281
varēja redzēt zinātniski recenzētajā akadēmiskajā literatūrā.
08:15
We were misledmaldināti, and this is a systematicsistemātisku flawplaisāt
156
480074
4454
Mēs tikām maldināti, tā ir sistēmiska nepilnība
08:20
in the corekodols of medicinezāles.
157
484528
3330
pašā medicīnas saknē.
08:23
In factfakts, there have been so manydaudzi studiespētījumi conductedveikts on
158
487858
2663
Pašlaik ir veikti vairāk nekā 100 pētījumu
08:26
publicationpublikācija biasaizspriedums now, over a hundredsimts, that they'veviņi esam been
159
490521
3384
par publikāciju subjektivitāti, un tādēļ tie ir
08:29
collectedsavākti in a systematicsistemātisku reviewpārskatīšana, publishedpublicēts in 2010,
160
493905
3194
apkopoti sistemātiskā vērtējumā, kas publicēts 2010. gadā
08:32
that tookpaņēma everykatrs singleviens studypētījums on publicationpublikācija biasaizspriedums
161
497099
2766
un kurā tika ņemts vērā katrs pētījums par publikāciju subjektivitāti,
08:35
that they could find.
162
499865
1299
ko viņi varēja atrast.
08:37
PublicationPublikācijas biasaizspriedums affectsietekmē everykatrs fieldlaukā of medicinezāles.
163
501164
2852
Publikāciju subjektivitāte skar visas medicīnas jomas.
08:39
About halfpuse of all trialsizmēģinājumi, on averagevidējais, go missingtrūkst in actionrīcība,
164
504016
4313
Vidēji apmēram puse no pētījumiem kaut kur pazūd,
08:44
and we know that positivepozitīvs findingssecinājumi are around twicedivreiz as likelyiespējams
165
508329
3058
un mēs zinām, ka pozitīviem rezultātiem ir aptuveni divreiz augstāka iespējamība
08:47
to be publishedpublicēts as negativenegatīvs findingssecinājumi.
166
511387
3054
tikt publicētiem nekā negatīviem rezultātiem.
08:50
This is a cancervēzis at the corekodols of evidence-basedpierādījumiem balstītu medicinezāles.
167
514441
4061
Tas ir vēzis, kas saēd uz pierādījumiem balstītās medicīnas pamatus.
08:54
If I flippedspoguļattēls a coinmonēta 100 timesreizes but then
168
518502
3871
Ja es 100 reizes mestu gaisā monētu, bet pēc tam
08:58
withheldieturēts the resultsrezultātus from you from halfpuse of those tossestosses,
169
522373
3259
pusi no metienu rezultātiem jums neatklātu,
09:01
I could make it look as if I had a coinmonēta that always camenāca up headsgalvas.
170
525632
3400
es varētu radīt iespaidu, ka man ir monēta, kas vienmēr nokrīt ar ciparu uz augšu.
09:04
But that wouldn'tnebūtu mean that I had a two-headeddivvirzienu coinmonēta.
171
529032
1806
Taču tas nenozīmē, ka man ir monēta ar cipariem abās monētas pusēs.
09:06
That would mean that I was a chancerchancer
172
530853
1712
Tas nozīmē, ka esmu spēlmanis,
09:08
and you were an idiotidiots for lettingizīrēšana me get away with it. (LaughterSmiekli)
173
532565
3114
un jūs bijāt idiots, jo ļāvāt man tikt sveikā cauri. (Smiekli)
09:11
But this is exactlytieši tā what we blindlyakli toleratepaciest
174
535679
3637
Bet tas ir tieši tas, ko mēs akli paciešam
09:15
in the wholeveselu of evidence-basedpierādījumiem balstītu medicinezāles.
175
539316
3789
visā uz pierādījumiem balstītajā medicīnā.
09:19
And to me, this is researchpētniecība misconductpārkāpumu.
176
543105
4432
Manās acīs tas ir pētījumu veikšanas pārkāpums.
09:23
If I conductedveikts one studypētījums and I withheldieturēts
177
547537
2743
Ja es veiktu vienu pētījumu un neatklātu
09:26
halfpuse of the datadatus pointspunktus from that one studypētījums,
178
550280
3000
pusi no šajā pētījumā iegūtajiem datiem,
09:29
you would rightlypareizi accuseapsūdzēt me, essentiallybūtībā, of researchpētniecība fraudkrāpšana.
179
553280
4707
jūs būtu pilntiesīgi mani apsūdzēt par krāpšanos ar pētījumiem.
09:33
And yetvēl, for some reasoniemesls, if somebodykāds conductsveic
180
557987
2783
Tomēr, nezināma iemesla dēļ, ja kāds veic
09:36
10 studiespētījumi but only publishespublicē the fivepieci that give the resultrezultāts that they want,
181
560770
4558
10 pētījumus, bet publicē tikai 5 no tiem, kas sniedz vēlamo rezultātu,
09:41
we don't considerapsvērt that to be researchpētniecība misconductpārkāpumu.
182
565328
2788
mēs to neuzskatam par pētījumu veikšanas pārkāpumu.
09:44
And when that responsibilityatbildība is diffusedizplatīts betweenstarp
183
568116
2567
Šai atbildībai tiekot sadalītai starp
09:46
a wholeveselu networktīkls of researcherspētnieki, academicsakadēmiķi,
184
570683
3161
veselu pētnieku, akadēmiķu, nozares sponsoru
09:49
industrynozare sponsorssponsori, journalžurnāls editorsredaktore, for some reasoniemesls
185
573844
3528
un žurnālu redaktoru tīklu, nezināma iemesla dēļ
09:53
we find it more acceptablepieņemams,
186
577372
1453
mums tas šķiet pieņemamāk,
09:54
but the effectefekts on patientspacienti is damningdamning.
187
578825
3675
taču ietekme uz pacientiem ir briesmīga.
09:58
And this is happeningnotiek right now, todayšodien.
188
582500
5018
Tas notiek arī šobrīd, šodien.
10:03
This is a drugzāles calledsauc TamifluTamiflu. TamifluTamiflu is a drugzāles
189
587518
2711
Šīs ir zāles, ko sauc par Tamiflu. Tamiflu ir zāles,
10:06
whichkas governmentsvaldības around the worldpasaule have spentiztērēti billionsmiljardi
190
590229
2596
par kurām valdības visā pasaulē ir iztērējušas miljardiem
10:08
and billionsmiljardi of dollarsdolāri on stockpilingUzkrāšana,
191
592825
2572
dolāru, veidojot to uzkrājumus,
10:11
and we'vemēs esam stockpileduzkrāta TamifluTamiflu in panicpanika,
192
595397
3148
mēs paniski veidojam Tamiflu krājumus,
10:14
in the beliefticība that it will reducesamazināt the ratelikme of complicationskomplikācijas of influenzagripa.
193
598545
3949
ticot, ka tas samazinās gripas komplikāciju biežumu.
10:18
ComplicationsKomplikācijas is a medicalmedicīniska euphemismeifēmisms for pneumoniapneimonija
194
602494
2684
Komplikācijas ir medicīnisks eifēmisms pneimonijai
10:21
and deathnāve. (LaughterSmiekli)
195
605178
4814
un nāvei. (Smiekli)
10:25
Now when the CochraneCochrane systematicsistemātisku reviewersatsauksmes
196
609992
3208
Kohreinas sistemātiskajiem vērtētājiem
10:29
were tryingmēģina to collectsavākt togetherkopā all of the datadatus from all
197
613200
2525
cenšoties apkopot visus datus no visiem
10:31
of the trialsizmēģinājumi that had ever been conductedveikts on whethervai TamifluTamiflu actuallyfaktiski did this or not,
198
615725
3648
pētījumiem, kas jebkad veikti, lai noskaidrotu, vai Tamiflu tiešām ir tāds efekts vai nē,
10:35
they foundatrasts that severalvairāki of those trialsizmēģinājumi were unpublishedlīdz šim nepublicētu.
199
619373
2951
viņi atklāja, ka vairāki no šiem pētījumiem nebija publicēti.
10:38
The resultsrezultātus were unavailablenav pieejams to them.
200
622324
1842
To rezultāti viņiem nebija pieejami.
10:40
And when they startedsāka obtainingiegūšanas the writeupswriteups of those trialsizmēģinājumi throughcauri variousdažādi differentatšķirīgs meansnozīmē,
201
624166
3964
Viņiem ar dažādu paņēmienu palīdzību sākot iegūt šo pētījumu aprakstus,
10:44
throughcauri FreedomBrīvības of InformationInformācija ActAkts requestspieprasījumi, throughcauri
202
628130
1682
pamatojoties uz Informācijas brīvības aktu,
10:45
harassinguzmācīga variousdažādi differentatšķirīgs organizationsorganizācijas, what they foundatrasts was inconsistentpretrunīgs.
203
629812
4809
neliekot mieru dažādām organizācijām, atklājumi nebija viennozīmīgi.
10:50
And when they triedmēģinājis to get a holdturiet of the clinicalklīnisks studypētījums reportsziņojumi,
204
634621
2466
Viņiem cenšoties iegūt klīnisko pētījumu ziņojumus,
10:52
the 10,000-page-lapu long documentsdokumentiem that have
205
637087
3046
10 000 lappušu garos dokumentus, kuros
10:56
the bestlabākais possibleiespējams renditionpārsūtīšana of the informationinformācija,
206
640133
3600
ir vislietderīgākā informācija,
10:59
they were told they weren'tnebija allowedatļauts to have them.
207
643733
2888
tika paziņots, ka viņiem nav atļaujas tiem piekļūt.
11:02
And if you want to readlasīt the fullpilna correspondencesarakste
208
646621
2683
Ja vēlaties izlasīt visu saraksti
11:05
and the excusesattaisnojumi and the explanationspaskaidrojumi givendots by the drugzāles companyuzņēmums,
209
649304
3290
un zāļu kompānijas sniegtos attaisnojumus un paskaidrojumus,
11:08
you can see that writtenrakstīts up in this week'snedēļas editionizdevums
210
652594
2717
jūs varat tos izlasīt šīs nedēļas
11:11
of PLOSPLOS MedicineMedicīna.
211
655311
4367
„PLOS Medicine” izdevumā.
11:15
And the mostlielākā daļa staggeringgrīļodamies thing of all of this, to me,
212
659678
3859
Pats satriecošākais tajā visā man šķiet tas,
11:19
is that not only is this a problemproblēma, not only do we recognizeatpazīt
213
663537
3299
ka tā ne tikai ir problēma, ne tikai mēs šo problēmu atzīstam,
11:22
that this is a problemproblēma, but we'vemēs esam had to suffercieš fakeviltus fixeslabojumi.
214
666836
4195
bet tas, ka mums ir nācies ciest no viltus risinājumiem.
11:26
We'veMēs esam had people pretendizlikties that this is a problemproblēma that's been fixedfiksēts.
215
671031
3058
Cilvēki ir izlikušies, ka tā ir problēma, kas tikusi atrisināta.
11:29
First of all, we had trialsizmēģinājumi registersreģistrē, and everybodyvisi said,
216
674089
2188
Pirmkārt, ir ieviesti klīnisko pētījumu reģistri, un visi teica:
11:32
oh, it's okay. We'llPavisam drīz mēs get everyonevisi to registerreģistrēties theirviņu trialsizmēģinājumi, they'llviņi būs postpasts the protocolprotokols,
217
676277
3603
„Būs jau labi. Mēs panāksim, ka visi reģistrēs savus pētījumus, publicēs to protokolus,
11:35
they'llviņi būs say what they're going to do before they do it,
218
679880
2024
informēs par savām darbībām pirms to veikšanas,
11:37
and then afterwardspēc tam we'llmēs būsim be ablespējīgs to checkpārbaudīt and see if all the trialsizmēģinājumi whichkas
219
681904
2121
un pēc tam mēs varēsim pārbaudīt, vai visi pētījumi, kas
11:39
have been conductedveikts and completedpabeigts have been publishedpublicēts.
220
684025
2468
ir veikti un pabeigti, ir publicēti.”
11:42
But people didn't botherapgrūtinājums to use those registersreģistrē.
221
686493
2196
Taču cilvēki nepūlējās izmantot šos reģistrus.
11:44
And so then the InternationalInternational CommitteeKomiteja of MedicalMedicīnas JournalŽurnāls EditorsRedaktore camenāca alongkopā,
222
688689
2619
Tādēļ talkā nāca Starptautiskā medicīnas žurnālu redaktoru komiteja,
11:47
and they said, oh, well, we will holdturiet the linelīnija.
223
691308
1543
un viņi teica: „Mēs noturēsim fronti.
11:48
We won'tnebūs publishpublicēt any journalsŽurnāli, we won'tnebūs publishpublicēt any trialsizmēģinājumi,
224
692851
2633
Mēs nepublicēsim nevienu žurnālu, nepublicēsim nevienu pētījumu,
11:51
unlessja vien they'veviņi esam been registeredreģistrēts before they begansākās.
225
695484
2682
ja tas nav reģistrēts pirms tā uzsākšanas.”
11:54
But they didn't holdturiet the linelīnija. In 2008, a studypētījums was conductedveikts
226
698166
3531
Taču viņi nenoturēja fronti. 2008. gadā tika veikts pētījums,
11:57
whichkas showedparādīja that halfpuse of all of trialsizmēģinājumi publishedpublicēts by journalsŽurnāli
227
701697
3015
kas parādīja, ka puse no visiem pētījumiem, ko publicējuši žurnāli,
12:00
editedlabots by membersbiedri of the ICMJEICMJE
228
704712
2667
kuru redaktori ir ICMJE biedri,
12:03
weren'tnebija properlypareizi registeredreģistrēts, and a quarterceturksni of them weren'tnebija registeredreģistrēts at all.
229
707379
4813
nebija pareizi reģistrēti un ceturtdaļa no tiem vispār nebija reģistrēti.
12:08
And then finallybeidzot, the FDAFDA AmendmentGrozījums Nr. ActAkts was passedpagājis
230
712192
2801
Tad beidzot pirms pāris gadiem tika apstiprināts FDA Labojumu akts,
12:10
a couplepāris of yearsgadiem agopirms sayingsakot that everybodyvisi who conductsveic
231
714993
2349
kas noteica, ka visiem, kas veic
12:13
a trializmēģinājums mustjābūt postpasts the resultsrezultātus of that trializmēģinājums withiniekšpusē one yeargads.
232
717342
3443
pētījumu, gada laikā jāpublicē tā rezultāti.
12:16
And in the BMJBMJ, in the first editionizdevums of JanuaryJanvāris, 2012,
233
720785
4096
BMJ 2012. gada janvāra pirmajā izdevumā
12:20
you can see a studypētījums whichkas looksizskatās to see if people kepttur
234
724881
2704
ir redzams pētījums, kas aplūko, vai cilvēki ir ievērojuši
12:23
to that rulingnolēmumu, and it turnspagriežas out that only one in fivepieci
235
727585
3719
šo likumu, izrādās, ka tikai katrs piektais
12:27
have donepabeigts so.
236
731304
2864
to ir darījis.
12:30
This is a disasterkatastrofa.
237
734168
3283
Tā ir katastrofa.
12:33
We cannotnevar know the truetaisnība effectsefekti of the medicineszāļu
238
737451
3564
Mēs nevaram zināt zāļu patieso iedarbību,
12:36
that we prescribenoteikt if we do not have accesspiekļuvi
239
741015
3216
kuras mēs izrakstam, ja mums nav pieejama
12:40
to all of the informationinformācija.
240
744231
3180
visa informācija.
12:43
And this is not a difficultgrūti problemproblēma to fixlabot.
241
747411
3959
Šo problēmu nav grūti atrisināt.
12:47
We need to forcespēks people to publishpublicēt all trialsizmēģinājumi
242
751370
5128
Mums jāpiespiež cilvēki publicēt visus pētījumus,
12:52
conductedveikts in humanscilvēki, includingtostarp the oldervecāki trialsizmēģinājumi,
243
756498
2971
kas veikti par cilvēkiem, tostarp arī vecākus pētījumus,
12:55
because the FDAFDA AmendmentGrozījums Nr. ActAkts only asksjautā that you publishpublicēt the trialsizmēģinājumi conductedveikts after 2008,
244
759469
3945
jo FDA Labojumu akts pieprasa publicēt tikai pētījumus, kas veikti pēc 2008. gada,
12:59
and I don't know what worldpasaule it is in whichkas we're only
245
763414
2613
es nezinu, kas tā ir par pasauli, kurā mēs
13:01
practicingpraktizē medicinezāles on the basispamats of trialsizmēģinājumi that completedpabeigts in the pastpagātne two yearsgadiem.
246
766027
4456
praktizējam medicīnu pamatojoties tikai uz pētījumiem, kas veikti pēdējos divos gados.
13:06
We need to publishpublicēt all trialsizmēģinājumi in humanscilvēki,
247
770483
2105
Ir jāpublicē visi pētījumi par cilvēkiem,
13:08
includingtostarp the oldervecāki trialsizmēģinājumi, for all drugsnarkotikas in currentstrāva use,
248
772588
3074
tostarp vecākie pētījumi par visām šobrīd izmantotajām zālēm,
13:11
and you need to tell everyonevisi you know
249
775662
2916
un jums ir jāstāsta visiem, kurus pazīstat,
13:14
that this is a problemproblēma and that it has not been fixedfiksēts.
250
778578
3442
ka tā ir problēma un ka tā nav tikusi atrisināta.
13:17
Thank you very much. (ApplauseAplausi)
251
782020
2951
Liels paldies. (Aplausi)
13:20
(ApplauseAplausi)
252
784971
3273
(Aplausi)
Translated by Katrina Rutka
Reviewed by Kristaps Kadiķis

▲Back to top

ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee