ABOUT THE SPEAKER
Peter Donnelly - Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom.

Why you should listen

Peter Donnelly applies statistical methods to real-world problems, ranging from DNA analysis (for criminal trials), to the treatment of genetic disorders. A mathematician who collaborates with biologists, he specializes in applying probability and statistics to the field of genetics, in hopes of shedding light on evolutionary history and the structure of the human genome.

The Australian-born, Oxford-based mathematician is best known for his work in molecular evolution (tracing the roots of human existence to their earliest origins using the mutation rates of mitochondrial DNA). He studies genetic distributions in living populations to trace human evolutionary history -- an approach that informs research in evolutionary biology, as well as medical treatment for genetic disorders. Donnelly is a key player in the International HapMap Project, an ongoing international effort to model human genetic variation and pinpoint the genes responsible for specific aspects of health and disease; its implications for disease prevention and treatment are vast.

He's also a leading expert on DNA analysis and the use of forensic science in criminal trials; he's an outspoken advocate for bringing sensible statistical analysis into the courtroom. Donnelly leads Oxford University's Mathematical Genetics Group, which conducts research in genetic modeling, human evolutionary history, and forensic DNA profiling. He is also serves as Director of the Wellcome Trust Centre for Human Genetics at Oxford University, which explores the genetic relationships to disease and illness. 

More profile about the speaker
Peter Donnelly | Speaker | TED.com
TEDGlobal 2005

Peter Donnelly: How juries are fooled by statistics

Peter Donnely pokazuje, jak statystyki oszukują przysięgłych

Filmed:
1,279,860 views

Peter Donnelly, matematyk Uniwersytetu Oksfordzkiego, demaskuje najczęstsze błędy popełniane przy interpretowaniu statystyk oraz ich zgubny wpływ na wyroki w sprawach karnych.
- Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom. Full bio

Double-click the English transcript below to play the video.

00:25
As other speakersgłośniki have said, it's a ratherraczej dauntingzniechęcające experiencedoświadczenie --
0
0
2000
Jak zauważyli moi przedmówcy, występowanie tu
00:27
a particularlyszczególnie dauntingzniechęcające experiencedoświadczenie -- to be speakingmówienie in frontz przodu of this audiencepubliczność.
1
2000
3000
jest wyjątkowo onieśmielające.
00:30
But unlikew odróżnieniu the other speakersgłośniki, I'm not going to tell you about
2
5000
3000
Jednak w przeciwieństwie do nich nie będę mówił
00:33
the mysteriesarkana of the universewszechświat, or the wonderscuda of evolutionewolucja,
3
8000
2000
o tajemnicach wszechświata, cudach ewolucji
00:35
or the really cleversprytny, innovativeinnowacyjne wayssposoby people are attackingnapadający
4
10000
4000
czy naprawdę mądrych, innowacyjnych sposobach
00:39
the majorpoważny inequalitiesnierówności in our worldświat.
5
14000
2000
zwalczania nierówności na świecie.
00:41
Or even the challengeswyzwania of nation-statespaństwa narodowe in the modernnowoczesny globalświatowy economygospodarka.
6
16000
5000
Ani nawet o wyzwaniach globalnej gospodarki.
00:46
My briefkrótki, as you've just heardsłyszał, is to tell you about statisticsStatystyka --
7
21000
4000
Moim zadaniem, jest mówienie o statystyce.
00:50
and, to be more preciseprecyzyjny, to tell you some excitingekscytujący things about statisticsStatystyka.
8
25000
3000
A dokładniej, mówienie rzeczy ekscytujących. Jest to...
00:53
And that's --
9
28000
1000
A dokładniej, mówienie rzeczy ekscytujących. Jest to...
00:54
(LaughterŚmiech)
10
29000
1000
(Śmiech)
00:55
-- that's ratherraczej more challengingtrudne
11
30000
2000
... trochę większe wyzwanie niż innych mówców.
00:57
than all the speakersgłośniki before me and all the oneste comingprzyjście after me.
12
32000
2000
... trochę większe wyzwanie niż innych mówców.
00:59
(LaughterŚmiech)
13
34000
1000
(Śmiech)
01:01
One of my seniorsenior colleagueskoledzy told me, when I was a youngstermłodzik in this professionzawód,
14
36000
5000
Gdy zaczynałem w tej profesji, starszy kolega powiedział mi,
01:06
ratherraczej proudlydumnie, that statisticiansstatystycy were people who likedlubiany figuresfigury
15
41000
4000
dosyć dumnie, że statystycy to ludzie, którzy lubią liczby,
01:10
but didn't have the personalityosobowość skillsumiejętności to becomestają się accountantsksięgowi.
16
45000
3000
ale brakuje im obejścia, aby zostać księgowymi.
01:13
(LaughterŚmiech)
17
48000
2000
(Śmiech)
01:15
And there's anotherinne in-jokew żart amongpośród statisticiansstatystycy, and that's,
18
50000
3000
Krąży jeszcze inny żart:
01:18
"How do you tell the introvertedzamknięty w sobie statisticianstatystyk from the extrovertedekstrawertyczne statisticianstatystyk?"
19
53000
3000
„Jak odróżnić statystyka-introwertyka od statystyka-ekstrawertyka?”
01:21
To whichktóry the answerodpowiedź is,
20
56000
2000
„Jak odróżnić statystyka-introwertyka od statystyka-ekstrawertyka?”
01:23
"The extrovertedekstrawertyczne statistician'sstatystyka the one who lookswygląda at the other person'sosoby shoesbuty."
21
58000
5000
„Statystyk-ekstrawertyk wpatruje się buty innej osoby.” (Śmiech)
01:28
(LaughterŚmiech)
22
63000
3000
„Statystyk-ekstrawertyk wpatruje się buty innej osoby.” (Śmiech)
01:31
But I want to tell you something usefulprzydatny -- and here it is, so concentratekoncentrować now.
23
66000
5000
Powiem wam coś ważnego, więc się skupcie.
01:36
This eveningwieczór, there's a receptionrecepcja in the University'sUczelni MuseumMuzeum of NaturalNaturalne HistoryHistoria.
24
71000
3000
W Muzeum Historii Naturalnej było przyjęcie.
01:39
And it's a wonderfulwspaniale settingoprawa, as I hopenadzieja you'llTy będziesz find,
25
74000
2000
To przepiękne miejsce,
01:41
and a great iconIkona to the bestNajlepiej of the VictorianWiktoriański traditiontradycja.
26
76000
5000
ikona najlepszych tradycji wiktoriańskich.
01:46
It's very unlikelymało prawdopodobne -- in this specialspecjalny settingoprawa, and this collectionkolekcja of people --
27
81000
5000
W tym wyjątkowym miejscu i towarzystwie
01:51
but you mightmoc just find yourselfsiebie talkingmówić to someonektoś you'dty byś ratherraczej wishżyczenie that you weren'tnie były.
28
86000
3000
możecie spotkać ludzi z którymi nie chcecie rozmawiać.
01:54
So here'soto jest what you do.
29
89000
2000
Oto co powinniście zrobić.
01:56
When they say to you, "What do you do?" -- you say, "I'm a statisticianstatystyk."
30
91000
4000
Na pytanie o zawód odpowiedzcie: „Jestem statystykiem.” (Śmiech)
02:00
(LaughterŚmiech)
31
95000
1000
Na pytanie o zawód odpowiedzcie: „Jestem statystykiem.” (Śmiech)
02:01
Well, exceptz wyjątkiem they'veoni been pre-warneduprzedzony now, and they'lloni to zrobią know you're makingzrobienie it up.
32
96000
4000
Nikt prócz nas nie będzie wiedział, że blefujecie.
02:05
And then one of two things will happenzdarzyć.
33
100000
2000
Spotkacie się z dwiema możliwymi reakcjami.
02:07
They'llBędą eitherzarówno discoverodkryć theirich long-lostdawno zaginiony cousinkuzyn in the other cornerkąt of the roompokój
34
102000
2000
Rozmówca odkryje kuzyna na drugim końcu sali i się oddali.
02:09
and runbiegać over and talk to them.
35
104000
2000
Rozmówca odkryje kuzyna na drugim końcu sali i się oddali.
02:11
Or they'lloni to zrobią suddenlynagle becomestają się parchedspieczony and/or hungrygłodny -- and oftenczęsto bothobie --
36
106000
3000
Lub nagle poczuje się głodny i spragniony
02:14
and sprintsprint off for a drinkdrink and some foodjedzenie.
37
109000
2000
więc pobiegnie po coś do picia czy jedzenia,
02:16
And you'llTy będziesz be left in peacepokój to talk to the personosoba you really want to talk to.
38
111000
4000
uwalniając was od swojego towarzystwa.
02:20
It's one of the challengeswyzwania in our professionzawód to try and explainwyjaśniać what we do.
39
115000
3000
Wyjaśnienie czym zajmują się statystycy jest wyzwaniem.
02:23
We're not topTop on people'sludzie listslisty for dinnerobiad partyprzyjęcie guestsgoście and conversationsrozmowy and so on.
40
118000
5000
Nie królujemy na listach gości i towarzyszy rozmowy.
02:28
And it's something I've never really founduznany a good way of doing.
41
123000
2000
Nigdy nie byłem dobry w pogawędkach.
02:30
But my wifeżona -- who was then my girlfrienddziewczyna --
42
125000
3000
Mojej żonie, wtedy jeszcze mojej dziewczynie,
02:33
managedzarządzane it much better than I've ever been ablezdolny to.
43
128000
3000
wychodziło to znacznie lepiej.
02:36
ManyWiele yearslat agotemu, when we first startedRozpoczęty going out, she was workingpracujący for the BBCBBC in BritainWielkiej Brytanii,
44
131000
3000
Lata temu pracowała dla BBC w Wielkiej Brytanii,
02:39
and I was, at that stageetap, workingpracujący in AmericaAmeryka.
45
134000
2000
a ja w tym czasie pracowałem w Ameryce
02:41
I was comingprzyjście back to visitodwiedzić her.
46
136000
2000
i przyjeżdżałem ją odwiedzać.
02:43
She told this to one of her colleagueskoledzy, who said, "Well, what does your boyfriendchłopak do?"
47
138000
6000
Zapytana kim zajmuje się jej chłopak,
02:49
SarahSarah thought quitecałkiem hardciężko about the things I'd explainedwyjaśnione --
48
144000
2000
pomyślała o rzeczach, które jej wyjaśniałem,
02:51
and she concentratedstężony, in those daysdni, on listeningsłuchający.
49
146000
4000
a wtedy jeszcze skupiała się na słuchaniu...
02:55
(LaughterŚmiech)
50
150000
2000
(Śmiech)
02:58
Don't tell her I said that.
51
153000
2000
Tylko tego nie powtórzcie.
03:00
And she was thinkingmyślący about the work I did developingrozwijanie mathematicalmatematyczny modelsmodele
52
155000
4000
Pomyślała o rozwijaniu modeli matematycznych
03:04
for understandingzrozumienie evolutionewolucja and modernnowoczesny geneticsgenetyka.
53
159000
3000
opisujących ewolucję i współczesną genetykę,
03:07
So when her colleaguekolega said, "What does he do?"
54
162000
3000
więc na to pytanie po krótkim zawahaniu
03:10
She pausedwstrzymano and said, "He modelsmodele things."
55
165000
4000
odpowiedziała: „Modelowaniem.”
03:14
(LaughterŚmiech)
56
169000
1000
(Śmiech)
03:15
Well, her colleaguekolega suddenlynagle got much more interestedzainteresowany than I had any right to expectoczekiwać
57
170000
4000
Nagle jej znajomy zainteresował się dużo bardziej
03:19
and wentposzedł on and said, "What does he modelModel?"
58
174000
3000
i pytał dalej: „A co modeluje?”
03:22
Well, SarahSarah thought a little bitkawałek more about my work and said, "GenesGeny."
59
177000
3000
Na to Sarah odpowiedziała: „Geny.”
03:25
(LaughterŚmiech)
60
180000
4000
(Śmiech)
03:29
"He modelsmodele genesgeny."
61
184000
2000
„Modeluje geny.”
03:31
That is my first love, and that's what I'll tell you a little bitkawałek about.
62
186000
4000
To była moja pierwsza miłość, dlatego o niej opowiem.
03:35
What I want to do more generallyogólnie is to get you thinkingmyślący about
63
190000
4000
Chcę abyście zastanowili się nad rolą
03:39
the placemiejsce of uncertaintyniepewność and randomnesslosowość and chanceszansa in our worldświat,
64
194000
3000
niepewności, losowości i przypadku w naszym świecie,
03:42
and how we reactreagować to that, and how well we do or don't think about it.
65
197000
5000
i nad tym, jak na nie reagujemy i kiedy je rozważamy.
03:47
So you've had a prettyładny easyłatwo time up tilldo now --
66
202000
2000
Jak dotąd było w miarę przyjemnie...
03:49
a fewkilka laughsśmiech, and all that kinduprzejmy of thing -- in the talksrozmowy to datedata.
67
204000
2000
Trochę śmiechu i takie tam. Teraz konkrety.
03:51
You've got to think, and I'm going to askzapytać you some questionspytania.
68
206000
3000
Zadam Wam kilka pytań więc ruszcie głowami.
03:54
So here'soto jest the scenescena for the first questionpytanie I'm going to askzapytać you.
69
209000
2000
Wyobraźcie sobie rzucanie monetą raz za razem.
03:56
Can you imaginewyobrażać sobie tossingpodrzucanie a coinmoneta successivelysukcesywnie?
70
211000
3000
Wyobraźcie sobie rzucanie monetą raz za razem.
03:59
And for some reasonpowód -- whichktóry shallpowinien remainpozostawać ratherraczej vagueniejasny --
71
214000
3000
Z pewnego powodu, którego teraz nie wyjaśnię,
04:02
we're interestedzainteresowany in a particularszczególny patternwzór.
72
217000
2000
poszukamy konkretnej sekwencji.
04:04
Here'sTutaj jest one -- a headgłowa, followedśledzić by a tailogon, followedśledzić by a tailogon.
73
219000
3000
Reszka, po niej orzeł i drugi orzeł.
04:07
So supposeprzypuszczać we tosspodrzucenie a coinmoneta repeatedlywielokrotnie.
74
222000
3000
Załóżmy, że rzucamy monetą wielokrotnie.
04:10
Then the patternwzór, head-tail-tailogon-ogon, that we'vemamy suddenlynagle becomestają się fixatednaprawione with happensdzieje się here.
75
225000
5000
Wzór reszka-orzeł-orzeł występuje tutaj.
04:15
And you can countliczyć: one, two, threetrzy, fourcztery, fivepięć, sixsześć, sevensiedem, eightosiem, ninedziewięć, 10 --
76
230000
4000
Liczymy: 1, 2, 3, 4, 5, 6, 7, 8, 9 i dziesięć.
04:19
it happensdzieje się after the 10thth tosspodrzucenie.
77
234000
2000
Po dziesiątym rzucie.
04:21
So you mightmoc think there are more interestingciekawy things to do, but humorhumor me for the momentza chwilę.
78
236000
3000
Zastanawiacie się po co to robimy, ale wytrzymajcie jeszcze chwilę.
04:24
ImagineWyobraź sobie this halfpół of the audiencepubliczność eachkażdy get out coinsmonety, and they tosspodrzucenie them
79
239000
4000
Wyobraźmy sobie, że połowa sali rzuca monetami
04:28
untilaż do they first see the patternwzór head-tail-tailogon-ogon.
80
243000
3000
aż po raz pierwszy wypadnie reszka-orzeł-orzeł.
04:31
The first time they do it, maybe it happensdzieje się after the 10thth tosspodrzucenie, as here.
81
246000
2000
Może to być po dziesiątym rzucie.
04:33
The seconddruga time, maybe it's after the fourthczwarty tosspodrzucenie.
82
248000
2000
Może po drugim, a może po czwartym.
04:35
The nextNastępny time, after the 15thth tosspodrzucenie.
83
250000
2000
Innym razem może po piętnastym.
04:37
So you do that lots and lots of timesczasy, and you averageśredni those numbersliczby.
84
252000
3000
Po wielokrotnych rzutach uśredniamy wyniki.
04:40
That's what I want this sidebok to think about.
85
255000
3000
Chcę żebyście pomyśleli właśnie o tym.
04:43
The other halfpół of the audiencepubliczność doesn't like head-tail-tailogon-ogon --
86
258000
2000
Druga część sali nie lubi sekwencji reszka-orzeł-orzeł.
04:45
they think, for deepgłęboki culturalkulturalny reasonspowody, that's boringnudny --
87
260000
3000
Ich kultura utrzymuje, że jest nudna,
04:48
and they're much more interestedzainteresowany in a differentróżne patternwzór -- head-tail-headgłowa-głowa.
88
263000
3000
interesuje ich inny wzór - reszka-orzeł-reszka.
04:51
So, on this sidebok, you get out your coinsmonety, and you tosspodrzucenie and tosspodrzucenie and tosspodrzucenie.
89
266000
3000
Po tej stronie bierzecie monety i rzucacie.
04:54
And you countliczyć the numbernumer of timesczasy untilaż do the patternwzór head-tail-headgłowa-głowa appearspojawia się
90
269000
3000
Liczycie ilość rzutów, aż do wzoru reszka-orzeł-reszka
04:57
and you averageśredni them. OK?
91
272000
3000
i obliczacie średnią. Dobrze?
05:00
So on this sidebok, you've got a numbernumer --
92
275000
2000
Po wielokrotnych rzutach
05:02
you've doneGotowe it lots of timesczasy, so you get it accuratelydokładnie --
93
277000
2000
macie dokładną średnią rzutów
05:04
whichktóry is the averageśredni numbernumer of tossespodrzucać untilaż do head-tail-tailogon-ogon.
94
279000
3000
do wystąpienia wzoru reszka-orzeł-orzeł
05:07
On this sidebok, you've got a numbernumer -- the averageśredni numbernumer of tossespodrzucać untilaż do head-tail-headgłowa-głowa.
95
282000
4000
To samo robimy dla wzoru reszka-orzeł-reszka.
05:11
So here'soto jest a deepgłęboki mathematicalmatematyczny factfakt --
96
286000
2000
Istnieje matematyczna prawda:
05:13
if you've got two numbersliczby, one of threetrzy things mustmusi be trueprawdziwe.
97
288000
3000
przy dwóch liczbach, są trzy możliwości.
05:16
EitherAlbo they're the samepodobnie, or this one'sswoje biggerwiększy than this one,
98
291000
3000
Są takie same, pierwsza jest większa od drugiej lub na odwrót.
05:19
or this one'sswoje biggerwiększy than that one.
99
294000
1000
Są takie same, pierwsza jest większa od drugiej lub na odwrót.
05:20
So what's going on here?
100
295000
3000
A w naszym przypadku?
05:23
So you've all got to think about this, and you've all got to votegłosować --
101
298000
2000
Pomyślcie o tym przez chwilę i zagłosujemy.
05:25
and we're not movingw ruchu on.
102
300000
1000
Nie widać postępu.
05:26
And I don't want to endkoniec up in the two-minutedwie minuty silencecisza
103
301000
2000
Wolałbym uniknąć dwuminutowej ciszy,
05:28
to give you more time to think about it, untilaż do everyone'swszyscy expressedwyrażone a viewwidok. OK.
104
303000
4000
Każdy wyrazi swoją opinię.
05:32
So what you want to do is compareporównać the averageśredni numbernumer of tossespodrzucać untilaż do we first see
105
307000
4000
Chcemy porównać średnią liczbę rzutów dla wzorów
05:36
head-tail-headgłowa-głowa with the averageśredni numbernumer of tossespodrzucać untilaż do we first see head-tail-tailogon-ogon.
106
311000
4000
reszka-orzeł-reszka z reszka-orzeł-orzeł.
05:41
Who thinksmyśli that A is trueprawdziwe --
107
316000
2000
Kto myśli, że A jest prawdziwe?
05:43
that, on averageśredni, it'llbędzie take longerdłużej to see head-tail-headgłowa-głowa than head-tail-tailogon-ogon?
108
318000
4000
Tzn, że R-O-R wypada później niż R-O-O.
05:47
Who thinksmyśli that B is trueprawdziwe -- that on averageśredni, they're the samepodobnie?
109
322000
3000
B: średnio wypadają po jednakowej liczbie rzutów?
05:51
Who thinksmyśli that C is trueprawdziwe -- that, on averageśredni, it'llbędzie take lessmniej time
110
326000
2000
C: średnio R-O-R wypada wcześniej niż R-O-O?
05:53
to see head-tail-headgłowa-głowa than head-tail-tailogon-ogon?
111
328000
3000
C: średnio R-O-R wypada wcześniej niż R-O-O?
05:57
OK, who hasn'tnie ma votedgłosowało yetjeszcze? Because that's really naughtyniegrzeczny -- I said you had to.
112
332000
3000
Kto się wstrzymał? To nieładnie - przecież powiedziałem, że musicie.
06:00
(LaughterŚmiech)
113
335000
1000
(Śmiech)
06:02
OK. So mostwiększość people think B is trueprawdziwe.
114
337000
3000
Większość uważa, że prawdziwe jest B.
06:05
And you mightmoc be relievedulżyło to know even ratherraczej distinguishedwybitny mathematiciansmatematycy think that.
115
340000
3000
Nawet dosyć znani matematycy tak myślą.
06:08
It's not. A is trueprawdziwe here.
116
343000
4000
Ale to nie prawda, prawdziwe jest A.
06:12
It takes longerdłużej, on averageśredni.
117
347000
2000
Średnio wzór R-O-R wypada później,
06:14
In factfakt, the averageśredni numbernumer of tossespodrzucać tilldo head-tail-headgłowa-głowa is 10
118
349000
2000
według faktycznych wyliczeń po 10 rzutach,
06:16
and the averageśredni numbernumer of tossespodrzucać untilaż do head-tail-tailogon-ogon is eightosiem.
119
351000
5000
zaś R-O-O wypada średnio po 8 rzutach.
06:21
How could that be?
120
356000
2000
Jak to możliwe?
06:24
Anything differentróżne about the two patternswzorce?
121
359000
3000
Czy te dwa wzory jakoś się różnią?
06:30
There is. Head-tail-headGłowa ogon głowy overlapspokrywa się itselfsamo.
122
365000
5000
Właśnie tak: R-O-R nakłada się na siebie.
06:35
If you wentposzedł head-tail-head-tail-headgłowa-ogon-głowa-głowa, you can cunninglysprytnie get two occurrenceswystąpienia
123
370000
4000
Wyrzucając R-O-R-O-R w sprytny sposób otrzymamy
06:39
of the patternwzór in only fivepięć tossespodrzucać.
124
374000
3000
dwa razy żądaną sekwencję w zaledwie pięciu rzutach.
06:42
You can't do that with head-tail-tailogon-ogon.
125
377000
2000
W przypadku R-O-O to niemożliwe,
06:44
That turnsskręca out to be importantważny.
126
379000
2000
co okazuje się dosyć istotne.
06:46
There are two wayssposoby of thinkingmyślący about this.
127
381000
2000
Można zrozumieć to na dwa sposoby.
06:48
I'll give you one of them.
128
383000
2000
Przedstawię jeden z nich.
06:50
So imaginewyobrażać sobie -- let's supposeprzypuszczać we're doing it.
129
385000
2000
Wyobraźcie sobie, że naprawdę rzucamy monetą.
06:52
On this sidebok -- rememberZapamiętaj, you're excitedpodekscytowany about head-tail-tailogon-ogon;
130
387000
2000
Po tej stronie - wypatrujecie R-O-O,
06:54
you're excitedpodekscytowany about head-tail-headgłowa-głowa.
131
389000
2000
po drugiej - R-O-R
06:56
We startpoczątek tossingpodrzucanie a coinmoneta, and we get a headgłowa --
132
391000
3000
Zaczynamy rzucanie monetą i wypada reszka
06:59
and you startpoczątek sittingposiedzenie on the edgekrawędź of your seatsiedzenie
133
394000
1000
i wy zaczynacie być podekscytowani,
07:00
because something great and wonderfulwspaniale, or awesomeniesamowite, mightmoc be about to happenzdarzyć.
134
395000
5000
bo może zaraz zdarzy się coś fantastycznego.
07:05
The nextNastępny tosspodrzucenie is a tailogon -- you get really excitedpodekscytowany.
135
400000
2000
Następny rzut - orzełek, emocje.
07:07
The champagne'sszampana on icelód just nextNastępny to you; you've got the glassesokulary chilledschłodzony to celebrateświętować.
136
402000
4000
Już wstawiacie szampana do lodu.
07:11
You're waitingczekanie with batedNienawidzę breathoddech for the finalfinał tosspodrzucenie.
137
406000
2000
Czekacie na ostatni rzut.
07:13
And if it comespochodzi down a headgłowa, that's great.
138
408000
2000
I jeśli wypadnie reszka, to świetnie.
07:15
You're doneGotowe, and you celebrateświętować.
139
410000
2000
Udało się, możecie świętować.
07:17
If it's a tailogon -- well, ratherraczej disappointedlyrozczarowany, you put the glassesokulary away
140
412000
2000
Jeśli wypadnie orzełek
07:19
and put the champagneszampan back.
141
414000
2000
szampan wraca do lodówki.
07:21
And you keep tossingpodrzucanie, to wait for the nextNastępny headgłowa, to get excitedpodekscytowany.
142
416000
3000
Rzucacie dalej w oczekiwaniu na kolejną reszkę.
07:25
On this sidebok, there's a differentróżne experiencedoświadczenie.
143
420000
2000
Doświadczenia po tej stronie są inne.
07:27
It's the samepodobnie for the first two partsCzęści of the sequencesekwencja.
144
422000
3000
Pierwsze dwa elementy sekwencji przeżywacie podobnie:
07:30
You're a little bitkawałek excitedpodekscytowany with the first headgłowa --
145
425000
2000
podekscytowanie przy pierwszej reszce,
07:32
you get ratherraczej more excitedpodekscytowany with the nextNastępny tailogon.
146
427000
2000
trochę większe przy orzełku.
07:34
Then you tosspodrzucenie the coinmoneta.
147
429000
2000
Potem rzucacie monetą.
07:36
If it's a tailogon, you crackpęknięcie openotwarty the champagneszampan.
148
431000
3000
Jeśli wypadnie orzełek, otwieracie szampana.
07:39
If it's a headgłowa you're disappointedrozczarowany,
149
434000
2000
Jeśli reszka, jesteście zawiedzeni,
07:41
but you're still a thirdtrzeci of the way to your patternwzór again.
150
436000
3000
ale znowu jesteście na dobrej drodze.
07:44
And that's an informalnieformalny way of presentingprzedstawianie it -- that's why there's a differenceróżnica.
151
439000
4000
Na tym właśnie polega różnica.
07:48
AnotherInnym way of thinkingmyślący about it --
152
443000
2000
Podchodząc inaczej:
07:50
if we tossedrzucony a coinmoneta eightosiem millionmilion timesczasy,
153
445000
2000
jeśli rzucimy monetą 8 milionów razy,
07:52
then we'dpoślubić expectoczekiwać a millionmilion head-tail-headsgłówki głów
154
447000
2000
będziemy spodziewać się, że R-O-R wypadnie milion razy,
07:54
and a millionmilion head-tail-tailsgłowa-ogon-ogon -- but the head-tail-headsgłówki głów could occurpojawić się in clumpskępy.
155
449000
7000
i tak samo R-O-O - jednak sekwencje R-O-R mogą występować w grupach.
08:01
So if you want to put a millionmilion things down amongstwśród eightosiem millionmilion positionspozycje
156
456000
2000
Więc chcąc wyznaczyć milion sekwencji z 8 milionów pozycji,
08:03
and you can have some of them overlappingnakładanie się, the clumpskępy will be furtherdalej apartniezależnie.
157
458000
5000
z których niektóre nakładają się na siebie, grupy sekwencji będą
08:08
It's anotherinne way of gettinguzyskiwanie the intuitionintuicja.
158
463000
2000
bardziej oddalone od siebie.
08:10
What's the pointpunkt I want to make?
159
465000
2000
Co chcę przez to powiedzieć?
08:12
It's a very, very simpleprosty exampleprzykład, an easilyz łatwością statedstwierdził questionpytanie in probabilityprawdopodobieństwo,
160
467000
4000
To był prosty przykład, proste pytanie z prawdopodobieństwa,
08:16
whichktóry everykażdy -- you're in good companyfirma -- everybodywszyscy getsdostaje wrongźle.
161
471000
3000
na które każdy podaje złą odpowiedź.
08:19
This is my little diversiondywersja into my realreal passionpasja, whichktóry is geneticsgenetyka.
162
474000
4000
Z tej dygresji przejdźmy do mojej pasji - genetyki.
08:23
There's a connectionpołączenie betweenpomiędzy head-tail-headsgłówki głów and head-tail-tailsgłowa-ogon-ogon in geneticsgenetyka,
163
478000
3000
Nasz eksperyment ma coś wspólnego z genetyką,
08:26
and it's the followingnastępujący.
164
481000
3000
mianowicie podczas rzucania monetą
08:29
When you tosspodrzucenie a coinmoneta, you get a sequencesekwencja of headsgłowy and tailsogony.
165
484000
3000
otrzymujemy sekwencję reszek lub orzełków.
08:32
When you look at DNADNA, there's a sequencesekwencja of not two things -- headsgłowy and tailsogony --
166
487000
3000
W DNA, widzimy sekwencję nie dwóch elementów
08:35
but fourcztery letterslisty -- As, GsGS, CsCS and TsTS.
167
490000
3000
ale czterech liter -- A, G, C i T.
08:38
And there are little chemicalchemiczny scissorsnożyczki, callednazywa restrictionograniczenie enzymesenzymy
168
493000
3000
Istnieją chemiczne nożyczki, zwane enzymami restrykcyjnymi,
08:41
whichktóry cutciąć DNADNA wheneverkiedy tylko they see particularszczególny patternswzorce.
169
496000
2000
które przcinają DNA po pewnych sekwencjach.
08:43
And they're an enormouslyogromnie usefulprzydatny toolnarzędzie in modernnowoczesny molecularmolekularny biologybiologia.
170
498000
4000
To narzędzie przydatne w nowoczesnej biologii molekularnej.
08:48
And insteadzamiast of askingpytając the questionpytanie, "How long untilaż do I see a head-tail-headgłowa-głowa?" --
171
503000
3000
Zamiast pytać: "Po ilu rzutach wypadnie R-O-R?"
08:51
you can askzapytać, "How bigduży will the chunksKawałki be when I use a restrictionograniczenie enzymeenzym
172
506000
3000
pytamy: "Jak duże otrzymam kawałki, gdy użyję enzymu,
08:54
whichktóry cutscięcia wheneverkiedy tylko it seeswidzi G-A-A-GG-A-A-G, for exampleprzykład?
173
509000
4000
który tnie gdy zobaczy sekwencję G-A-A-G?
08:58
How long will those chunksKawałki be?"
174
513000
2000
Jak długie będą te kawałki?"
09:00
That's a ratherraczej trivialtrywialny connectionpołączenie betweenpomiędzy probabilityprawdopodobieństwo and geneticsgenetyka.
175
515000
5000
To trywialny związek pomiędzy prawdopodobieństwem i genetyką.
09:05
There's a much deepergłębiej connectionpołączenie, whichktóry I don't have time to go into
176
520000
3000
Istnieje też głębszy na który nie mamy czasu,
09:08
and that is that modernnowoczesny geneticsgenetyka is a really excitingekscytujący areapowierzchnia of sciencenauka.
177
523000
3000
a który czyni z genetyki ekscytujące pole do badań.
09:11
And we'lldobrze hearsłyszeć some talksrozmowy laterpóźniej in the conferencekonferencja specificallykonkretnie about that.
178
526000
4000
W dalszej części konferencji będą prezentacje na ten właśnie temat.
09:15
But it turnsskręca out that unlockingodblokowywanie the secretstajniki in the informationInformacja generatedwygenerowany by modernnowoczesny
179
530000
4000
Wyjaśnianie sekretów ukrytych w danych generowanych
09:19
experimentaleksperymentalny technologiestechnologie, a keyklawisz partczęść of that has to do with fairlydość sophisticatedwyrafinowany --
180
534000
5000
przez technologie badawcze wiąże się z użyciem zaawansowanego...
09:24
you'llTy będziesz be relievedulżyło to know that I do something usefulprzydatny in my day jobpraca,
181
539000
3000
Ulży wam, że na co dzień robię coś pożytecznego,
09:27
ratherraczej more sophisticatedwyrafinowany than the head-tail-headgłowa-głowa storyfabuła --
182
542000
2000
i bardziej skomplikowanego niż rzucanie monetą...
09:29
but quitecałkiem sophisticatedwyrafinowany computerkomputer modelingsmodelowanie and mathematicalmatematyczny modelingsmodelowanie
183
544000
4000
Używam modelowania komputerowego i matematycznego
09:33
and modernnowoczesny statisticalstatystyczny techniquestechniki.
184
548000
2000
oraz nowoczesnej statystki.
09:35
And I will give you two little snippetssnippets -- two examplesprzykłady --
185
550000
3000
Przedstawię dwa przykłady projektów,
09:38
of projectsprojektowanie we're involvedzaangażowany in in my groupGrupa in OxfordOxford,
186
553000
3000
w które angażuje się mój zespół w Oksfordzie,
09:41
bothobie of whichktóry I think are ratherraczej excitingekscytujący.
187
556000
2000
a które uważam za dosyć interesujące.
09:43
You know about the HumanCzłowieka GenomeGenomu ProjectProjektu.
188
558000
2000
Znacie projekt poznania ludzkiego genomu.
09:45
That was a projectprojekt whichktóry aimedwymierzony to readczytać one copyKopiuj of the humanczłowiek genomegenom.
189
560000
4000
Miał na celu odkodowanie ludzkiego genomu jednego człowieka.
09:51
The naturalnaturalny thing to do after you've doneGotowe that --
190
566000
2000
W następnej kolejności naturalnym było
09:53
and that's what this projectprojekt, the InternationalInternational HapMapHapMap ProjectProjektu,
191
568000
2000
rozpoczęcie International HapMap Project,
09:55
whichktóry is a collaborationwspółpraca betweenpomiędzy labslaboratoria in fivepięć or sixsześć differentróżne countrieskraje.
192
570000
5000
w którym uczestniczą laboratoria w 5-6 krajach.
10:00
Think of the HumanCzłowieka GenomeGenomu ProjectProjektu as learninguczenie się what we'vemamy got in commonpospolity,
193
575000
4000
Projekt odczytania ludzkiego genomu miał odkryć, co nas łączy,
10:04
and the HapMapHapMap ProjectProjektu is tryingpróbować to understandzrozumieć
194
579000
2000
natomiast projekt HapMap Projec to próba zrozumienia,
10:06
where there are differencesróżnice betweenpomiędzy differentróżne people.
195
581000
2000
skąd się biorą różnice pomiędzy ludźmi.
10:08
Why do we careopieka about that?
196
583000
2000
Dlaczego miałoby to nas obchodzić?
10:10
Well, there are lots of reasonspowody.
197
585000
2000
Cóż, istnieje wiele powodów.
10:12
The mostwiększość pressingpilny one is that we want to understandzrozumieć how some differencesróżnice
198
587000
4000
Najbardziej palący z nich to zrozumienie, jak niektóre różnice
10:16
make some people susceptiblepodatny to one diseasechoroba -- type-rodzaj-2 diabetescukrzyca, for exampleprzykład --
199
591000
4000
wpływają na większą podatność na cukrzyce,
10:20
and other differencesróżnice make people more susceptiblepodatny to heartserce diseasechoroba,
200
595000
5000
zaś inne czynią ludzi bardziej podatnymi na choroby serca,
10:25
or strokeuderzenie, or autismautyzm and so on.
201
600000
2000
wylewy, autyzm i tym podobne.
10:27
That's one bigduży projectprojekt.
202
602000
2000
To jeden poważny projekt.
10:29
There's a seconddruga bigduży projectprojekt,
203
604000
2000
Kolejny duży projekt,
10:31
recentlyostatnio fundedfinansowane by the WellcomeWellcome TrustZaufania in this countrykraj,
204
606000
2000
niedawno sfinansowany z funduszy Wellcome Trust,
10:33
involvingangażujące very largeduży studiesstudia --
205
608000
2000
obejmuje szeroko zakrojone badania.
10:35
thousandstysiące of individualsosoby prywatne, with eachkażdy of eightosiem differentróżne diseaseschoroby,
206
610000
3000
Tysiące osób z każdą z ośmiu różnych chorób,
10:38
commonpospolity diseaseschoroby like type-rodzaj-1 and type-rodzaj-2 diabetescukrzyca, and coronarywieńcowy heartserce diseasechoroba,
207
613000
4000
takich jak cukrzyca typu 1 lub 2, niedokrwienie serca, depresja.
10:42
bipolardwubiegunowy diseasechoroba and so on -- to try and understandzrozumieć the geneticsgenetyka.
208
617000
4000
Sprawdzamy jakie jest ich podłoże biologiczne.
10:46
To try and understandzrozumieć what it is about geneticgenetyczny differencesróżnice that causesprzyczyny the diseaseschoroby.
209
621000
3000
Sprawdzamy czy różnice genetyczne są przyczyną tych problemów.
10:49
Why do we want to do that?
210
624000
2000
Dlaczego właśnie geny?
10:51
Because we understandzrozumieć very little about mostwiększość humanczłowiek diseaseschoroby.
211
626000
3000
Ponieważ niewiele rozumiemy o ludzkich chorobach.
10:54
We don't know what causesprzyczyny them.
212
629000
2000
Nie znamy ich dokładnych przyczyn.
10:56
And if we can get in at the bottomDolny and understandzrozumieć the geneticsgenetyka,
213
631000
2000
Jeśli udałoby się zrozumieć genetykę,
10:58
we'lldobrze have a windowokno on the way the diseasechoroba worksPrace,
214
633000
3000
mielibyśmy wgląd w to, jak działają choroby.
11:01
and a wholecały newNowy way about thinkingmyślący about diseasechoroba therapiesterapie
215
636000
2000
Otwarłyby się nowe drogi myślenia o leczeniu,
11:03
and preventativeprewencyjny treatmentleczenie and so on.
216
638000
3000
profilaktyce i tak dalej.
11:06
So that's, as I said, the little diversiondywersja on my mainGłówny love.
217
641000
3000
To taka dygresja o mojej największej miłości.
11:09
Back to some of the more mundanedoczesny issuesproblemy of thinkingmyślący about uncertaintyniepewność.
218
644000
5000
Wracając do bardziej przyziemnych kwestii myślenia o niepewności.
11:14
Here'sTutaj jest anotherinne quizkartkówka for you --
219
649000
2000
Przypuśćmy, że dostaliście test na pewną chorobę,
11:16
now supposeprzypuszczać we'vemamy got a testtest for a diseasechoroba
220
651000
2000
przypuśćmy, że dostaliście test na pewną chorobę,
11:18
whichktóry isn't infalliblenieomylny, but it's prettyładny good.
221
653000
2000
który jest całkiem niezły, choć nie doskonały.
11:20
It getsdostaje it right 99 percentprocent of the time.
222
655000
3000
Daje prawidłowe wyniki w 99% przypadków.
11:23
And I take one of you, or I take someonektoś off the streetulica,
223
658000
3000
Wybieram kogoś stąd i kogoś z ulicy
11:26
and I testtest them for the diseasechoroba in questionpytanie.
224
661000
2000
i sprawdzam za pomocą tego testu.
11:28
Let's supposeprzypuszczać there's a testtest for HIVHIV -- the viruswirus that causesprzyczyny AIDSAIDS --
225
663000
4000
Przypuśćmy, że to test na obecność wirusa HIV, wywołującego AIDS.
11:32
and the testtest saysmówi the personosoba has the diseasechoroba.
226
667000
3000
Test pokazuje, że wybrana osoba jest chora.
11:35
What's the chanceszansa that they do?
227
670000
3000
Jakie jest prawdopodobieństwo, że tak jest naprawdę?
11:38
The testtest getsdostaje it right 99 percentprocent of the time.
228
673000
2000
Test daje prawidłowy wynik w 99% przypadków,
11:40
So a naturalnaturalny answerodpowiedź is 99 percentprocent.
229
675000
4000
więc naturalna odpowiedź do 99%.
11:44
Who likeslubi that answerodpowiedź?
230
679000
2000
Kto jest za?
11:46
Come on -- everyone'swszyscy got to get involvedzaangażowany.
231
681000
1000
No dalej - każdy musi zagłosować.
11:47
Don't think you don't trustzaufanie me anymorejuż.
232
682000
2000
Nie myślcie, że nie można mi już ufać.
11:49
(LaughterŚmiech)
233
684000
1000
(Śmiech)
11:50
Well, you're right to be a bitkawałek skepticalsceptyczny, because that's not the answerodpowiedź.
234
685000
3000
Możecie być sceptyczni, bo to nie tak.
11:53
That's what you mightmoc think.
235
688000
2000
Oto, co możecie myśleć.
11:55
It's not the answerodpowiedź, and it's not because it's only partczęść of the storyfabuła.
236
690000
3000
To zła odpowiedź, ponieważ to tylko część całej historii.
11:58
It actuallytak właściwie dependszależy on how commonpospolity or how rarerzadko spotykany the diseasechoroba is.
237
693000
3000
Odpowiedź zależy od tego, jak częsta jest dana choroba.
12:01
So let me try and illustratezilustrować that.
238
696000
2000
Spróbuję to zilustrować.
12:03
Here'sTutaj jest a little caricaturekarykatura of a millionmilion individualsosoby prywatne.
239
698000
4000
Oto karykatura miliona osób.
12:07
So let's think about a diseasechoroba that affectsma wpływ --
240
702000
3000
Pomyślmy o chorobie, która jest dosyć rzadka
12:10
it's prettyładny rarerzadko spotykany, it affectsma wpływ one personosoba in 10,000.
241
705000
2000
i występuje u jednej osoby na 10 tysięcy.
12:12
AmongstWśród these millionmilion individualsosoby prywatne, mostwiększość of them are healthyzdrowy
242
707000
3000
Większość z tego miliona osób jest zdrowa,
12:15
and some of them will have the diseasechoroba.
243
710000
2000
zaś niektórzy są chorzy.
12:17
And in factfakt, if this is the prevalencerozpowszechnienie of the diseasechoroba,
244
712000
3000
Przy takiej częstotliwości występowania około 100 osób
12:20
about 100 will have the diseasechoroba and the restodpoczynek won'tprzyzwyczajenie.
245
715000
3000
będzie chorych, a reszta nie.
12:23
So now supposeprzypuszczać we testtest them all.
246
718000
2000
Przypuśćmy, że wszystkich poddamy testowi.
12:25
What happensdzieje się?
247
720000
2000
Co się okazuje?
12:27
Well, amongstwśród the 100 who do have the diseasechoroba,
248
722000
2000
Pomiędzy 100 chorymi osobami
12:29
the testtest will get it right 99 percentprocent of the time, and 99 will testtest positivepozytywny.
249
724000
5000
99 otrzyma pozytywny wynik - 99%.
12:34
AmongstWśród all these other people who don't have the diseasechoroba,
250
729000
2000
Pomiędzy tymi wszystkimi, którzy nie są chorzy,
12:36
the testtest will get it right 99 percentprocent of the time.
251
731000
3000
test poda prawidłową diagnozę w 99% przypadków,
12:39
It'llBędzie to only get it wrongźle one percentprocent of the time.
252
734000
2000
zaś błędną przy zaledwie 1%.
12:41
But there are so manywiele of them that there'lltam będzie be an enormousogromny numbernumer of falsefałszywy positivespozytywy.
253
736000
4000
Jednak badana grupa jest tak duża, że liczba błędnych wyników będzie znaczna.
12:45
Put that anotherinne way --
254
740000
2000
Jednak badana grupa jest tak duża, że liczba błędnych wyników będzie znaczna.
12:47
of all of them who testtest positivepozytywny -- so here they are, the individualsosoby prywatne involvedzaangażowany --
255
742000
5000
Ze wszystkich, którzy otrzymają pozytywny wynik
12:52
lessmniej than one in 100 actuallytak właściwie have the diseasechoroba.
256
747000
5000
mniej niż jeden na 100 będzie naprawdę chory.
12:57
So even thoughchociaż we think the testtest is accuratedokładny, the importantważny partczęść of the storyfabuła is
257
752000
4000
Nawet jeśli sądzimy, że test jest dokładny, nadal brakuje nam
13:01
there's anotherinne bitkawałek of informationInformacja we need.
258
756000
3000
istotnej części informacji.
13:04
Here'sTutaj jest the keyklawisz intuitionintuicja.
259
759000
2000
Oto kluczowa intuicja.
13:07
What we have to do, oncepewnego razu we know the testtest is positivepozytywny,
260
762000
3000
Gdy już wiemy, że wynik testu jest pozytywny,
13:10
is to weighważyć up the plausibilityprawdopodobieństwo, or the likelihoodprawdopodobieństwo, of two competingkonkurowanie explanationswyjaśnienia.
261
765000
6000
musimy porównać prawdopodobieństwo dwóch możliwych wyjaśnień.
13:16
EachKażdy of those explanationswyjaśnienia has a likelyprawdopodobne bitkawałek and an unlikelymało prawdopodobne bitkawałek.
262
771000
3000
Każde z nich ma prawdopodobną część i mało prawdopodobną część.
13:19
One explanationwyjaśnienie is that the personosoba doesn't have the diseasechoroba --
263
774000
3000
Jedno wyjaśnienie jest takie, że dana osoba nie jest chora -
13:22
that's overwhelminglyprzemożnie likelyprawdopodobne, if you pickwybierać someonektoś at randomlosowy --
264
777000
3000
co jest prawdopodobne, jeśli została wybrana losowo -
13:25
but the testtest getsdostaje it wrongźle, whichktóry is unlikelymało prawdopodobne.
265
780000
3000
tylko test podał nieprawidłowy wynik, co jest mało prawdopodobne.
13:29
The other explanationwyjaśnienie is that the personosoba does have the diseasechoroba -- that's unlikelymało prawdopodobne --
266
784000
3000
Albo: dana osoba jest chora - co jest mało prawdopodobne -
13:32
but the testtest getsdostaje it right, whichktóry is likelyprawdopodobne.
267
787000
3000
i test podaje prawidłowy wynik, co jest bardzo prawdopodobne.
13:35
And the numbernumer we endkoniec up with --
268
790000
2000
Liczba, którą na końcu otrzymujemy --
13:37
that numbernumer whichktóry is a little bitkawałek lessmniej than one in 100 --
269
792000
3000
ta trochę mniejsza niż jeden na 100 -
13:40
is to do with how likelyprawdopodobne one of those explanationswyjaśnienia is relativekrewny to the other.
270
795000
6000
zależy od tego, które z tych wyjaśnień jest bardziej prawdopodobne.
13:46
EachKażdy of them takenwzięty togetherRazem is unlikelymało prawdopodobne.
271
801000
2000
Każde z nich razem jest dość mało prawdopodobne.
13:49
Here'sTutaj jest a more topicalaktualny exampleprzykład of exactlydokładnie the samepodobnie thing.
272
804000
3000
Pokażę teraz ten same problem.
13:52
Those of you in BritainWielkiej Brytanii will know about what's becomestają się ratherraczej a celebratedsłynny casewalizka
273
807000
4000
Mieszkając w Wielkiej Brytanii można było usłyszeć o sprawie
13:56
of a womankobieta callednazywa SallySally ClarkClark, who had two babiesdzieci who diedzmarły suddenlynagle.
274
811000
5000
Sally Clark, matki dwojga dzieci, które nagle zmarły.
14:01
And initiallypoczątkowo, it was thought that they diedzmarły of what's knownznany informallynieprzepisowo as "cotłóżko składane deathśmierć,"
275
816000
4000
Początkowo za przyczynę uznano
14:05
and more formallyformalnie as "SuddenNagłe InfantNiemowlę DeathŚmierć SyndromeZespół."
276
820000
3000
zespół nagłej śmierci łóżeczkowej.
14:08
For variousróżnorodny reasonspowody, she was laterpóźniej chargednaładowany with murdermorderstwo.
277
823000
2000
Potem oskarżono ją o morderstwo.
14:10
And at the trialpróba, her trialpróba, a very distinguishedwybitny pediatricianpediatra gavedał evidencedowód
278
825000
4000
Podczas rozprawy znany pediatra powiedział,
14:14
that the chanceszansa of two cotłóżko składane deathsśmierci, innocentniewinny deathsśmierci, in a familyrodzina like hersjej --
279
829000
5000
że tutaj prawdopodobieństwo dwóch zgonów z tego samego powodu,
14:19
whichktóry was professionalprofesjonalny and non-smokingnie palący -- was one in 73 millionmilion.
280
834000
6000
w dobrze wykształconej i niepalącej rodzinie wynosi 1 do 73 milionów.
14:26
To cutciąć a long storyfabuła shortkrótki, she was convictedskazany at the time.
281
841000
3000
Pani Clark została wtedy uznana za winną.
14:29
LaterPóźniej, and fairlydość recentlyostatnio, acquitteduniewinniony on appealapel -- in factfakt, on the seconddruga appealapel.
282
844000
5000
Niedawno została uniewinniona w wyniku drugiej apelacji.
14:34
And just to setzestaw it in contextkontekst, you can imaginewyobrażać sobie how awfulstraszny it is for someonektoś
283
849000
4000
Możecie sobie wyobrazić, jak okropna musi być
14:38
to have lostStracony one childdziecko, and then two, if they're innocentniewinny,
284
853000
3000
utrata dwojga dzieci i niesłuszne
14:41
to be convictedskazany of murderingmordowanie them.
285
856000
2000
oskarżenie o ich zamordowanie,
14:43
To be put throughprzez the stressnaprężenie of the trialpróba, convictedskazany of murderingmordowanie them --
286
858000
2000
przejście przez piekło rozpraw
14:45
and to spendwydać time in a women'skobiet prisonwięzienie, where all the other prisonerswięźniowie
287
860000
3000
i odsiadka w więzieniu dla kobiet,
14:48
think you killedzabity your childrendzieci -- is a really awfulstraszny thing to happenzdarzyć to someonektoś.
288
863000
5000
gdzie skazane myślą, że zabiłaś swoje dzieci.
14:53
And it happenedstało się in largeduży partczęść here because the expertekspert got the statisticsStatystyka
289
868000
5000
Wszystko dlatego, że eksperci zinterpretowali statystki
14:58
horriblypotwornie wrongźle, in two differentróżne wayssposoby.
290
873000
3000
nieprawidłowo, z dwóch rożnych powodów.
15:01
So where did he get the one in 73 millionmilion numbernumer?
291
876000
4000
Skąd pediatra wziął 1 na 73 miliony?
15:05
He lookedspojrzał at some researchBadania, whichktóry said the chanceszansa of one cotłóżko składane deathśmierć in a familyrodzina
292
880000
3000
Popatrzył na badania gdzie to prawdopodobnieństwo
15:08
like SallySally Clark'sClark is about one in 8,500.
293
883000
5000
w rodzinie typu pani Clark wynosi 1 na 8 i pół tysiąca.
15:13
So he said, "I'll assumezałożyć that if you have one cotłóżko składane deathśmierć in a familyrodzina,
294
888000
4000
Założył, że jeśli wystąpił jeden zgon, to prawdopodobieństwo
15:17
the chanceszansa of a seconddruga childdziecko dyingumierający from cotłóżko składane deathśmierć aren'tnie są changedzmienione."
295
892000
4000
śmierci drugiego dziecka jest takie samo jak pierwszego.
15:21
So that's what statisticiansstatystycy would call an assumptionzałożenie of independenceniezależność.
296
896000
3000
To założenie niezależności zdarzeń.
15:24
It's like sayingpowiedzenie, "If you tosspodrzucenie a coinmoneta and get a headgłowa the first time,
297
899000
2000
To stwierdzić, przy rzucaniu monetą,
15:26
that won'tprzyzwyczajenie affectoddziaływać the chanceszansa of gettinguzyskiwanie a headgłowa the seconddruga time."
298
901000
3000
że pierwszy wynik nie wpływa na prawdopodobieństwo następnego.
15:29
So if you tosspodrzucenie a coinmoneta twicedwa razy, the chanceszansa of gettinguzyskiwanie a headgłowa twicedwa razy are a halfpół --
299
904000
5000
Prawdopodobieństwo wyrzucenia dwóch reszek pod rząd to 1/2 razy 1/2,
15:34
that's the chanceszansa the first time -- timesczasy a halfpół -- the chanceszansa a seconddruga time.
300
909000
3000
Prawdopodobieństwo wypadnięcia pierwszej reszki razy drugiej.
15:37
So he said, "Here,
301
912000
2000
Ten lekarz powiedział: „Załóżmy,
15:39
I'll assumezałożyć that these eventswydarzenia are independentniezależny.
302
914000
4000
że te wydarzenia są niezależne.
15:43
When you multiplyzwielokrotniać 8,500 togetherRazem twicedwa razy,
303
918000
2000
Mnożąc 8500 razy 8500
15:45
you get about 73 millionmilion."
304
920000
2000
otrzymujemy około 73 miliony."
15:47
And noneŻaden of this was statedstwierdził to the courtSąd as an assumptionzałożenie
305
922000
2000
Założenie to nie było przedstawione sędziom,
15:49
or presentedprzedstawione to the juryjury that way.
306
924000
2000
ani wyjaśnione ławie przysięgłych.
15:52
UnfortunatelyNiestety here -- and, really, regrettablyniestety --
307
927000
3000
Niestety w takich sytuacjach jak ta
15:55
first of all, in a situationsytuacja like this you'dty byś have to verifyzweryfikować it empiricallyempirycznie.
308
930000
4000
konieczna jest, po pierwsze, weryfikacja empiryczna.
15:59
And secondlypo drugie, it's palpablynamacalnie falsefałszywy.
309
934000
2000
Po drugie, założenie to jest po prostu błędne.
16:02
There are lots and lots of things that we don't know about suddennagły infantDziecko deathsśmierci.
310
937000
5000
Nie wiemy wszystkiego o nagłej śmierci łóżeczkowej.
16:07
It mightmoc well be that there are environmentalśrodowiskowy factorsczynniki that we're not awareświadomy of,
311
942000
3000
Możemy być nieświadomi wpływu czynników środowiskowych
16:10
and it's prettyładny likelyprawdopodobne to be the casewalizka that there are
312
945000
2000
i jest bardzo prawdopodobne, że istnieją
16:12
geneticgenetyczny factorsczynniki we're not awareświadomy of.
313
947000
2000
czynniki genetyczne, których nie znamy.
16:14
So if a familyrodzina sufferscierpi from one cotłóżko składane deathśmierć, you'dty byś put them in a high-riskwysokie ryzyko groupGrupa.
314
949000
3000
Jeśli w rodzinie wystąpi jedna śmierć łóżeczkowa, może być ona w grupie ryzyka.
16:17
They'veThey've probablyprawdopodobnie got these environmentalśrodowiskowy riskryzyko factorsczynniki
315
952000
2000
Działały tam czynniki środowiskowe
16:19
and/or geneticgenetyczny riskryzyko factorsczynniki we don't know about.
316
954000
3000
lub genetyczne, o których nie wiemy.
16:22
And to arguespierać się, then, that the chanceszansa of a seconddruga deathśmierć is as if you didn't know
317
957000
3000
Argumentowanie, że prawdopodobieństwo drugiej śmierci jest takie,
16:25
that informationInformacja is really sillygłupi.
318
960000
3000
jak byśmy nie wiedzieli o pierwszej, jest niedorzeczne. To błąd.
16:28
It's worsegorzej than sillygłupi -- it's really badzły sciencenauka.
319
963000
4000
jak byśmy nie wiedzieli o pierwszej, jest niedorzeczne. To błąd.
16:32
NonethelessNiemniej jednak, that's how it was presentedprzedstawione, and at trialpróba nobodynikt even arguedargumentował it.
320
967000
5000
Tak to zostało przedstawione i nikt się nie sprzeciwił.
16:37
That's the first problemproblem.
321
972000
2000
To pierwszy problem.
16:39
The seconddruga problemproblem is, what does the numbernumer of one in 73 millionmilion mean?
322
974000
4000
Drugi problem to to, co oznacza 1 na 73 miliony?
16:43
So after SallySally ClarkClark was convictedskazany --
323
978000
2000
Po skazaniu Sally Clark
16:45
you can imaginewyobrażać sobie, it madezrobiony ratherraczej a splashpluśnięcie in the pressnaciśnij --
324
980000
4000
jej sprawa trafiła na pierwsze strony gazet,
16:49
one of the journalistsdziennikarze from one of Britain'sW Wielkiej Brytanii more reputablerenomowany newspapersgazety wrotenapisał that
325
984000
7000
jeden z dziennikarzy z dobrej gazety napisał,
16:56
what the expertekspert had said was,
326
991000
2000
że według eksperta,
16:58
"The chanceszansa that she was innocentniewinny was one in 73 millionmilion."
327
993000
5000
"Prawdopodobieństwo, że była niewinna wynosiło 1 do 73 milionów."
17:03
Now, that's a logicallogiczny errorbłąd.
328
998000
2000
To jest poważny błąd logiczny.
17:05
It's exactlydokładnie the samepodobnie logicallogiczny errorbłąd as the logicallogiczny errorbłąd of thinkingmyślący that
329
1000000
3000
Taki sam, jak myśleć, że po teście na daną chorobę,
17:08
after the diseasechoroba testtest, whichktóry is 99 percentprocent accuratedokładny,
330
1003000
2000
który ma 99% skuteczności,
17:10
the chanceszansa of havingmający the diseasechoroba is 99 percentprocent.
331
1005000
4000
prawdopodobieństwo bycia chorym wynosi 99%.
17:14
In the diseasechoroba exampleprzykład, we had to bearNiedźwiedź in mindumysł two things,
332
1009000
4000
W przypadku testu musimy wziąć pod uwagę dwie rzeczy.
17:18
one of whichktóry was the possibilitymożliwość that the testtest got it right or not.
333
1013000
4000
Prawdopodobieństwo, że wynik testu był prawidłowy
17:22
And the other one was the chanceszansa, a prioripriori, that the personosoba had the diseasechoroba or not.
334
1017000
4000
i prawdopodobieństwo bycia chorym a priori.
17:26
It's exactlydokładnie the samepodobnie in this contextkontekst.
335
1021000
3000
W sprawie Sally Clark chodziło o to samo.
17:29
There are two things involvedzaangażowany -- two partsCzęści to the explanationwyjaśnienie.
336
1024000
4000
Istnieją dwa czynniki - dwie części wyjaśnienia.
17:33
We want to know how likelyprawdopodobne, or relativelystosunkowo how likelyprawdopodobne, two differentróżne explanationswyjaśnienia are.
337
1028000
4000
Jak prawdopodobne, są te dwa różne wyjaśnienia?
17:37
One of them is that SallySally ClarkClark was innocentniewinny --
338
1032000
3000
Jedno mówi, że Sally Clark była niewinna
17:40
whichktóry is, a prioripriori, overwhelminglyprzemożnie likelyprawdopodobne --
339
1035000
2000
i to a priori jest bardzo prawdopodobne,
17:42
mostwiększość mothersmatki don't killzabić theirich childrendzieci.
340
1037000
3000
większość matek nie zabija swoich dzieci.
17:45
And the seconddruga partczęść of the explanationwyjaśnienie
341
1040000
2000
Drugie możliwe wyjaśnienie mówi,
17:47
is that she sufferedcierpiał an incrediblyniewiarygodnie unlikelymało prawdopodobne eventzdarzenie.
342
1042000
3000
że przydarzyło się jej nieprawdopodobne zdarzenie.
17:50
Not as unlikelymało prawdopodobne as one in 73 millionmilion, but nonethelessniemniej jednak ratherraczej unlikelymało prawdopodobne.
343
1045000
4000
Wcale nie 1/73 mln, ale nadal mało prawdopodobne.
17:54
The other explanationwyjaśnienie is that she was guiltywinny.
344
1049000
2000
Mogła też być winna.
17:56
Now, we probablyprawdopodobnie think a prioripriori that's unlikelymało prawdopodobne.
345
1051000
2000
Tutaj uznamy je pewnie a priori za mało prawdopodobne.
17:58
And we certainlyna pewno should think in the contextkontekst of a criminalkryminalista trialpróba
346
1053000
3000
Powinniśmy tak myśleć szczególnie w kontekście rozprawy sądowej
18:01
that that's unlikelymało prawdopodobne, because of the presumptiondomniemanie of innocenceniewinność.
347
1056000
3000
ze względu na zasadę domniemania niewinności.
18:04
And then if she were tryingpróbować to killzabić the childrendzieci, she succeededudało się.
348
1059000
4000
I jeszcze, jeśli Clark próbowała zabić dzieci, udało jej się.
18:08
So the chanceszansa that she's innocentniewinny isn't one in 73 millionmilion.
349
1063000
4000
Wtedy prawdopodobieństwo, że jest niewinna, nie wynosi wcale 1/73 miliona.
18:12
We don't know what it is.
350
1067000
2000
Nie wiemy, ile wynosi.
18:14
It has to do with weighingważenie up the strengthwytrzymałość of the other evidencedowód againstprzeciwko her
351
1069000
4000
Należałoby porównać moc innych dowodów przeciwko niej
18:18
and the statisticalstatystyczny evidencedowód.
352
1073000
2000
plus dane statystyczne.
18:20
We know the childrendzieci diedzmarły.
353
1075000
2000
Wiemy, że dzieci zmarły.
18:22
What matterssprawy is how likelyprawdopodobne or unlikelymało prawdopodobne, relativekrewny to eachkażdy other,
354
1077000
4000
Istotnym jest, jak bardzo prawdopodobne lub nie są względem siebie
18:26
the two explanationswyjaśnienia are.
355
1081000
2000
dwa różne wyjaśnienia.
18:28
And they're bothobie implausiblenieprawdopodobne.
356
1083000
2000
Obydwa są mało prawdopodobne.
18:31
There's a situationsytuacja where errorsbłędy in statisticsStatystyka had really profoundgłęboki
357
1086000
4000
W tej sytuacji błędy w statystyce miały naprawdę
18:35
and really unfortunateniefortunny consequenceskonsekwencje.
358
1090000
3000
ogromne i przykre konsekwencje.
18:38
In factfakt, there are two other womenkobiety who were convictedskazany on the basispodstawa of the
359
1093000
2000
Dwie inne kobiety też zostały skazane na podstawie
18:40
evidencedowód of this pediatricianpediatra, who have subsequentlynastępnie been releasedwydany on appealapel.
360
1095000
4000
dowodów tego pediatry - po apelacji je uniewinniono.
18:44
ManyWiele casesprzypadki were reviewedrecenzja.
361
1099000
2000
Wiele wyroków zostało zmienionych.
18:46
And it's particularlyszczególnie topicalaktualny because he's currentlyobecnie facingokładzina a disreputezła reputacja chargeopłata
362
1101000
4000
Lekarz ten został oskarżony o kompromitację profesji
18:50
at Britain'sW Wielkiej Brytanii GeneralOgólne MedicalMedyczne CouncilRady.
363
1105000
3000
przez Brytyjską Naczelną Radę Lekarską.
18:53
So just to concludewyciągnąć wniosek -- what are the take-homezabrać do domu messageswiadomości from this?
364
1108000
4000
Jakie wnioski powinniśmy z tego wyciągnąć?
18:57
Well, we know that randomnesslosowość and uncertaintyniepewność and chanceszansa
365
1112000
4000
Losowość, niepewność i prawdopodobieństwo
19:01
are very much a partczęść of our everydaycodziennie life.
366
1116000
3000
odgrywają znaczną rolę w naszym życiu.
19:04
It's alsorównież trueprawdziwe -- and, althoughmimo że, you, as a collectivekolektyw, are very specialspecjalny in manywiele wayssposoby,
367
1119000
5000
Jako grupa jesteście z wielu względów wyjątkowi,
19:09
you're completelycałkowicie typicaltypowy in not gettinguzyskiwanie the examplesprzykłady I gavedał right.
368
1124000
4000
nie podaliście jednak prawidłowych odpowiedzi na moje przykłady.
19:13
It's very well documentedudokumentowane that people get things wrongźle.
369
1128000
3000
Błędne wnioskowanie w tym zakresie jest typowe.
19:16
They make errorsbłędy of logiclogika in reasoningrozumowanie with uncertaintyniepewność.
370
1131000
3000
Obcując z niepewnością popełniamy błędy logiczne.
19:20
We can copesprostać with the subtletiessubtelności of languagejęzyk brilliantlybłyszcząco --
371
1135000
2000
Doskonale radzimy sobie z językiem
19:22
and there are interestingciekawy evolutionaryewolucyjny questionspytania about how we got here.
372
1137000
3000
i ewolucja ciekawie wyjaśnia jak to się stało.
19:25
We are not good at reasoningrozumowanie with uncertaintyniepewność.
373
1140000
3000
Jednak słabo radzimy sobie z niepewnością.
19:28
That's an issuekwestia in our everydaycodziennie liveszyje.
374
1143000
2000
To problem życia codziennego.
19:30
As you've heardsłyszał from manywiele of the talksrozmowy, statisticsStatystyka underpinsunderpins an enormousogromny amountilość
375
1145000
3000
Na statystyce opiera się ogromna ilość
19:33
of researchBadania in sciencenauka -- in socialspołeczny sciencenauka, in medicinelekarstwo
376
1148000
3000
badań naukowych (w socjologii, medycynie)
19:36
and indeedw rzeczy samej, quitecałkiem a lot of industryprzemysł.
377
1151000
2000
i wiele sektorów przemysłowych.
19:38
All of qualityjakość controlkontrola, whichktóry has had a majorpoważny impactwpływ on industrialprzemysłowy processingprzetwarzanie,
378
1153000
4000
Kontrola jakości, która wpłynęła na produkcję przemysłową,
19:42
is underpinnedPodparte by statisticsStatystyka.
379
1157000
2000
opiera się na statystyce.
19:44
It's something we're badzły at doing.
380
1159000
2000
A to z nią sobie nie radzimy.
19:46
At the very leastnajmniej, we should recognizerozpoznać that, and we tendzmierzać not to.
381
1161000
3000
Powinniśmy to sobie uświadomić.
19:49
To go back to the legalprawny contextkontekst, at the SallySally ClarkClark trialpróba
382
1164000
4000
Na rozprawie Sally Clark
19:53
all of the lawyersprawnicy just acceptedprzyjęty what the expertekspert said.
383
1168000
4000
wszyscy zaakceptowali słowa eksperta.
19:57
So if a pediatricianpediatra had come out and said to a juryjury,
384
1172000
2000
Jeśli pediatra powiedziałby ławie przysięgłych:
19:59
"I know how to buildbudować bridgesmosty. I've builtwybudowany one down the roadDroga.
385
1174000
3000
"Umiem budować mosty. Postawiłem jeden na tej drodze.
20:02
Please drivenapęd your carsamochód home over it,"
386
1177000
2000
Proszę przejechać przez niego w drodze do domu"
20:04
they would have said, "Well, pediatricianspediatrzy don't know how to buildbudować bridgesmosty.
387
1179000
2000
większość byłaby sceptyczna,
20:06
That's what engineersinżynierowie do."
388
1181000
2000
bo to zadanie dla inżyniera.
20:08
On the other handdłoń, he cameoprawa ołowiana witrażu out and effectivelyfaktycznie said, or impliedukryty,
389
1183000
3000
Ten sam lekarz zasugerował,
20:11
"I know how to reasonpowód with uncertaintyniepewność. I know how to do statisticsStatystyka."
390
1186000
3000
że zna się na statystyce
20:14
And everyonekażdy said, "Well, that's fine. He's an expertekspert."
391
1189000
3000
a wszyscy przyklasnęli: "Dobrze. Jest ekspertem."
20:17
So we need to understandzrozumieć where our competencekompetencja is and isn't.
392
1192000
3000
Musimy wiedzieć, co potrafimy, a czego nie.
20:20
ExactlyDokładnie the samepodobnie kindsrodzaje of issuesproblemy arosepowstały in the earlywcześnie daysdni of DNADNA profilingprofilowy,
393
1195000
4000
Podobnie było we wczesnych dniach analizowania DNA,
20:24
when scientistsnaukowcy, and lawyersprawnicy and in some casesprzypadki judgessędziowie,
394
1199000
4000
gdy naukowcy, prawnicy, a czasem i sędziowie,
20:28
routinelyrutynowo misrepresentedfałszywie przedstawiane evidencedowód.
395
1203000
3000
notorycznie błędnie interpretowali materiał dowodowy.
20:32
UsuallyZazwyczaj -- one hopesnadzieje -- innocentlyniewinnie, but misrepresentedfałszywie przedstawiane evidencedowód.
396
1207000
3000
Zazwyczaj nieświadomie, ale jednak błędnie.
20:35
ForensicKryminalistycznych scientistsnaukowcy said, "The chanceszansa that this guy'sfaceta innocentniewinny is one in threetrzy millionmilion."
397
1210000
5000
Eksperci medycyny sądowej mówili: "Szansa, że jest niewinny wynosi 1 do 3 mln."
20:40
Even if you believe the numbernumer, just like the 73 millionmilion to one,
398
1215000
2000
Nawet jeśli ufa się tym wyliczeniom
20:42
that's not what it meantOznaczało.
399
1217000
2000
to ich znaczenie jest całkiem inne.
20:44
And there have been celebratedsłynny appealapel casesprzypadki
400
1219000
2000
Z tego powodu w Wielkiej Brytanii i innych krajach
20:46
in BritainWielkiej Brytanii and elsewheregdzie indziej because of that.
401
1221000
2000
było wiele uniewinnień.
20:48
And just to finishkoniec in the contextkontekst of the legalprawny systemsystem.
402
1223000
3000
W kontekście prawniczym łatwo powiedzieć
20:51
It's all very well to say, "Let's do our bestNajlepiej to presentteraźniejszość the evidencedowód."
403
1226000
4000
"Zróbmy co w naszej mocy, aby przedstawić dowody."
20:55
But more and more, in casesprzypadki of DNADNA profilingprofilowy -- this is anotherinne one --
404
1230000
3000
Jednak w sprawach wymagających ustalenia profilu DNA
20:58
we expectoczekiwać juriesjury, who are ordinaryzwykły people --
405
1233000
3000
oczekujemy od ław sędziowskich, normalnych ludzi,
21:01
and it's documentedudokumentowane they're very badzły at this --
406
1236000
2000
tego z czym sobie dobrze nie radzą,
21:03
we expectoczekiwać juriesjury to be ablezdolny to copesprostać with the sortssortuje of reasoningrozumowanie that goesidzie on.
407
1238000
4000
oczekujemy rozumienia statystycznej argumentacji.
21:07
In other spheressfery of life, if people arguedargumentował -- well, exceptz wyjątkiem possiblymożliwie for politicsPolityka --
408
1242000
5000
W innych sferach życia... Może z wyjątkiem polityki.
21:12
but in other spheressfery of life, if people arguedargumentował illogicallynielogicznie,
409
1247000
2000
Gdyby ktoś używał nielogicznych argumentów,
21:14
we'dpoślubić say that's not a good thing.
410
1249000
2000
od razu byśmy się sprzeciwili.
21:16
We sortsortować of expectoczekiwać it of politicianspolitycy and don't hopenadzieja for much more.
411
1251000
4000
Po politykach jednak nie spodziewamy się wiele.
21:20
In the casewalizka of uncertaintyniepewność, we get it wrongźle all the time --
412
1255000
3000
Przy prawdopodobieństwie mylimy się cały czas.
21:23
and at the very leastnajmniej, we should be awareświadomy of that,
413
1258000
2000
Przynajmniej powinniśmy być tego świadomi.
21:25
and ideallyidealnie, we mightmoc try and do something about it.
414
1260000
2000
Najlepiej, zaradźmy temu. Bardzo dziękuję.
21:27
ThanksDzięki very much.
415
1262000
1000
Najlepiej, zaradźmy temu. Bardzo dziękuję.
Translated by Anna Ciszek
Reviewed by Kinga Skorupska

▲Back to top

ABOUT THE SPEAKER
Peter Donnelly - Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom.

Why you should listen

Peter Donnelly applies statistical methods to real-world problems, ranging from DNA analysis (for criminal trials), to the treatment of genetic disorders. A mathematician who collaborates with biologists, he specializes in applying probability and statistics to the field of genetics, in hopes of shedding light on evolutionary history and the structure of the human genome.

The Australian-born, Oxford-based mathematician is best known for his work in molecular evolution (tracing the roots of human existence to their earliest origins using the mutation rates of mitochondrial DNA). He studies genetic distributions in living populations to trace human evolutionary history -- an approach that informs research in evolutionary biology, as well as medical treatment for genetic disorders. Donnelly is a key player in the International HapMap Project, an ongoing international effort to model human genetic variation and pinpoint the genes responsible for specific aspects of health and disease; its implications for disease prevention and treatment are vast.

He's also a leading expert on DNA analysis and the use of forensic science in criminal trials; he's an outspoken advocate for bringing sensible statistical analysis into the courtroom. Donnelly leads Oxford University's Mathematical Genetics Group, which conducts research in genetic modeling, human evolutionary history, and forensic DNA profiling. He is also serves as Director of the Wellcome Trust Centre for Human Genetics at Oxford University, which explores the genetic relationships to disease and illness. 

More profile about the speaker
Peter Donnelly | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee