ABOUT THE SPEAKER
Stuart Firestein - Neuroscientist
Stuart Firestein teaches students and “citizen scientists” that ignorance is far more important to discovery than knowledge.

Why you should listen

You’d think that a scientist who studies how the human brain receives and perceives information would be inherently interested in what we know. But Stuart Firestein says he’s far more intrigued by what we don’t. “Answers create questions,” he says. “We may commonly think that we begin with ignorance and we gain knowledge [but] the more critical step in the process is the reverse of that.”

Firestein, who chairs the biological sciences department at Columbia University, teaches a course about how ignorance drives science. In it -- and in his 2012 book on the topic -- he challenges the idea that knowledge and the accumulation of data create certainty. Facts are fleeting, he says; their real purpose is to lead us to ask better questions.

More profile about the speaker
Stuart Firestein | Speaker | TED.com
TED2013

Stuart Firestein: The pursuit of ignorance

Стјуарт Фајерштајн: Потрага по незнаењето

Filmed:
2,046,254 views

Како изгледа вистинската научна работа? Како невронаучник Стјуарт Фајерштајн се шегува: многу помалку наликува на научниот метод, а многу повеќе наликува на "прдење наоколу ... во темнината.'' Во овој духовит говор, Фајерштајн допира до срцето на науката, до она како навистина се практикува и сугерира дека треба да го цениме она што не го знаеме -- или "високо-квалитетното незнаење'' -- исто толку колку што го цениме она што го знаеме.
- Neuroscientist
Stuart Firestein teaches students and “citizen scientists” that ignorance is far more important to discovery than knowledge. Full bio

Double-click the English transcript below to play the video.

00:12
There is an ancient proverb that says
0
495
3558
Постои една древна поговорка која вели
00:16
it's very difficult to find a black cat in a dark room,
1
4053
4062
дека е многу тешко да најдеш црна мачка во темна соба,
00:20
especially when there is no cat.
2
8115
2788
особено кога нема мачка.
00:22
I find this a particularly apt description of science
3
10903
3329
Според мене ова е особено адекватен опис на науката
00:26
and how science works --
4
14232
2136
и начинот на кој таа функционира --
00:28
bumbling around in a dark room, bumping into things,
5
16368
3320
се движи несмасно во темна соба, се удира во работи,
00:31
trying to figure out what shape this might be,
6
19688
2302
обидувајќи се да ја одгатне формата час на ова,
00:33
what that might be,
7
21990
1444
час на она,
00:35
there are reports of a cat somewhere around,
8
23434
2489
во извештаите вели дека мачката е тука некаде,
00:37
they may not be reliable, they may be,
9
25923
1793
некои од нив се точни, некои не,
00:39
and so forth and so on.
10
27716
1520
и така натаму.
00:41
Now I know this is different than the way most people
11
29236
1976
Знам дека ова е поразлично од она како повеќето луѓе
00:43
think about science.
12
31212
1552
размислуваат за науката.
00:44
Science, we generally are told,
13
32764
1554
Обично ни кажуваат дека науката
00:46
is a very well-ordered mechanism for
14
34318
2750
е многу добро изграден механизам за
00:49
understanding the world,
15
37068
1301
разбирање на светот,
00:50
for gaining facts, for gaining data,
16
38369
2286
за стекнување на факти и податоци,
00:52
that it's rule-based,
17
40655
1553
дека се базира на правила,
00:54
that scientists use this thing called the scientific method
18
42208
3241
дека научниците го користат чудото наречено научен метод,
00:57
and we've been doing this for 14 generations or so now,
19
45449
2839
тоа го правиме веќе 14 генерации,
01:00
and the scientific method is a set of rules
20
48288
2571
и дека научниот метод е сет на правила
01:02
for getting hard, cold facts out of the data.
21
50859
4192
за извлекување на цврсти, силни факти од податоците.
01:07
I'd like to tell you that's not the case.
22
55051
2095
Сакам да ви кажам дека не е така.
01:09
So there's the scientific method,
23
57146
1832
Тоа е научниот метод,
01:10
but what's really going on is this. (Laughter)
24
58978
2319
но еве што всушност се случува. (Смеа)
01:13
[The Scientific Method vs. Farting Around]
25
61297
958
[Научен Метод vs Прдење Наоколу]
01:14
And it's going on kind of like that.
26
62255
3104
Сето тоа оди вака.
01:17
[... in the dark] (Laughter)
27
65359
1421
[... во темнината] (Смеа)
01:18
So what is the difference, then,
28
66780
4541
Тогаш која е разликата помеѓу
01:23
between the way I believe science is pursued
29
71321
3816
начинот на кој јас верувам дека функционира науката
01:27
and the way it seems to be perceived?
30
75137
2861
и начинот на кој ја перцепираат повеќето?
01:29
So this difference first came to me in some ways
31
77998
2715
Оваа разлика ја забележав благодарение
01:32
in my dual role at Columbia University,
32
80713
2097
на мојата двојна улога во Универзитетот Колумбија,
01:34
where I'm both a professor and run a laboratory in neuroscience
33
82810
4155
каде сум професор, но и каде водам лабораторија за невронаука
01:38
where we try to figure out how the brain works.
34
86965
2195
во која се обидуваме да сфатиме како работи мозокот.
01:41
We do this by studying the sense of smell,
35
89160
2371
Toa го правиме проучувајќи го сетилото за мирис.
01:43
the sense of olfaction, and in the laboratory,
36
91531
2531
А во лабораторијата, ми причинува големо
01:46
it's a great pleasure and fascinating work
37
94062
2634
задоволство и навистина е неверојатно
01:48
and exciting to work with graduate students and post-docs
38
96696
2871
и возбудливо да работиш со постдипломците и студентите на пост-докторски
01:51
and think up cool experiments to understand how this
39
99567
2611
и да смислуваш интересни експерименти за да сфатиш
01:54
sense of smell works and how the brain might be working,
40
102178
2386
како функционира сетилото за мирис и мозокот,
01:56
and, well, frankly, it's kind of exhilarating.
41
104564
2802
и искрено да ви кажам доста е стимулативно.
01:59
But at the same time, it's my responsibility
42
107366
2718
Но истовремено, на додипломците им
02:02
to teach a large course to undergraduates on the brain,
43
110084
2949
предавам еден тежок предмет за мозокот,
02:05
and that's a big subject,
44
113033
1075
а тоа е голема тема,
02:06
and it takes quite a while to organize that,
45
114108
2391
и потребно е прилично време за да се организира сето тоа.
02:08
and it's quite challenging and it's quite interesting,
46
116499
2811
Доста е интересно и ми претставува голем предизвик,
02:11
but I have to say, it's not so exhilarating.
47
119310
3557
но морам да кажам, не е толку стимулативно.
02:14
So what was the difference?
48
122867
1396
И во што е разликата?
02:16
Well, the course I was and am teaching
49
124263
2069
Значи, предметот кој го предавам
02:18
is called Cellular and Molecular Neuroscience - I. (Laughs)
50
126332
6464
се вика Клеточна и Молекуларна Невронаука - I. (Смеа)
02:24
It's 25 lectures full of all sorts of facts,
51
132796
4555
Се состои од 25 предавања полни со секакви факти,
02:29
it uses this giant book called "Principles of Neural Science"
52
137351
4317
ја користиме оваа огромна книга наречена "Принципи на Невро Науката"
02:33
by three famous neuroscientists.
53
141668
2334
напишана од три познати невронаучници.
02:36
This book comes in at 1,414 pages,
54
144002
3781
Книгата има 1,414 страници,
02:39
it weighs a hefty seven and a half pounds.
55
147783
2736
тежи огромни три и пол килограми.
02:42
Just to put that in some perspective,
56
150519
1927
Колку само за споредба,
02:44
that's the weight of two normal human brains.
57
152446
3455
толку тежат два просечни човечки мозоци.
02:47
(Laughter)
58
155901
3283
(Смеа)
02:51
So I began to realize, by the end of this course,
59
159184
3267
При крајот на предавањата, ми стана јасно
02:54
that the students maybe were getting the idea
60
162451
2248
дека студентите стекнуваат впечаток дека
02:56
that we must know everything there is to know about the brain.
61
164699
3031
ние совршено добро го познаваме мозокот.
02:59
That's clearly not true.
62
167730
1762
Тоа очигледно не е така.
03:01
And they must also have this idea, I suppose,
63
169492
2698
И веројатно мислат дека, претпоставувам,
03:04
that what scientists do is collect data and collect facts
64
172190
3381
научниците собираат податоци и факти, а потоа истите
03:07
and stick them in these big books.
65
175571
2089
ги ставаат во овие големи книги.
03:09
And that's not really the case either.
66
177660
1407
Нешто што исто така не е точно.
03:11
When I go to a meeting, after the meeting day is over
67
179067
3303
Кога ќе отидеме со колегите, после состанок,
03:14
and we collect in the bar over a couple of beers with my colleagues,
68
182370
3097
на неколку пива во некој бар, ние никогаш
03:17
we never talk about what we know.
69
185467
2201
не зборуваме за она што го знаеме.
03:19
We talk about what we don't know.
70
187668
2166
Зборуваме за она што не го знаеме.
03:21
We talk about what still has to get done,
71
189834
2285
Зборуваме за она што треба да се заврши,
03:24
what's so critical to get done in the lab.
72
192119
2825
што треба под итно да се сработи во лабораторијата.
03:26
Indeed, this was, I think, best said by Marie Curie
73
194944
2557
Навистина, ова беше, мислам, најдобро кажано од Марија Кири
03:29
who said that one never notices what has been done
74
197501
2419
која рече дека никогаш не го забележуваме она што е сработено,
03:31
but only what remains to be done.
75
199920
1461
туку она што допрва треба да се сработи.
03:33
This was in a letter to her brother after obtaining
76
201381
2225
Ова стоело во писмото кое го испратила до својот брат
03:35
her second graduate degree, I should say.
77
203606
3718
откако го стекнала вториот докторат.
03:39
I have to point out this has always been one of my favorite pictures of Marie Curie,
78
207324
2813
Морам да посочам дека оваа ми е една од омилените слики на Марија Кири,
03:42
because I am convinced that that glow behind her
79
210137
2303
бидејќи сум убеден дека сјајот позади неа
03:44
is not a photographic effect. (Laughter)
80
212440
2738
не е фотографски ефект. (Смеа)
03:47
That's the real thing.
81
215178
1800
Тоа е вистинско.
03:48
It is true that her papers are, to this day,
82
216978
4380
Вистина е дека нејзините документи, до ден денеска,
03:53
stored in a basement room in the Bibliothèque Française
83
221358
2879
се складирани во подрум на "Националната Библиотека на Франција"
03:56
in a concrete room that's lead-lined,
84
224237
2197
во бетонска соба обложена со олово,
03:58
and if you're a scholar and you want access to these notebooks,
85
226434
2652
и ако сте научник кој сака да пристапи до овие бележници,
04:01
you have to put on a full radiation hazmat suit,
86
229086
2749
морате да облечете скафандер против радијација,
04:03
so it's pretty scary business.
87
231835
2351
и е прилично застрашувачко.
04:06
Nonetheless, this is what I think we were leaving out
88
234186
2796
Како и да е, токму она што допрва треба да се сработи,
04:08
of our courses
89
236982
1626
мислам дека
04:10
and leaving out of the interaction that we have
90
238608
2526
беше запоставено како во нашите предмети, така и
04:13
with the public as scientists, the what-remains-to-be-done.
91
241134
2973
во комуникацијата која ја имаме како научници со јавноста.
04:16
This is the stuff that's exhilarating and interesting.
92
244107
2634
Токму оваа ствар е, и интересна и стимулативна.
04:18
It is, if you will, the ignorance.
93
246741
2910
Тоа е, ако сакате, незнаењето.
04:21
That's what was missing.
94
249651
979
Тоа недостасуваше.
04:22
So I thought, well, maybe I should teach a course
95
250630
2860
И си помислив, можеби треба да предавам
04:25
on ignorance,
96
253490
2100
за незнаењето,
04:27
something I can finally excel at, perhaps, for example.
97
255590
3629
област во која конечно ќе можам да се истакнам.
04:31
So I did start teaching this course on ignorance,
98
259219
1878
И така почнав да држам предмет за незнаењето,
04:33
and it's been quite interesting
99
261097
1096
и беше доста интересно
04:34
and I'd like to tell you to go to the website.
100
262193
2086
и би ве повикал да ја посетите вебстраната.
04:36
You can find all sorts of information there. It's wide open.
101
264279
3636
Таму ќе најдете секакви информации. Достапна е за сите.
04:39
And it's been really quite an interesting time for me
102
267915
3523
Супер си поминав бидејќи доаѓаа други научници
04:43
to meet up with other scientists who come in and talk
103
271438
1841
кои зборуваа за работите
04:45
about what it is they don't know.
104
273279
1548
кои не ги знаат.
04:46
Now I use this word "ignorance," of course,
105
274827
1985
Намерно го користам зборот "незнаење,"
04:48
to be at least in part intentionally provocative,
106
276812
3158
за да биде делумно и провокативен,
04:51
because ignorance has a lot of bad connotations
107
279970
2390
оти незнаењето има многу лоши конотации,
04:54
and I clearly don't mean any of those.
108
282360
2005
а јас очигледно не зборувам за нив.
04:56
So I don't mean stupidity, I don't mean a callow indifference
109
284365
3505
Значи не мислам на глупавоста, не мислам на рамнодушност
04:59
to fact or reason or data.
110
287870
2308
кон фактите, податоците и разумот.
05:02
The ignorant are clearly unenlightened, unaware,
111
290178
3271
Незнајковците се очигледно непросветлени, несвесни,
05:05
uninformed, and present company today excepted,
112
293449
3307
неинформирани, и во денешно време, со чесни исклучоци,
05:08
often occupy elected offices, it seems to me.
113
296756
2908
најчесто се државни функционери, така ми се чини.
05:11
That's another story, perhaps.
114
299664
1806
Сепак тоа е друга приказна.
05:13
I mean a different kind of ignorance.
115
301470
1633
Мислам на поинакво незнаење.
05:15
I mean a kind of ignorance that's less pejorative,
116
303103
2268
Мислам на незнаење што е помалку пејоративно,
05:17
a kind of ignorance that comes from a communal gap in our knowledge,
117
305371
3487
вид на незнаење кое потекнува од колективна празнина во нашето знаење,
05:20
something that's just not there to be known
118
308858
1865
нешто што не постои за да можеме да го знаеме,
05:22
or isn't known well enough yet or we can't make predictions from,
119
310723
2821
или сè уште не е доволно познато или од што не можеме да правиме предвидувања,
05:25
the kind of ignorance that's maybe best summed up
120
313544
2318
вид на незнаење кое можеби е најдобро сублимирано
05:27
in a statement by James Clerk Maxwell,
121
315862
1845
во изјавата на Џејмс Клерк Максвел,
05:29
perhaps the greatest physicist between Newton and Einstein,
122
317707
3449
можеби најголемиот физичар измеѓу Њутн и Ајнштајн,
05:33
who said, "Thoroughly conscious ignorance
123
321156
2301
кој рекол, "Потполно свесното незнаење
05:35
is the prelude to every real advance in science."
124
323457
2568
е воведот во секој голем научен напредок."
05:38
I think it's a wonderful idea:
125
326025
1388
Мислам дека ова е прекрасна идеја:
05:39
thoroughly conscious ignorance.
126
327413
3147
потполно свесно незнаење.
05:42
So that's the kind of ignorance that I want to talk about today,
127
330560
2421
Токму за овој вид на незнаење сакам да зборувам денес,
05:44
but of course the first thing we have to clear up
128
332981
1519
но секако најпрвин треба да расчистиме што
05:46
is what are we going to do with all those facts?
129
334500
2103
ќе правиме со сите оние факти?
05:48
So it is true that science piles up at an alarming rate.
130
336603
3674
Вистина е дека стапката со која се трупаат фактите е аларматна.
05:52
We all have this sense that science is this mountain of facts,
131
340277
2810
Сите мислиме дека науката е планина од факти,
05:55
this accumulation model of science, as many have called it,
132
343087
4036
или како што многу го нарекоа, акумулациски модел на науката,
05:59
and it seems impregnable, it seems impossible.
133
347123
2451
кој се чини дека е несовладлив, невозможен.
06:01
How can you ever know all of this?
134
349574
1314
Како можеш да го знаеш сето тоа?
06:02
And indeed, the scientific literature grows at an alarming rate.
135
350888
3581
И навистина, стапката со која расте научната литература е аларматна.
06:06
In 2006, there were 1.3 million papers published.
136
354469
3654
Во 2006, беа објавени 1.3 милион научни трудови.
06:10
There's about a two-and-a-half-percent yearly growth rate,
137
358123
2632
Стапката на раст на годишно ниво изнесува два-и-пол проценти,
06:12
and so last year we saw over one and a half million papers being published.
138
360755
4390
а минатата година беа објавени повеќе од еден и пол милион научни трудови.
06:17
Divide that by the number of minutes in a year,
139
365145
2230
Поделете го тоа со бројот на минути во една година,
06:19
and you wind up with three new papers per minute.
140
367375
3138
и добивате по три нови научни труда на секоја минута.
06:22
So I've been up here a little over 10 minutes,
141
370513
1482
Овде сум веќе нешто повеќе од 10 минути.
06:23
I've already lost three papers.
142
371995
1776
Веќе пропуштив три труда.
06:25
I have to get out of here actually. I have to go read.
143
373771
2840
Всушност треба да си одам. Треба да одам да читам.
06:28
So what do we do about this? Well, the fact is
144
376611
3446
И што правиме во врска со ова? Научниците
06:32
that what scientists do about it is a kind of a controlled neglect, if you will.
145
380057
4509
се справуваат со ова така што вршат контролирано занемарување.
06:36
We just don't worry about it, in a way.
146
384566
2664
На некој начин, не се потресуваме многу.
06:39
The facts are important. You have to know a lot of stuff
147
387230
2243
Фактите се важни. Мораш да знаеш многу работи
06:41
to be a scientist. That's true.
148
389473
1810
за да бидеш научник. Тоа е точно.
06:43
But knowing a lot of stuff doesn't make you a scientist.
149
391283
2927
Но тоа што знаеш многу факти не те прави научник.
06:46
You need to know a lot of stuff to be a lawyer
150
394210
2665
Мора да знаеш многу работи за да бидеш адвокат,
06:48
or an accountant or an electrician or a carpenter.
151
396875
3892
сметководител, електричар или столар.
06:52
But in science, knowing a lot of stuff is not the point.
152
400767
3610
Но во науката, не е поентата да знаеш многу работи.
06:56
Knowing a lot of stuff is there to help you get
153
404377
3556
Големото знаење треба да ти помогне
06:59
to more ignorance.
154
407933
1388
да стекнеш поголемо незнаење.
07:01
So knowledge is a big subject, but I would say
155
409321
2510
Знаењето е значајно, но јас би рекол дека
07:03
ignorance is a bigger one.
156
411831
2487
незнаењето е уште позначајно.
07:06
So this leads us to maybe think about, a little bit
157
414318
2194
Сега е на ред малку да поразмислиме за
07:08
about, some of the models of science that we tend to use,
158
416528
2883
некои од најчестите модели на науката,
07:11
and I'd like to disabuse you of some of them.
159
419411
1825
и би сакал да ви појаснам некои работи за нив.
07:13
So one of them, a popular one, is that scientists
160
421236
2313
Еден популарен модел вели дека научниците
07:15
are patiently putting the pieces of a puzzle together
161
423549
2628
трпеливо ги составуваат деловите на сложувалката
07:18
to reveal some grand scheme or another.
162
426177
2773
за на крај да ја откријат големата слика.
07:20
This is clearly not true. For one, with puzzles,
163
428950
2558
Ова очигледно не е точно. Прво, производителот
07:23
the manufacturer has guaranteed that there's a solution.
164
431508
3499
на сложувалката ви гарантира дека таа има решение.
07:27
We don't have any such guarantee.
165
435007
1749
Ние немаме таква гаранција.
07:28
Indeed, there are many of us who aren't so sure about the manufacturer.
166
436756
3155
Навистина, многу од нас дури и не се сигурни дали има производител.
07:31
(Laughter)
167
439911
3063
(Смеа)
07:34
So I think the puzzle model doesn't work.
168
442974
1757
Моделот сложувалка мислам дека не е соодветен.
07:36
Another popular model is that science is busy unraveling things
169
444731
3514
Друг популарен модел вели дека науката
07:40
the way you unravel the peels of an onion.
170
448245
2196
е како лупење кромид.
07:42
So peel by peel, you take away the layers of the onion
171
450441
2989
Значи лушпа по лушпа, ги отстранувате слоевите на кромидот
07:45
to get at some fundamental kernel of truth.
172
453430
2319
за да дојдете до јадрото на вистината.
07:47
I don't think that's the way it works either.
173
455749
2187
Мислам дека ни овој модел не е соодветен.
07:49
Another one, a kind of popular one, is the iceberg idea,
174
457936
2934
Друга популарна идеја е онаа за сантата мраз,
07:52
that we only see the tip of the iceberg but underneath
175
460870
2460
дека само го гледаме врвот на сантата, но дека најголемиот
07:55
is where most of the iceberg is hidden.
176
463330
2185
дел од сантата е скриен под вода.
07:57
But all of these models are based on the idea of a large body of facts
177
465515
3554
Но сите овие модели се базираат на идејата дека постојат многу факти
08:01
that we can somehow or another get completed.
178
469069
2420
кои можеме некако да ги осознаеме.
08:03
We can chip away at this iceberg and figure out what it is,
179
471489
3343
Можеме да ја изделкаме сантата и да ја проучиме,
08:06
or we could just wait for it to melt, I suppose, these days,
180
474832
2605
или пак, денес, можеме едноставно да чекаме да се стопи,
08:09
but one way or another we could get to the whole iceberg. Right?
181
477437
3227
но на еден или друг начин можеме да дојдеме до целата санта. Така?
08:12
Or make it manageable. But I don't think that's the case.
182
480664
2467
Мислам дека ни овој модел не е соодветен.
08:15
I think what really happens in science
183
483131
2399
Она што се случува во науката, според мене,
08:17
is a model more like the magic well,
184
485530
1830
многу наликува на магичниот бунар,
08:19
where no matter how many buckets you take out,
185
487360
1837
од кој можете бесконечно
08:21
there's always another bucket of water to be had,
186
489197
2112
да вадите вода.
08:23
or my particularly favorite one,
187
491309
2127
Мене омилен модел ми е
08:25
with the effect and everything, the ripples on a pond.
188
493436
2939
оној со брановите во вода.
08:28
So if you think of knowledge being this ever-expanding ripple on a pond,
189
496375
3127
Ако на знаењето гледате како на бран кој постојано се шири низ водата,
08:31
the important thing to realize is that our ignorance,
190
499502
3382
тогаш треба да сфатите дека незнаењето расте
08:34
the circumference of this knowledge, also grows with knowledge.
191
502884
3382
правопропорционално со ширење на бранот на знаењето.
08:38
So the knowledge generates ignorance.
192
506266
2763
Значи знаењето создава незнаење.
08:41
This is really well said, I thought, by George Bernard Shaw.
193
509029
2915
Ова многу добро го кажал, мислам, Џорџ Бернард Шо.
08:43
This is actually part of a toast that he delivered
194
511944
2677
Ова всушност било дел од здравицата која ја
08:46
to celebrate Einstein at a dinner celebrating Einstein's work,
195
514621
3677
кажал за време на вечера, организирана во чест на работата на Ајнштајн,
08:50
in which he claims that science
196
518298
1414
во која вели дека науката
08:51
just creates more questions than it answers.
["Science is always wrong. It never solves a problem without creating 10 more."]
197
519712
2265
создава повеќе прашања, отколку што може да одговори.
["Науката постојано греши. Не може да реши проблем, а да не создаде дополнителни 10."]
08:53
I find that kind of glorious, and I think he's precisely right,
198
521977
3542
За мене ова е чудесно, и мислам дека е потполно во право,
08:57
plus it's a kind of job security.
199
525519
2526
башка и работата ви е осигурана.
09:00
As it turns out, he kind of cribbed that
200
528045
2726
Ова размислување тој всушност го ископирал
09:02
from the philosopher Immanuel Kant
201
530771
1852
од филозофот Имануел Кант
09:04
who a hundred years earlier had come up with this idea
202
532623
2645
кој сто години претходно дошол до идејата дека прашањата
09:07
of question propagation, that every answer begets more questions.
203
535268
3808
се размножуваат, дека секој одговор раѓа дополнителни прашања.
09:11
I love that term, "question propagation,"
204
539076
2199
Го сакам тој термин, "размножување на прашањата,"
09:13
this idea of questions propagating out there.
205
541275
2739
идејата дека прашањата се размножуваат.
09:16
So I'd say the model we want to take is not
206
544014
1887
Не треба да се водиме по моделот кој вели
09:17
that we start out kind of ignorant and we get some facts together
207
545901
3509
дека сме почнале како незнајковци, па сме дошле до некои факти
09:21
and then we gain knowledge.
208
549410
2143
и на крај сме стекнале знаење.
09:23
It's rather kind of the other way around, really.
209
551553
2379
Всушност, работите се одвиваат во обратна насока.
09:25
What do we use this knowledge for?
210
553932
1907
За што ни служи знаењето?
09:27
What are we using this collection of facts for?
211
555839
2528
За што ни служат сите овие факти?
09:30
We're using it to make better ignorance,
212
558367
2857
Ни служат да создадеме подобро незнаење,
09:33
to come up with, if you will, higher-quality ignorance.
213
561224
3079
да дојдеме, ако сакате, до високо-квалитетно незнаење.
09:36
Because, you know, there's low-quality ignorance
214
564303
1872
Бидејќи, знаете, постои ниско-квалитетно незнаење
09:38
and there's high-quality ignorance. It's not all the same.
215
566175
2413
и високо-квалитетно незнаење. Тие не се исти.
09:40
Scientists argue about this all the time.
216
568588
2370
Научниците цело време се расправаат за тоа.
09:42
Sometimes we call them bull sessions.
217
570958
1965
Понекогаш ги нарекуваме неформални дискусии.
09:44
Sometimes we call them grant proposals.
218
572923
1918
Понекогаш ги нарекуваме предлози за неповратни грантови.
09:46
But nonetheless, it's what the argument is about.
219
574841
3508
Но сепак, дискусиите се поврзани со една тема.
09:50
It's the ignorance. It's the what we don't know.
220
578349
1844
А тоа е незнаењето. Што е тоа што не знаеме.
09:52
It's what makes a good question.
221
580193
2690
Како да поставиме добро прашање.
09:54
So how do we think about these questions?
222
582883
1630
И како размислуваме за овие прашања?
09:56
I'm going to show you a graph that shows up
223
584513
1952
Ќе ви прикажам еден график кој е закачен
09:58
quite a bit on happy hour posters in various science departments.
224
586465
3867
како постер во неколку научни институти.
10:02
This graph asks the relationship between what you know
225
590332
4221
Овој график ја претставува врската помеѓу она што знаеш
10:06
and how much you know about it.
226
594553
2190
и она колку многу знаеш за тоа.
10:08
So what you know, you can know anywhere from nothing to everything, of course,
227
596743
3515
Прво што знаеш, што знаеш се движи од ништо до сè,
10:12
and how much you know about it can be anywhere
228
600258
1683
и колку многу знаеш за тоа се движи од
10:13
from a little to a lot.
229
601941
2423
малку до многу.
10:16
So let's put a point on the graph. There's an undergraduate.
230
604364
4232
Ајде да ставиме точка на графикот. Еве еден додипломец.
10:20
Doesn't know much but they have a lot of interest.
231
608596
2364
Не знае многу, но има голем интерес.
10:22
They're interested in almost everything.
232
610960
1691
Го интересира речиси сè.
10:24
Now you look at a master's student, a little further along in their education,
233
612651
3454
Сега гледаме еден магистрант, има малку поголемо образование,
10:28
and you see they know a bit more,
234
616105
1351
и гледате дека тие знаат малку повеќе,
10:29
but it's been narrowed somewhat.
235
617456
1890
но тоа е некако стеснето.
10:31
And finally you get your Ph.D., where it turns out
236
619346
2719
И најпосле докторот на науки, кој излегува
10:34
you know a tremendous amount about almost nothing. (Laughter)
237
622065
5105
дека има огромно знаење за, речиси, ништо. (Смеа)
10:39
What's really disturbing is the trend line that goes through that
238
627170
3781
Навистина е вознемирувачка линијата која го пробива графикот,
10:42
because, of course, when it dips below the zero axis, there,
239
630951
3775
оти кога ќе отиде онаму под нула оската,
10:46
it gets into a negative area.
240
634726
2262
тоа веќе е негативна област.
10:48
That's where you find people like me, I'm afraid.
241
636988
2915
Таму ќе ги најдете луѓето како мене.
10:51
So the important thing here is that this can all be changed.
242
639903
3368
Важно е дека сето ова може да се промени.
10:55
This whole view can be changed
243
643271
1804
Целата оваа слика може да се промени
10:57
by just changing the label on the x-axis.
244
645075
3161
само ако го смениме називот на х-оската.
11:00
So instead of how much you know about it,
245
648236
1917
И наместо колку многу знаеш за тоа,
11:02
we could say, "What can you ask about it?"
246
650153
3541
можеме да речеме, "Што можеш да прашаш за тоа?"
11:05
So yes, you do need to know a lot of stuff as a scientist,
247
653694
2867
Да, како научник треба да знаеш многу ствари,
11:08
but the purpose of knowing a lot of stuff
248
656561
2629
но знаењето не е цел сама по себе. Ако имаш
11:11
is not just to know a lot of stuff. That just makes you a geek, right?
249
659190
2587
само големо знаење, тогаш би бил гик, нели?
11:13
Knowing a lot of stuff, the purpose is
250
661777
2138
Целта на големото знаење е
11:15
to be able to ask lots of questions,
251
663915
1676
да можеш да поставуваш многу прашања,
11:17
to be able to frame thoughtful, interesting questions,
252
665591
3088
да можеш да формулираш промислени, интересни прашања,
11:20
because that's where the real work is.
253
668679
1725
оти токму таму лежи зајакот.
11:22
Let me give you a quick idea of a couple of these sorts of questions.
254
670404
2552
Дозволете да ви покажам како изгледаат овие прашања.
11:24
I'm a neuroscientist, so how would we come up
255
672956
2163
Јас сум невронаучник, и како би дошле до
11:27
with a question in neuroscience?
256
675119
1431
одредено прашање во невронауката?
11:28
Because it's not always quite so straightforward.
257
676550
2669
Бидејќи не е секогаш така едноставно.
11:31
So, for example, we could say, well what is it that the brain does?
258
679219
2559
На пример, можеме да прашаме, што прави мозокот?
11:33
Well, one thing the brain does, it moves us around.
259
681778
1814
Една од работите што ги прави, нè движи наоколу.
11:35
We walk around on two legs.
260
683592
2005
Одиме на две нозе.
11:37
That seems kind of simple, somehow or another.
261
685597
1851
Ми се чини дека тоа е едноставно, вака или онака.
11:39
I mean, virtually everybody over 10 months of age
262
687448
2725
Мислам, буквално сите кои имаат над 10 месеци
11:42
walks around on two legs, right?
263
690173
2172
одат на две нозе, така?
11:44
So that maybe is not that interesting.
264
692345
1391
Тоа можеби не е толку интересно.
11:45
So instead maybe we want to choose something a little more complicated to look at.
265
693736
3148
Можеби треба да се осврнеме на нешто посложено.
11:48
How about the visual system?
266
696884
2775
Што велите за системот за вид?
11:51
There it is, the visual system.
267
699659
1627
Еве го, системот за вид.
11:53
I mean, we love our visual systems. We do all kinds of cool stuff.
268
701286
3248
Мислам, си го сакаме системот за вид. Со него правиме многу интересни работи.
11:56
Indeed, there are over 12,000 neuroscientists
269
704534
3391
Навистина, има повеќе од 12,000 невронаучници
11:59
who work on the visual system,
270
707925
1580
кои работат на системот за вид,
12:01
from the retina to the visual cortex,
271
709505
2081
од ретината до визуелниот кортекс,
12:03
in an attempt to understand not just the visual system
272
711586
2565
во обид да го разберат не само системот за вид,
12:06
but to also understand how general principles
273
714151
3024
туку и да ги разберат општите принципи
12:09
of how the brain might work.
274
717175
1951
според кои работи мозокот.
12:11
But now here's the thing:
275
719126
1660
Но еве една работа:
12:12
Our technology has actually been pretty good
276
720786
2480
Нашата технологија доста успешно ја
12:15
at replicating what the visual system does.
277
723266
2590
имитира работата на системот за вид.
12:17
We have TV, we have movies,
278
725856
3023
Имаме ТВ, имаме филмови,
12:20
we have animation, we have photography,
279
728879
2495
имаме анимација, имаме фотографија,
12:23
we have pattern recognition, all of these sorts of things.
280
731374
3151
препознавање на обрасци и други слични работи.
12:26
They work differently than our visual systems in some cases,
281
734525
2646
Во одредени случаи тие работат поинаку од системот за вид,
12:29
but nonetheless we've been pretty good at
282
737171
1591
но сепак успеавме да направиме технологија
12:30
making a technology work like our visual system.
283
738762
3476
која работи по урнек на нашиот систем за вид.
12:34
Somehow or another, a hundred years of robotics,
284
742238
2936
Роботиката постои веќе сто години, но сè уште
12:37
you never saw a robot walk on two legs,
285
745174
2266
не сме виделе робот кој оди на две нозе,
12:39
because robots don't walk on two legs
286
747440
2163
бидејќи не е толку лесно
12:41
because it's not such an easy thing to do.
287
749603
2390
да направиш таков робот.
12:43
A hundred years of robotics,
288
751993
1528
Сто години роботика,
12:45
and we can't get a robot that can move more than a couple steps one way or the other.
289
753521
3367
но сè уште немаме робот кој може да се движи на подолго растојание.
12:48
You ask them to go up an inclined plane, and they fall over.
290
756888
2572
Ќе побараш од нив да се качуваат по стрмнина, а тие веднаш паѓаат.
12:51
Turn around, and they fall over. It's a serious problem.
291
759460
2004
Да се свртат, и пак паѓаат. Тоа е сериозен проблем.
12:53
So what is it that's the most difficult thing for a brain to do?
292
761464
3547
Која задача е најтешка за мозокот?
12:57
What ought we to be studying?
293
765011
1623
Кој проблем треба да го проучуваме?
12:58
Perhaps it ought to be walking on two legs, or the motor system.
294
766634
4295
Можеби тоа е одењето на две нозе, или моторниот систем.
13:02
I'll give you an example from my own lab,
295
770929
1735
Ќе ви дадам пример од мојата лабораторија,
13:04
my own particularly smelly question,
296
772664
1725
еден мој мирислив проблем,
13:06
since we work on the sense of smell.
297
774389
2099
оти ние го проучуваме сетилото за мирис.
13:08
But here's a diagram of five molecules
298
776488
3228
Еве еден цртеж со пет молекули
13:11
and sort of a chemical notation.
299
779716
1510
кои имаат хемиски ознаки.
13:13
These are just plain old molecules, but if you sniff those molecules
300
781226
2996
Ова се многу стари молекули, но ако ги помирисате со помош на двете
13:16
up these two little holes in the front of your face,
301
784222
2470
дупчиња кои ги имате на предниот дел од лицето,
13:18
you will have in your mind the distinct impression of a rose.
302
786692
3874
во умот ќе ви се јави јасна претстава на роза.
13:22
If there's a real rose there, those molecules will be the ones,
303
790566
2158
Ако имавме вистинска роза, токму овие молекули ќе играа главна улога,
13:24
but even if there's no rose there,
304
792724
1560
но дури и да немаме вистинска роза,
13:26
you'll have the memory of a molecule.
305
794284
1591
сепак вие ја памтите молекулата.
13:27
How do we turn molecules into perceptions?
306
795875
3104
Како ги преобразуваме молекулите во перцепции?
13:30
What's the process by which that could happen?
307
798979
1857
Низ кој процес се одвива тоа?
13:32
Here's another example: two very simple molecules, again in this kind of chemical notation.
308
800836
3960
Еве еден друг пример: две многу едноставни молекули, повторно со хемиска ознака.
13:36
It might be easier to visualize them this way,
309
804796
2077
Можеби е полесно да ги претставиме вака,
13:38
so the gray circles are carbon atoms, the white ones
310
806873
2794
сивите кругови се јаглеродни атоми, белите
13:41
are hydrogen atoms and the red ones are oxygen atoms.
311
809667
2775
се атоми на водород, а црвените се атоми на кислород.
13:44
Now these two molecules differ by only one carbon atom
312
812442
4298
Разликата помеѓу овие две молекули се состои во еден јаглероден атом
13:48
and two little hydrogen atoms that ride along with it,
313
816740
2688
и два мали водородни атоми кои одат со него,
13:51
and yet one of them, heptyl acetate,
314
819428
1986
но сепак, едната од нив, хептил ацетат,
13:53
has the distinct odor of a pear,
315
821414
2311
има мирис на круша,
13:55
and hexyl acetate is unmistakably banana.
316
823725
3839
а хексил ацетатот мириса на банана.
13:59
So there are two really interesting questions here, it seems to me.
317
827564
2557
Овде се јавуваат две навистина интересни прашања.
14:02
One is, how can a simple little molecule like that
318
830121
3215
Прво, како може една таква проста и мала молекула
14:05
create a perception in your brain that's so clear
319
833336
2468
да создаде перцепција во вашиот мозок, јасна
14:07
as a pear or a banana?
320
835804
1742
перцепција на круша или банана?
14:09
And secondly, how the hell can we tell the difference
321
837546
3121
И второ, како побогу можеме да правиме разлика
14:12
between two molecules that differ by a single carbon atom?
322
840667
4315
помеѓу две молекули кои се разликуваат со еден јаглероден атом?
14:16
I mean, that's remarkable to me,
323
844982
1646
Мислам, ова за мене е извонредно,
14:18
clearly the best chemical detector on the face of the planet.
324
846628
3032
очигледно најдобриот хемиски детектор на планетата.
14:21
And you don't even think about it, do you?
325
849660
2776
А вие дури и не размислувате за него, нели?
14:24
So this is a favorite quote of mine that takes us
326
852436
2617
Овој цитат ми е омилен, и тој нè навраќа
14:27
back to the ignorance and the idea of questions.
327
855053
1746
на незнаењето и идејата за прашањата.
14:28
I like to quote because I think dead people
328
856799
2019
Сакам да цитирам оти мислам дека мртвите луѓе
14:30
shouldn't be excluded from the conversation.
329
858818
2543
не треба да ги исклучуваме од дискусијата.
14:33
And I also think it's important to realize that
330
861361
1939
И мислам дека е важно да сфатиме дека
14:35
the conversation's been going on for a while, by the way.
331
863300
2462
оваа дискусија се одвива веќе подолго време.
14:37
So Erwin Schrodinger, a great quantum physicist
332
865762
2758
Ервин Шродингер, големиот квантен физичар
14:40
and, I think, philosopher, points out how you have to
333
868520
2566
и, ми се чини, филозоф, вели "придржувај се до
14:43
"abide by ignorance for an indefinite period" of time.
334
871086
3465
незнаењето на неодреден временски период."
14:46
And it's this abiding by ignorance
335
874551
1987
И токму тоа треба да научиме,
14:48
that I think we have to learn how to do.
336
876538
1666
како да се придржуваме до незнаењето.
14:50
This is a tricky thing. This is not such an easy business.
337
878204
2977
Тоа е тешка работа. Не е баш така лесно.
14:53
I guess it comes down to our education system,
338
881181
1959
Претпоставувам се должи на нашиот образовен систем,
14:55
so I'm going to talk a little bit about ignorance and education,
339
883140
2457
па затоа малку ќе зборувам за незнаењето и образованието,
14:57
because I think that's where it really has to play out.
340
885597
2268
бидејќи токму тоа треба да ја има главната улога.
14:59
So for one, let's face it,
341
887865
2267
Најпрво, да бидеме искрени,
15:02
in the age of Google and Wikipedia,
342
890132
3352
во ерата на Гугл и Википедија,
15:05
the business model of the university
343
893484
1793
работниот модел на универзитетите
15:07
and probably secondary schools is simply going to have to change.
344
895277
3421
и веројатно на средните училишта едноставно ќе мора да се смени.
15:10
We just can't sell facts for a living anymore.
345
898698
1901
Едноставното нудење на факти веќе не е опција.
15:12
They're available with a click of the mouse,
346
900599
2050
Тие се достапни со кликање на маусот,
15:14
or if you want to, you could probably just ask the wall
347
902649
2496
или ако сакате, можете едноставно да го прашате
15:17
one of these days, wherever they're going to hide the things
348
905145
1712
ѕидот во денешно време. Информациите ни се достапни
15:18
that tell us all this stuff.
349
906857
1417
од многу извори.
15:20
So what do we have to do? We have to give our students
350
908274
2883
И што треба да правиме? На нашите студенти треба да им овозможиме
15:23
a taste for the boundaries, for what's outside that circumference,
351
911157
3896
да допрат до границите, до она што е надвор од опсегот на познатото,
15:27
for what's outside the facts, what's just beyond the facts.
352
915053
4308
она што е надвор од фактите.
15:31
How do we do that?
353
919361
2157
Како ќе го изведеме тоа?
15:33
Well, one of the problems, of course,
354
921518
1508
Една од пречките за тоа
15:35
turns out to be testing.
355
923026
2109
е тестирањето.
15:37
We currently have an educational system
356
925135
2649
Моментално имаме образовен систем
15:39
which is very efficient but is very efficient at a rather bad thing.
357
927784
3709
кој е многу ефикасен, но ефикасен во една лоша работа.
15:43
So in second grade, all the kids are interested in science,
358
931493
2974
Во второ одделение, сите деца се заинтересирани за наука,
15:46
the girls and the boys.
359
934467
1263
и девојчињата и момчињата.
15:47
They like to take stuff apart. They have great curiosity.
360
935730
3974
Сакаат да ги разглобуваат работите. Многу се љубопитни.
15:51
They like to investigate things. They go to science museums.
361
939704
2499
Сакаат да истражуваат. Одат во научни музеи.
15:54
They like to play around. They're in second grade.
362
942203
6188
Сакаат да си играат.
16:00
They're interested.
363
948407
1494
Ги интересира.
16:01
But by 11th or 12th grade, fewer than 10 percent
364
949901
2934
Но кога се 3та или 4та година во средно, помалку од 10%
16:04
of them have any interest in science whatsoever,
365
952835
3075
се заинтересирани за било каква наука,
16:07
let alone a desire to go into science as a career.
366
955910
2945
а да не зборуваме за избор на науката како професија.
16:10
So we have this remarkably efficient system
367
958855
2982
Значи имаме неверојатно ефикасен систем
16:13
for beating any interest in science out of everybody's head.
368
961837
3973
за убивање на научниот интерес.
16:17
Is this what we want?
369
965810
1914
Тоа ли сакаме?
16:19
I think this comes from what a teacher colleague of mine
370
967724
2342
Ова мислам дека се должи на нешто што еден мој колега
16:22
calls "the bulimic method of education."
371
970066
2722
го нарекува "булимичен метод на образование."
16:24
You know. You can imagine what it is.
372
972788
1373
Знаете. Можете да го замислите.
16:26
We just jam a whole bunch of facts down their throats over here
373
974161
2948
Едноставно им бутаме еден куп факти во уста, кои потоа
16:29
and then they puke it up on an exam over here
374
977109
2354
тие на испит ги повраќаат и на крај
16:31
and everybody goes home with no added intellectual heft whatsoever.
375
979463
4579
сите си одиме дома без било каква додатна интелектуална корист.
16:36
This can't possibly continue to go on.
376
984042
2081
Не може веќе вака.
16:38
So what do we do? Well the geneticists, I have to say,
377
986123
2334
И што да правиме? Генетичарите имаат интересна
16:40
have an interesting maxim they live by.
378
988457
1983
макисма според која живеат.
16:42
Geneticists always say, you always get what you screen for.
379
990440
5252
Генетичарите секогаш велат, секогаш го добиваш она што го бараш.
16:47
And that's meant as a warning.
380
995692
2861
Ова го кажувам како предупредување.
16:50
So we always will get what we screen for,
381
998553
2319
Секогаш ќе го добиваме она што го бараме,
16:52
and part of what we screen for is in our testing methods.
382
1000872
3455
а дел од она што бараме се наоѓа во нашите тестовни методи.
16:56
Well, we hear a lot about testing and evaluation,
383
1004327
3243
Многу слушаме за тестирање и оценување,
16:59
and we have to think carefully when we're testing
384
1007570
2187
и мораме да бидеме внимателни при тестирањето
17:01
whether we're evaluating or whether we're weeding,
385
1009757
3087
за тоа дали оценуваме или пак истребуваме,
17:04
whether we're weeding people out,
386
1012844
1459
дали ги истребуваме луѓето,
17:06
whether we're making some cut.
387
1014303
3134
дали елиминираме некого.
17:09
Evaluation is one thing. You hear a lot about evaluation
388
1017437
2641
Оценувањето е една работа. Во денешно време ќе прочитате
17:12
in the literature these days, in the educational literature,
389
1020078
2910
многу работи за оценувањето во образовната литература,
17:14
but evaluation really amounts to feedback and it amounts
390
1022988
2958
но оценувањето всушност е давање повратна информација,
17:17
to an opportunity for trial and error.
391
1025946
2154
обезбедување прилики за обиди и грешки.
17:20
It amounts to a chance to work over a longer period of time
392
1028100
4494
Тоа е можност да работите подолг временски период
17:24
with this kind of feedback.
393
1032594
1910
и да добивате повратни информации.
17:26
That's different than weeding, and usually, I have to tell you,
394
1034504
2938
Тоа е поразлично од истребувањето, и обично кога луѓето
17:29
when people talk about evaluation, evaluating students,
395
1037442
2726
зборуваат за оценување, оценување на студенти,
17:32
evaluating teachers, evaluating schools,
396
1040168
2787
оценување на наставници, оценување на училишта,
17:34
evaluating programs, that they're really talking about weeding.
397
1042955
4161
оценување на програми, тие всушност зборуваат за истребување.
17:39
And that's a bad thing, because then you will get what you select for,
398
1047116
4210
А тоа е лошо, бидејќи тогаш ќе го добиете она што го барате,
17:43
which is what we've gotten so far.
399
1051326
1958
а во таква состојба сме токму сега.
17:45
So I'd say what we need is a test that says, "What is x?"
400
1053284
3441
Би рекол дека ни треба тест кој вели, "Што е x?"
17:48
and the answers are "I don't know, because no one does,"
401
1056725
3092
а одговорите се "Не знам, бидејќи никој не знае,"
17:51
or "What's the question?" Even better.
402
1059817
1741
или "Што е прашањето?" Уште подобро.
17:53
Or, "You know what, I'll look it up, I'll ask someone,
403
1061558
2390
Или, "Знаеш што, ќе го побарам, ќе прашам некого,
17:55
I'll phone someone. I'll find out."
404
1063964
2700
ќе се јавам некому. Ќе дознаам."
17:58
Because that's what we want people to do,
405
1066664
1550
Оти токму така сакаме луѓето да се однесуваат,
18:00
and that's how you evaluate them.
406
1068214
1371
и на тој начин ќе ги оценуваш.
18:01
And maybe for the advanced placement classes,
407
1069585
1943
A кај напредните класови
18:03
it could be, "Here's the answer. What's the next question?"
408
1071528
3714
би можело да биде, "Еве го одговорот. Кое е следното прашање?"
18:07
That's the one I like in particular.
409
1075242
1511
Тоа особено ми се допаѓа.
18:08
So let me end with a quote from William Butler Yeats,
410
1076753
2177
Дозволете ми да завршам со цитат од Вилијам Батлер Јеитс,
18:10
who said "Education is not about filling buckets;
411
1078930
3167
кој рекол "Образованието не претставува полнење на кофи;
18:14
it is lighting fires."
412
1082097
2153
туку палење на огнови."
18:16
So I'd say, let's get out the matches.
413
1084250
3875
Па затоа, ајде да ги извадиме чкорчињата.
18:20
Thank you.
414
1088125
1208
Ви благодарам.
18:21
(Applause)
415
1089333
3227
(Аплауз)
18:24
Thank you. (Applause)
416
1092560
3816
Ви благодарам. (Аплауз)
Translated by ALEKSANDAR MITEVSKI
Reviewed by Charlie Psy

▲Back to top

ABOUT THE SPEAKER
Stuart Firestein - Neuroscientist
Stuart Firestein teaches students and “citizen scientists” that ignorance is far more important to discovery than knowledge.

Why you should listen

You’d think that a scientist who studies how the human brain receives and perceives information would be inherently interested in what we know. But Stuart Firestein says he’s far more intrigued by what we don’t. “Answers create questions,” he says. “We may commonly think that we begin with ignorance and we gain knowledge [but] the more critical step in the process is the reverse of that.”

Firestein, who chairs the biological sciences department at Columbia University, teaches a course about how ignorance drives science. In it -- and in his 2012 book on the topic -- he challenges the idea that knowledge and the accumulation of data create certainty. Facts are fleeting, he says; their real purpose is to lead us to ask better questions.

More profile about the speaker
Stuart Firestein | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee