102
24-я годичная конференция Санкт- Петербургского союза ученых (СПбСУ) 5-6 апреля 2014 г. Санкт-Петербург 1

Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Embed Size (px)

DESCRIPTION

24-я годичная конференция Санкт-Петербургского союза ученых ( СПбСУ ) 5-6 апреля 2014 г. Санкт-Петербург. Кризис воспроизводимости (и / или согласованности) результатов в биомедицине, его истоки и пути преодоления. Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики - PowerPoint PPT Presentation

Citation preview

Page 1: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

24-я годичная конференция Санкт-Петербургского союза ученых (СПбСУ) 5-6 апреля 2014 г. Санкт-Петербург

1

Page 2: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Кризис воспроизводимости (и/или согласованности) результатов в

биомедицине, его истоки и пути преодоления

Никита Николаевич Хромов-БорисовКафедра физики, математики и информатики

ПСПбГМУ им. акад. И.П. Павлова8-952-204-89-49 (Теле2);

8-921-449-29-05 (МегаФон)

[email protected]://independent.academia.edu/NikitaKhromovBorisov

2

Page 3: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Вместо эпиграфа: Политики обсуждают глобальное потепление (Берлин)

3

Page 4: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

4

Page 5: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Плохая воспроизводимотсь результатов экспериментов и

наблюдений – бич современной биомедицины

5

Page 6: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Из истории эпидемиологических исследований: факторы риска для возникновения рака (Jenks S., Nancy Volkers N. Razors and refrigerators and reindeer — Oh My! //J. Natl. Cancer Inst., 1992. – Vol. 84. – No. 24. – P.1863)

• Электробритвы• Холодильники• Флуоресцентные

светильники• ЛЭП – линии

электропередач• Аллергия• Содержание певчих птиц

• Хот-доги• Разведение северных

оленей• Профессия – официант• Высокий рост• Малый рост• И, конечно, мобильные

телефоны!

6

Обширный перечень зачастую курьезных медицинских заблуждений о разнообразных факторах риска, оказавшихся несостоятельными, приведен в работе:Buchanan A.V., Weiss K.M., Fullerton S.M. Dissecting complex disease: the quest for the Philosopher’s Stone? International Journal of Epidemiology 2006. – Vol. 35. – P. 562–571.

Page 7: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Перечень спорных невоспроизводимых результатов• Гормонозаместительная терапия и

заболевания сердца• Гормонозаместительная терапия и

рак• Стресс и язва желудка• Ежегодные физические

обследования и предотвращение болезней

• Нарушения поведения и их причины• Маммография и предупреждение

рака• Самообследование молочных желез

и предупреждение рака• Эхинацея и простуда• Витамин С и простуда• Детский аспирин и предупреждение

болезней

• Поваренная соль и гипертензия• Потребление жира и заболевания

сердца• Пищевой кальций и прочность костей• Ожирение и болезни• Пищевые волокна и колоректальный

рак• Пищевая пирамида и рекомендуемые

суточные нормы потребления• Холестерин и сердечнососудистые

заболевания• Гомоцистеин и сердечнососудистые

заболевания• Воспаления и сердечнососудистые

заболевания• Оливковое масло и рак молочной

железы

7

Page 8: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Перечень спорных невоспроизводимых результатов (продолжение)

• Беспокойство и ожирение• Солнце и рак• Ртуть и аутизм• Родовспоможение и шизофрения• Материнская забота и

шизофрения• Что-то еще и шизофрения• Красное вино (но не белое и не

виноградный сок) и заболевания сердца

• Сифилис и гены• Материнская забота и аутизим• Грудное вскармливание и астма• Искусственное вскармливание и

астма• Бог знает, что и астма

• Силовые трансформаторы и лейкемия

• Атомные электростанции и лейкемия

• Мобильные телефоны и опухоли мозга

• Витаминные антиоксиданты и рак или старение

• Организация медицинского обеспечения и удешевление медицинский услуг

• Организация медицинского обеспечения и оздоровления населения

• Гены – и вы можете сами назвать, что еще!

8

Page 9: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Мифы об AB0• Классическим примером неподтвержденных связей с различными

состояниями человека может служить система группы крови AB0. • Сообщались самые невероятные явления. • Якобы у субъектов с А более тяжелое похмелье; • у субъектов с 0 более здоровые зубы; • военные с 0 слабохарактерны, а с B более импульсивны; • субъекты с B более склонны к преступлениям;

между AB0 и пищеварением – сильная связь: для каждой группы своя диета; аллель 0 якобы более древняя и поэтому ее носители – охотники и плотоядны, а аллель A моложе и поэтому ее носители – фермеры и вегетарианцы;

• у субъектов с А2 более высокий IQ; • люди с группой В чаще испражняются. • Все эти связи не воспроизводятся и практически забыты.

9

Page 10: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Статистически «доказанными» до сих пор остаются лишь связи между группами крови AB0 и злокачественными новообразованиями, тромбозами, пептическими язвами, кровотечениями, бактериальными и вирусными инфекциями.

• Увы, клинической (практической) ценности эти связи не имеют, поскольку такой показатель статистической связи как отношение шансов («оддов») (OR) для них не превышает значения OR = 1,5.

10

Page 11: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Словесная интерпретация (вербальная шкала) градаций для отношения шансов OR

OR Интерпретация силы статистической связи

1 – 1,5 Практически ничтожная

1,5 – 3,5 Очень слабая

3,5 – 9,0 Слабая

9,0 – 32 Умеренная

32 – 360 Сильная

> 360 Чрезвычайно сильная

11

По: Hopkins W.G. A Scale of Magnitudes for Effect Statistics http://www.sportsci.org/resource/stats/

Page 12: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Рубанович А.В., Хромов-Борисов Н.Н. Теоретический анализ показателей предсказательной эффективности бинарных генетических

тестов // Экологическая Генетика, 2013. – Т. 11. – С. 77 90. ‑

• Наше теоретическое исследование показывает, что при OR < 2,2 маркер обладает заведомо низкой прогностической эффективностью во всех смыслах и при любых частотах встречаемости заболевания и маркера.

• Маркер может быть хорошим классификатором, если OR > 5,4, да и то при условии, что его популяционная частота достаточно высока (pM > 0,3).

• Не следует забывать, что указанным неравенствам должны удовлетворять нижние границы доверительного интервала для оцениваемого значения ORL.

• Ранее близкие значения критических уровней наблюдаемых эффектов в генетике предрасположенностей предлагались для относительных рисков (RR < 2 и RR > 5).

• Ioannidis J.A.P. Commentary: Grading the credibility of molecular evidence for complex diseases //International Journal of Epidemiology, 2006. Vol. 35. P. 572–577.

12

Page 13: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Begley C.G., Ellis L.M. Raise standards for preclinical cancer research // Nature, 2012. – Vol. 483. – P. 531-533.

• Гленн Бегли (C. Glenn Begley), бывший вице-президент известной биотехнологической компании Amgen, и его коллега Ли Эллис (Lee M. Ellis) недавно сообщили, что ученые этой компании не смогли подтвердить (воспроизвести) результаты 47 из 53 статей, которые казались очень плодотворными для запуска программ по производству новых лекарств.

13

Page 14: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• В одном исследовании, которое за короткий период цитировалось более 1900 раз, даже сами авторы впоследствии не смогли воспроизвести собственные результаты.

• Бегли и Эллис считают, что плохая воспроизводимость результатов становится системной проблемой современной науки.

14

Page 15: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Ioannidis J.P.A. Why most published research findings are false // PLoS Med., 2005. – Vol. 2. – No. 8. – Paper: e124.

Почему результаты большинства опубликованных исследований оказываются ложными?

15

Page 16: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Сэр Карл Раймунд П пперо́� (Karl Raimund Popper; 28.07.1902 — 17.09.1994) — австрийский и

британский философ и социолог. Один из самых влиятельных философов науки XX столетия

16

Page 17: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Золотое правило

• Возможность поставить эксперимент является главным критерием отличия научной теории от псевдонаучной (Поппер).

• Золотое правило экспериментальной науки:• Многократно повторять эксперименты или

наблюдения и изучать, насколько их результаты согласуются друг с другом, т.е. насколько они воспроизводятся.

17

Page 18: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Воспроизводимость является Золотым стандартом науки.

• В идеале, результаты исследования заслуживают внимания, опубликования и цитирования, только после того как независимые исследователи подтвердят их, используя описанные авторами материалы и методы.

18

Page 19: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

19

Научный метод • Ни один уважающий себя ученый не ограничится в своих

исследованиях одним-единственным экспериментом, хотя бы ради того, чтобы исключить неизбежные ошибки наблюдения, измерений, подсчетов и т. д.

• Законы Менделя стали законами только после того, как их справедливость была продемонстрирована для всех диплоидных организмов, размножающихся половым путем – от дрожжей до человека.

• Смешно было бы, если Мйкельсон и Морли провели бы всего лишь одно измерение скорости света и на основании такого этого единственного измерения утверждали бы, что скорость света постоянна (в пределах точности измерения, которую и оценить-то невозможно, если измерение одно).

19

Page 20: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Albert Abraham Michelson (19.12.1852 — 09.05.1931)

Edward Williams Morley (29.01.1839 — 24.02.1923)

20

Page 21: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Грегор Иоганн Мендель (Gregor Johann Mendel; 20.07.1822 — 06.01.1884)

Портрет 1884 годаПамятник-бюст Г. Менделю в Колтушах. Фото 2011 г.

21

Page 22: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Мендель и его последователи

Автор Желтые Зеленые Pval BF01 95%-й ДИ

Mendel 6022 2001 0,90 82,0 0,740,750,76

Correns 2631 867 0,77 52,4 0,740,740,77

Tschermak 6580 2149 0,41 61,7 0,740,750,76

Hurst 1310 445 0,73 36,2 0,730,750,77

Bateson 11903 3903 0,37 78,1 0,7460,7530,760

Lock 6920 2372 0,24 44,4 0,7360,7450,753

White 1647 543 0,82 42,2 0,730,750,77

Darbishire 115811 38396 0,36 238,1 0,7490,7510,753

22

Page 23: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

23

Культ одиночного изолированного исследования

• Чрезмерное «увлечение» анализом одиночных наборов данных пронизывает почти всю биомедицинскую литературу и является серьезной болезнью статистического образования.

• Конечно же, не всегда возможно собрать больше данных, и некоторые научные эксперименты столь дорогостоящи, что правомочно извлекать из данных как только возможно больше информации.

• Однако, во многих других ситуациях можно и нужно собирать как можно больше данных, и это представляется благоразумным.

• Наука не дается малой кровью.

23

Page 24: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Вавилонское столпотворение в статистике

• Статистики говорят на разных языках и зачастую не слышат и/или не понимают друг друга.

• Существуют две основные идеологии статистических рассуждений:

• Частотническая (Фреквентисткая) и• Бейзовская (Бейзианская).• В частотнической идеологии выделяются две основные

идеологии: • Фишера и • Неймана-Пирсона• Пользователи их редко различают, и отсюда проистекают

серьезные недоразумения.

24

Page 25: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Вавилонское столпотворение

25

Page 26: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Синдром статистической снисходительности и доверчивости

илизначение и назначение P-значения

26

Page 27: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Процедура проверки значимости нулевой гипотезы, основанная на значении Pval, – квинтэссенция традиционной (ортодоксальной) статистической практики

• и одновременно – ее величайшее недоразумение и заблуждение.

27

Page 28: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

28

Что же такое значение P• Значение P есть условная вероятность, а именно: • Вероятность получить наблюдаемое абсолютное

значение • t’obs = |tobs| статистики критерия T* и все

остальные значения, еще более отклоняющиеся от значения 0, ожидаемого ПРИ УСЛОВИИ, что верна нулевая гипотеза H0:

• Pval = Pr(T* ≥ t’obs|H0).

• Значение Pval принято интерпретировать как свидетельство против нулевой гипотезы.

28

Page 29: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Основная логика использования наблюдаемого значения величины Pval состоит в том, что если оно малó, то считается, что малоправдоподобно получить имеющиеся данные при условии, что справедлива нулевая гипотеза.

• Как следствие делается вывод, что в таком случае малоправдоподобна и сама нулевая гипотеза.

• Это считается достаточным аргументом для того, чтобы отклонить Н0 и принять альтернативную гипотезу Н1.

29

Page 30: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

n1 = 5, n2 = 7, df = 10, t = 1,5P = 0,16 – различие статистически незначимо

30

Page 31: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

n1 = 5, n2 = 7, df = 10, t = 3,0 P = 0,013 – различие статистически значимо

на уровне значимости α = 0,05, но не 0,01

31

Page 32: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Статистическая снисходительность

• Преодоление порогового (критического) уровня Pval < 0,05 всего лишь в одной выборке часто считается достаточным для вывода о статистической значимости наблюдаемого различия (или любого иного эффекта).

• В последнем случае в отечественных научных публикациях часто употребляется даже более сильное утверждение: «различие достоверно» («эффект достоверен»).

32

Page 33: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Не «достоверный», но всего лишь «статистически значимый»

• В статистике надо стараться избегать слова «достоверность», ибо в русском языке оно означает подлинный, несомненно верный, не вызывающий сомнения.

• В теории вероятностей достоверное событие – событие с вероятностью, равной 1.

• Всестороннее обсуждение этого вопроса см. в:• Зорин Н.А. О неправильном употреблении термина

«достоверность» в российских научных психиатрических и общемедицинских статьях. 2000. http://www.biometrica.tomsk.ru/let1.htm

33

Page 34: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Выбор порога для значения Pval,

и можно ли его обосновать?

34

Page 35: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Андрей Николаевич Колмогоров12 (25) апреля 1903 – 20 октября 1987

• Пророк в своем отечестве

35

Page 36: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Колмогоров, статья «Вероятность» в отечественных энциклопедиях

http://www.encyclopediaofmath.org/index.php/Probability

• В статистике рекомендованный уровень значимости варьирует от 0,05 – для предварительных ориентировочных экспериментов до 0,001 – для важных окончательных выводов, но достижимая надежность вероятностных выводов часто бывает гораздо более высокой.

• Так, принципиальные выводы в статистической физике основываются на пренебрежении вероятностями менее 10−10.

• БСЭ, 1969-1978. http://bse.chemport.ru/veroyatnost.shtml; • БРЭ• Вероятность и математическая статистика. Энциклопедия. — М.: Изд-во

«Большая Российская Энциклопедия», 1999. – c. 97, 874.

36

Page 37: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

37

«Фильтруйте базар»: Sterne J.A.C., Davey Smith G. Sifting the evidence – what’s wrong with

significance tests? // BMJ, 2001. – Vol. 322. – P. 227-231.

• Значение Pval близкое к 0,05 не является сильным свидетельством против нулевой гипотезы.

• Сильными свидетельствами против Н0 следует признавать значения Pval < 0,001.

• В публикациях надо представлять точные значения Pval без соотнесения их с какими-либо пороговыми (критическими) значениями (типа Pval < 0,05).

37

Page 38: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

38

Традиционная интерпретация значений Pval (и их «звездность» по шкале Michelin)

38

Значение Pval Статистическая значимость Шкала Мишлена

> 0,05 Незначимо

0,05 – 0,01 Умеренно значимо *

0,01 – 0,001 Значимо **

0,001 – 0,0001 Высоко значимо ***

< 0,0001 Очень высоко значимо ****

4-х звездочное критическое (пороговое) значение 0,0001 добавлено относительно недавно Мотульским: http://www.graphpad.com/guides/prism/6/statistics/index.htm?interpreting_a_small_p_value_from_an_unpaired_t_test.htm

Page 39: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

39

[0,05; 0,01] – «серая зона»Глотов Н.В., Животовский Л.А., Хованов Н.В., Хромов-Борисов Н.Н.

Биометрия, Л.: Изд-во ЛГУ, 1982. – 264 с.

• Выбор уровня значимости определяется важностью биологических выводов, которые должен сделать экспериментатор.

• В настоящее время многие биометрики склоняются к следующему правилу:

• а) если Pval > 0,05, то принимается нулевая гипотеза;

• б) если Pval < 0,01, то нулевая гипотеза отклоняется и принимается конкурирующая;

• в) если 0,01 < Pval < 0,05, то результат считается неопределенным.

39

Page 40: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Привычка свыше нам дана

• Многие исследователи (авторы) имеют дурную привычку обращать внимание исключительно на значение Pval,

• игнорируя клиническую (практическую) ценность (важность) полученных ими данных.

40

Page 41: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Положительные эмоции

• Когда они получают малые значения Pval, которые указывают на статистически значимое различие, например, между новым и стандартным способами лечения,

• они дико радуются, ликуют, танцуют на улицах, с шумом открывают бутылки с шампанским и публикуют свои результаты в журналах класса «А» с высоким импакт-фактором.

41

Page 42: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Отрицательные эмоции

• Когда же они получают большие значения Pval, • то они рвут на себе волосы, посыпают

голову пеплом, срывают с себя одежды, стенают и рыдают и публикуют свои результаты в малоавторитетных журналах класса «С».

42

Page 43: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

43

Акт интеллектуальной смелости

• Когда P-значение очень мало, мы берем на себя смелость отклонить нулевую гипотезу (и принять альтернативную).

• Всякий раз, принимая решение отклонить или принять нулевую гипотезу, мы совершаем акт интеллектуальной смелости.

• И этот акт является внестатистическим.

43

Page 44: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

44

Наираспространеннейший соблазн

• Квинтэссенцию традиционных (частотнических) заключений при проверке статистических гипотез принято интерпретировать так:

• чем меньше P-значение, тем весомее доводы против нулевой гипотезы H0, которые предоставляют нам имеющиеся данные; тем больше у нас оснований сомневаться в H0.

• Отсюда невольно (и вроде бы естественно) возникает соблазн интерпретировать P-значение как вероятность нулевой гипотезы.

44

Page 45: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

45

Распространенное заблуждение

• P-значение не есть вероятность нулевой гипотезы !

• Поскольку P-значение вычисляетсяпри условии,

• что справедлива нулевая гипотеза H0:• Pval = Pr{T ≥ tнабл.|H0},

• то оно никак не может быть вероятностью нулевой гипотезы:

• P{t|H0} ≠ P{H0|t}45

Page 46: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

P(L|D) ≠ P(D|L)

• Если у субъекта смертельная неизлечимая болезнь, допустим, прионная губчатая энцефалопатия Болезнь Кройтцфельдта-Якоба (D), то вероятность летального исхода (L) очень велика, практически 100%:

• P(L|D) = 100%• Но если перед нами труп, то вероятность того,

что причиной смерти является именно эта болезнь очень мала:

• P(D|L) = 10-6 = 0,0001%

46

Page 47: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Заблуждения относительно интерпретации значения Pval

• Подробнее о том, чем не является значение Pval, см. энциклопедическую статью:

• http://en.wikipedia.org/wiki/P-value• и недавнюю работу С. Гудмана, в которой

перечислена «грязная дюжина» ошибочных интерпрертаций значения Pval:

• Goodman S. A dirty dozen: Twelve P-value misconceptions // Semin. Hematol., 2008. - Vol. 45. – P. 135-140.

47

Page 48: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

48

Визуализация результатов проверки статистических гипотез с

помощью доверительных интервалов (ДИ) для размера

эффекта

ДИ наряду со значением Pval или вместо него

48

Page 49: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

49

Использование доверительных интервалов (ДИ) для проверки нулевых гипотез

• Для проверки нулевой гипотезы о равенстве двух средних:

• H0: μ1 = μ2

• или, что то же самое:• δ0 = μ1 - μ2 = 0

следует построить ДИ для разности средних δ = μ1 - μ2.

• Тогда, если вычисленный 100(1 – α)%-й ДИ не накрывает постулируемое этой гипотезой значение δ0 = 0, то отличие оцениваемой эти интервалом неизвестной нам разности δunkn от δ0 = 0 можно признать статистически значимым на уровне значимости α, который выбирается исследователем заранее.

Page 50: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

ДИ и статистическая значимость

Неизвестное, оцениваемоеданным интервалом значение δunkn статистически не отличается от ожидаемого.

Неизвестное, оцениваемоеданным интервалом значение δunkn статистически значимо меньше ожидаемого на уровне значимости α.

Неизвестное, оцениваемоеданным интервалом значение δunkn статистически значимо превышает ожидаемое на уровне значимости α.

Ожидаемое значение δ 100(1 – α)%-й ДИ для неизвестного значения δunkn:

50

Page 51: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

51

Гармонизация статистических доказательств и предсказаний

51

Page 52: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Международные рекомендации

• Редакции многих зарубежных биомедицинских журналов при подготовке к публикации научных статей рекомендуют авторам руководствоваться «Рекомендациями по проведению, представлению, редактированию и публикации научной работы в медицинских журналах».

• Эти рекомендации разрабатывает Международный комитет редакторов медицинских журналов (International Committee of Medical Journal Editors – ICMJE).

• Они регулярно пересматриваются, и последнее обновление датировано декабрем 2013 г.:

• http://www.icmje.org/index.html • На русский наиболее удачно переведена редакция 2005 г.:• http://www.mediasphera.ru/mjmp/2005/5/10.pdf

52

Page 53: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Международные рекомендации, раздел «Статистика»

• Описывайте статистические методы настолько детально, чтобы осведомленный читатель, имеющий доступ к исходным данным, мог судить об их пригодности для данного исследования и проверить сообщаемые результаты.

• Когда только возможно, подвергайте полученные данные количественной оценке и представляйте их с соответствующими показателями ошибок измерения и неопределенности (например, с доверительными интервалами).

• Избегайте полагаться исключительно на статистическую проверку гипотез, например, на значения P, которые не в состоянии предоставлять важную информацию о размере эффекта и точности оценок.

• К этому следует добавить анализ мощности, предсказательные вероятности и предсказательные интервалы.

53

Page 54: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Francis Galton, 1901

• "I have begun to think that no one ought to publish biometric results, without lodging a well-arranged and well-bound copy of his data in some place where it should be accessible, under reasonable restrictions, to those who desire to verify his work.”

• «Я начинаю думать, что никто не должен публиковать биометрические результаты без представления хорошо организованной и хорошо переплетенной копии своих данных в некотором месте, где она будет доступна (при разумных ограничениях) тому, кто пожелает проверить его работу».

• Френсис Гальтон

54

Page 55: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Информативность показателей ТГТ - Теста Генерации Тромбина

54 больных ИБС и 40 человек без клинических проявлений ИБС (данные Г.А. Березовской)

55

dC – стандартизированный размер эффекта по Коуэну, Pval – значение Р, BF01 - бейзов фактор для сравнения «оддов» (шансов за/против) в пользу альтернативной гипотезы H1 против нулевой гипотезы H0, ДИ – доверительные интервалы, ПИ – предсказательные интервалы.

Page 56: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

56

Случайная величина P* и ее значения Pval

• P-значение есть наблюдаемое значение (реализация) соответствующей случайной величины

• Всякий раз мы наблюдаем одно из ее возможных значений.

• Когда H0 верна, то Pval имеет непрерывное равномерное распределение на отрезке

• [0; 1].• Его более строгое название: стандартное равномерное

распределение

P~

56

Page 57: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

57

• Отсюда следует, что, строго говоря, на основе всего лишь одного изолированного исследования нельзя делать определенные выводы.

• Любое научное исследование должно повторяться многократно, и должна исследоваться воспроизводимость результатов.

57

Page 58: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Воспроизводимость доверительных интервалов и значений Pval Cumming, G. (2008). Replication and p intervals: p values predict the future only vaguely,

but confidence intervals do much better // Perspectives on Psychological Science, 2008. – Vol. 3. – No. 4. – P. 286-300. Программа ESCI PPS p intervals http://www.latrobe.edu.au/psy/esci/

лишь в 12 из 25 пар случайных независимых выборок отличия от μdiff = 0 статистически значимы на уровне α = 0,05, но в одной из них оцениваемое μdiff статистически значимо

меньше μdiff = 10

-20 -10 0 10 20 30 40

H0 mdiff

Difference in verbal ability

Su

cce

ssiv

e e

xpe

rim

en

ts

58

Page 59: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

80%-е ДИ для значений PvalCumming G. Replication and p intervals: p values predict the future only

vaguely, but confidence intervals do much better // Perspectives on Psychological Science, 2008. – Vol. 3. – No. 4. – P. 186-300.

Pobs

80%-й интервал для Pval при повторениях

0,05 От 8·10-5 до 0,44

0,01 От 6·10-6 до 0,22

0,001 От 2·10-7 до 0,07

59

Page 60: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

60

«Цена» значений P

Значение P

Верхняя граница 80%-го

интервала для Pval

Нижняя границадля вероятности

нулевой гипотезы P(H0)

Верхняя границадля вероятности

воспроизведения Рrepr

0,05 0,44 > 30% < 50%

0,01 0,22 > 10% < 73%

0,001 0,07 > 2% < 90%

Для наглядности значения в таблице округлены до первой значащей цифры. Sellke T., Bayarri M.J., Berger J.O. Calibration of p values for testing precise null hypotheses. The American Statistician, Vol. 55, No. 1. (2001), pp. 62-71.Goodman S.N. A comment on replication, p-values and evidence // Statistics in Medicine, 1992. – Vol. 11. – P. 875-879.

60

Page 61: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

«Гибкие» значения Pval

• Таким образом, явно не следует слепо применять инструментарий процедур проверки значимости нулевой гипотезы и основывать свои выводы исключительно на получаемых значениях Pval.

• Осмысленные выводы должны основываться на разумном взвешивании значений Pval и на использовании дополнительной информации о других не менее важных показателях, таких как мощность, размер эффекта, количество наблюдений, о результатах предшествующих работ, предсказаниях действующей теории и т.п.

61

Page 62: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Прямая выгода

• Надо перестать судорожно цепляться за уровень значимости α = 0,05 (да и за α = 0,01 тоже) и некритично объявлять случаи его преодоления (Pval < 0,05) статистически значимыми (и тем более «достоверными») событиями.

• Если мы сконцентрируемся на преодолении уровня α = 0,001, т.е. будем считать статистически значимыми Pval < 0,001, то в итоге сможем сэкономить массу времени и средств и реже выявлять ложные неподтверждающиеся эффекты.

62

Page 63: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Диалог

• - Надо забыть о P < 0,05 (точнее о 0,001 < P < 0,05).• - Тогда надо закрыть всю нашу науку.• - Да, такую науку надо закрывать.

63

Page 64: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Значение и назначение P-значения

64

Page 65: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Критерии значимости – вид статистического колдовства и шаманства.

• Lambdin C. Significance tests as sorcery: Science is empirical—significance tests are not. Theory & Psychology, 2912. 22(1): 67 –90.

65

Page 66: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Campbell J. P. Editorial: Some remarks from the outgoing editor. Journal of Applied Psychology, 1982. 67: 691-700.

• Значения Р подобны москитам. • Они умудряются найти экологическую

нишу повсюду, и никакие шлепки, отмахивания, расчесывания, или распылители не спасают от них.

66

Page 67: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Повторение – мать познания

67

Page 68: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Суета сует• В статистических руководствах и в научных

статьях преобладает «культ изолированного исследования».

• Часто считается, что если получен «статистически значимый» результат, то это исключает необходимость повторить исследование.

• Повторность часто рассматривается как нечто суетное и никчемное.

68

Page 69: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Излечися сам

• Единственный способ излечиться от синдрома статистической снисходительности и доверчивости

• – это многократно повторять эксперименты и изучать воспроизводимость наблюдаемых эффектов, которые при Pval < 0,05 слишком часто могут оказаться ложными.

69

Page 70: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Джон Уайлдер Тьюки (John Wilder Tukey, 16.04.1915 — 26.07.2000)

• Исследования должны быть как минимум двухэтапными.

• Первый этап – разведочное (пилотное) исследование.

• Второй этап – проверочное (порождающее гипотезы) исследование.

• Оно планируется на основе результатов разведочного исследования.

70

Page 71: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

71

Гармонизация статистических доказательств и предсказаний

71

Page 72: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

72

Статистическая значимость и размер эффекта

• Эффект (различие, связь, корреляция, риск, польза, ассоциация и т. п.) может быть статистически значимым, но его практическая (например, клиническая) ценность может оказаться ничтожной.

• «Статистически значимый» не означает «значительный», «практически важный», «ценный».

• Эффекты могут быть реальными, неслучайными, но практически пренебрежимо малыми.

72

Page 73: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

73

Размер эффекта

• Вопрос о клинической (практической) ценности (важности) наблюдаемого

• Размера Эффекта • является ключевым при интерпретации

результатов биомедицинских исследований, таких как диагностические исследования, клинические испытания и т.п.

• Размер эффекта можно выражать в реальных единицах, а можно сделать его безразмерным – Стандартизированным.

73

Page 74: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

74

Стандартизированный размер эффекта по Коуэну (Cohen) dC

pooleds

MMd 21C

74

Page 75: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Различающая способность стандартизированного размера эффекта по Коуэну, dC

75

Page 76: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

76

Интерпретация стандартизированного размера эффекта dC http://www.sportsci.org/resource/stats/

Размер эффекта, dC Градация эффекта

0 – 0,2 Ничтожный

0,2 – 0,5 Малый

0,5 – 1,0 Умеренный

1,0 – 2,0 Большой

2,0 – 4,0 Очень большой

4,0 - Исключительно большой

76

Page 77: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Бейзовская статистика: Альтернатива частотнической проверке значимости нулевой

гипотезы

77

Page 78: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

78

Бейзов фактор, BF• Бейзов фактор BF принципиально отличается от

значения Рval.• Бейзов фактор не является вероятностью сам по себе, а

является отношением вероятностей, и он может варьироваться от нуля до бесконечности:

• BF01 = P(Dobs|H0) / P(Dobs|H1)

• BF10 = P(Dobs|H1) / P(Dobs|H0)• Это означает, что с помощью бейзова фактора

проводится не однобокая проверка значимости лишь нулевой гипотезы, а сравниваются вероятности получить наблюдаемые данные при обеих гипотезах.

• Однако для этого надо иметь более полное представление об альтернативной гипотезе.

Page 79: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Интерпретация убедительности Бейзовых факторов, BF10 и BF01

BF01Свидетельство в пользу гипотезы Н0

против гипотезы Н1

>100 Убедительное30 – 100 Очень сильное10 – 30 Сильное3 – 10 Умеренное (слабое)

1 – 3 Пренебрежимо малое

BF10Свидетельство в пользу гипотезы Н1

против гипотезы Н0

79

Page 80: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Джон Арбетнот (Арбатнот) - John Arbuthnot29.04.1667 – 27.02.1735

80

Page 81: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Количество крещенных в Лондоне за 82 года

Год М Д Год М Д

1629 5218 > 4683 1650 2890 > 27221630 4858 > 4457 3231 > 2840 4422 > 4102 3220 > 2908 4994 > 4590 3196 > 2959 5158 > 4839 3441 > 3179 5035 > 4820 3655 > 3349 5106 > 4928 3668 > 3382 4917 > 4605 3396 > 3289 4703 > 4457 3157 > 3013 5359 > 4952 3209 > 2781 5366 > 4784 1660 3724 > 32471640 5518 > 5332 4748 > 4107 5470 > 5200 5216 > 4803 5460 > 4910 5411 > 4881 4793 > 4617 6041 > 5881 4107 > 3997 5114 > 4858 4047 > 3919 4678 > 4319 3768 > 3395 5616 > 5322 3796 > 3536 6073 > 5560 3363 > 3181 1669 6506 > 58291649 3079 > 2746

Год М Д Год М Д1670 6278 > 5719 1691 7662 > 7392 6449 > 6061 7602 > 7316 6443 > 6120 7676 > 7483 6073 > 5822 6985 > 6647 6113 > 5738 7263 > 6713 6058 > 5717 7632 > 7229 6552 > 5847 8062 > 7767 6423 > 6203 8426 > 7626 6568 > 6033 7911 > 7452 6247 > 6041 1700 7578 > 70611680 6548 > 6299 8102 > 7514 6822 > 6533 8031 > 7656 6909 > 6744 7765 > 7683 7577 > 7158 6113 > 5738 7575 > 7127 8366 > 7779 7484 > 7246 7952 > 7417 7575 > 7119 8379 > 7687 7737 > 7214 8239 > 7623 7487 > 7101 7840 > 7380 7604 > 7167 1710 7640 > 72881690 7909 > 7302• Всего 484 382 > 454 041• Общая сумма 938 423

81

Page 82: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Сравнение частотнических и бейзовских результатов

• Проверка однородности (независимости) данных Арбетнота:• Pval ≈ 10-8

• BF01 = 8·10117

• C точки зрения частотнического подхода данные Арбетнота статистически высоко значимо неоднородны.

• С точки зрения бейзовского подхода вывод диаметрально противоположный:

• в 8·10117 раз более правдоподобно получить эти данные при условии их однородности (H0) , чем при условии их неоднородности (H1) .

• Или: • апостериорные шансы (одды) в пользу нулевой гипотезы против

альтернативной в 8·10117 выше их апостериорных шансов (оддов).

82

Page 83: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

83

Статистические предсказания и воспроизводимость

83

Page 84: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Определение угла наклона вертлужного компонента

84

Page 85: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Короб с усами. Сравнение групп операций с направителем и без него (И.И. Шубняков и др.). Программа Instat+

http://www.reading.ac.uk/ssc/n/n_instat.htm

85

n1 = 390; n2 = 300, t = 3,56; Pval = 0,00083; ES = 0,351,532,72; dC = 0,110,260,40

Page 86: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Программа Bayes Factor Calculator http://pcl.missouri.edu/bayesfactor

• BF01 = 0,065

• BF10 = 1/BF01 = 15,3• Примерно в 15 раз более

правдоподобно получить наблюдаемое различие при условии, что верна альтернативная гипотеза H1, чем при условии, что справедлива нулевая гипотеза H0

• Такое свидетельство в пользу H1 против H0 можно интерпретировать как сильное. 86

Page 87: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Информативность показателей ТГТ - Теста Генерации Тромбина

54 больных ИБС и 40 человек без клинических проявлений ИБС (данные Г.А. Березовской)

87

dC – стандартизированный размер эффекта по Коуэну, Pval – значение Р, BF01 - бейзов фактор для сравнения «оддов» (шансов за/против) в пользу альтернативной гипотезы H1 против нулевой гипотезы H0, ДИ – доверительные интервалы, ПИ – предсказательные интервалы.

Page 88: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Бейзовский и частотнический (ортодоксальный, классический) подходы носят взаимодополнительный (комплементарный) характер и совместно обеспечивают значительно лучшее понимание статистических проблем, чем каждый из них в отдельности (Линдли).

• Правильная оценка положения дел в статистической науке может быть получена только в результате сопоставления классического и бейзовского подходов к разнообразным статистическим проблемам, выяснения того, что делает каждый из подходов и насколько хорошо он это делает (Анскомб).

88

Page 89: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

89

Lesaffre E., Lawson A. Bayesian Biostatistics. Bayesian Biostatistics. 2012. Wiley. 534 p.

Broemeling L.D. Bayesian Biostatistics and Diagnostic Medicine. 2007. CRC Press, 216 p.

Page 90: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

90

Kruschke J. Doing Bayesian Data Analysis. 2010. Academic Press, 672 p.

Page 91: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

91

Downey A.B. Think Bayes: Bayesian Statistics Made Simple. Version 1.0.1, 2012. Green Tea Press: Needham, Massachusetts, 195 p.

Albert J. Bayesian Computation with R. Series: Use R! 2nd ed. 2009, Springer, 299 p.

Page 92: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Что делать

• 1. Не знаю как, но надо добиться, чтобы биостатистика входила в Образовательные стандарты (ФГОС) для медвузов.

• 2. Надо организовывать курсы по подготовке специалистов по биостатистике.

• 3. Хорошо бы организовать издание двух журналов:

• «Статистическое образование» и• «Журнал научных дискуссий и критики».

92

Page 93: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Что же делать

• 4. Надо настоятельно рекомендовать редакторам биомедицинских журналов ввести требования к описанию статистики в Инструкции для авторов.

• 5. Надо обязать рецензентов перепроверять результаты статистического анализа в статьях, представляемых к публикации.

• 6. Надо обязать авторов передавать исходные данные в электронные архивы журналов, либо предоставлять их по запросу.

93

Page 94: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Один из самых обычных и ведущих к самым большим бедствиям соблазнов есть соблазн словами: «Все так делают».Л.Н.Толстой

94

Page 95: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Михаил Ефимович Лобашев (11.11.1907 – 04.01.1971)

• Можете заниматься в науке чем угодно, только не забывайте о последствиях и об ответственности.

95

Page 96: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Литератураhttp://independent.academia.edu/NikitaKhromovBorisov

• Глотов Н.В., Животовский Л.А., Хованов Н.В., Хромов-Борисов Н.Н. Биометрия, Л.: Изд-во ЛГУ, 1982. – 264 с.

• Хромов-Борисов Н.Н. Биометрические аспекты популяционнной генетики. Новые генетические механизмы и их роль в генетико-популяционных процессах. Список рекомендуемой литературы. / Л.З. Кайданов, Генетика популяций, Высшая школа, М., 1996, с. 251-308.

• Хромов-Борисов Н.Н. Синдром статистической снисходительности или значение и назначение P-значения // 16.02.2011 г.

• http://tele-conf.ru/aktualnyie-problemyi-tehnologicheskih-izyiskaniy/

96

Page 97: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Хромов-Борисов Н.Н. Современное общедоступное программное обеспечение статистического анализа в молекулярной медицине и генетике. Мастер-класс // Мультидисциплинарные аспекты молекулярной медицины: сборник материалов I Международного форума «Молекулярная медицина – новая модель здравоохранения XXI века: технологии, экономика, образование». 26-27 июня 2013 года. – СПб.: изд-во СПбГЭУ. 2013. – С. 298-307.

• Рубанович А.В., Хромов-Борисов Н.Н. Воспроизводимость и предсказательная ценность результатов в генетике предрасположенностей // Мультидисциплинарные аспекты молекулярной медицины: сборник материалов I Международного форума «Молекулярная медицина – новая модель здравоохранения XXI века: технологии, экономика, образование». 26-27 июня 2013 года. – СПб.: изд-во СПбГЭУ. 2013. – С. 307-314.

97

Page 98: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Хромов-Борисов Н.Н., Рубанович А.В. Эволюционная медицинская геномика // Мультидисциплинарные аспекты молекулярной медицины: сборник материалов I Международного форума «Молекулярная медицина – новая модель здравоохранения XXI века: технологии, экономика, образование». 26-27 июня 2013 года. – СПб.: изд-во СПбГЭУ, 2013. – С. 315-324.

• Обеснюк В.Ф., Хромов-Борисов Н.Н. Интервальные оценки показателей сравнительного медико-биологического исследования // Актуальные проблемы современной науки, 2013. – Т. 2. – № 1. – С. 154-156.

• Рубанович А.В., Хромов-Борисов Н.Н. Теоретический анализ показателей предсказательной эффективности бинарных генетических тестов. Экол. генетика, 2013. – Т. 11. – С. 77 90. ‑

98

Page 99: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Тишков А.В., Хромов-Борисов Н.Н., Комашня А.В., и др. Статистический анализ таблиц 2х2 в диагностических исследованиях. СПб.: Изд-во СПбГМУ, 2013. – 20 с.

• Хромов-Борисов Н.Н., Рубанович А.В. Статистические аспекты генетики предрасположенностей // Иммунофизиология: Аутоиммунитет в Норме и Патологии, Москва, 1-3 Октября, 2012. – C. 305-314.

• Хромов-Борисов Н.Н., Рубанович А.В. Генетика предрасположенностей – разбитые мечты и утраченные грёзы // Иммунофизиология: Аутоиммунитет в Норме и Патологии, Москва, 1-3 Октября, 2012. – C. 315-323.

99

Page 100: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

• Сельков С.А., Королева Л.И., Тишков А.В., Аникин В.Б., Хромов-Борисов Н.Н. Применение современных статистических методов для оценки взаимосвязи интерферонового статуса здорового новорожденного и его матери // Инфекция и иммунитет, 2012. – Т. 1. – № 4. – С. 331–340.

• Тишков А.В., Хромов-Борисов Н.Н., Комашня А.В., и др. Статистический анализ таблиц 2х2 в диагностических исследованиях. СПб.: Изд-во СПбГМУ, 2013. - 20 с.

• Рубанович А.В., Хромов-Борисов Н.Н. Теоретический анализ показателей предсказательной эффективности бинарных генетических тестов // Экол. генетика, 2013. – Т. 11. – С. 77 90. ‑

100

Page 101: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Компьютерная программа:

• Хромов-Борисов Н.Н., Тишков А.В., Комашня А.В., Марченкова Ф.Ю., Семенова Е.М.

• Статистический анализ клинических исследований: таблица 2х2. Версия 1.0.

• Свидетельство о государственной регистрации программы для ЭВМ № 2012616821 31 июля 2012 г.

101

Page 102: Никита Николаевич Хромов-Борисов Кафедра физики, математики и информатики

Спасибо за внимание!Слайды доступны для всех

Никита Николаевич Хромов-БорисовКафедра физики, математики и информатики ПСПбГМУ

им. акад. И.П. Павлова

[email protected] (Теле2); 8-921-449-29-05 (Мегафон)http://independent.academia.edu/NikitaKhromovBorisov

102