ДДТ и аутизм

Внезапно у одного из современных мифоборцев нашел пример того самого мифоборчества, за которое мы их всех так сильно любим. Некто Семен Есилевский намекает (совершенно справедливо), что вакцины не вызывают аутизма. Но вместе с тем он (совершенно несправедливо) намекает, что возможно (и даже вероятно) аутизм вызывает ДДТ, и что про это есть даже обубликованная статья.

И статья, действительно, есть. Только смысла в ней, как водится, крайне мало.

Но обо всем по порядку.

Парадокс дней рождения

Сначала достаточно очевидная вещь. Когда у вас есть достаточно большой набор данных, то в этом наборе обязательно есть определенные корреляции. Если эти данные долго изучать, пытаться построить ассоциации по каким-либо признакам, или разбивать субъекты на подгруппы — то эти корреляции вы обязательно обнаружите. Просто потому что теория вероятностей — это не про равномерное распределение всего и всех. Это про случайное распределение, а любые случайно распределенные признаки имеют свойство где-то кучковаться, а где-то разрежаться. Если долго ковырять данные, то эти кучки и разрежения, эти корреляции вы обязательно обнаружите. Если не смогли обнаружить — то или плохо ковыряли, или данные придуманы.

Неплохо иллюстрирует эту идею “кучкования данных” т.н. “парадокс дней рождения”, хотя он на самом деле совсем не парадокс.

Какова вероятность того, что случайный одноклассник вашего ребенка родился с ним в один день? Правильно, p < 0.003.

Какова вероятность того, что хотя бы два ребенка из класса в 30 человек будут иметь совпадающие дни рождения? Примерно 60%. В группе из 50 человек эта вероятность уже равна 97%. Фактически, удивление у вас должны вызывать именно те классы (рабочие коллективы и т.п.) в которых нет людей, родившихся в один день.

То есть, интуитивно воспринимаемое редким, совпадение случается чаще, чем не случается. А если мы начнем искать совпадения по датам рождения их мам, или папа, или братьев, или кошки — то таких корреляций можно найти сотни в этом случайном мире.

Именно на поиске таких совпадений, к сожалению, основана огромная часть того, что сегодня называется “наукой”.

Аутизм и ДДТ

Саму работу можно смотреть здесь. Я лишь пройдусь по коротким выдержкам из нее

Источник данных

Важно.

Это не было исследование по изучению влияния чего бы то ни было на чего бы то ни было. Это просто бумажная работа по поиску корреляций.

Есть готовые данные крупного исследования Finnish Maternity Cohort, в ходе которого у более чем миллиона беременных брали кровь и мочу, регулярно их опрашивали и собирали прочие данные и следили за ними по жизни. Чтобы потом посмотреть как и что может коррелировать между собой. Короче, данных много. По результатам этой когорты уже опубликованы десятки исследований. И еще будут десятки. Большинство из них тотальный буллшит и представляют собой случайно найденные или додуманные корреляции, но так здесь принято.

Можно, здесь, например, Иоаннидиса добрым словом помянуть, который давно про подобное пишет, его все читают и за это дело любят, но продолжают делать по-своему.

Объект исследования.

Итак, авторы собрали замороженные много лет назад образцы плазмы от мам аутистов и неаутистов, и сравнили их по содержанию метаболитов ДДТ

Обратите внимание, что измерялась концентрация 11 метаболитов ДДТ. Замеры показали, что к нашей общей радости концентрация ни одного исследованного метаболита ДДТ в крови женщины никак не ассоциируется с тем, родится ли у нее аутист.

Вы не ослышались.

В научной статье с названием “Ассоциация уровня инсектицидов в крови и аутизма у отпрыска” никакой ассоциации между уровнем инсектицида и его метаболитов и аутизмом у отпрысков не обнаружено.

Это — главный результат работы. Можете расслабиться и продолжать кушать ДДТ. Если, конечно, найдете его в этом мире, наполненном запретами.

Или все таки?

- Но как же? — спросите вы. — Ведь и в работе, и в новости, и у популяризатора явно сказано: метаболиты ДДТ ассоциированы с аутизмом и, возможно, его вызывают.

И это тот самый момент, где мы должны вспомнить про “парадокс дней рождения” и о том, что наличие совпадений в большом массиве данных (практически) обязательно.

Чтобы достичь статистической значимости, авторам таки пришлось совершить фашизм над данными.

Авторы — не дураки. Они знают, что наличие корреляции — это всего лишь вопрос правильно организованного поиска. И они пошли проверенным путем: начали разбивать всех на разные подгруппы и ковырять уже их. И в верхней квартили (четверти людей, обнаруживших у себя наибольшую концентрацию) по содержанию одного из метаболитов они эту корреляцию нашли.

Три наблюдения — три важных маркера ерунды в научной статье:

1. Корреляция обнаружена только с одним из метаболитов ДДТ. С остальными 10 ничего не коррелирует. И это очень странно, ибо такая находка предполагает, что ДДТ по разному метаболизируется в организмах матерей аутистов и не аутистов.
2. p = 0.03 (после коррекции на образ жизни и т.п.) и доверительный интервал, начинающийся с 1.02 как бы кричат нам о том, что цифры подгоняли. Чтоб не дай бог не вышло p = 0.051, а граница доверительного интервала не упала до 0.99.
3. Несмотря на то, что тестировались десятки, а может и сотни гипотез (разные метаболиты, разные подгруппы мам и детей), поправки на множественные сравнения не делались. Сами авторы объясняют нам, то это не нужно, потому что в их исследовании гипотеза была сформулирована заранее. И мы им, конечно, верим. Во статье так и написано: мы измерили концентрации дюжины разных веществ, но корреляцию обнаружили только с одним, поэтому именно оно и будет нашей гипотезой и поправку мы делать не будем.

Мальчики против девочек

Оказывается, тот самый метаболит ДДТ по разному влияет на мальчиков и на девочек. Еще одна подгруппа. Внимание на таблицу:

Из нее следует, что риск аутизма от ДДТ есть только у мальчиков. Если вы собираетесь родить девочку — то ешьте на здоровье. Авторы говорят, что возможно есть какая-то биологическая разница между мальчиками и девочками. И она, конечно есть (мы все о ней знаем), но в рамках этой работы данная находка более чем сомнительна. И конечно же, можно опять заметить маркеры подгона результатов: p = 0.04 и доверительный интервал, начинающийся с 1.02. А еще можно заметить, что поправки на множественные сравнения снова не сделано. Но главное — результат достигнут, ассоциация найдена, перепроверять никто не будет.

Вот такая вот, “убедительная и статистически значимая корреляция” (с)

Вывод

Плохой вывод:

Статья представляет собой полноценное упражнение в поиске случайных корреляций в большом массиве данных в духе ВШЭ. Рабочая гипотеза данной работы была сформулирована уже после того, как нужная корреляция была найдена, авторы вполне прозрачно нам об этом сообщают. Научная ценность полученных результатов строго равна нулю. Превращение науки вот это все — очень печальное зрелище.

Хороший вывод:

Теория вероятностей работает так, как надо, данная статья подтверждает ее.