Статус кво и кризис в науке

Новый Иоаннидис краток, но, как обычно, прекрасен и зрит в корень

Пишет про кризис репликации в исследованиях рака, может быть знаете, был недавно такой интересный проект с предсказуемо печальными исходами. Не воспроизвелось больше, чем воспроизвелось.

Проект был воспринят неоднозначно.

Очень многие, действительно очень многие, ринулись в обсуждения того что неправильно сделали неудачные репликаторщики, может они чего-то не умеют и т.д. Были и продолжаются обуждения “репликационного терроризма”. Ну это когда какая-то группа делает себе скандальную карьеру за счет других групп путем (неудачного) повторения их важных работ. Кто-то считает, что такие репликационные попытки сами по себе не очень полезны, так как отнимают много денег, энергии и времени и вообще подрывают доверие к науке. Есть мнения, что вообще этот хайп с нереплицируемостью выдуман, и что ничего необычного не происходит. Что вообще надо прекращать ковыряться, пусть улитка ползет так, как ей ползется, но вперед.

Обо всем этом он пишет в типичной своей манере, отделяя философию от фактов. Факты ведь в том, что в науке есть кризис, как бы вы не заклеивали себе глаза, уши и не делали вид, что ничего необычного не происходит. Факты в том, что по каким-то причинам более половины, может быть 75% работ биомедицинской (молчу про психологию) направленности попросту не воспроизводятся. И это капец какая проблема, потому что воспроизводимость — это основа научного метода. Вы не можете называть наукой то, что не воспроизводится. А значимость это проблемы не зависит от того, что является ей причиной: особенности ли объекта исследования, ошибки ли в статистике или дизайне, репликационные ли “террористы”.

Ну пара хороших тезисов о науке вообще, достойные, как мне кажется, внимания.

***

Некоторые оригинальные авторы неудавшихся репликаций предагали репликаторам приехать к ним, поучиться, посмотреть, как правильно делается работа, в чем особенности их методов. Это неплохо, наверное, что есть дух открытости, и что разные коллективы могут работать сообща. Но “такой подход, наука-путем-посещения, предполагает, что научная литература скорее рекламка, чем надежная запись, дающая достаточно подробностей для воспроизведения результата”

***

Некоторые авторы в качестве своей правоты и неправоты репликторов приводят ссылки на похожие исследования в рамках общей концепции. Типа, ну и что, что невоспроизводится мое оригинальное исследование про меланому у крыс. Вот, есть похоже про меланому у кроликов. А вот есть похожее про пиздецому у собак. А вот, еще похожее, про диабет у сов. И это может показаться важным аргументом, что концепция авторов подтверждается на широком круге объектов, и значит внимания на дословную пререгистрированную реплику оригинальной работы можно немного проигнорировать. Но в том то и дело, что нет.

Потому что в этом и ценность дословной пререгистрированной реплики, в в ходе которой “авторы фактически пишут заранее в открытый доступ статью, со всеми секциями и методами, позже дополняя ее данными”. “Похожая” же статья никогда не бывает точной репликацией, она всегда - какое-то развитие, то модификация, часть более длинного повествования. Да, сегодня на крысах, завтра на кроликах. Сегодня на меланоме — завтра на пиздецоме. Это в принципе неплохо, что такие повествования есть в науке, они позволяют ей развиваться, обрастать деталями. Но вот только “что угодно может быть вписано в такое повествование путем спекуляции к “биологической правдоподобности”. Кроме того, “неизвестно сколько, 0, 3, 10 или 100 экспериментов было реально выполнено для каждой успешной публикации”.

В этом смысле ценность единственной неудачной репликации для науки может быть намного выше, чем ценность всех предыдущих мета и шмета-обзоров.