Эффект Даннинга-Крюгера и регрессия к среднему
Продолжим отсюда.
Некоторое время назад у меня состоялась занимательная беседа с одним популярным популяризатором (не буду называть фамилию, мы и так все его знаем) и парой его ручных опуполяризованных на предмет природы эффекта Даннинга-Крюгера.
Речь шла о том, что картинки из оригинальной статьи и графическое изображение статистической регрессии к среднему выглядят очень похоже, и, возможно, как минимум отчасти (а может и полностью) упомянутый эффект состоит из регрессии к среднему.
Популяризатор говорил что нет. Упирался и придумывал свои определения данного статистического явления и настаивал, что ее (регрессии) тут точно нет. Что для возникновения регрессии нужны какие-то особые условия, биологические причины или физические зависимости. Ну не хотел он замечать, что для нее достаточно вообще любых двух коррелируемых величин, и чем слабее между ними корреляция — тем ярче будет заметен эффект. И особенности измерения результатов в работе Даннинга и Крюгера не просто могут показать регрессию к среднему. Но обязательно ее покажут.
С идиотами спорить очень трудно.
Поэтому я и не буду.
Но я просто покажу, как возникает этот эффект и как он возник в работе Даннинга и Крюгера.
Для этого мы возьмем обезличенные результаты двух контрольных работ настоящих студентов настоящего ВУЗа (данные любезно предоставлены Аркадием Курамшиным). Максимум за каждую работу был 20 баллов.
Каждая точка — один студент/студентка. По оси Х отложены результаты первой контрольной, по У — второй. Корреляцию между результатами контрольных можно ожидать и в теории, поскольку отличники в среднем пишут хорошо, а двоечники — плохо. Специальный анализ проводить я не стал по причине лени и отсутствия необходимости, но по форме облака данных можно видеть, что корреляция таки есть, она не очень сильная.
Следующим шагом стало воспроизведение (с минорными изменениями, связанными с различиями в шкалах оценок за контрольную и компетентности) методики обработки данных, использованной оригинальной статье Даннинга и Крюгера. Потому что методика всегда имеет значения, и очень часто интересные парадоксы возникают просто по причине хитрых расчетов.
На основании результатов первой работы мы разделили студентов на 4 квартили по успеваемости. После чего в каждой квартили посчитали среднюю оценку по второй контрольной. Результат вы можете видеть на рисунке 4.
Все, как и должно быть.
Люди, лучше выполнившие контрольную номер 1 в среднем хуже справились с контрольной номер 2. И наоборот, те, кто плохо справились с контрольной номер 1 луше выполнили контрольную номер 2.
Почему так?
Можно было бы придумать простое физическое объяснение. Те, кто слил первую контрольную позже лучше приготовились ко второй. А те, кто хорошо написал первую — забили на учебу и подготовку и слегка подпортили себе вторую. Но вот только вот отложите сейчас свои фантазии, придумывать ничего не надо. Потому что ничего, кроме регрессии к среднему на картинке не изображено. Именно так оно и работает, это замечательное явление, так часто недооцениваемое и игнорируемое.
Теперь внимательно и сравнительно изучите рисунок 4 и рисунок 1. Сколько нашли отличий?
Напомню, что в оригинальной работе Даннинга и Крюгера тоже было два измерения одной и той же группы. Первое измерение проводилось путем самооценки, второе — тестированием. И результаты этих имерений не очень сильно коррелировали.
И последнее.
Забавная и универсальная особенность регрессии к среднему заключается в том, что если к среднему регрессирует А(В), то и В(А) тоже обязательно регрессирует к среднему. Просто потому что иначе не бывает.
Чтобы это показать, те же самые данные были обработаны тем же самым методом, но в другом порядке. На этот раз на квартили по успеваемости делили людей по результатам контрольной номер 2, а потом считали для каждой квартили средний результат в контрольной номер 1. Обратите внимание на рисунок.
Ничего вам не напоминает?
Конечно же. Этому есть простое физическое объяснение.
Люди, которые отлично написали контрольную номер 2, позже расслабились и в среднем хуже справились с контрольной номер 1. И наоборот, те, кто плохо написал контрольную номер 2 немного напряглись и смогли улучшить свои результаты в контрольной номер 1.
Постойте. Но ведь они же писали контрольную 2 после контрольной номер 1?
В этом размышлении, конечно же, нет никакой другой логики, кроме регрессии к среднему. Как и в рисунке 4. Как и в рисунке 2. И даже, возможно, в рисунке 1.
Я, впрочем, не стал бы утверждать, что все, что мы видим в эффекта Даннинга-Крюгера есть статистический артефакт. Скорее всего, не только. Но то, что он там есть и его там много — это предсказуемый факт, от которого было бы слишком легко просто так взять, и отмахнуться.