Эффект Даннинга-Крюгера и регрессия к среднему

Продолжим отсюда.

рис. 1. Графическое изображении эффекта Даннинга-Крюгера из оригинальной статьи

Некоторое время назад у меня состоялась занимательная беседа с одним популярным популяризатором (не буду называть фамилию, мы и так все его знаем) и парой его ручных опуполяризованных на предмет природы эффекта Даннинга-Крюгера.

Речь шла о том, что картинки из оригинальной статьи и графическое изображение статистической регрессии к среднему выглядят очень похоже, и, возможно, как минимум отчасти (а может и полностью) упомянутый эффект состоит из регрессии к среднему.

рис. 2. Хрестоматийное изображение регрессии к среднему на примере ростов родителей и детей

Популяризатор говорил что нет. Упирался и придумывал свои определения данного статистического явления и настаивал, что ее (регрессии) тут точно нет. Что для возникновения регрессии нужны какие-то особые условия, биологические причины или физические зависимости. Ну не хотел он замечать, что для нее достаточно вообще любых двух коррелируемых величин, и чем слабее между ними корреляция — тем ярче будет заметен эффект. И особенности измерения результатов в работе Даннинга и Крюгера не просто могут показать регрессию к среднему. Но обязательно ее покажут.

С идиотами спорить очень трудно.

Поэтому я и не буду.

Но я просто покажу, как возникает этот эффект и как он возник в работе Даннинга и Крюгера.

Для этого мы возьмем обезличенные результаты двух контрольных работ настоящих студентов настоящего ВУЗа (данные любезно предоставлены Аркадием Курамшиным). Максимум за каждую работу был 20 баллов.

рис.3. Результаты 2х контрольных по химии в одном семестре.

Каждая точка — один студент/студентка. По оси Х отложены результаты первой контрольной, по У — второй. Корреляцию между результатами контрольных можно ожидать и в теории, поскольку отличники в среднем пишут хорошо, а двоечники — плохо. Специальный анализ проводить я не стал по причине лени и отсутствия необходимости, но по форме облака данных можно видеть, что корреляция таки есть, она не очень сильная.

Следующим шагом стало воспроизведение (с минорными изменениями, связанными с различиями в шкалах оценок за контрольную и компетентности) методики обработки данных, использованной оригинальной статье Даннинга и Крюгера. Потому что методика всегда имеет значения, и очень часто интересные парадоксы возникают просто по причине хитрых расчетов.

На основании результатов первой работы мы разделили студентов на 4 квартили по успеваемости. После чего в каждой квартили посчитали среднюю оценку по второй контрольной. Результат вы можете видеть на рисунке 4.

рис. 4. Обработка оценок реальной группы студентов методом Даннинга и Крюгера

Все, как и должно быть.

Люди, лучше выполнившие контрольную номер 1 в среднем хуже справились с контрольной номер 2. И наоборот, те, кто плохо справились с контрольной номер 1 луше выполнили контрольную номер 2.

Почему так?

Можно было бы придумать простое физическое объяснение. Те, кто слил первую контрольную позже лучше приготовились ко второй. А те, кто хорошо написал первую — забили на учебу и подготовку и слегка подпортили себе вторую. Но вот только вот отложите сейчас свои фантазии, придумывать ничего не надо. Потому что ничего, кроме регрессии к среднему на картинке не изображено. Именно так оно и работает, это замечательное явление, так часто недооцениваемое и игнорируемое.

Теперь внимательно и сравнительно изучите рисунок 4 и рисунок 1. Сколько нашли отличий?

Напомню, что в оригинальной работе Даннинга и Крюгера тоже было два измерения одной и той же группы. Первое измерение проводилось путем самооценки, второе — тестированием. И результаты этих имерений не очень сильно коррелировали.

И последнее.

Забавная и универсальная особенность регрессии к среднему заключается в том, что если к среднему регрессирует А(В), то и В(А) тоже обязательно регрессирует к среднему. Просто потому что иначе не бывает.

Чтобы это показать, те же самые данные были обработаны тем же самым методом, но в другом порядке. На этот раз на квартили по успеваемости делили людей по результатам контрольной номер 2, а потом считали для каждой квартили средний результат в контрольной номер 1. Обратите внимание на рисунок.

Ничего вам не напоминает?

рис. 5. Еще одна регрессия к среднему

Конечно же. Этому есть простое физическое объяснение.

Люди, которые отлично написали контрольную номер 2, позже расслабились и в среднем хуже справились с контрольной номер 1. И наоборот, те, кто плохо написал контрольную номер 2 немного напряглись и смогли улучшить свои результаты в контрольной номер 1.

Постойте. Но ведь они же писали контрольную 2 после контрольной номер 1?

В этом размышлении, конечно же, нет никакой другой логики, кроме регрессии к среднему. Как и в рисунке 4. Как и в рисунке 2. И даже, возможно, в рисунке 1.

Я, впрочем, не стал бы утверждать, что все, что мы видим в эффекта Даннинга-Крюгера есть статистический артефакт. Скорее всего, не только. Но то, что он там есть и его там много — это предсказуемый факт, от которого было бы слишком легко просто так взять, и отмахнуться.