N.3 · не-парадокс · подтип: Контринтуитивный результат
Simpson’s Paradox
Суть ошибки. Корректный результат: агрегация может искажать
Точная формулировка
Лечение A лучше лечения B и на лёгких случаях, и на тяжёлых — а по всем пациентам вместе лучше B. Числа честны: A на мелких камнях 81/87 = 93% против 87% у B, на крупных 192/263 = 73% против 69%; итого же A — 273/350 = 78%, B — 289/350 = 83%. Тенденция, стоящая в каждой группе, обращается при объединении групп. Общая форма: из a/b > c/d и e/f > g/h не следует (a+e)/(b+f) > (c+g)/(d+h).
Происхождение
Явление старше имени: Пирсон описывал ложные корреляции при смешении (1899), Юл разобрал обращение ассоциаций в таблицах (1903) — потому строгие авторы говорят «эффект Юла-Симпсона». Симпсон дал канонический анализ (1951), Блайт закрепил слово «парадокс» (1972). Слава пришла с делом о приёме в Беркли (1973, разбор Бикела, Хаммела и О’Коннелла): в целом женщин принимали реже — а по факультетам порознь их доля была не ниже мужской; женщины чаще подавали на конкурсные факультеты. Современную главу написал Пирл: вопрос «какому показателю верить — групповому или общему?» — вопрос о причинной структуре данных, и отвечает на него причинная диаграмма, а не арифметика.
Почему это не парадокс
Противоречия нет: «лучше в каждой группе» и «хуже в целом» — утверждения о разных величинах. Доля в объединении — не среднее долей, а взвешенное смешение: веса задаёт состав групп, и если составы у A и B разные (A доставались тяжёлые случаи), агрегат сравнивает не лечения, а смеси. Ожидание «лучше в каждой части — значит, лучше в целом» — ложный принцип композиции: свойства частей не переносятся на целое, когда правило склейки весовое. Дефект — в ожидании; числа безупречны с обеих сторон.
Доменный анализ
Домен 1 — Распознавание: что дано? Компоненты: две группы, два варианта, доли в группах, доли в объединении, скрытая переменная состава. Сигнал: два честных счёта тянут в разные стороны — ищи третью величину.
Домен 2 — Прояснение: что означают термины? Здесь дефект ожидания. «Лучше в целом» — о чём это? Общая доля смешивает исход лечения с составом пациентов; она — свойство смеси, не лечения. Сравнение лечений требует одинаковых условий — группы это дают, агрегат разрушает. Сигнал: агрегированный показатель молча сменил предмет.
Домен 3 — Выбор рамки: рамка «одно число решит» не по объекту: при неравных составах единственного честного «итога» нет — есть групповые сравнения и есть вопрос о причинах состава.
Домен 4 — Сравнение: узел — целиком о сравнении: сравнивать доли можно при равных весах; смешение весов делает сравнение агрегатов сравнением составов.
Домен 5 — Вывод: оба счёта арифметически верны. Проблема не в счёте.
Домен 6 — Рефлексия: обращение тренда при укрупнении — сигнал скрытой переменной; правильный рефлекс — разрезать данные и спросить, откуда состав.
Диагноз
Категория: не-парадокс — контринтуитивный результат. Место дефекта: ожидание — ложный принцип композиции: «лучше в частях ⇒ лучше в целом». Нарушенных законов нет — есть неучтённое Правило: на триаде E/R/R доли групп — Роли на своих Элементах, а объединение вводит новое Правило — веса состава; интуиция переносит свойство Ролей на смесь, игнорируя Правило склейки. Свойства систем не суммируются — это общий закон композиции, и Симпсон — его статистическое лицо.
Разрешение
Арифметический слой: неравенство долей не сохраняется при сложении числителей и знаменателей — (a+e)/(b+f) живёт на весах b и f, и перекос весов обращает что угодно; проверяется на числах из формулировки за минуту. Причинный слой — главный: какому показателю верить, решает структура, а не вкус. Если состав групп — причина назначения лечения (тяжёлым давали A), честно групповое сравнение: оно выравнивает условия; агрегат — артефакт распределения. Если же «группа» — следствие самого воздействия (лечение меняет тяжесть, по которой потом делим), группировка сама вносит смещение — и честен агрегат. Правило Пирла: смотреть на причинную диаграмму и закрывать «чёрные ходы»; таблица одна — выводов два, и выбирает между ними знание о том, как данные родились. Беркли — образец: факультет был причиной и подачи, и конкурса — групповой счёт был честным, агрегат смешивал конкурсность с полом.
Урок
О композиции. «Лучше в каждой части» не переносится на целое через весовую склейку: свойства смесей — свойства весов не меньше, чем частей. О третьей переменной. Обращение тренда при агрегировании — почти всегда след скрытой переменной; разрезай данные до вывода, а не после. О пределе арифметики. Какому из двух честных чисел верить — вопрос о происхождении данных; статистика без причинной структуры не отвечает на «что лучше». О практике. Симпсон — самый опасный экспонат категории: он живёт в реальных отчётах — медицинских, кадровых, судебных — и обращает выводы молча.
Родня по механизму
Монти Холл и Дни рождения (соседи по категории: структура события против картинки), Ложноположительные (веса базовых частот — тот же механизм в диагностике), экологическая ошибка (перенос группового на индивидов), Два конверта (дальняя родня: незаконная склейка величин из разных условий).
Машинная проверка. В реестре 46 — N3_Simpson: категория NonParadox; статус категории формализован (nonparadox_46_not_paradox, nonparadox_count_8 — ParadoxDissolution.v). Арифметическое ядро — несохранение неравенства долей при почленном сложении — прямой кандидат на Q-проверку в ветке «Вероятность»: конкретные числа формулировки дают машинный контрпример в одну строку (см. Формализация).
Категория: Не-парадоксы · Каталог: Каталог парадоксов · Концепт: Парадокс