Систематическая ошибка выжившего: как на самом деле она работает

«Существуют три вида лжи: ложь, наглая ложь и статистика», - эти слова приписывают Марку Твену. Многие ученые согласились бы с писателем. Тем более что в современной статистической науке существует такое понятие, как систематическая ошибка выжившего, при которой данные статистики являются верными, но неправильно трактуются.

Ученые об ошибке выжившего

Как пишут Крис Бредли и другие авторы книги «Стратегия вне хоккейной клюшки» («Strategy Beyond the Hockey Stick»), впервые в истории об эффекте, получившим потом название систематической ошибки выжившего, заговорил поэт Диагор Милосский. Диагор был атеистом, но его друг мечтал о том, чтобы он поверил в существование богов. Однажды приятель поэта показал ему изображение людей, которые спаслись во время шторма, дав обет богам. Диагор же на это ответил, что никогда не видел изображений погибших в кораблекрушениях. Саму же концепцию систематической ошибки выжившего разработал венгерский статистик Абрахам Вальд, жизнь которого по иронии судьбы оборвалась в результате крушения самолета.

По Вальду, систематическая ошибка выжившего является разновидностью систематической ошибки отбора, заключающейся в том, что данных одной статистической группы имеется множество (это и есть «выжившие»), а информация другой группы («погибшие») отсутствует. Аналогичное определение этого эффекта приведено и в книге Джона Богла «Не верьте цифрам!» По мнению Богла, вследствие систематической ошибки выжившего исследователи всегда пытаются отыскать общие черты между теми, кто «выжил». При этом ученые практически никогда не принимают во внимание факторы, которые относятся к тем, кто «погиб».

Примеры эффекта

Для того чтобы понять, что такое систематическая ошибка выжившего, достаточно рассмотреть несколько примеров. Так, Мария Попова в своей книге «Темная сторона ЗОЖ» приводит следующий пример данного явления: якобы автор вместе со своими подругами решила регулярно употреблять то или иное средство для похудения. Предположим, что из 11 девушек сбросили лишний вес всего две (9 «погибших», 2 «выживших»). Две победительницы опубликовали в социальных сетях свои отчеты. Остальные же участницы эксперимента просто промолчали. В связи с тем что на виду оказались только «выжившие», можно подумать, что метод эффективен.

А Валерий Зимин в своей книге «Массаж мозгов» дает еще более наглядный пример из реальной жизни. По словам Валерия Зимина, во время Второй мировой войны американские военные упомянутому выше Абрахаму Вальду поручили определить самые поврежденные зоны бомбардировщиков. Благодаря такой работе статистика инженеры планировали оснастить их дополнительной броней. Вальд выполнил поручение, но отметил, что броня нужна как раз в наименее поврежденных местах. Он аргументировал это тем, что самолеты обстреливались равномерно, но осмотренные им машины, несмотря на повреждения определенных узлов и агрегатов, смогли все-таки вернуться на аэродром. Следовательно, невозвратившиеся самолеты получили повреждения в других местах, которые и надо защищать.

Значение ошибки выжившего

Из примера, который привел Валерий Зимин, вытекает, что систематическая ошибка выжившего при формировании статистических данных должна играть огромное значение.

Так, в книге «Победа над данными» Томаса Тангаза и Фрэнка Бьена описываются результаты исследования 1987 года. Ученые выяснили, что кошки, упавшие с высоты в 6 этажей, как правило, остаются невредимыми, в то время, как животные, упавшие с любого этажа выше 6-го, получают серьезные травмы. В итоге специалисты пришли к выводу, что кошки, которые падали с меньшей высоты, разворачивались на уровне 5-го этажа и расслаблялись, чем и объяснялось отсутствие у них травм.

Это заключение было опровергнуто в 2008 году в чикагской газете Straight Dope. Авторы статьи заявили, что ученые не учли погибших животных, которые в силу понятных причин не попали к ветеринару, а значит, и не учитывались в исследовании. Так что современные статистики стараются выносить свои вердикты, основываясь в том числе и на информации, касающейся «погибших».