Британские учоные доказали

This post was written by nomen_nescio on Февраль 21, 2019
Posted Under: о сколько нам

(из серии «известное известно немногим)
Большая международная группа ученых во главе с психологом Брайаном Нозеком из Виргинского университета взялась перепроверить 21 социологическое исследование. Все проверяемые работы были опубликованы в двух самых авторитетных научных журналах мира — Nature и Science — с 2010 по 2015 год. Результаты перепроверки опубликованы в журнале Nature Human Behaviour.
Оказалось, что эффекты, обнаруженные в оригинальных исследованиях, при перепроверке наблюдаются лишь в 62 процентах случаев. Величина наблюдаемых эффектов при повторных экспериментах оказалась в среднем вдвое меньше, чем в оригинальных исследованиях.
Еще в 2015 году Нозек с коллегами провели перепроверку 98 психологических исследований — и лишь в 36 случаях повторные эксперименты дали результаты, сходные по статистической значимости с оригинальными.
В 2016 году те же ученые перепроверяли 18 экономических исследований — и обнаружили, что эффекты, описанные в оригинальных исследованиях, повторяются лишь в 11 случаях, а средняя величина воспроизводимого эффекта — 66 процентов.
В 2017 году в Economic Journal вышла статья, в которой утверждалось, что 159 работ по экономике основаны на эмпирических данных, которые даже близко не имеют статистической мощности, необходимой для подкрепления сделанных выводов.

Еще в 2005 году медик и статистик Джон Иоаннидис, один из авторов статьи в Economic Journal, опубликовал в журнале PLOS Medicine статью, в которой перепроверил 49 высокоцитируемых медицинских исследований — и обнаружил, что в подавляющем большинстве случаев результаты не воспроизводятся вовсе или гораздо менее выражены, чем утверждалось в оригинальных работах.
А в 2012 г. фарма-компания Amgen перепроверила результаты 53 биологических исследований в области рака и 90% не воспроизвелось. Тоже из топ-журналов.

В 2018 году появилась книга французского писателя Тибо Ле Тескьера о том, что Стэнфордский тюремный эксперимент был прекращён потому, что между «тюремщиками» и «заключёнными» образовались слишком тёплые отношения, что могло испортить статистику, и ещё до этого участники требовали от Зимбардо прекратить его как бесчеловечный.
Воспроизведение «эксперимента с ребёнком и маршмело» показало гораздо меньшую корреляцию между способностью отложить удовольствие и последующей академической успеваемостью.
Ссылки — https://nplus1.ru/material/2018/08/28/sociology-non-repeatable

Comments are closed.