Бен Голдакр - Обман в науке

• Название: Обман в науке
• Автор: Бен Голдакр
• Издательство: ООО «Издательство «Эксмо»
• Жанр: Медицина
• Год: 2010
• ISBN: 978-5-699-36217-2

Известный английский журналист раскрывает загадочные тайны!

Почему многие ученые и журналисты выступают против использования вакцины от кори, краснухи и других опасных болезней? Зачем фальсифицируются данные о медицинских исследованиях? Кому выгодны страхи потребителей лекарств — фармацевтическим компаниям или «шарлатанам от науки»? К чему ведет потребление многочисленных пищевых добавок? Как связаны между собой политика и медицина?

Вы узнаете ответы на все эти и многие другие вопросы.

---

В этом вопросе есть и моральная, и финансовая сторона: правильная рандомизация пациентов не требует дополнительных денег, так же как и неосведомленность пациентов по поводу того, принимают ли они лекарство или плацебо. В общем, проведение исследования честно и с умом не обязательно ведет к дополнительным расходам, просто, прежде чем его начинать, нужно подумать. В ошибках, допущенных в вышеуказанных исследованиях, есть смысл обвинять только тех, кто эти исследования проводил. В некоторых случаях это будут люди, отвергнувшие научный метод как «ошибочную парадигму», но пока что все их новые парадигмы — просто «нечестные испытания».

Такие схемы часто попадаются в литературе по альтернативной медицине. В общем, исследования с ошибками гомеопатию (как и другие альтернативные методы) хвалят, а правильно проведенные исследования, где исключены все возможные источники ошибок, чаще показывают, что альтернативные методы эффективны примерно так же, как плацебо.

Этот феномен внимательно изучили и обнаружили почти линейную зависимость между методологическим качеством исследования гомеопатии и результатом такого исследования. Чем хуже исследование, то есть чем меньше оно похоже на честное, тем яснее вывод, что гомеопатия лучше плацебо. Академики обычно измеряют качество исследования, используя, например, опросник Джадада, семистраничный список, включающий в себя все вопросы, о которых мы говорили ранее, такие как «Описан ли метод рандомизации? Представлены ли результаты измерений?». На графике представлен индекс Джадада для результатов исследования гомеопатии.

Индекс Джадада (количество испытаний)

В левом верхнем углу видны бредовые исследования с серьезными методическими ошибками, триумфально демонстрирующие, насколько гомеопатия лучше плацебо. Переводя взгляд к правому нижнему углу, вы видите, что, когда индекс Джадада стремится к значению 5, исследования становятся более честными и начинают показывать, что гомеопатия не лучше плацебо.

В этом графике, однако, есть какая-то тайна, странность и почти детективная история. Маленькая точка в правом нижнем углу графика, представляющая 10 лучших по качеству исследований с наибольшими значениями индекса Джадада, выбивается из общей тенденции. Это странная находка для края графика: есть несколько высококачественных исследований, ломающих утверждения о том, что гомеопатия не лучше плацебо.

Как такое может быть? Могу сказать, что я думаю: в некоторых отчетах, попавших в эту область, факты подтасованы. Я не знаю, какие из них, как это произошло или кто это сделал, в каких из 10 отчетов, но я думаю именно так. Академикам часто приходится выражать резкую критику очень дипломатично. Вот профессор Эрнст, составивший этот график, обсуждает эту бьющую в глаза точку. Вы можете разгадать его дипломатические уловки («Да, господин») и прийти к выводу, что он тоже предполагает подделку данных.

Есть несколько гипотез для объяснения этого феномена.

Ученым, настаивающим, что гомеопатические средства ничем не отличаются от плацебо, стоит учесть следующее. Корреляционная зависимость, построенная по четырем точкам (индекс Джадада от 1 до 4), правдива. Экстраполяция этой прямой на пятую точку, где меньше возможности ошибиться (индекс Джадада = 5), показывает, что гомеопатические средства — это чистое плацебо. По сути, то, что средние результаты 10 исследований с индексом Джадада, равным 5, противоречат замеченной тенденции, показывает, что некоторые исследования (конечно, не все из них), проведенные убежденными гомеопатами, подкованными в методологии, выглядят убедительно, хотя на самом деле недостойны доверия.

Но это просто странность и отход от темы. В общей картине, даже если включить эти подозрительные исследования, ситуация не меняется, и «метаанализ» все же показывает, что гомеопатия не лучше плацебо.

Метаанализ?

Метаанализ

Это последняя крупная часть этой главы и это идея, спасшая больше человек, чем вы когда-либо знали. Метаанализ — это в каком-то смысле довольно просто: вы просто собираете все результаты всех испытаний выбранного вещества, сводите их в одну таблицу и изучаете, вместо того чтобы интуитивно делать выводы из каждого маленького исследования. Это очень полезно, когда у вас есть данные множества исследований на одну и ту же тему, каждое из которых слишком мало, чтобы дать надежный ответ.

Таким образом, если есть, допустим, 10 рандомизированных плацебо-контролируемых испытаний, подтверждающих действенность гомеопатических средств при астме, в каждом из которых задействовано порядка 40 пациентов, их можно свести в один метаанализ и получить (в некоторых случаях) годные для обработки данные по 400 пациентам. В некоторых очень известных в мире классической медицины случаях метаанализ показал, что лечение, считавшееся неэффективным, в действительности достаточно действенно, но из-за того, что оно проводилось на слишком малых выборках, пользу не заметили.

Как я говорил, информация сама по себе может спасать жизни, и одной из величайших организаций, созданных за последние 30 лет, несомненно, является Кохрановское сотрудничество, международное некоммерческое объединение медиков, выпускающее систематические обзоры литературы в области медицинских исследований, включая метаанализы.

Логотип Кохрановского сотрудничества представляет собой упрощенную диаграмму результатов знакового метаанализа воздействия на беременных. Когда дети рождаются недоношенными, можно предположить, что они будут чаще болеть и умирать. У группы врачей из Новой Зеландии появилась мысль, что короткий курс стероидных гормонов может улучшить выживаемость этих детей. Семь исследований для проверки этой гипотезы были проведены между 1972 и 1981 годами. Два показали пользу стероидов, но остальные пять пользы не показали, и из-за этого идея «не прошла».

КОХРАНОВСКОЕ

СОТРУДНИЧЕСТВО®

Через восемь лет, в 1988-м, был проведен метаанализ на основе объединения этих данных. Если вы посмотрите на диаграмму на логотипе, вы увидите, что произошло. Каждая горизонтальная линия представляет одно исследование: если линия слева от вертикали — стероиды сработали лучше плацебо, если справа — то хуже. Если горизонталь исследования пересекает вертикаль «нулевого результата» посередине, значит, исследование ясного ответа не дало. Последнее: чем длиннее горизонталь, тем менее точным был результат исследования.

Из диаграммы видно, что есть множество не очень точных результатов, чаще всего касающихся центральной вертикали «неэффективности», но они все расположены слева, то есть показывают, что стероиды могут быть эффективны, даже если каждое исследование статистически незначимо.

Ромб снизу показывает итоговый результат: есть явные доказательства того, что стероиды снижают риск (на 30–50 %) смерти недоношенных новорожденных. Всегда стоит помнить ценность этих абстрактных чисел в человеческих жизнях: дети умирали бессмысленно, потому что в течение десятилетия у них не было возможности получить спасительное лечение. Они умирали, даже когда было достаточно данных, чтобы их спасти, но эти данные не были собраны и проанализированы с помощью метаанализа.

Вернемся к гомеопатии (теперь вы видите, почему я не считаю ее важной). Знаковый метаанализ был опубликован в журнале Lancet («Ланцет»). Он сопровождался редакционной статьей, озаглавленной «Конец гомеопатии?». Шанг и соавторы провели очень подробный метаанализ множества исследований гомеопатических средств и в итоге обнаружили, что гомеопатия действует не более эффективно, чем плацебо.

Гомеопаты подготовились к борьбе. Если вы упомянете этот метаанализ, они попытаются сказать, что это подделка. По сути, Шанг и другие, как и во всех отрицательных для гомеопатии метаанализах, просто исключили из рассмотрения исследования плохого качества.

Гомеопаты любят выбирать те исследования, которые дают нужный им ответ, и не обращать внимания на все остальные; обычно это называют «снимать сливки». Но вы также можете снять сливки с любимых метаанализов или представить их результаты в ложном свете. Исследование Шанга и его соавторов было последним в длинном ряду метаанализов, подтверждающих неэффективность гомеопатии. Меня удивило то, что, несмотря на отрицательные результаты метаанализов, гомеопаты продолжают приводить в пример результаты всех исследований, включенных в каждый метаанализ, даже недостоверных. Более солидные результаты, как вы теперь знаете, получаются на основе ограниченной выборки «честных исследований», а они подтверждают, что гомеопатия не более эффективна, чем плацебо. Если это вас восхитит (а я буду очень удивлен), знайте, что в данный момент я в соавторстве с моими коллегами пишу обзор, объясняющий результаты различных метаанализов гомеопатии. Эту публикацию можно будет найти на сайте badscience.net.