Полевое руководство для научных журналистов - Коллектив авторов (2006)

2. Что насчет цифр? Было ли исследование достаточно масштабным (включало ли достаточно много пациентов, экспериментов и т. д.), чтобы сделать убедительные выводы? Являются ли статистически значимыми его результаты? Эта фраза означает всего-навсего, что, согласно научным стандартам, маловероятно, что такие статистические результаты получились просто случайно.

3. Есть ли другие возможные объяснения выводов исследования?

4. Могли ли повлиять на выводы исследования какие-либо искажения, преднамеренные или нет?

5. Проверялись ли результаты другими экспертами? И как они соотносятся с другой научной информацией и представлениями?

Принципы проверки исследований

Чтобы получить ответы на эти вопросы, следует знать пять принципов научного анализа.

1. Определенность некоторой неопределенности

Эксперты постоянно меняют взгляды не только на то, что нужно есть, чтобы оставаться здоровым, но и на то, что нужно делать, если человек заболел. Все больше лекарственных препаратов и методов лечения оказываются дискредитированными после того, как новые исследования поднимают вопросы об их эффективности или безопасности. Даже форма Вселенной (точнее, форма Вселенной, по мнению ученых) меняется от статьи к статье.

Некоторые считают, что такие резкие перемены позорят науку. Но это просто часть нормального научного процесса, идущего как и положено.

Наука изучает статистическую вероятность истины. Выводы делаются на основе убедительных свидетельств, никто не дожидается недостижимых неопровержимых доказательств. Сложности окружающего мира и научного процесса только усиливают неопределенность.

Однако наука может двигаться вперед именно потому, что это всегда развивающаяся история, продолжающийся путь, в котором возможны корректировки. Везде – от медицины до астрономии, от геологии до психологии – прежние выводы постоянно перепроверяются и, если нужно, уточняются (а иногда и отбрасываются в сторону).

Необходимо объяснить это редакторам и начальству, а также читателям и зрителям. Некоторая неопределенность не должна мешать важным действиям, если общество понимает, почему в лучшем случае ученый может сказать так: «Вот убедительные свидетельства в пользу того, что это, скорее всего, правда. Пожалуйста, оставайтесь с нами, пока мы пытаемся узнать больше».

Теперь, когда мы переходим к деталям, помните, что не все исследования равнозначны.

2. Вероятность, мощность и большие числа

Вы слышали о новом лекарстве, прошедшем испытание на мышах? 33 % удалось вылечить, 33 % умерло, а третья мышь убежала. Эта старая шутка показывает, насколько важны численные показатели в оценке качества исследования.

Чем больше пациентов участвовало в исследовании, тем лучше. Чем значительнее доля успешного результата в испытаниях лекарства, тем лучше. Чем больше наблюдений за погодой сделают метеорологи, тем лучше они смогут предсказать, пойдет ли на следующей неделе дождь. Вот как числа влияют на статистическую вероятность того, что что-то является истиной.

Общепринятое численное выражение этого – значение P, которое определяется формулой, учитывающей количество анализируемых пациентов или событий. Значение P, равное или меньшее 0,05, обычно считается показателем статистически значимого результата. Это означает, что результаты могут быть простой случайностью в пяти или менее случаях из 100. Чем меньше значение P, тем ниже вероятность, что все это дело случая.

Другими словами, чем больше пациентов (или чего-то другого), тем надежнее показатель P.