Попытки исправить ошибочные научные данные часто ни к чему не приводят, но в последнее время было несколько успешных случаев: пара критических замечаний после публикации и опровержение — но только после того, как ошибочные статьи нанесли реальный ущерб

Источник: Substack

Автор Ариэль Селья, Доктор Наук

Теоретически наука должна быть самокорректирующейся. На практике, к сожалению, это не всегда так. В исследованиях, посвящённых снижению вреда от табака (THR), сочетание факторов работает против самокорректируемости науки: стимулы финансирования которые фокусируют исследования на вреде, а не на его снижении, поляризация в этой области и остракизм в отношении исследователей с реальными или даже предполагаемыми связями с индустрией, а также предвзятость подтверждения при интерпретации неоднозначных результатов и на протяжении всего процесса рецензирования. Однако эти проблемы характерны не только для THR.

В зависимости от объёма работы, когда я вижу особенно неудачную статью, я иногда предпринимаю официальные действия, чтобы попытаться исправить ситуацию. У меня есть следующие варианты:

1. Свяжитесь с авторами (если я считаю, что есть вероятность получить ответ) и узнайте, готовы ли они ответить на мои вопросы или предоставить данные или код, которые они использовали. Всегда есть шанс, что их ответ развеет мои сомнения. Если есть существует серьёзный недостаток и авторы признают это, я могу попытаться убедить их обратиться в журнал с просьбой об исправлении или отзыве статьи. (Вероятность каждого этапа этой последовательности действий постепенно снижается, но мне и моим коллегам удавалось это сделать).
2. Напишите письмо редактору с критикой исследования и отправьте его в журнал, опубликовавший исходную статью. В большинстве случаев, когда я так поступаю, моё письмо быстро отклоняют. (У меня такое чувство, что если критика касается исключительно методологии, а не мошенничества, редакторы считают её статистическим суждением, которое не заслуживает официального рассмотрения). Если мне повезёт и журнал всё-таки решит опубликовать мою критику, они почти всегда предоставляют авторам исходной статьи возможность ответить. Обычно это не приносит удовлетворения, потому что авторы часто игнорируют критику и настаивают на своих первоначальных выводах, но, по крайней мере, критика публикуется официально.
3. В зависимости от журнала может существовать формат публикации комментариев, который предполагает меньшее количество проверок, например раздел «Комментарии» в журнале JAMA, который модерируется только на предмет релевантности. Недостаток такого подхода в том, что раздел с комментариями плохо виден с главной страницы, и вам нужно целенаправленно искать комментарии. Кроме того, авторы не обязаны отвечать.
4. Если ничего из вышеперечисленного не поможет, я всегда могу опубликовать пост на PubPeer или Qeios, которые являются платформами для открытого рецензирования после публикации (хотя авторы, допустившие ошибку, не обязаны предпринимать какие-либо действия по исправлению ситуации). Кстати, одно из преимуществ PubPeer заключается в том, что если вы установите плагин для браузера, он определит, есть ли на сайте, который вы посещаете, ссылки на статьи с комментариями PubPeer, и отобразит эту информацию в виде заметного баннера в верхней части страницы:

Я расположила приведенный выше список в порядке убывания вероятности, но с учетом максимального эффекта, от более простого, но менее эффективного. За последние несколько лет я написал несколько критических замечаний после публикации (когда у меня было на это время), и журналы или редакторы редко проявляли к ним интерес. По этой причине многие из моих комментариев попадают на PubPeer. Но поскольку в последнее время было несколько заметных успехов, как моих, так и других авторов, стоит отметить, когда все идет хорошо.

1. Отзыв на статью об электронных сигаретах и инсульте

В 2022 году Патель и др. опубликовали статью, в которой данные NHANES утверждалось, что использование электронных сигарет связано с инсультом. Эта статья нанесла огромный ущерб, вызвав ошибочное представление о вреде электронных сигарет. Как отмечается в статьеRetraction Watch:

В статье, опубликованной в Neurology International в 2022 году, сообщалось, что у пользователей электронных сигарет риск раннего инсульта выше, чем у тех, кто курит традиционные табачные изделия. По данным Clarivate’s Web of Science, статья была процитирована 22 раза и освещалась в СМИ, упоминалась в публичной кампании против вейпинга и была включена в оспариваемый метаанализ.

Коллеги Фло Фоксен и Гэл Коэн скептически отнеслись к некоторым цифрам и решили повторить анализ, используя общедоступные данные NHANES. Проблемы оказались серьёзнее, чем они ожидали. Например, в данных NHANES, которые, как утверждали Патель и др., использовались, было около 20 000 участников, но Патель и др. сообщили о выборке более 200 000 человек. Это не просто ошибка округления, пропуск критерия исключения или проблема с отсутствующими данными — участников в 10 раз больше, чем должно быть.

Учитывая столь существенную разницу в исходных данных, неясно, отражают ли какие-либо результаты из оригинальной статьи что-либо реальное. Как бы плохо это ни было, проблемы выходят за рамки анализа данных и методологии. Ведущий автор Урвиш Патель указал ложную аффилиацию (то есть заявил, что работает в медицинском вузе, в котором он не работал и с которым не был связан). Он также руководит компанией, которая, по сути, является «бумажной фабрикой», где начинающие студенты (обычно студенты-медики) платят несколько тысяч долларов за то, чтобы их имя было добавлено в список авторов научной статьи (для заполнения резюме) под предлогом участия в программе исследовательской подготовки. (Один из «признаков» — в статье гораздо больше авторов, чем нужно для базового анализа данных, и каждый из них представляет своё учреждение.)

В этой статье было практически всё, что могло быть неправильным в статье. Казалось, что если какая-то статья и заслуживает отзыва, то это она. К счастью, она была отозвана в конце концов, хотя на это ушло почти два года и был нанесён ущерб (как я уже упоминал выше), который привёл к дальнейшим негативным последствиям (например, сколько людей, которые могли бы воспользоваться электронными сигаретами, вместо этого испугались кампании по охране здоровья)?

Подкаст Selya Behavioral Science

Читайте в приложении Substack

Открыть приложение

Недавние успехи в исправлении ошибочных научных данных

Попытки исправить ошибочные научные данные часто ни к чему не приводят, но в последнее время было несколько успешных случаев: пара критических замечаний после публикации и опровержение — но только после того, как ошибочные статьи нанесли реальный ущерб

Ариэль Селья, доктор наук

26 января 2026 года

15

8

9

Теоретически наука должна быть самокорректирующейся. На практике, к сожалению, это не всегда так. В исследованиях, посвящённых снижению вреда от табака (СВТ), сочетание факторов работает против самокорректируемости науки: стимулы финансирования которые фокусируют исследования на вреде, а не на его снижении, поляризация в этой области и остракизм в отношении исследователей с реальными или даже предполагаемыми связями с индустрией, а также предвзятость подтверждения при интерпретации неоднозначных результатов и на протяжении всего процесса рецензирования. Однако эти проблемы характерны не только для THR.

В зависимости от объёма работы, когда я вижу особенно неудачную статью, я иногда предпринимаю официальные действия, чтобы попытаться исправить ситуацию. У меня есть следующие варианты:

1. Свяжитесь с авторами (если я считаю, что есть вероятность получить ответ) и узнайте, готовы ли они ответить на мои вопросы или предоставить данные или код, которые они использовали. Всегда есть шанс, что их ответ развеет мои сомнения. Если есть существует серьёзный недостаток и авторы признают это, я могу попытаться убедить их обратиться в журнал с просьбой об исправлении или отзыве статьи. (Вероятность каждого этапа этой последовательности действий постепенно снижается, но мне и моим коллегам удавалось это сделать).
2. Напишите письмо редактору с критикой исследования и отправьте его в журнал, опубликовавший исходную статью. В большинстве случаев, когда я так поступаю, моё письмо быстро отклоняют. (У меня такое чувство, что если критика касается исключительно методологии, а не мошенничества, редакторы считают её статистическим суждением, которое не заслуживает официального рассмотрения). Если мне повезёт и журнал всё-таки решит опубликовать мою критику, они почти всегда предоставляют авторам исходной статьи возможность ответить. Обычно это не приносит удовлетворения, потому что авторы часто игнорируют критику и настаивают на своих первоначальных выводах, но, по крайней мере, критика публикуется официально.
3. В зависимости от журнала может существовать формат публикации комментариев, который предполагает меньшее количество проверок, например раздел «Комментарии» в журнале JAMA, который модерируется только на предмет релевантности. Недостаток такого подхода в том, что раздел с комментариями плохо виден с главной страницы, и вам нужно целенаправленно искать комментарии. Кроме того, авторы не обязаны отвечать.
4. Если ничего из вышеперечисленного не поможет, я всегда могу опубликовать пост на PubPeer или Qeios, которые являются платформами для открытого рецензирования после публикации (хотя авторы, допустившие ошибку, не обязаны предпринимать какие-либо действия по исправлению ситуации). Кстати, одно из преимуществ PubPeer заключается в том, что если вы установите плагин для браузера, он определит, есть ли на сайте, который вы посещаете, ссылки на статьи с комментариями PubPeer, и отобразит эту информацию в виде заметного баннера в верхней части страницы:

Я расположил приведенный выше список в порядке убываниявероятности, но с учетом максимального эффекта, от более простого, но менее эффективного. За последние несколько лет я написал несколько критических замечаний после публикации (когда у меня было на это время), и журналы или редакторы редко проявляли к ним интерес. По этой причине многие из моих комментариев попадают на PubPeer. Но поскольку в последнее время было несколько заметных успехов, как моих, так и других авторов, стоит отметить, когда все идет хорошо.

Я трачу много личного времени на анализ и критику исследований. Если вы считаете мои усилия ценными, пожалуйста, поддержите меня бесплатной или платной подпиской.Подписка

1. Отзыв на статью об электронных сигаретах и инсульте

В 2022 году Патель и др. опубликовали статью, в которой данные NHANES утверждалось, что использование электронных сигарет связано с инсультом. Эта статья нанесла огромный ущерб, вызвав ошибочное представление о вреде электронных сигарет. Как отмечается в статьеRetraction Watch:

В статье, опубликованной в Neurology International в 2022 году, сообщалось, что у пользователей электронных сигарет риск раннего инсульта выше, чем у тех, кто курит традиционные табачные изделия. По данным Clarivate’s Web of Science, статья была процитирована 22 раза и освещалась в СМИ, упоминалась в публичной кампании против вейпинга и была включена в оспариваемый метаанализ.

Коллеги Фло Фоксен и Гэл Коэн скептически отнеслись к некоторым цифрам и решили повторить анализ, используя общедоступные данные NHANES. Проблемы оказались серьёзнее, чем они ожидали. Например, в данных NHANES, которые, как утверждали Патель и др., использовались, было около 20 000 участников, но Патель и др. сообщили о выборке более 200 000 человек. Это не просто ошибка округления, пропуск критерия исключения или проблема с отсутствующими данными — участников в 10 раз больше, чем должно быть.

Учитывая столь существенную разницу в исходных данных, неясно, отражают ли какие-либо результаты из оригинальной статьи что-либо реальное. Как бы плохо это ни было, проблемы выходят за рамки анализа данных и методологии. Ведущий автор Урвиш Патель указал ложную аффилиацию (то есть заявил, что работает в медицинском вузе, в котором он не работал и с которым не был связан). Он также руководит компанией, которая, по сути, является «бумажной фабрикой», где начинающие студенты (обычно студенты-медики) платят несколько тысяч долларов за то, чтобы их имя было добавлено в список авторов научной статьи (для заполнения резюме) под предлогом участия в программе исследовательской подготовки. (Один из «признаков» — в статье гораздо больше авторов, чем нужно для базового анализа данных, и каждый из них представляет своё учреждение.)

В этой статье было практически всё, что могло быть неправильным в статье. Казалось, что если какая-то статья и заслуживает отзыва, то это она. К счастью, она была отозвана в конце концов, хотя на это ушло почти два года и был нанесён ущерб (как я уже упоминал выше), который привёл к дальнейшим негативным последствиям (например, сколько людей, которые могли бы воспользоваться электронными сигаретами, вместо этого испугались кампании по охране здоровья)?

2. Письмо в редакцию о бездымном табаке и дегенерации жёлтого пятна

В 2025 году Очоа и др. опубликовали статью с анализом данных NHIS и выводами:

«Бездымный табак как новый фактор, связанный с ВМД [возрастной макулярной дегенерацией], позволяет предположить, что отказ от него может снизить риск развития ВМД».

Обратите внимание на явное указание на причинно-следственную связь в этом утверждении, которое даже близко не подтверждается данными поперечного среза и наблюдений. В статье также рассматривается вопрос об использовании электронных сигарет, которое не связано с ВМД, но авторы, похоже, всё равно считают, что связано, и призывают:

«дополнительные исследования… для лучшего понимания долгосрочного влияния электронных сигарет на развитие ВМД».

Я отправил письмо в редакцию после того, как поработал с Брэдом Роду над более ранней версией, в том числе над полезным анализом размера выборки и разбивкой по истории курения. К моему удивлению, они ответили сразу и серьёзно отнеслись к нашей критике. Их особенно заинтересовал общий комментарий по поводу анализа национального опроса, а не конкретный комментарий по поводу Очоа и др. (хотя, конечно, я привёл его в качестве примера).

В моём письме (ссылка на журнал здесь; полный текст без форматирования здесь) указаны 5 распространённых ошибок в таких статьях (которых уже сотни):

• Воздействие определяется слишком широко. То есть Очоа и большинство авторов подобных работ в качестве возможной причины ухудшения здоровья указывают «когда-либо употреблял» или «употреблял в течение последнего месяца». Но лишь малая часть из них продолжает употреблять наркотики, и даже для гораздо более вредной привычки, такой как курение, требуются десятилетия, чтобы проявились последствия для здоровья.
• Количество случаев недостаточно. Среди участников, употреблявших бездымный табак, было зарегистрировано всего 7 случаев ВМД, а среди тех, кто употреблял электронные сигареты, — всего 8. Это слишком мало для получения достоверных результатов. Хуже того, эти цифры не были указаны в исходной статье (они взяты из таблицы NHIS, составленной Брэдом).
• Анализ не исключил кумулятивный и/или отсроченный эффект от предшествующего курения. Это почти повсеместно встречается во всех исследованиях, посвященных использованию электронных сигарет и влиянию на здоровье. Использование электронных сигарет и курение сигарет во многом пересекаются, и недостаточно просто контролировать статус курения (то есть курили они или нет). Для состояния здоровья важны совокупное воздействие (например, количество выкуренных пачек) или продолжительность курения, но Очоа (и все остальные, кроме нескольких подобных исследований) этого не учитывают.
• Временная связь неясна и, возможно, является обратной. NHIS — это перекрёстное исследование, в котором не было информации о возрасте, в котором был поставлен диагноз ВМД. Возможно, у людей, у которых из-за курения возникли проблемы со здоровьем, в качестве решения проблемы они перешли на электронные сигареты. Это привело бы к такой же связи в наборе данных, но по противоположной причине.
• Интерпретация предполагает одностороннюю причинно-следственную связь. Авторы интерпретируют полученные результаты как доказательство того, что бездымный табак вызывает ВМД, и не рассматривают альтернативные объяснения. Опять же, обратите внимание на причинно-следственную формулировку в выводах аннотации («его отказ может снизить риск»).

Это всего лишь предположение, но я думаю, что разница в интересе со стороны этого журнала по сравнению с теми, в которые я обращался в прошлом, заключается в том, что этот журнал специализируется на глазных заболеваниях (Journal of VitreoRetinal Diseases), и они (а) могут не знать о токсичности табака, изучаемой в исследованиях, и (б) могут публиковать меньше статей такого типа (например, анализирующих данные национальных опросов) и быть более восприимчивыми к критике.

Авторы ответили здесь и дали два основных ответа (в отличие от наших пяти):

• Обоснование «постоянного употребления» как фактора риска как «хорошо известного и широко принятого определения в эпидемиологии табакокурения» и (как слишком широкого показателя), «помогает охватить экспериментальные и клинические исследования, особенно среди молодежи и людей среднего возраста». (Это противоречит тому, что в статье основное внимание уделяется возрастным изменениям, которые по определению связаны с возрастом. Электронные сигареты не были изобретены, когда люди с ВМД из этого набора данных были подростками и молодыми людьми, и нет информации о том, в каком возрасте эти участники начали употреблять бездымный табак).
• Повторение того, что они анализировали нынешних, бывших и никогда не куривших пациентов отдельно (что игнорирует критику в отношении необходимости корректировки на подробную историю курения) и затем переход к бессвязному рассуждению о том, что 99,3 % пациентов с ВМД получают диагноз от врача, и исключение из анализа участников с отсутствующими данными.

Ответ неудовлетворительный и не затрагивает ни одну из пяти основных проблем, которые я обозначил в своей статье. Но, по крайней мере, в разделе «Похожие статьи» есть официальная опубликованная критика статьи.

3. Письмо в редакцию о связи электронных сигарет с раком

В 2025 году де Оливейра и др. опубликовали систематический обзор, в котором пришли к выводу, что «использование электронных сигарет может быть связано с повышенным риском развития некоторых видов рака, в том числе рака шейки матки и молочной железы».

Мигель и Стеффенсен, которые консультируют дочернюю компанию British American Tobacco, опубликовали письмо в редакцию, в котором указали на многочисленные недостатки в обзоре де Оливейры и др. , а именно:

• Существенные отклонения от предварительно зарегистрированного протокола систематического обзора,включая дополнительные результаты, расширение критериев поиска за счет включения в него перекрестных исследований более низкого качества и тезисов конференций, не прошедших экспертную оценку, а также дополнительных статистических сравнений
• Включение в обзор отозванных исследований;в одном месте отозванное исследование указано с максимально возможной оценкой качества.
• Несоответствия в цифрах, указанных в разных частях рукописи, в том числе разница в размере выборки на несколько порядков (например, 1555 против 98 000).
• Ключевые ограничения не указаны, в том числе проблема смешения данных с учётом предшествующего курения, отсутствие подробных данных о продолжительности/совокупном воздействии и неизвестная последовательность событий (то есть неизвестно, предшествовало ли развитие рака употреблению электронных сигарет).

На момент написания этого поста я не получил ответа от авторов оригинала.

4. Повторное исследование электронных сигарет и хронической болезни почек (ХБП)

В 2025 году Ли и др. опубликовали статью с анализом данных NHANES и выводом:

«Употребление электронных сигарет независимо связано с хронической болезнью почек в дозозависимой манере, особенно у людей, не страдающих диабетом. Следует отметить, что данные NHANES не включают информацию об употреблении электронных сигарет в прошлом или об истории курения, что может привести к остаточному искажению результатов. Эти данные указывают на то, что вейпинг является модифицируемым фактором риска развития заболеваний почек, что требует принятия целенаправленных мер в сфере общественного здравоохранения».

Отдадим должное: авторы отмечают возможность остаточного искажающего влияния в аннотации, которая занимает более видное место, чем обычно (она спрятана в разделе «Ограничения» в конце обсуждения).

К сожалению, их утверждение о том, что в NHANES нет данных о «стаже курения», просто не соответствует действительности. Существует очень подробный опросник по истории курения, в котором содержится информация о частоте курения, продолжительности курения и общем стаже. Несмотря на то, что после учёта этих данных всё равно останется некоторая степень остаточного смешения, история курения является тем основным фактором смешения, который необходимо учитывать.

Тем не менее это не так, и, несмотря на то, что авторы признают наличие этой проблемы (не говоря уже о том, что они могли бы что-то с этим сделать, но предпочли этого не делать), они тем не менее приходят к выводу, что вейпинг «является фактором риска, который можно изменить», и призывают к принятию мер в сфере общественного здравоохранения, которые предполагают наличие причинно-следственной связи.

Коллеги Гэл Коэн, Суён Кими я провели повторный анализ NHANES, чтобы проверить, сможем ли мы воспроизвести их результаты и улучшить их (поскольку мы знали, что у нас есть подробная информация об истории курения). Наше повторное исследование, которое было недавно опубликовано, указывает на следующие проблемы:

• Нам не удалось даже близко воспроизвести основные исходные данные их анализа, такие как размер выборки (7139 против 872) или распространённость хронической болезни почек среди пользователей электронных сигарет (8,4 % против 33,5 %). Конечно, мы внимательно изучили их описание анализа в разделе «Методы».
• Определение ХБП было непоследовательным (Ли и др. привели два отдельных определения), как и стандартный способ определения риска ХБП.
• Недостаточный размер выборки: согласно одному из определений, только у одного пользователя электронных сигарет была хроническая болезнь почек. По таким немногочисленным случаям невозможно получить достоверную статистику.
• В исходном анализе учитывается курение статус (т. е. учитывается текущее/предыдущее/никогда не курил), но этого слишком мало для того, чтобы учесть влияние курения на здоровье, которое зависит от продолжительности и совокупного воздействия.
• Мы усовершенствовали первоначальный анализ, разделив участников на группы в зависимости от истории курения, то есть изучили взаимосвязи между группой нынешних курильщиков, группой бывших курильщиков и группой тех, кто никогда не курил (каждую группу отдельно). Идея заключается в том, что если электронные сигареты оказывают причинно-следственное влияние на хроническую болезнь почек, то это должно проявляться на всех этапах курения. Но мы не нашли убедительных доказательств этого. (Результаты сильно различались в зависимости от определения ХБП; в одном случае показатель был выше среди пользователей электронных сигарет, в другом — ниже, а при использовании стандартного определения разница была незначительной).

На рисунке ниже представлены наши основные тезисы (спасибо Галу за то, что уместил столько информации на одном рисунке):

Мы рады, что статья наконец-то опубликована, но есть несколько менее благоприятных аспектов этой ситуации, которые ограничивают возможность обратной связи для исправления ошибочных научных данных. Поскольку статья опубликована в другом журнале, а не в том, в котором была опубликована статья Li et al., неосведомлённый читатель не сможет узнать, что эта статья подвергается критике.

Причина, по которой статья была опубликована в другом журнале, заключается в том, что первоначальный журнал (BMC Public Health), в который мы сначала отправили наш повторный анализ, быстро отклонил его (то есть редактор отклонил статью, даже не отправив её на рецензирование). В идеальном мире журналы хотели бы поддерживать порядок в своих рядах и публиковать только самые качественные научные работы.

Затем мы отправили нашу статью с результатами повторного анализа в три других журнала, некоторые из которых прямо указывают на необходимость проведения повторных исследований в разделе «Цели и задачи». Все они отклонили нашу статью. Но в итоге нам удалось опубликовать её.

Выводы

В рецензируемых журналах публикуется много ошибочных исследований. За эти годы я предпринял множество попыток исправить особенно ошибочные исследования. На это уходит много времени: нужно не только написать критический отзыв, но и пройти по официальным каналам, чтобы попытаться добиться официального ответа от журнала.

Кроме того, это часто деморализует:

• Полное втягивание встречается редко.
• На отзыв статьи могут уйти годы, и всё это время она будет цитироваться и наносить ущерб научной и общественной сферам.
• Если редактор считает, что недостатки не требуют полного опровержения, можно ограничиться письмом в редакцию, опубликованным в том же журнале. Но в таких случаях последнее слово обычно остаётся за авторами оригинальной статьи, и они используют его, чтобы отвергнуть критику и подтвердить свои первоначальные выводы.
• Скорее всего, редактор / исходный журнал вообще не заинтересован в критике. Всегда есть PubPeer или Qeios, но если читатели оригинальной статьи не заинтересованы в научной добросовестности и у них не установлен плагин PubPeer для браузера, они не узнают о критике.

На этом фоне особенно приятно осознавать, что эти, как правило, неблагодарные усилия приносят свои плоды. Только за последние два месяца произошло четыре истории успеха, и это стоит того, чтобы уделить им внимание.

---