Маркус Мунафо об ответственности ученых как сотрудников, получающих государственное финансирование, и о том, когда дальнейшие исследования не требуются.

Источник: The Psychologist

Мы часто не задумываемся о системе, в которой работаем, и о том, работает ли она (пока не перестанет работать).

Более 30 лет назад в журнале BMJ покойный (и действительно великий) статистик Даг Альтман написал: «Нам нужно меньше исследований, но более качественных и проводимых по правильным причинам». Он говорил о медицинских исследованиях, но эта проблема актуальна для многих других дисциплин. Перенесемся в настоящее время, и я бы сказал, что это по-прежнему справедливое замечание. На самом деле, ситуация, возможно, даже ухудшилась.

Появляется все больше журналов, и даже они завалены растущим количеством рукописей (часто созданных «фабриками по производству статей»). Ситуация настолько плохая, что журналам (и все чаще даже спонсорам) становится все труднее найти достаточное количество рецензентов.

Давайте рассмотрим три части этой цитаты в обратном порядке.

«Правильные причины»

Что означает «исследования, проводимые по правильным причинам»? Здесь есть противоречие — академическая свобода означает, что мы свободны заниматься исследованиями, которые лично считаем важными или интересными. «Исследования, движимые любопытством» — это необыкновенная привилегия. Но университеты также — по крайней мере, на мой взгляд! — призваны служить обществу. Мы больше не являемся независимыми учеными XIX века. Мы — наемные сотрудники организаций, финансируемых из государственного бюджета.

Поэтому мы обязаны следить за тем, будут ли наши исследования действительно ценными. Эта ценность может принимать разные формы, конечно — от продвижения фундаментальных знаний до оказания реального влияния на мир. Но то, что мы лично считаем что-то интересным, само по себе не является «правильной причиной». Если мы беспристрастно посмотрим на большую часть публикуемых исследований, я уверен, что все мы сможем указать на исследования, которые не вносят большого вклада в совокупность человеческих знаний.

Как главный редактор журнала Nicotine & Tobacco Research, я получал прекрасно проведенные исследования, которые показывали, например, связь между курением и раком легких или сердечными заболеваниями. Такое случалось не раз! Нам не нужны эти исследования — мы и так знаем ответ! Что добавляют эти исследования? Проблема, конечно, в том, что публикации являются валютой академического мира. Но публикации ради публикаций — это не исследование по правильным причинам.

«Лучшие исследования»

Даже если мы определили исследовательский вопрос, ответ на который действительно пополнит совокупность человеческих знаний, нам необходимо провести тщательно спланированное исследование, чтобы с уверенностью ответить на этот вопрос. Это кажется очевидным. Но, на мой взгляд, многие исследования просто не могут ответить на вопрос, для ответа на который они якобы были разработаны.

Что я имею в виду? Большинство из нас по-прежнему используют частотную статистику и рассчитывают p-значения. И нас учат, что мы не можем интерпретировать нулевые результаты, потому что в рамках частотной статистики невозможно доказать нулевую гипотезу. Это правда, но мы можем разработать наши исследования таким образом, чтобы исключить все, кроме тривиального эффекта. Мы можем указать минимальный размер интересующего нас эффекта — теоретически, биологически или клинически — и обеспечить, чтобы размер выборки нашего исследования был достаточно большим, чтобы его обнаружить.

Если мы это сделаем, и наш доверительный интервал исключает минимальный размер интересующего нас эффекта, мы можем сделать выводы из наших нулевых результатов. Мы можем сказать: «Возможно, есть эффект, который слишком мал, чтобы его можно было обнаружить в этом исследовании, но даже если он есть, он будет слишком мал, чтобы представлять интерес». Мы можем ответить на наш вопрос — независимо от того, какими будут результаты! Но, как показала Кейт Баттон в 2013 году, большинство исследований слишком малы и не имеют достаточной мощности, чтобы сделать это.

«Меньше исследований»

Все это позволяет легко ответить на последнюю часть цитаты Альтмана. Нам нужно проводить «меньше исследований», потому что мы слишком заняты, чтобы тратить свое драгоценное время! За последние десять-двадцать лет этот сектор претерпел огромные изменения, и давление, которое это создало, хорошо известно. Определение действительно важных исследовательских вопросов и проведение меньшего количества хорошо организованных (например, более крупных!) исследований — это, безусловно, стратегия, которую мы должны принять!

Дороти Бишоп писала о том, как трудно нам прекратить исследования — и в частности, прекратить идти по тупиковым путям, даже когда результат давно предсказуем. Она описывает презентацию убедительного нулевого результата на научной конференции. Но аудитория, вместо того чтобы аплодировать честному и прямому выводу об отсутствии связи между двумя явлениями, начала предлагать объяснения, почему результат оказался нулевым. Различные подходы к выборке, измерению, статистическому анализу и т. д. могли бы, возможно, «спасти» исходную гипотезу.

Как исследователь, я понимаю это. Мы действительно хотим открывать что-то новое! Мы сочувствуем исследователям, которые не добились результатов. Но выдвижение бесконечных вспомогательных гипотез и привлечение скрытых модераторов никому не поможет, если путь действительно является тупиковым. Иногда дальнейшие исследования не нужны, и мы должны сосредоточить свои усилия на чем-то другом.

Как Дороти говорит в своем блоге (и спросила на сессии): «Какие доказательства нам нужны, чтобы убедиться, что между музыкальностью и латеральностью действительно нет связи?» Эта конкретная литература появилась в 1922 году. Безусловно, если бы существовала реальная связь, к настоящему моменту у нас были бы веские доказательства. Возможно, мы не осознаем альтернативные издержки этого исследования — время, которое можно было бы потратить на другие направления, — потому что пока мы можем продолжать публиковаться, наша карьера будет процветать. Но это огромная трата времени, если мы не просто занимаемся публикациями ради самих публикаций, а действительно заинтересованы в получении новых знаний.

К сожалению, есть много примеров литературы, которая процветала и продолжала существовать долго после того, как все было уже предрешено. Мой личный любимый пример — который я сам опубликовал — это взаимосвязь между вариациями гена транспортера серотонина и чертами, связанными с тревожностью и депрессией. Первая статья, в которой об этом сообщалось, была опубликована в 1996 году и была основана на исследовании нескольких сотен человек. Последующие исследования предложили механизм, представив доказательства того, что эта вариация также связана с реакцией миндалины на угрозу.

История стала богаче. Другие исследования показали, что эта генетическая вариация может объяснить индивидуальные различия в реакции на ранние жизненные невзгоды с точки зрения последующего риска депрессии. Это была убедительная история, состоящая из многих связанных между собой элементов. Я даже сам преподавал ее на лекциях по индивидуальным различиям. Но все это здание опиралось на основополагающее открытие — что эта генетическая вариация была связана с индивидуальными различиями в тревожности и депрессии (или риске соответствующих клинических исходов). Уберите это, и все остальное рухнет.

И, как пишет Скотт Александр (психиатр и блогер): «ВСЁ. ЭТО. ЛОЖЬ. ЛОЖЬ». Сильные слова. Но теперь совершенно ясно — от крупномасштабных исследований этого конкретного генетического варианта до геномных ассоциативных исследований тревожности и депрессии, которые включали данные примерно о миллионе (а не нескольких сотнях) участников — что нет никакой значимой связи между геном транспортера серотонина и этими чертами. Первое открытие было ложноположительным. Так же как и исследования, которые рассматривали миндалину и взаимодействие гена с окружающей средой.

Конечно, это нормально. В наших исследованиях неизбежно возникают ложноположительные результаты. Вопрос в том: почему наука не исправила себя? Почему мы не перестали публиковать материалы по этой теме? Удручающе, но если вы введете в PubMed запрос «5-HTTLPR» (аббревиатура рассматриваемого гена), вы все еще найдете новые публикации, хотя их гораздо меньше и они появляются в гораздо менее известных журналах. Еще в 2005 году было проведено исследование по воспроизведению результатов, которое было в три раза больше по масштабу, чем исходное, и дало убедительный нулевой результат. Но поезд уже тронулся. (Раскрытие информации: я был одним из авторов той статьи 2005 года и в тот момент перестал включать ген транспортера серотонина в свою лекцию об индивидуальных различиях — я перенес его в свои доклады о воспроизводимости!)

Все эти исследования были проведены добросовестно и в целом были выполнены хорошо (хотя они были слишком малы, чтобы надежно обнаружить эффекты распространенных генетических вариантов, исходя из того, что мы знаем сейчас). Проблема заключается в том, что не было стимула прекратить проведение такого рода исследований. Некоторое время финансирующие организации продолжали их финансировать (что означает, что рецензенты и члены комиссии — наши коллеги — одобряли их). Журналы (то же самое) продолжали их публиковать.

Некоторое время назад British Medical Journal запретил использовать фразу «Требуются дальнейшие исследования» в заключительной части рукописей, поскольку посчитал, что это банальное утверждение. Конечно, дальнейшие исследования всегда будут необходимы. Но, возможно, нам следует поощрять использование фразы «Дальнейшие исследования не требуются» в тех случаях, когда ясно, что мы зашли в тупик. Мы могли бы сэкономить много времени и усилий — и освободить свои ресурсы для более плодотворных направлений исследований — если бы мы могли лучше признавать, когда то, что казалось хорошей идеей, исчерпало себя.

Вы — «система»
Итак, огромный объем проводимых исследований создает проблемы. Многие из нас испытывали чувство перегрузки от того, сколько запросов на рецензирование поступает в наши почтовые ящики. Но это проблема, которую мы сами создали. Как хомяки на беговой дорожке, мы бежим, чтобы оставаться на месте. Но мы можем сойти с нее, если захотим — проводя меньше исследований, но более качественных и проводимых по правильным причинам.

Но кто имеет право инициировать такие изменения?

Многие из нас могут чувствовать себя бессильными перед лицом академической системы и структуры стимулов, в которой мы одновременно заперты, но не можем изменить. Да, мы, возможно, хотим проводить меньше, но более качественных исследований. Но не подорвет ли это наши карьерные перспективы? Это может быть особенно актуально для начинающих исследователей.

Первое, что я хотел бы сказать, это то, что нет никакой системы «там», которая что-то делает с нами. Мы и есть система. Академики — мы — это люди, которые рецензируют статьи и гранты, входят в редакционные советы и комиссии по финансированию, принимают решения о найме и продвижении по службе. Таким образом, способность изменить решение лежит на нас — коллективно.

Во-вторых, я считаю, что существует много ошибочных представлений. Я видела множество начинающих исследователей, которые процветали, будучи целеустремленными и ограниченными, работая устойчивым образом и выполняя высококачественную работу, которая позволяла им продемонстрировать свои навыки и талант, не выгорая. (Кейт Баттон, о которой я упоминала выше, является одним из примеров этого — сейчас она старший преподаватель в Университете Бата).

В-третьих, и наконец, академическая карьера имеет профессиональный характер, который ценен, но требует осторожного подхода. Помните, что работа не отвечает вам взаимностью. Кроме того, когда мы дойдем до конца своей карьеры, мы не будем с ностальгией вспоминать количество опубликованных нами статей. Мы будем помнить один или два ярких момента — ключевые открытия, которые внесли вклад.

Давайте все постараемся помнить об этом, когда будем решать, на чем сосредоточить свои усилия и как работать, чтобы по-прежнему любить свою работу.

Маркус Мунафо является заместителем ректора и проректором Университета Бата

---