С этой проблемой авторы сталкиваются постоянно. Причем самое неприятное здесь то, что исследование может выглядеть вполне убедительно на первый взгляд. Есть таблицы, есть графики, есть статистические расчеты. Но как только рецензент начинает внимательно смотреть на цифры, возникает главный вопрос: а хватает ли данных, чтобы делать такие выводы?
По своему опыту скажу, что именно на этом этапе «ломается» довольно много статей. Автор уверен, что все посчитал правильно, но для рецензента важна не только сама статистика. Гораздо важнее то, насколько результаты действительно подтверждают заявленные выводы.
Почему выборка и статистика играют главную рольЛюбое исследование держится на данных. Без них гипотеза остается просто предположением. Здесь рецензенты обычно действуют очень прагматично. Они смотрят не на красоту оформления статьи, а на то, насколько надежна эмпирическая база. Как правило, внимание обращают на несколько вещей:
- достаточен ли объем выборки;
- репрезентативны ли данные;
- корректно ли выбран статистический метод;
- совпадает ли масштаб выводов с масштабом исследования.
Вот именно здесь часто возникает разрыв. Автор анализирует небольшую выборку, а в выводах начинает говорить о глобальных закономерностях. Для рецензента это сигнал, что выводы могут быть слишком смелыми.
Как рецензенты проверяют достоверность результатовЛогика проверки обычно очень простая. Рецензент сопоставляет три элемента статьи:
- какие данные были собраны;
- каким способом они анализировались;
- какие выводы из этого сделал автор.
Если между этими элементами появляется несостыковка, начинают возникать вопросы. Например, статистический метод выбран слишком сложный для той выборки, которая есть. Или наоборот – метод слишком простой и не позволяет корректно проверить гипотезу. В таких ситуациях редакторы обычно указывают на две основные проблемы:
- Недостаточный объем данных.
- Выводы не подтверждаются результатами исследования.
- И это, кстати, одна из самых распространенных причин отказов после рецензирования.
Расскажу пример из практики. Несколько месяцев назад мы разбирали статью исследователя из области образовательной аналитики. Работа была посвящена влиянию цифровых образовательных платформ на академическую успеваемость студентов.
На первый взгляд статья выглядела вполне убедительно. Автор провел статистический анализ, построил модель и показал, что использование цифровых платформ связано с более высокими результатами обучения.
Но при детальном просмотре оказалось, что исследование построено на опросе 38 студентов одного факультета. После этого автор провел корреляционный анализ и на основании полученных коэффициентов сделал вывод о влиянии цифровых платформ на академическую успеваемость студентов в целом.
Рецензент сразу указал на две проблемы. Во-первых, выборка слишком мала, чтобы делать обобщения. Во-вторых, формулировки выводов оказались гораздо шире, чем позволяют представленные данные. В итоге статья получила отказ с рекомендацией либо существенно расширить выборку, либо пересмотреть интерпретацию результатов.
Такие ситуации встречаются гораздо чаще, чем кажется. Исследование может быть интересным, но, если масштаб выводов не соответствует масштабу данных, редакция почти всегда занимает осторожную позицию.