Название: Замок и ключ Автор: Сара Дессен Краткое описание: Руби знает, что она может это сделать. Ей осталось всего несколько месяцев до того, как ей исполнится 18,…

Название: Невозможное Автор: Нэнси Верлин Краткое содержание: Собираетесь ли вы на ярмарку в Скарборо? Петрушка, шалфей, розмарин и тимьян.Вспомни меня тому, кто там живет. Она…

Название: Страйк Кики: Могила Императрицы Автор: Кирстен Миллер Краткое содержание: Страйк Кики и нерегулярные солдаты никогда не смогут хорошо выспаться: они слишком заняты …

Название: Остров доктора Франклина Автор: Энн Халам Краткое содержание: Когда недавно знакомый самолет Семи, Арни и Миранды терпит крушение посреди океана, они…

Название: Bog Child Автор: Шивон Дауд Краткое содержание: Фергус Макканн живет в тяжелые времена. В шестнадцать лет он готовится к вступительным экзаменам в колледж, что…

Название: Идентичный Автор: Эллен Хопкинс Краткое содержание: Жила-была счастливая семья с любящими мамой и папой и двумя идеальными дочерьми-близнецами Кели и Рэйанн.…

Название: Зачарованная Элла Автор: Гейл Карсон Левин Краткое содержание: При рождении фея Люсинда «одарила» Эллу послушанием.Когда бы ни приказали что-то сделать, Элла не может помочь…

Название: Питер и ловцы звезд Автор: Дэйв Барри и Ридли Пирсон Краткое содержание: Питер и его группа сирот находятся на корабле Never Land…

Название: Призраки Керфола Автор: Дебора Нойес Краткое содержание: Как раз к Хэллоуину этот элегантный сборник готических историй, основанный на классическом…

Преимущества, критика и руководство по выживанию

EJIFCC.2014 Октябрь; 25 (3): 227–243.

Опубликовано в Интернете 24 октября 2014 г. Больница для больных детей, Университет Торонто, Торонто, Онтарио, Канада

Тара Садегие

¹ Клиническая биохимия, Отделение детской лабораторной медицины, Больница для больных детей, Университет Торонто, Торонто, Онтарио, Канада

Хосров Адели

¹ Клиническая биохимия, Департамент детской лабораторной медицины, Больница для больных детей, Университет Торонто, Торонто, Онтарио, Канада

² Департамент лабораторной медицины и патобиологии, Университет Торонто, Торонто, Канада

³ Председатель, Отдел коммуникаций и публикаций (CPD), Международная федерация Клиническая химия для больных (IFCC), Милан, Италия

¹ Клиническая биохимия, Департамент детской лабораторной медицины, Больница для больных детей, Университет Торонто, Торонто, Онтарио, Канада

² Департамент лабораторной медицины и патобиологии , Университет Торонто, Торонто, Канада

³ Председатель, Отдел коммуникаций и публикаций (CPD), Международная федерация клинической химии больных (IFCC), Милан, Италия

Авторы заявляют об отсутствии конфликта интересов в связи с публикацией этой статьи.

Abstract

Рецензирование определяется как процесс изучения научной работы, исследования или идей автора другими экспертами в той же области. Его функция состоит в том, чтобы побудить авторов соответствовать принятым высоким стандартам их дисциплины и контролировать распространение данных исследований, чтобы гарантировать, что необоснованные утверждения, неприемлемые интерпретации или личные взгляды не будут опубликованы без предварительного экспертного обзора.Несмотря на широкое распространение в большинстве журналов, процесс рецензирования также подвергался широкой критике из-за медленности процесса публикации новых результатов и из-за предполагаемой предвзятости редакторов и / или рецензентов. В научном сообществе рецензирование стало важным компонентом академического письма. Это помогает гарантировать, что статьи, опубликованные в научных журналах, дают ответы на важные исследовательские вопросы и делают точные выводы на основе профессионально выполненных экспериментов.Представление рукописей низкого качества становится все более распространенным явлением, а рецензирование действует как фильтр, не позволяющий этой работе попасть в научное сообщество. Основным преимуществом процесса рецензирования является то, что рецензируемые статьи обеспечивают надежную форму научного общения. Поскольку научные знания накапливаются и строятся сами на себе, это доверие особенно важно. Несмотря на положительное влияние экспертной оценки, критики утверждают, что процесс экспертной оценки подавляет инновации в экспериментах и ​​действует как плохая заслонка от плагиата.Несмотря на недостатки, до сих пор не было разработано надежной системы, которая заменила бы экспертную оценку, однако исследователи изучали электронные средства улучшения процесса экспертной оценки. К сожалению, недавний всплеск количества онлайн-журналов / электронных журналов привел к массовой публикации большого количества научных статей с небольшим рецензированием или без рецензирования. Это создает значительный риск для развития научных знаний и их будущего потенциала. В данной статье кратко излагается процесс рецензирования, выделяются плюсы и минусы, связанные с различными типами рецензирования, и описываются новые методы улучшения рецензирования.

Ключевые слова: рецензирование, рукопись, публикация, журнал, открытый доступ

ЧТО ТАКОЕ РЕЦЕНЗИРОВАНИЕ И ДЛЯ ЧЕГО ЕГО ЦЕЛЬ?

Рецензирование определяется как «процесс подвергания научной работы, исследования или идей автора вниманию других, которые являются экспертами в той же области» (1). Рецензирование преследует две основные цели. Во-первых, он действует как фильтр, гарантирующий, что публикуются только высококачественные исследования, особенно в авторитетных журналах, путем определения достоверности, значимости и оригинальности исследования.Во-вторых, рецензирование предназначено для улучшения качества рукописей, которые считаются подходящими для публикации. Рецензенты предоставляют авторам предложения о том, как улучшить качество своих рукописей, а также выявляют любые ошибки, которые необходимо исправить перед публикацией.

ИСТОРИЯ ЭКСПЕРТИЗА

Концепция экспертной оценки была разработана задолго до появления научного журнала. Фактически, считается, что процесс рецензирования использовался как метод оценки письменных работ со времен Древней Греции (2).Процесс рецензирования был впервые описан врачом по имени Исхак бин Али ар-Рахви из Сирии, который жил с 854–931 гг. Н. Э., В его книге Этика врача (2). Там он заявил, что врачи должны делать записи с описанием состояния здоровья своих пациентов при каждом посещении. После лечения записи были тщательно изучены местным медицинским советом, чтобы определить, соблюдал ли врач необходимые стандарты оказания медицинской помощи. Если медицинский совет сочтет, что соответствующие стандарты не были соблюдены, соответствующий врач мог получить судебный иск от подвергшегося жестокому обращению пациента (2).

Изобретение печатного станка в 1453 году позволило распространять письменные документы среди широкой публики (3). В это время стало более важным регулировать качество письменных материалов, которые стали общедоступными, а редактирование коллегами стало более распространенным. В 1620 году Фрэнсис Бэкон написал работу Novum Organum, , в которой описал то, что в конечном итоге стало известно как первый универсальный метод создания и оценки новой науки (3). Его работа сыграла важную роль в формировании научного метода (3).В 1665 г. французский журнал Journal des sçavans и английский Philosophical Transactions of the Royal Society были первыми научными журналами, систематически публиковавшими результаты исследований (4). Philosophical Transactions of the Royal Society считается первым журналом, формализовавшим процесс рецензирования в 1665 г. (5), однако важно отметить, что рецензирование было первоначально введено, чтобы помочь редакторам решить, какие рукописи публиковать в своем журнале. журналов, и в то время это не служило для обеспечения достоверности исследования (6).Процесс рецензирования не заставил себя долго ждать, и вскоре после этого статьи были розданы рецензентам с целью проверки достоверности результатов исследования перед публикацией. Королевское общество Эдинбурга придерживалось следующего процесса рецензирования, опубликованного в его Медицинских очерках и наблюдениях в 1731 году: «Мемуары, отправленные по переписке, распределяются по тематике среди тех членов, которые больше всего разбираются в этих вопросах.Сообщение об их личности автору неизвестно ». (7). Лондонское королевское общество приняло эту процедуру рецензирования в 1752 году и разработало «Комитет по документам» для рецензирования рукописей до их публикации в Philosophical Transactions (6).

Рецензирование в систематизированной и институционализированной форме получило огромное развитие после Второй мировой войны, по крайней мере, частично благодаря значительному увеличению научных исследований в этот период (7). Теперь он используется не только для обеспечения экспериментальной и этической достоверности научной рукописи, но и для определения того, какие статьи в достаточной мере соответствуют стандартам качества и оригинальности журнала перед публикацией.Рецензирование в настоящее время является стандартной практикой в ​​большинстве авторитетных научных журналов и является важной частью определения достоверности и качества представленных работ.

ВЛИЯНИЕ ПРОЦЕССА ЭКСПЕРТНОГО РЕЦЕНЗИРОВАНИЯ

Рецензирование стало основой системы научных публикаций, поскольку оно фактически подвергает работу автора внимательному анализу со стороны других экспертов в данной области. Таким образом, это побуждает авторов стремиться к проведению высококачественных исследований, способствующих развитию данной области. Рецензирование также поддерживает и поддерживает целостность и достоверность в развитии науки.Научная гипотеза или утверждение обычно не принимаются академическим сообществом, если они не были опубликованы в рецензируемом журнале (8). Институт научной информации ( ISI ) рассматривает только журналы, прошедшие рецензирование, в качестве кандидатов на получение импакт-факторов. Рецензирование — это хорошо отлаженный процесс, который уже более 300 лет является формальной частью научного общения.

ОБЗОР ПРОЦЕССА ЭКСПЕРТИЗА

Процесс экспертной оценки начинается, когда ученый завершает исследование и пишет рукопись, в которой описываются цель, план эксперимента, результаты и выводы исследования.Затем ученый отправляет эту статью в подходящий журнал, специализирующийся в соответствующей области исследований, и этот этап называется предварительной отправкой. Редакторы журнала рецензируют статью, чтобы убедиться, что тема соответствует тематике журнала и соответствует редакционной платформе. Очень немногие статьи проходят эту первоначальную оценку. Если редакторы журнала считают, что статья в достаточной мере соответствует этим требованиям и написана из надежного источника, они отправят статью опытным исследователям в данной области для формальной экспертной оценки.Рецензенты также известны как рефери (этот процесс кратко описан в). Роль редактора заключается в выборе наиболее подходящих рукописей для журнала, а также в реализации и мониторинге процесса рецензирования. Редакторы должны гарантировать, что рецензирование проводится справедливо, эффективно и своевременно. Они также должны гарантировать отсутствие конфликта интересов в процессе экспертной оценки.

Обзор процесса рецензирования

Когда рецензенту предоставляется статья, он или она внимательно ее читает и изучает, чтобы оценить достоверность научных данных, качество экспериментального плана и уместность используемых методов.Рецензент также оценивает значимость исследования и определяет, будет ли работа способствовать продвижению в данной области, оценивая важность результатов и определяя оригинальность исследования. Кроме того, рецензенты выявляют любые научные ошибки и ссылки, которые отсутствуют или неверны. Рецензенты дают рекомендации редактору относительно того, следует ли принять статью, отклонить или улучшить ее перед публикацией в журнале. Редактор будет посредником в дискуссии между автором и рецензентом, чтобы прояснить приоритет определенных запросов рефери, предложить области, которые можно усилить, и отклонить рекомендации рецензента, выходящие за рамки исследования (9).Если статья принимается, по предложению рецензента, статья переходит в стадию производства, где редакторы корректируют и форматируют ее и, наконец, публикуют в научном журнале. Обзор процесса проверки представлен в.

КТО ПРОВОДИТ ОБЗОРЫ?

Рецензирование проводится научными экспертами, обладающими специальными знаниями о содержании рукописи, а также учеными с более общей базой знаний. Рецензентами могут быть все, кто обладает компетенцией и опытом в предметных областях, охватываемых журналом.Рецензенты могут варьироваться от молодых и многообещающих исследователей до старых мастеров в этой области. Часто молодые рецензенты наиболее отзывчивы и предоставляют обзоры самого высокого качества, хотя это не всегда так. В среднем рецензент будет проводить около восьми обзоров в год, согласно исследованию экспертной оценки, проведенному Консорциумом издательских исследований (PRC) (7). Журналы часто имеют группу рецензентов с разным опытом, чтобы учесть самые разные точки зрения. У них также будет довольно большой банк рецензентов, чтобы рецензенты не перегорели, не перегружались или не стеснялись во времени просматривать несколько статей одновременно.

ПОЧЕМУ РЕЦЕНЗЕНТЫ ОТЗЫВАЮТ?

Рецензентам обычно не платят за проведение коллегиальных проверок, и этот процесс требует значительных усилий, поэтому возникает вопрос о том, какие стимулы должны вообще проверять рефери. Некоторые считают академической обязанностью проводить рецензирование и считают, что, если от их коллег ожидается рецензирование их работ, им следует также проанализировать работу своих коллег. Рецензенты также могут иметь личные контакты с редакторами и, возможно, захотят оказать им максимально возможную помощь.Другие делают обзор, чтобы быть в курсе последних событий в своей области, и чтение новых научных статей — эффективный способ сделать это. Некоторые ученые используют экспертную оценку как возможность для продвижения своих собственных исследований, поскольку она стимулирует новые идеи и позволяет им читать о новых экспериментальных методах. Другие рецензенты стремятся создать ассоциации с престижными журналами и редакторами и стать частью их сообщества, поскольку иногда рецензенты, проявляющие преданность журналу, позже нанимаются в качестве редакторов.Некоторые ученые рассматривают экспертную оценку как возможность узнать о последних исследованиях раньше своих коллег и, таким образом, первыми разработать новые идеи на основе материала. Наконец, с точки зрения карьерного роста, коллегиальное рецензирование может быть желательным, поскольку оно часто отмечается в резюме или резюме. Многие учреждения учитывают участие исследователя в экспертной оценке при оценке своей работы по продвижению по службе (11). Рецензирование также может быть эффективным способом для ученого показать начальству, что они привержены своей научной области (5).

ДОЛЖНЫ ЛИ РЕЦЕНЗЕНТЫ ПРОВЕРИТЬ?

Международный опрос 4000 рецензентов, проведенный в 2009 г. благотворительной организацией Sense About Science на Британском научном фестивале в Университете Суррея, показал, что 90% рецензентов заинтересованы в рецензировании (12). Треть респондентов опроса заявили, что они были бы счастливы просматривать до пяти статей в год, и еще одна треть респондентов были рады просмотреть до десяти.

КАК ДОЛГО ПРОСМОТРЕТЬ ОДИН БУМАГУ?

В среднем на рецензирование одной статьи (12) уходит около шести часов, однако это количество может сильно варьироваться в зависимости от содержания статьи и характера рецензента.Один из каждых 100 участников опроса «Sense about Science» утверждает, что просмотр своей последней статьи потратил более 100 часов (12).

КАК ОПРЕДЕЛИТЬ, РЕЗУЛЬТАТЫВАЮТСЯ ЛИ ЖУРНАЛ

Ulrichsweb — это каталог, который предоставляет информацию о более чем 300 000 периодических изданий, включая информацию о том, какие журналы рецензируются (13). После входа в систему с использованием учетной записи учреждения (например, из Университета Торонто) в строку поиска можно ввести условия поиска, названия журналов или номера ISSN.В базе данных указывается название, издатель и страна происхождения журнала, а также указывается, активно ли журнал публикуется. Значок черной книги (помеченный как «рецензированный») показывает, что журнал рецензируется.

КРИТЕРИИ ОЦЕНКИ ДЛЯ ЭКСПЕРТНОЙ РЕЦЕНЗИИ НАУЧНЫХ ДОКУМЕНТОВ

Как упоминалось ранее, когда рецензент получает научную рукопись, он / она сначала определяет, подходит ли тема для содержания журнала. Затем рецензент рассмотрит, является ли вопрос исследования важным и оригинальным. Этому процессу может помочь сканирование обзорных статей.

Научные статьи, представленные на рецензирование, обычно имеют определенную структуру, которая начинается с названия, за которым следуют реферат, введение, методология, результаты, обсуждение, выводы и ссылки. Название должно быть описательным и включать в себя исследуемый концепт и организм, а также потенциально изменяемую переменную и системы, используемые в исследовании. Рецензент оценивает, является ли заголовок достаточно информативным, и обеспечивает его ясность и краткость. Исследование Национальной ассоциации риэлторов (NAR), опубликованное Oxford University Press в 2006 году, показало, что название рукописи играет важную роль в определении интереса читателей, поскольку 72% респондентов заявили, что могут обычно судить о том, является ли статья будут для них интересны по названию и автору, при этом 13% респондентов заявили, что всегда смогут это сделать (14).

Аннотация представляет собой краткое изложение статьи, в котором кратко упоминаются предыстория или цель, методы, ключевые результаты и основные выводы исследования. Рецензент оценивает, является ли реферат достаточно информативным и соответствует ли его содержание остальной части статьи. Исследование NAR показало, что 40% респондентов могли определить, будет ли статья им интересна, основываясь только на аннотации в 60-80% случаев, в то время как 32% могли судить о статье на основе аннотации в 80-100% случаев. время (14).Это показывает, что для оценки ценности статьи часто используется только реферат.

Введение к научной статье представляет исследовательский вопрос в контексте того, что уже известно по теме, чтобы определить, почему изучаемый вопрос представляет интерес для научного сообщества и на какой пробел в знаниях направлено исследование. заполнить (15). Во введении определены цель и объем исследования, кратко описаны общие методы исследования, а также изложены гипотезы и прогнозы (15).Рецензент определяет, предоставляет ли введение достаточную справочную информацию по теме исследования и обеспечивает четкую идентификацию вопроса и гипотезы исследования.

В разделе «Методы» описываются экспериментальные процедуры и объясняется, почему проводился каждый эксперимент. Раздел методов также включает оборудование и реактивы, использованные в расследовании. Раздел методов должен быть достаточно подробным, чтобы его можно было использовать для повторения эксперимента (15).Методы пишутся в прошедшем времени активным голосом. Рецензент оценивает, были ли использованы соответствующие методы для ответа на вопрос исследования и были ли они написаны достаточно подробно. Если в разделе о методах отсутствует информация, рецензент должен определить, какие детали необходимо добавить.

Раздел результатов — это то место, где результаты эксперимента и тенденции в данных объясняются без суждений, предвзятости или интерпретации (15). Этот раздел может включать статистические тесты, выполняемые с данными, а также рисунки и таблицы в дополнение к тексту.Рецензент обеспечивает достаточно подробное описание результатов и определяет их достоверность. Рецензенты также подтверждают, что текст соответствует информации, представленной в таблицах и рисунках, и что все включенные рисунки и таблицы важны и актуальны (15). Рецензент также должен убедиться, что заголовки таблиц и рисунков соответствуют контексту и длине, а таблицы и рисунки точно представляют данные.

В разделе обсуждения анализируются данные.Здесь результаты интерпретируются и связаны с прошлыми исследованиями (15). Обсуждение описывает смысл и значение результатов с точки зрения исследовательского вопроса и гипотезы, а также указывает, была ли гипотеза поддержана или отвергнута. В этом разделе также могут быть представлены возможные объяснения необычных результатов и предложения для будущих исследований (15). Обсуждение должно завершиться разделом с выводами, в котором резюмируются основные результаты расследования. Рецензент определяет, является ли обсуждение ясным и целенаправленным и являются ли выводы соответствующей интерпретацией результатов.Рецензенты также следят за тем, чтобы обсуждение касалось ограничений исследования, любых аномалий в результатах, взаимосвязи исследования с предыдущими исследованиями, а также теоретических последствий и практического применения исследования.

Ссылки находятся в конце статьи и содержат список всех источников информации, цитируемых в тексте для описания предыстории, методов и / или интерпретации результатов. В зависимости от используемого метода цитирования ссылки перечислены в алфавитном порядке по фамилии автора или пронумерованы в соответствии с порядком их появления в статье.Рецензент гарантирует, что ссылки используются надлежащим образом, правильно цитируются, правильно отформатированы и что ни одна из них не пропущена.

Наконец, рецензент определяет, ясно ли написана статья и кажется ли ее содержание логичным. После тщательного прочтения всей рукописи они определяют, соответствует ли она стандартам журнала для публикации,

, и входит ли она в 25% лучших статей в своей области (16), чтобы определить приоритет для публикации.Обзор того, что рецензент ищет при оценке рукописи, в порядке важности представлен в.

Как экспертная оценка оценивает рукопись

Чтобы увеличить шансы на успех в процессе экспертной оценки, автор должен убедиться, что статья полностью соответствует руководящим принципам журнала перед подачей. Автор также должен быть открыт для критики и предложений исправлений, а также учиться на ошибках, допущенных в предыдущих материалах.

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ РАЗЛИЧНЫХ ТИПОВ ЭКСПЕРТИЗА

Процесс экспертной оценки обычно проводится одним из трех способов: открытая проверка, одинарная слепая проверка или двойная слепая проверка.В открытом рецензировании и автор статьи, и рецензент знают друг друга. В качестве альтернативы, при одностороннем слепом рецензировании личность рецензента остается конфиденциальной, но личность автора раскрывается рецензенту. При двойном слепом рецензировании личности и рецензента, и автора остаются анонимными. Открытое рецензирование выгодно тем, что оно не позволяет рецензенту оставлять злонамеренные комментарии, проявлять небрежность или откладывать завершение рецензирования (2). Это побуждает рецензентов быть открытыми и честными, не проявляя неуважения.Открытое рецензирование также препятствует плагиату среди авторов (2). С другой стороны, открытое рецензирование также может помешать рецензентам быть честными из-за опасений развить плохие отношения с автором. Рецензент может воздержаться или смягчить свою критику, чтобы быть вежливым (2). Это особенно верно, когда более молодым рецензентам дается работа более уважаемого автора, и в этом случае рецензент может не решиться критиковать, опасаясь, что это испортит их отношения с вышестоящим (2).Согласно опросу Sense About Science, редакторы обнаружили, что полностью открытое рецензирование уменьшает количество людей, желающих участвовать, и приводит к малоценным обзорам (12). В вышеупомянутом исследовании, проведенном КНР, только 23% опрошенных авторов имели опыт проведения открытых экспертных оценок (7).

Односторонняя слепая экспертная оценка является наиболее распространенной. В исследовании PRC 85% опрошенных авторов имели опыт проведения простой слепой экспертной оценки (7). Этот метод выгоден, поскольку рецензент с большей вероятностью предоставит честную обратную связь, когда его личность скрыта (2).Это позволяет рецензенту принимать самостоятельные решения без влияния автора (2). Однако основным недостатком анонимности рецензента является то, что рецензенты, которые получают рукописи по темам, аналогичным их собственным исследованиям, могут испытывать соблазн отложить завершение рецензии, чтобы сначала опубликовать свои собственные данные (2).

Двойное слепое рецензирование выгодно, поскольку оно предотвращает предвзятость рецензента по отношению к автору на основании его страны происхождения или предыдущей работы (2). Это позволяет судить о статье по качеству содержания, а не по репутации автора.Исследование Sense About Science показывает, что 76% исследователей считают, что двойное слепое рецензирование является хорошей идеей (12), а исследование PRC показывает, что 45% авторов имели опыт работы с двойным слепым рецензированием (7). Недостатком двойного слепого рецензирования является то, что, особенно в нишевых областях исследований, рецензенту иногда может быть легко определить личность автора на основе стиля письма, предмета или самоцитирования и, таким образом, привнести предвзятость. (2).

Сокрытие личности автора от рецензентов, как в случае двойного слепого рецензирования, обычно считается минимизацией предвзятости и поддержанием качества рецензирования.Исследование Justice et al. в 1998 году исследовал, влияет ли маскировка личности автора на качество обзора (17). Сто восемнадцать рукописей были рандомизированы; 26 были рецензированы как обычно, а 92 были переведены в группу «вмешательства», где оценка качества редакторов была проведена для 77 рукописей, а оценка качества авторов — для 40 рукописей (17). Не было ощутимой разницы в качестве между замаскированными и немаскированными обзорами. Кроме того, сама маскировка часто была неудачной, особенно у известных авторов (17).Однако предыдущее исследование, проведенное McNutt et al. дал разные результаты (18). В этом случае ослепление было успешным в 73% случаев, и они обнаружили, что, когда личность автора была замаскирована, качество обзора было немного выше (18). Хотя Justice et al. утверждали, что эта разница слишком мала, чтобы иметь значение, их исследование было нацелено только на биомедицинские журналы, и результаты не могут быть обобщены на журналы другой тематики (17). Кроме того, были проблемы с маскировкой имен известных авторов, внесением недостатков в методы.Несмотря на это, Justice et al. пришел к выводу, что сокрытие личности автора от рецензентов не может улучшить качество рецензирования (17).

Помимо открытого, одинарного слепого и двойного слепого рецензирования, существуют две экспериментальные формы рецензирования. В некоторых случаях после публикации статьи могут быть подвергнуты рецензированию после публикации. Поскольку многие статьи теперь публикуются в Интернете, научное сообщество имеет возможность комментировать эти статьи, участвовать в онлайн-обсуждениях и публиковать официальные обзоры.Например, онлайн-издатели PLOS и BioMed Central позволили ученым публиковать комментарии к опубликованным статьям, если они являются зарегистрированными пользователями сайта (10). Philica — еще один журнал, запущенный с этой экспериментальной формой рецензирования. Только 8% авторов, опрошенных в исследовании PRC, имели опыт рецензирования после публикации (7). Также появилась еще одна экспериментальная форма экспертной оценки, называемая динамической экспертной оценкой. Динамическое рецензирование проводится на таких веб-сайтах, как Naboj, которые позволяют ученым проводить рецензирование статей в препринтах (19).Рецензирование проводится в репозиториях и представляет собой непрерывный процесс, который позволяет публике видеть как статью, так и обзоры по мере ее разработки (19). Динамическое рецензирование помогает предотвратить плагиат, поскольку научное сообщество уже ознакомится с работой до того, как рецензируемая версия появится в печати (19). Динамическое рецензирование также сокращает время между отправкой рукописи и публикацией. Примером сервера препринтов является «arXiv», разработанный Полом Гинспаргом в 1991 году, который используется в основном физиками (19).Эти альтернативные формы экспертной оценки все еще не созданы и являются экспериментальными. Традиционная экспертная оценка проверена временем и до сих пор широко используется. Все методы экспертной оценки имеют свои преимущества и недостатки, и все они подвержены ошибкам.

ЭКСПЛУАТАЦИОННЫЙ ОБЗОР ЖУРНАЛОВ С ОТКРЫТЫМ ДОСТУПОМ

Журналы с открытым доступом (OA) становятся все более популярными, поскольку они позволяют своевременно широко распространять публикации (20). Тем не менее, могут возникнуть проблемы, связанные с процессом экспертной оценки журналов с открытым доступом.В исследовании, опубликованном в журнале Science в 2013 году, Джон Боханнон представил 304 несколько отличающихся друг от друга версий вымышленной научной статьи (написанной фальшивым автором, разработанной несуществующим учреждением) в выбранную группу журналов открытого доступа. Это исследование было выполнено, чтобы определить, проверяются ли статьи, представленные в журналы открытого доступа, должным образом перед публикацией по сравнению с журналами, основанными на подписке. Журналы в этом исследовании были выбраны из Directory of Open Access Journals (DOAJ) и Biall’s List — списка журналов, которые потенциально являются хищническими, и все они требуют платы за публикацию (21).Из 304 журналов 157 приняли поддельную статью, предполагая, что принятие было основано на финансовом интересе, а не на качестве самой статьи, в то время как 98 журналов сразу же отклонили подделку (21). Хотя это исследование выделяет полезную информацию о проблемах, связанных с издателями более низкого качества, у которых нет эффективной системы рецензирования, в статье также обобщаются результаты исследования на все журналы открытого доступа, что может нанести ущерб общему восприятию журналов открытого доступа.У исследования было два ограничения, которые сделали невозможным точное определение взаимосвязи между рецензированием и журналами открытого доступа: 1) не было контрольной группы (журналы на основе подписки), и 2) поддельные статьи были отправлены в нерандомизированный выбор журналов, приводящий к предвзятости.

СТЕПЕНЬ ПРИЕМА В ЖУРНАЛ

Согласно недавнему опросу, средний уровень принятия статей, представленных в научные журналы, составляет около 50% (7). Двадцать процентов присланных рукописей, которые не были приняты, отклоняются до рецензирования, а 30% отклоняются после рецензирования (7).Из 50% принятых 41% принимаются с условием пересмотра, в то время как только 9% принимаются без запроса на пересмотр (7).

УДОВЛЕТВОРЕНИЕ СИСТЕМОЙ ЭКСПЕРТИЗА

Согласно недавнему опросу, проведенному КНР, 64% ученых удовлетворены существующей системой экспертной оценки, и только 12% заявили, что «недовольны» (7). Подавляющее большинство, 85%, согласились с утверждением, что «научному общению очень помогает экспертная оценка» (7). Такой же высокий уровень поддержки (83%) получила идея о том, что экспертная оценка «обеспечивает контроль в научной коммуникации» (7).

КАК ЭФФЕКТИВНО ПРОВЕРИТЬ РЕЦЕНЗЕНТ

Ниже приведены десять советов о том, как быть эффективным рецензентом, как указано Брайаном Люси, экспертом в данной области (22):

1) Будьте профессионалом

Рецензирование — это взаимная ответственность коллег-ученых, и ожидается, что ученые как часть академического сообщества будут принимать участие в экспертной оценке. Если кто-то ожидает, что другие будут проверять свою работу, им следует взять на себя обязательство проанализировать и работу других и приложить к этому усилия.

2) Будьте приятны

Если бумага низкого качества, предложите ее отклонить, но не оставляйте комментариев ad hominem. В безжалостности нет никакой пользы.

3) Прочтите приглашение

Когда вы отправляете ученому электронное письмо с просьбой провести экспертную оценку, большинство журналов предоставят ссылку для принятия или отклонения. Не отвечайте на письмо, отвечайте на ссылку.

4) Будьте полезны

Подскажите, как авторы могут преодолеть недостатки в своей статье.Обзор должен помочь автору понять, что хорошо, а что требует доработки с точки зрения рецензента.

5) Будьте научными

Рецензент играет роль научного коллеги, а не редактора для корректуры или принятия решений. Не заполняйте обзор комментариями по редакционным и типографским вопросам. Вместо этого сосредоточьтесь на добавлении ценности с помощью научных знаний и комментируйте достоверность проведенных исследований и сделанных выводов. Если в статье много опечаток, предложите профессионально отредактировать ее в рамках обзора.

6) Будьте своевременны

Соблюдайте сроки, указанные при проведении экспертной оценки. Редакторы отслеживают, кто что и когда рецензирует, и будут знать, если кто-то опаздывает с завершением рецензии. Важно быть своевременным как из уважения к журналу, так и к автору, а также не заработать себе репутацию опаздывающего к срокам рецензирования.

7) Будьте реалистичны

Рецензент должен реалистично относиться к представленной работе, предлагаемым изменениям и своей роли.Рецензенты могут установить слишком высокую планку для статьи, которую они редактируют, предлагая слишком амбициозные изменения, и редакторы должны их отменять.

8) Будьте чуткими

Убедитесь, что обзор является научным, полезным и вежливым. Будьте внимательны и уважительны к выбору слов и тона в обзоре.

9) Будьте открытыми

Помните, что как специалисты, так и специалисты широкого профиля могут предоставить ценную информацию при рецензировании. Редакторы будут пытаться нанять как специализированных, так и общих рецензентов для каждой конкретной статьи, чтобы учесть разные точки зрения.Если кого-то просят отрецензировать, редактор определил, что он играет значимую и полезную роль, даже если статья не относится к их области знаний.

10) Будьте организованы

Обзор требует структуры и логической последовательности. Рецензент должен вычитать свой отзыв перед отправкой на предмет структурных, грамматических и орфографических ошибок, а также для ясности. Большинство издателей предоставляют краткие инструкции по структурированию экспертной оценки на своем веб-сайте. Начнем с обзора предлагаемых улучшений; затем предоставьте отзывы о структуре статьи, качестве источников данных и используемых методах расследования, логической последовательности аргументов и обоснованности сделанных выводов.Затем поделитесь своим мнением по поводу стиля, голоса и лексики с предложениями по улучшению.

Кроме того, Американское физиологическое общество (APS) рекомендует в своем Раздаточном материале Peer Review 101, чтобы рецензенты ставили себя как на место редактора, так и на автора, чтобы гарантировать, что они предоставляют то, что и редактор, и автор нуждаются и ожидают (11) . Чтобы угодить редактору, рецензент должен убедиться, что экспертная оценка завершена вовремя и что она дает четкие объяснения для подкрепления рекомендаций.Чтобы быть полезным автору, рецензент должен убедиться, что его отзыв является конструктивным. Рекомендуется, чтобы рецензент обдумал статью; они должны прочитать его один раз, подождать не менее суток, а затем перечитать его, прежде чем писать обзор (11). APS также предлагает аспирантам и исследователям обращать внимание на то, как рецензенты редактируют свою работу, а также на то, какие правки они считают полезными, чтобы научиться эффективно рецензировать (11). Кроме того, рекомендуется, чтобы аспиранты практиковались в рецензировании, редактируя работы своих коллег и прося преподавателей высказать свое мнение об их усилиях.Рекомендуется, чтобы молодые ученые предлагали экспертную оценку как можно чаще, чтобы научиться этому процессу (11). Большинство студентов, стажеров и стажеров не проходят формального обучения экспертной оценке, а учатся, наблюдая за своими наставниками. Согласно APS, каждый приобретает опыт через сети и направления, и поэтому следует попытаться укрепить отношения с редакторами журналов, предлагая рецензировать рукописи (11). APS также предполагает, что опытные рецензенты предоставляют студентам и младшим коллегам конструктивную обратную связь об их усилиях по рецензированию, и поощряет их к рецензированию, чтобы продемонстрировать важность этого процесса для улучшения науки (11).

Рецензент должен комментировать только те области рукописи, о которых он осведомлен (23). Если в рукописи есть какой-либо раздел, который, по их мнению, не соответствует требованиям для рецензирования, им следует упомянуть об этом в своих комментариях и не предоставлять дальнейшие отзывы по этому разделу. Рецензенту не разрешается делиться какой-либо частью рукописи с коллегой (даже если он может быть более осведомлен в предмете) без предварительного разрешения редактора (23).Если рецензент обнаруживает в статье что-то, в чем он не уверен, он может обратиться к литературе, чтобы попытаться понять это. Ученым важно помнить, что если статья может быть улучшена благодаря опыту одного из их коллег, журнал должен быть проинформирован о помощи коллеги, и его коллега должна получить разрешение на чтение защищенного документа. Кроме того, коллега должен быть указан в конфиденциальных комментариях к редактору, чтобы гарантировать, что он / она получит должное признание за любой вклад (23).Задача рецензента — убедиться, что помощник коллеги осведомлен о конфиденциальности процесса рецензирования (23). После завершения рецензирования рукопись должна быть уничтожена и не может быть сохранена рецензентами в электронном виде (23).

ОБЩИЕ ОШИБКИ В НАУЧНЫХ ДОКУМЕНТАХ

При проведении экспертной оценки необходимо обратить внимание на некоторые общие научные ошибки. Большинство этих ошибок являются нарушениями логики и здравого смысла: они могут включать противоречащие утверждения, необоснованные выводы, предположение о причинной связи при наличии только поддержки корреляции, неуместную экстраполяцию, круговые рассуждения или поиски тривиального вопроса (24).Авторы также часто предполагают, что две переменные различны, потому что эффекты одной переменной статистически значимы, а эффекты другой — нет, вместо того, чтобы напрямую сравнивать две переменные (24). Иногда авторы наблюдают за смешивающей переменной и не контролируют ее или забывают включить важные детали о том, как контролировались их эксперименты или о физическом состоянии изучаемых организмов (24). Другой распространенной ошибкой является неспособность автора точно определить термины или использовать слова, поскольку такая практика может ввести читателей в заблуждение (24).Жаргон и / или неправильно используемые термины могут стать серьезной проблемой в газетах. Неточные утверждения о конкретных цитатах также являются обычным явлением (24). Кроме того, многие исследования дают знания, которые могут быть применены к областям науки, выходящим за рамки первоначального исследования, поэтому рецензентам лучше смотреть на новизну идеи, выводов, данных и методологии, а не проверять, действительно ли в статье дан ответ на поставленный конкретный вопрос (24). Хотя важно осознавать эти моменты, при выполнении рецензирования, как правило, для рецензента лучше не сосредотачиваться на контрольном списке вещей, которые могут быть неправильными, а скорее тщательно определять проблемы, характерные для каждой статьи, и постоянно спрашивать себя, есть ли ничего не хватает (24).Чрезвычайно подробное описание того, как эффективно проводить рецензирование, представлено в статье Как я рецензирую оригинальную научную статью , написанную Фредериком Г. Хоппином-младшим. К нему можно получить доступ через веб-сайт Американского физиологического общества в разделе Ресурсы рецензирования. .

Критика коллегиального обзора

Основная критика экспертной оценки заключается в том, что существует мало свидетельств того, что процесс действительно работает, что он на самом деле является эффективным экраном для качественной научной работы и что он на самом деле улучшает качество научной литературы.Как показало исследование 2002 года, опубликованное в журнале Американской медицинской ассоциации , «Редакционная экспертная оценка, хотя и широко используется, в значительной степени не проверена, а ее результаты не определены» (25). Критики также утверждают, что экспертная оценка неэффективна при обнаружении ошибок. Подчеркивая этот момент, эксперимент Godlee et al. , опубликованный в British Medical Journal (BMJ), вставил восемь преднамеренных ошибок в статью, которая была почти готова к публикации, а затем отправила статью 420 потенциальным рецензентам (7).Из 420 рецензентов, получивших статью, 221 (53%) ответил, среднее количество ошибок, обнаруженных рецензентами, составило две, ни один рецензент не заметил более пяти ошибок, а 35 рецензентов (16%) не заметили ни одной.

Еще одна критика рецензирования заключается в том, что научные конференции не проводят тщательного анализа с целью получения большого количества представленных статей. Такие конференции часто принимают любую присланную статью, независимо от ее достоверности или распространенности ошибок, потому что чем больше статей они примут, тем больше денег они смогут заработать на взносах за регистрацию авторов (26).Это неправомерное поведение было раскрыто в 2014 году тремя аспирантами Массачусетского технологического института по имени Джереми Стриблинг, Дэн Агуайо и Максвелл Крон, которые разработали простую компьютерную программу под названием SCIgen, которая генерирует бессмысленные статьи и представляет их как научные статьи (26). Впоследствии бессмысленная статья SCIgen, представленная на конференции, была незамедлительно принята. Nature недавно сообщил, что французский исследователь Сирил Лаббе обнаружил, что шестнадцать бессмысленных статей SCIgen были использованы немецким академическим издателем Springer (26).Институт инженеров по электротехнике и электронике США (IEEE) опубликовал более 100 бессмысленных статей, созданных SCIgen (26). Обе организации работают над удалением документов. Лаббе разработал программу для обнаружения статей SCIgen и сделал ее бесплатным, чтобы издатели и организаторы конференций не соглашались с бессмысленной работой в будущем. Он доступен по этой ссылке: http://scigendetect.on.imag.fr/main.php (26).

Кроме того, экспертную оценку часто критикуют за невозможность точно обнаружить плагиат.Однако многие считают, что выявление плагиата практически не может быть включено в состав экспертной оценки. Как поясняет Элис Тафф, менеджер по развитию Sense About Science, «Подавляющее большинство авторов и рецензентов считают, что рецензирование должно обнаруживать плагиат (81%), но только меньшинство (38%) считает, что это возможно. Академическое время, затраченное на обнаружение плагиата посредством экспертной оценки, заставило бы систему остановиться » (27). Издательство Elsevier начало разработку инструментов электронного плагиата с помощью редакторов журналов в 2009 году, чтобы помочь улучшить эту проблему (27).

Также утверждалось, что экспертная оценка снизила качество исследования, ограничив творческий потенциал исследователей. Сторонники этой точки зрения утверждают, что рецензирование заставляет ученых отказаться от инновационных исследовательских идей и смелых исследовательских вопросов, которые могут привести к значительным успехам и сдвигам парадигмы в этой области, поскольку они считают, что эта работа, вероятно, будет отклонена их коллегами после рецензирования. (28). Действительно, в некоторых случаях экспертная оценка может привести к отказу от инновационных исследований, поскольку некоторые исследования могут показаться не особо убедительными на начальном этапе, но могут дать очень интересные и полезные результаты при изучении в различных обстоятельствах или в свете новой информации ( 28).Ученые, которые не верят в экспертную оценку, утверждают, что этот процесс подавляет развитие гениальных идей и, следовательно, распространение свежих знаний и новых разработок в научное сообщество.

Еще одна проблема, за которую критикуют рецензирование, заключается в том, что существует ограниченное количество людей, способных проводить рецензирование, по сравнению с огромным количеством статей, которые нуждаются в рецензировании. Было опубликовано огромное количество статей (1,3 миллиона статей в 23 750 журналах в 2006 г.), но количество доступных компетентных рецензентов не могло рецензировать их все (29).Таким образом, люди, которым не хватает необходимых знаний для анализа качества исследовательской работы, проводят обзоры, и в результате принимаются слабые статьи. Теперь можно опубликовать любую статью в малоизвестном журнале, который утверждает, что он рецензируется, хотя сама статья или журнал могут быть некачественными (29). Аналогичным образом, Национальная медицинская библиотека США индексирует 39 журналов, специализирующихся на альтернативной медицине, и, хотя все они называют себя «рецензируемыми», они редко публикуют качественные исследования (29).Это подчеркивает тот факт, что рецензирование более спорных или специализированных работ обычно выполняется людьми, которые заинтересованы и придерживаются тех же взглядов или мнений, что и автор, что может вызвать предвзятость в их рецензии. Например, статья по гомеопатии, скорее всего, будет рассмотрена другими практикующими гомеопатами и, таким образом, будет принята как заслуживающая доверия, хотя другие ученые могут посчитать эту статью бессмысленной (29). В некоторых случаях статьи изначально публикуются, но впоследствии их достоверность ставится под сомнение, и они впоследствии отзываются.Retraction Watch — это веб-сайт, посвященный выявлению статей, которые были отозваны после публикации, возможно, из-за ненадлежащего рецензирования (30).

Кроме того, несмотря на множество положительных результатов, экспертная оценка также критикуется за то, что она задерживает распространение новых знаний в научном сообществе, а также как неоплачиваемую деятельность, которая отвлекает ученых от деятельности, которая в противном случае была бы приоритетной. такие как исследования и обучение, за которые им платят (31).Как описала Ева Амсен, директор по связям с общественностью F1000Research, рецензирование изначально было разработано как средство помощи редакторам в выборе статей для публикации, когда журналам приходилось ограничивать количество статей, которые они могли напечатать в одном выпуске (32). Однако в настоящее время большинство журналов доступны в Интернете либо исключительно, либо в дополнение к печатным, и многие журналы имеют очень ограниченный тираж (32). Поскольку для журналов больше нет ограничений на количество страниц, любую хорошую работу можно и нужно публиковать. Следовательно, избирательность с целью экономии места в журнале больше не является оправданием, которое рецензенты могут использовать для отклонения статьи (32).Однако некоторые рецензенты использовали это оправдание, когда у них были личные скрытые мотивы, например, чтобы сначала было опубликовано собственное исследование.

ПОСЛЕДНИЕ ИНИЦИАТИВЫ ПО УЛУЧШЕНИЮ СПРАВЕДЛИВОГО ОБЗОРА плагиатом), а затем проводит прозрачную рецензию после публикации (32).F1000Research направлен на предотвращение задержек в поступлении новой науки в академическое сообщество, вызванных длительным временем публикации (32). Он также направлен на то, чтобы сделать рецензирование более справедливым, устранив любую анонимность, которая не позволяет рецензентам откладывать завершение рецензирования, чтобы они могли сначала опубликовать свою аналогичную работу (32). F1000Research предлагает полностью открытую рецензию, где публикуется все, включая имена рецензентов, их отчеты о рецензиях и письма с решениями редакции (32).

PeerJ был основан Джейсоном Хойтом и Питером Бинфилдом в июне 2012 года как рецензируемый научный журнал открытого доступа для биологических и медицинских наук (33). PeerJ выбирает статьи для публикации только на основании их научной и методологической обоснованности, а не на основе субъективных факторов, определяющих «влияние », «новизна» или «интерес» (34). Он работает по модели «пожизненного плана публикации», которая взимает с ученых плату за планы публикации, которые дают им пожизненные права на публикацию в PeerJ, а не взимают с них плату за публикацию (34).PeerJ также поощряет открытое рецензирование, и авторам предоставляется возможность публиковать полную историю рецензирования своей статьи вместе с опубликованной статьей (34). PeerJ также предлагает услугу предпечатной проверки под названием PeerJ Pre-prints, в которой черновики бумаги проверяются перед отправкой в ​​PeerJ для публикации (34).

Rubriq — это независимая служба рецензирования, разработанная Шаши Мудунури и Китом Коллиером для улучшения системы рецензирования (35). Rubriq предназначен для уменьшения избыточности в процессе рецензирования, так что время, потерянное на избыточное рецензирование, может быть использовано для исследования (35).По словам Кейта Коллиера, более 15 миллионов часов ежегодно теряются из-за избыточного рецензирования, поскольку статьи отклоняются из одного журнала и впоследствии отправляются в менее престижный журнал, где они рецензируются повторно (35). Авторам часто приходится отправлять свои рукописи в несколько журналов, и их часто отклоняют несколько раз, прежде чем они найдут подходящее совпадение. Этот процесс может занять месяцы или даже годы (35). Rubriq делает рецензирование переносимым, чтобы помочь авторам выбрать журнал, который лучше всего подходит для их рукописи, с самого начала, тем самым сокращая время до публикации статьи (35).Rubriq работает по модели оплаты автора, при которой автор платит гонорар, а его рукопись проходит двойное слепое рецензирование тремя академическими рецензентами с использованием стандартизированной системы показателей (35). Большая часть гонорара автору идет на гонорар рецензента (35). Документы также проверяются на плагиат с помощью iThenticate (35). После того, как рукопись была рассмотрена тремя экспертами, наиболее подходящий журнал для подачи определяется в зависимости от темы и качества статьи (35).Статья возвращается автору через 1-2 недели вместе с отчетом Rubriq Report (35). Затем автор может отправить свою статью в предлагаемый журнал с приложением Rubriq Report. Отчет Rubriq даст редакторам журнала гораздо более сильный стимул к рассмотрению статьи, поскольку он показывает, что им эту статью рекомендовали три эксперта (35). Rubriq также имеет свои преимущества для рецензентов; Система показателей Rubriq структурирует процесс рецензирования и, таким образом, делает его последовательным и эффективным, что сокращает время и стресс для рецензента.Рецензенты также получают отзывы о своих обзорах и, что наиболее важно, получают компенсацию за свое время (35). Журналы также получают выгоду, поскольку они получают предварительно отобранные статьи, что сокращает количество статей, отправляемых их собственным рецензентам, которые часто оказываются отклоненными (35). Это может снизить утомляемость рецензента и позволит отправлять рецензентам только высококачественные статьи (35).

По словам Евы Амсен, рецензирование и научные публикации движутся в новом направлении, в котором все статьи будут размещаться в Интернете, а рецензирование будет проводиться после публикации, которое не зависит от конкретных критериев журнала и направлено исключительно на улучшение качество бумаги (32).Затем журналы выберут статьи, которые они сочтут релевантными на основе экспертных обзоров, и опубликуют эти статьи в виде сборника (32). В этом процессе экспертная оценка и отдельные журналы не связаны (32). По мнению Кита Коллиера, рецензирование после публикации, вероятно, станет более распространенным в качестве дополнения к рецензированию перед публикацией, но не в качестве замены (35). Рецензирование после публикации не будет служить для выявления ошибок и мошенничества, но обеспечит дополнительную оценку воздействия (35).Коллиер также считает, что по мере объединения журналов и издателей в более крупные системы будет возрастать потенциал для «каскадного» и совместного рецензирования (35).

ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

Рецензирование стало основополагающим в помощи редакторам в выборе заслуживающих доверия, высококачественных, новых и интересных исследовательских работ для публикации в научных журналах и для обеспечения исправления любых ошибок или проблем, присутствующих в представленных статьях. Хотя процесс рецензирования все еще имеет некоторые недостатки и недостатки, более подходящий метод проверки научных работ еще не был предложен или разработан.Исследователи начали и должны продолжать искать способы решения текущих проблем с помощью экспертной оценки, чтобы гарантировать, что это полностью доказанная система, которая гарантирует, что только качественные исследовательские статьи будут выпущены в научное сообщество.

СПИСОК ЛИТЕРАТУРЫ