同行评议起源于17世纪的欧洲,20世纪末已成为国际学术期刊出版工作中的一个重要质量控制机制,其中《Nature》杂志1967年开始采用同行评议[1]。英国社会科学院发布的一份报告显示同行评议制度是控制科学研究质量的最佳方式[2]。2009年,Publishing Research Consortium对全球3000多个学术机构做了一项关于同行评议的调查,85%学术机构认为同行评议极大地促进了科学交流,83%学术机构认为没有同行评议科学研究质量将无法保障,90%学术机构认为同行评议有效地提高了发表论文的质量[3]。目前期刊编辑通常依赖于同行审稿专家的建议,对作者提交的学术研究、想法或材料做出决策。同行审稿专家为编辑提供稿件质量的评估,为作者提供建设性的意见。由此可见,同行评议是学术期刊出版过程中特别重要的一环,它能提高发表论文的质量、可读性。
目前,各种学术期刊为保障同行评议的质量,普遍使用单盲评审、双盲评审、开放式评审等形式。然而,同行评议依然存在许多缺陷,如同行评议制度中可能存在因经济利益、社会关系、竞争关系、个人好恶而导致的非公正性,因评价标准和程序的机械化、专业歧视、热点追逐导致的非合理性,因虚假陈述、能力缺陷、怠于勤勉而导致的非客观性[4-6]。开放存取(Open Access,OA)自出现以来, OA期刊得以迅速发展,目前全球已有9000多种OA期刊,其中大部分像《PLoS One》一样采用基于作者付费(author publication charge,APC)的开放存取模式,而APC模式的应用降低了出版商的编辑标准,同行评议质量也大大降低[7]。2009年,《The Open Information Science Journal》杂志发表了一篇论文,而该篇论文作者把数据、图表、相关参数及参考文献输入自己建立的一个软件程序中,生成了这篇看似合理却没有任何科学意义的论文[7]。同行评议在这次审稿中没有保障发表论文的真实性、科学性。因此,基于APC模式OA期刊采用的同行评议同样存在许多缺陷,许多专家呼吁基于客观的标准,如在文献计量指标对同行评议的质量进行评估。目前对于如何评价期刊同行评议的质量和有效性没有统一的评价标准。本文将重点介绍H指数在同行评议质量评价中的应用,为我国期刊同行评议质量评价提供有价值的新视角。
1 H指数2005年,美国物理学家Hirsch提出了H指数,用于评价研究人员的学术成就[8]。目前,H指数已成为信息计量学和学术评价研究的前沿领域之一。某研究人员的H指数是指他或她有h篇论文分别被引用了至少h次。即在某数据库中让论文按被引次数依次从高到低排列, 直到某篇论文的序号大于该论文被引次数,那个序号减去l就是H指数。Braun等进一步拓宽了H指数的应用, 他们将H指数用于期刊学术影响力评价中, 并作出新的定义:对于一种期刊, 如果它发表的全部论文中有H篇文章, 每篇被引用数至少为H, 同时要满足H这个自然数为最大.那么H即为该期刊的H指数[9]。
有一些研究表明,较早被聘为审稿人的审稿专家比较晚聘为审稿人的审稿专家可能获得更高的H指数,给出更高质量的同行评议[7, 10-11]。因此,H指数也可作为一个指标用于同行评议质量的评价。
2 H指数在同行评议质量评价中的应用 2.1 同行评议过程中的参与者 2.1.1 主编主编是某一出版物的领航者,在编委会或总编辑领导下,按编辑方针实施某个方面的具体业务。其工作内容为研究、制订某一方面的工作计划,组织并领导日常编辑事务,如审稿、审样、撰写重要言论等。有些编辑部门不设总编辑,主编是该部门的负责人,其职权相当于总编辑。主编通常按同行评议的结果决定稿件是否适合在该刊发表。
2.1.2 副主编通常期刊社所收到稿件的全面审查和筛选由副主编负责。如果稿件适合期刊社的发表并需要进一步审查,副主编会选择合适的审稿专家并将稿件发给审稿专家进行同行评议。同时副主编还指导和帮助编辑人员解决工作中的疑难问题,参与组稿、审稿、校对工作,必要时对某些重要稿件进行审理和修改,对争议稿件约请主编和编委会编委复议,并承担审编稿件的保密责任。
2.1.3 审稿专家如果把主编和副主编比作一艘船舶的驾驶员和副驾驶员,那么审稿专家就是这艘船舶的引擎。无论传统的学术出版方式还是开放获取的出版方式,学术期刊都需要评审专家对已提交的文章进行评审和评价。大多数期刊把稿件发送给2~4名同行审稿专家。审稿专家从专业角度鉴别稿件质量,衡量稿件的科学性、真实性、创新性、可行性等;判断稿件的可发表性,为编辑提供客观、科学的决策依据;提出建设性的修改意见,帮助作者完善研究内容,提高论文质量;防范学术造假,在一定程度上评审专家能发现抄袭或伪造的研究[12]。
2.2 同行评议评分(Peer Review Evaluation Score,pre-SCORE)[7]pre-SCORE基本公式S=[A + B + C]/
pre-SCORE延伸公式S =[X*E + Y*F + Z*G]/其中S表示pre-SCORE,A= X*E,B =Y*F,C= Z*G,X表示处理某篇稿件主编参与人数,Y表示处理该篇稿件副主编参与人数,Z表示处理该篇稿件审稿专家参与人数,E(一般等于0.4)表示主编处理该篇稿件所做贡献的权重,F(一般等于0.3)表示副主编处理该篇稿件所做贡献的权重,G(一般等于0.2)表示审稿专家处理该篇稿件所做贡献的权重,V表示正在审阅稿件的版本数(原稿计为0,修订版1计为1,修订版2计为2,依次类推)。
2.3 H指数往pre-SCORE公式的导入及应用 2.3.1 含有H指数的pre-SCORE扩展公式用Re1, 2, 3, …n代表每个主编的H指数,Ra1, 2, 3, …n代表每个副主编的H指数,Rr1, 2, 3, …n代表每个审稿专家的H指数,把参与稿件审查人员的H指数带入pre-SCORE公式中,则pre-SCORE扩展公式S=[(Re1*A)+(Ra1*B)+(Rr1*C)+(Rr2*C)+…+Rrn*C]/
目前大多数学术期刊编辑部都采用在线投稿与审稿系统,在线投稿与审稿系统中包含主编、副主编、责任编辑、审稿专家等的信息,这为同行评议质量评价提供了便利。现以一篇稿件为例,这篇稿件2011年1月投到在线投稿与审稿系统中,12月采用发表,中间稿件送往3位审稿专家进行同行评议,稿件经历2次修改3轮审查[7]。这篇稿件主编的H指数(H指数的测定可利用汤姆森路透社知识网)为36,副主编的H指数为52,3位审稿专家的H指数分别为45、39和28,则稿件第一轮审查pre-SCORE为
$ \begin{aligned} {\rm S}_{1}=&\left[\left({\rm R}_{{\rm e}1} * {\rm A}\right)+\left({\rm R}_{{\rm a}1} * {\rm B}\right)+\left({\rm R}_{{\rm r}1} * {\rm C}\right)\right.\\ &\left.+\left({\rm R}_{{\rm r}2} * {\rm C}\right)+\left({\rm R}_{{\rm r}3} * {\rm C}\right)\right] / \sqrt{V} \\ =&[(36 * 0.4)+(52 * 0.3)+(45 * 0.2)\\ &+(39 * 0.2)+(28 * 0.2)] / \sqrt{1} \\ =&[14.4+15.6+8.4+9.0+5.6] / 1 \\ =& 53.0 \end{aligned} $ |
本稿件被送回作者修改后重新提交,所有同行评议过程中的参与者再次评估文章,此时
$ \begin{aligned} \mathrm{S}_{2}=&[(36 * 0.4)+(52 * 0.3)+(45 * 0.2)\\ &+(39 * 0.2)+(28 * 0.2)] / \sqrt{2} \\ =&[14.4+15.6+8.4+9.0+5.6] / 1.4 \\ =& 37.9 \end{aligned} $ |
本稿件将返回到作者再次修改和提交。副主编再次审核文章,对所有的同行评议和作者修改感到满意后,再提审主编。主编回顾以前所有的同行评议,重新阅读文章和决定接受文章。则稿件第3轮审查pre-SCORE为
$ \begin{aligned} {\rm S}_{3} &=[(36 * 0.4)+(52 * 0.3)] / \sqrt{3} \\ &=[14.4+15.6] / 1.7 \\ &=17.6 \end{aligned} $ |
稿件每一轮审查都需要计算pre-SCORE。这个例子中稿件pre-SCORE的总分为
$ \begin{aligned} \mathrm{S} &=\mathrm{S}_{1}+\mathrm{S}_{2}+\mathrm{S}_{3} \\ &=53.0+37.9+17.6 \\ &=108.5 \end{aligned} $ |
目前大多数学术期刊编辑部都采用在线投稿与审稿系统,通过在线投稿与审稿系统可以捕获所有参与同行评议过程的参与人员的信息。此信息被标记在系统XML中,并且可以通过创建的软件来导出和处理。
2.4.2 学术期刊单篇稿件pre-SCORE的计算利用汤姆森路透社知识网、知网、万方等查询或计算某学术期刊主编、副主编、审稿专家的H指数,带入pre-SCORE公式,计算该篇稿件的pre-SCORE。
2.4.3 学术期刊每一期学术水平的预测除了为每一篇论文提供一个pre-SCORE,每期发行的期刊学术水平可通过计算该期所有论文pre-SCORE总分的平均值来预测。
2.4.4 学术期刊每一卷(或年)学术水平的预测根据3.4.3计算方法,同理也可以用于学术期刊每一卷(或年)学术水平的预测。
3 讨论同行评议是当前学术期刊普遍采用的评估稿件质量、遴选高质量稿件的手段,在控制期刊的学术质量、规范学者的学术行为方面发挥了重要作用[2-3]。然而,同行评议本身存在许多缺陷,许多专家呼吁基于客观的标准,如在文献计量指标对同行评议的质量进行评估。目前对于如何评价期刊同行评议的质量和有效性没有统一的评价标准。
目前,H指数已成为信息计量学和学术评价研究的前沿领域之一。H指数首先应用于研究人员学术水平的评价。Braun等[9]拓宽了H指数的应用, 他们将H指数用于期刊学术影响力评价中,而Etkin等[7]也将H指数用于期刊单篇稿件的pre-SCORE的计算中。目前大多数学术期刊编辑部采用在线投稿与审稿系统,通过汤姆森路透社网、知网、万方等可以捕获所有参与同行评议过程的参与人员的信息(如期刊主编、副主编、审稿专家的H指数)。此信息被标记在系统XML中,并且可以通过创建的软件来导出和处理,这为计算期刊单篇稿件的pre-SCORE提供了便利。H指数能够客观评价研究人员的学术成就,同样也能评价期刊主编、副主编、审稿专家的学术水平,因此,H指数应用于稿件的pre-SCORE的计算中能够客观反映同行评议质量水平。有一些研究表明,较早被聘为审稿人的审稿专家比较晚聘为审稿人的审稿专家可能获得更高的H指数,给出更高质量的同行评议[7, 10-11]。
虽然H指数作为一个指标可用于同行评议质量的评价,但不能全面反映同行评议的质量。从pre-SCORE公式可以看出,pre-SCORE对同行评议的内容本身没作评估。Ausloos等[13]应用Zipf定律对同行评议的内容本身进行评估,Zipf定律是描述词频分布规律的强大数学工具; 作为经验定律,它对同行评议的内容本身进行评估仍有不足之处,有待进一步完善。如果把H指数和Zipf定律合理组合应用于同行评议质量的评价,H指数和Zipf定律将扬长避短,取长补短,发挥各自的优势,能客观全面的评价同行评议的质量,pre-SCORE公式可描述为S=[(Re1*A)+(Ra1*B)+(Rr1*C)+(Rr2*C)+…+Rrn*C]/
[1] |
Leopold SS. Editorial:peer review and the editorial process——a look behind the curtain[J]. Clin Orthop Relat Res, 2015, 473(1): 1-3. DOI:10.1007/s11999-014-4031-x |
[2] |
Radnofsky L.Learned society defends peer review[R].Times Higher Education, 2007.
|
[3] |
Publishing Research Consortium.Peer review in scholarly journals: perspective of the scholarly community-an international study[R].Mike Monkman Media, 2009. https://www.researchgate.net/publication/237295758_Peer_Review_in_Scholarly_Journals_Perspective_of_the_Scholarly_Community_-_an_International_Study
|
[4] |
Black N, Van Rooyen S, Godlee F, et al. What makes a good reviewer and a good review for a general medical journal[J]. JAMA J Am Med Assoc, 1998, 280(3): 231-233. DOI:10.1001/jama.280.3.231 |
[5] |
Bohannon J. Who's afraid of peer review[J]. Sci Mag, 2013, 342(6154): 60-65. |
[6] |
常唯, 曹会聪, 曹金, 等. 国际科技期刊同行评议的实践与特点[J]. 中国科技期刊研究, 2016, 27(1): 10-17. DOI:10.11946/cjstp.201509050854 |
[7] |
Etkin A. A new method and metric to evaluate the peer review process of scholarly journals[J]. Pub Res Q, 2014, 30: 23-38. DOI:10.1007/s12109-013-9339-y |
[8] |
Hirsch JE. An index to quantify an individual's scientific research output[J]. Proc Nat Acad Sci, 2005, 102(46): 16569-16572. DOI:10.1073/pnas.0507655102 |
[9] |
姜晓. 构建西部图书馆信息服务网络模式的设想[J]. 图书情报工作, 2005, 49(3): 76-79. DOI:10.3969/j.issn.0252-3116.2005.03.020 |
[10] |
Black N1, van Rooyen S, Godlee F, et al. What makes a good reviewer and a good review for a general medical journal[J]. JAMA, 1998, 280(3): 231-233. DOI:10.1001/jama.280.3.231 |
[11] |
Callaham M1, McCulloch C. Longitudinal trends in the performance of scientific peer reviewers[J]. Ann Emerg Med, 2011, 57(2): 141-148. DOI:10.1016/j.annemergmed.2010.07.027 |
[12] |
周沫, 王维朗. 科技期刊同行评审专家与编辑的博弈[J]. 编辑学报, 2013, 25(3): 214-216. |
[13] |
Ausloos M, Nedic O, Fronczak A, et al. Quantifying the quality of peer reviewers through Zipf's law[J]. Scientometrics, 2016, 106: 347-368. DOI:10.1007/s11192-015-1704-5 |