第二节 “复印报刊资料”论文评价指标体系

评价研究中心首先通过文献调研，汇集、梳理、归纳、总结出人文社会科学学术论文质量评估的基本指标；之后针对基本指标的必要性、适用性和重要性(即权重)，向具有代表性的学术报刊编辑和具有较高学术影响力的学科专家进行问卷调查，采用层次分析法确定指标的基本权重设置。在此基础上，邀请同行专家对指标体系的创新性、科学性和可操作性等进行总体论证，并结合书报资料中心50余年的选文经验，对约30 000篇“复印报刊资料”转载学术论文进行分学科、大规模的实际应用和验证，进一步完善指标、权重和实施流程。

一、指标的含义与评估内容

同行评议指标体系是“复印报刊资料”编辑和专家顾问运用专业知识和判断能力，对论文质量进行直接评估的依据。指标的具体含义和评估内容如表1—1所示。

表1—1同行评议指标的含义与评估内容

续前表

说明：

①通过文献调研和问卷调查，抽取“学术共同体”较为普遍认同的指标及评估内容，纳入本体系。

②“辅助指标”也体现了论文形成和发表过程中同行专家的评估意见，一般都与论文质量关系密切，有必要作为评估的辅助指标，因此纳入本体系。

③课题立项是指资助单位所处的层级。国际、横向和商业项目，将由评委根据实际情况，确定相应等级。由于国际项目较少，不再单独设置细分等级，根据国际资助机构层级，归入国家级、省部级或其他立项；高等院校研究基金资助项目，统一归入“其他立项”。

④发表载体是指论文发表当年被认定的报刊分级结果。其中“核心报刊”指以下“四大评估体系”中任何一个体系所认定的报刊：a)北京大学《核心期刊要目总览》(2011)；b)南京大学CSSCI来源期刊(2012—2013)；c)中国社科院《中国人文社会科学核心期刊要览》(2008)；d)“复印报刊资料”重要转载来源期刊(2012)。

二、指标权重分配^注1

综述文章的权重分配如表1—2所示。

表1—2“综述文章”指标的权重分配(%)

各学科研究论文的指标权重分配如表1—3所示。

表1—3各学科研究论文的指标权重分配(%)

三、同行评议的组织实施

(一)评估主体

在各学科领域内，选择具有良好学术道德和信誉、治学严谨、客观公正、热心人文社会科学事业、责任心强的同行专家，组建评估团队。所有评委在正式开展评估工作前，均须进行相应培训和“试评估”。系统自动对评委的评估活动进行记录和分析，作为改进评估行为和更新专家库的依据。

评估团队分为三个小组：

1.初评组

初评组负责对所有论文进行初步评估，鉴别论文的学术性，并对学术论文进行分类。初评评委应熟悉人文社会科学学术论文的基本特征和分类，能较好地把握论文的学术特征。

2.复评组

复评组负责对论文进行复评工作。复评评委应大量、持续地阅读所负责学科领域的学术成果，熟悉该领域的学术创新情况和发展动态，能较好地把握评估尺度，区分论文的优劣等级。

3.终评组

终评组负责对进入终评的论文进行评估。终评评委应具有较高的专业知识水平(拥有学科领域代表性成果)和实践经验、敏锐的洞察力和较强的判断能力，熟悉被评估内容及国内外相关领域的发展状况，并在此专业领域内具有一定权威性，能较好地把握评价标准。

(二)评估方法与工具

1. 21分量表

同行评议过程是对主观印象的表达。指标体系的打分表相当于一个“心理量表”^注2。该表须解决的核心问题是：较为准确地获得评估主体印象；尽量减少主观印象表述和量化过程中的信息损失。本指标体系的同行评议打分操作，选择“等距量表”。5分量表、7分量表、9分量表或10分量表是常用的“等距量表”。然而，心理学研究表明^注3，人的短时记忆为4~9个信息单位不等，评分过程也符合短时记忆容量的规律。因此，我们选择了两个5分量表嵌套的“21分量表”^注4，如图1—1所示。要求评委在打分时，先判断论文水平处于五个基本等级中的哪一级，再左右微调论文的最终得分。这种方法避免了因分级过少而强行做出选择时造成的评估信息丢失，或因分级过多导致超出评委判断能力造成的失误。

图1—1 “21分量表”示意图

2.评估软件

评估软件的主要功能包括：论文信息管理，指标体系管理，评估分数录入、查看、修改、计算合成，评分排序统计等功能。

3.评估流程

按月度循环组织同行专家按照“同行评议指标体系”对论文质量进行初评、复评和终评；每篇论文共由5~7名评委完成全流程的评估；每年定期对数据进行汇总和统计分析，并形成评估成果(见图1—2)。

图1—2 同行评议实施流程

说明：初步估计，我国内地(不含港澳台地区)学术性较强的人文社会科学报刊近4 000种，每年刊载论文约40万~50万篇。

四、指标体系的特色

(一)以学术论文为直接评估对象

本体系以学术论文为直接评估对象，有效规避了“以刊评文”带来的种种弊端。同行评议和文献计量指标体系的设计，都强调对论文内容质量的评估，把“有效反映论文质量”作为遴选指标的必要条件，主要表现在：以直接反映论文内容质量的定性指标为主，如学术创新程度、论证完备程度、社会价值、难易程度；以间接反映论文质量的指标为辅，如课题立项、发表载体；以定量性较强的文献计量指标为补充，如Web下载频次、被他引频次、被转载次数。

(二)坚持同行评议的主体地位

当前，我国各学科论文水平评估中，文献计量评估占据主导地位。然而实践表明，同行评议更符合人文社会科学的研究特点和规律，更有利于及时有效地发现优秀成果；文献计量评估则有利于弥补同行评议主观随意性的不足。本体系坚持同行评议的主体地位，兼顾文献计量评估的优势，既顺应了学术评估领域的客观需求，又有利于弥补当前我国人文社会科学论文评估的不足。

(三)指标通用、分类设置权重、分步评估

同行评议指标是本体系的设计重点，为使该指标体系既能较为合理地体现不同学科和类型论文的特质，又具有较强的可操作性，我们采用了“指标通用、分类设置权重、分步评估”的设计思路：

(1)从学术共同体的“共识性评估标准”中，提取普适性较高的指标，设置通用的指标，用于评估所有论文。

(2)针对论述体裁和学科领域的差异，分类形成不同的指标权重分配方案。

(3)设置三个评估实施环节，首先通过“初评”评估论文的学术性质和基本水平，筛选掉非学术性论文；之后通过“复评”判断论文基本的“优劣等级”，筛选掉质量较差的论文，并对质量一般以上的学术论文进行评估；最后通过“终评”对质量一般以上的学术论文进行再次评估。