DOI:10.20047/j.issn1673-7210.26010075
中图分类号:R-052;|G643
李艳玲1, 曲春辉2
| 【作者机构】 | 1中国医学科学院/北京协和医学院医学信息研究所/图书馆筹备办公室; 2中国医学科学院医学实验动物研究所/北京协和医学院比较医学研究中心教育培训办公室 |
| 【分 类 号】 | R-052;G643 |
| 【基 金】 | 北京协和医学院研究生职业素养工程支持研究项目(DY202206)。 |
研究生奖学金是国家和学校为鼓励和表彰优秀研究生而设立的奖励资金,是研究生培养和管理过程中非常重要的一项工作,也是激发研究生学习和科研热情,促进其全面发展的重要手段之一[1]。研究生奖学金的评审实际上是对研究生综合素质的评价,而如何客观全面地开展评价,需要确立一套科学完善的评价体系,这也是研究生奖学金评审工作的重点和焦点内容。当前国内高校对于研究生奖学金的评审尚无统一评价标准,且国内学者对奖学金评价指标体系的研究较少,现有研究多采用座谈访谈等定性方法开展 ,难以科学量化评价体系中指标的相对重要程度[2-3]。基于此,本研究采用综合评价方法,旨在构建一套能够普遍适用于中国高校研究生的奖学金评审的评价指标体系,为相对全面、科学的开展奖学金评审工作提供借鉴和参考。
首先,基于中国知网、万方数据知识服务平台和维普网,以“奖学金”“评审”“评价”“医学研究生”“研究生”为关键词系统检索2015年1月至2025年12月文献,首先,梳理文献中涉及的指标并构建指标池;其次,根据国家政策文件要求明确评价导向和评价维度,2014年教育部和财政部联合发布《普通高等学校研究生国家奖学金评审办法》(教财〔2014〕1号),提出研究生奖学金评审指标体系要以道德品质和学习成绩为基础,针对医学研究生的科研创新、临床实践等方面有所不同侧重[4]。再次,奖学金评定指标和研究生培养目标密切相关,由于不同专业、不同培养类型的研究生培养目标相差较大,根据教育部发布的《关于改进和加强研究生工作的通知》等文件要求及医药类高校“德育为先、医教研融合”的培养目标,确定思想道德、课程学习和科研临床融合三大维度[5]。最后,组织召开座谈会,通过与有关专家、教育管理工作人员、临床导师、科研导师及研究生代表开展深入访谈,进行指标筛选和调整,从而初步拟定了包括3个一级指标、8个二级指标和14个三级指标的评价指标集。
本研究借助文献分析和专家访谈,确定了奖学金评价指标池,然后采用德尔菲法,遴选熟悉医学研究生教育和教育管理的专家开展调查,修订和完善研究生奖学金评审指标体系。根据德尔菲法使用指南建议,指标体系的咨询专家人数一般为15~50名,调查项目包括专家基本情况、专家熟悉程度、指标的重要性和可行性评分等。专家依据自身专业知识、工作经验等,对候选指标的重要性和可行性进行评分,采用1~5分标度法,分值越高代表该指标的重要性和可行性越高[6]。第1轮调查结束后,根据专家反馈意见调整指标,然后开展第2轮调查,根据第2轮调查结果和专家集体意见,确定最终指标体系纳入指标。
本研究的专家咨询共两轮。从北京市医药类高校、科研院所及附属医院遴选从事医学研究生教育相关工作的专家20名,专家范围涉及研究生教育管理者、临床导师、科研导师、医学教育研究人员。遴选标准为具有医学研究生教育管理或指导相关工作经验,参与过医学研究生奖学金评审工作,对本研究有一定的积极性并能保证完成两轮专家咨询。
专家积极性一般通过专家咨询问卷的回收率有效反映,70%以上的回收率就表明专家比较积极[7]。
专家权威性通常用权威系数(Cr)来说明,Cr表示专家对指标重要性和可行性进行评价时的权威程度,由专家对指标作出的判断依据(Ca)和专家对指标的熟悉程度(Cs)构成,计算公式为Cr=(Cs+Ca)/2[7]。本研究将专家对指标内容的熟悉程度划分为很熟悉、比较熟悉、一般熟悉、不太熟悉、很不熟悉5个等级,分别赋值为0.9、0.7、0.5、0.3、0.1分;判断依据结合医学研究生教育特点,按照理论分析、实践经验、参考国内外理论文献和直觉4个方面,在参考相关文献后,分别赋值[8-10]。考虑到奖学金评审指标体系构建需要对研究生奖学金评审工作实践有充分的认识,赋分情况见表1。一般而言,Cr>0.7即可认为专家权威程度高[11]。
表1 判断依据对专家影响程度大小的赋值情况(分)
判断依据大中小参考国内外理论和文献0.10.10.1直觉0.10.10.1理论分析0.30.20.1实践经验0.50.30.1
专家意见协调程度是指咨询专家对拟定指标是否存在较大分歧,通常用肯德尔协调系数来说明。肯德尔协调系数取值是0~1,肯德尔协调系数越高表示专家对全部指标意见的协调程度越高[7]。
采用综合评分法确定通用权重,具体步骤如下:①确定3个评价维度权重。计算每个维度的评分均值占3个维度评分均值总和的比重,计算公式为Mi=
,其中mi表示第i维度的评分均值,n表示维度类别,维度权重的和为1。②计算各指标的维度比重。通过计算该项指标评分均值在同维度下指标中所占的百分比,计算公式为
,其中,nij表示第i维度下第j指标的评分均值,m表示第i维度下的指标数,每个维度下各项指标的维度比重之和为1。③计算各项指标的权重系数。每项指标在各自维度下的比重乘以该维度的权重,计算公式为:Vij=Mij×Nij。同一级别下全部指标的权重和为1[7]。
采用Excel软件对两轮德尔菲专家咨询结果进行数据录入、整理与汇总;采用SPSS 24.0统计学软件进行数据分析。计量资料采用均值、变异系数(coefficient of variation,CV)表示,计算各级指标重要性与可行性评分的均值及CV;计数资料采用人数(百分率)[名(%)]表示。采用权威系数(Cr)评价专家权威程度,采用肯德尔协调系数分析专家意见协调程度。以P<0.05为差异有统计学意义。
2.1.1 专家基本情况 本研究的专家咨询共两轮。第1轮德尔菲调查时,课题组通过电子邮件的方式,向20位被调查对象发出了咨询问卷,共计收回20份。为保证调查的连贯性,第2轮专家咨询对象和第1轮保持一致,参与咨询的专家基本情况见表2所示。
表2 德尔菲调查专家基本情况
项目人数占比(%)性别女1470男630年龄(岁)≤30630>30~40945>40~50525学位硕士1785博士315主要从事的工作研究生教育教学735研究生教育管理1050两者兼有315参加工作年限≤5年630>5~10年840>10年630职称初级630中级630副高420正高420
总体来讲,本研究的咨询专家均深耕医学研究生教育领域,对医学研究生培养及奖学金评选工作具有丰富经验。其中,女性比例高于男性;70%的专家年龄在30岁以上,具有一定的工作经验,工作年限参加工作5年以上者达到70%;学历均在硕士研究生及以上,博士研究生学历占15%;职称分布均匀,职称中级及以上者占70%。
2.1.2 专家积极性 第1轮发出20份专家咨询问卷,回收20份;第2轮发出20份专家咨询问卷,回收20份。两轮问卷咨询结回收率和有效率均为100%,提示咨询专家的积极性较高。
2.1.3 专家权威性 两轮专家咨询选取专家相同,权威系数Cr=(Ca+Cs)/2=(0.88+0.72)/2=0.80>0.7,结果显示,本研究遴选的专家权威程度较高,具有较高的可靠性。
2.1.4 专家意见的协调程度 第1轮专家咨询中,专家对一、二、三级指标的肯德尔协调系数分别为0.429、0.397和0.282,显著性检验P<0.01;第2轮专家咨询的肯德尔协调系数提高到0.535、0.575和0.383,显著性检验P<0.01。经过两轮专家咨询,第2轮咨询的专家肯德尔协调系数相比于第1轮有所提高,提示专家意见逐渐趋于一致,评分结果可用于进一步构建指标体系,具备参考价值。
2.2.1 第1轮专家咨询指标筛选结果 本研究从重要性和可行性两方面及进行指标评价,评分标准为1~5分,5分为最高程度。第1轮德尔菲专家咨询评分结果的重要性CV为0.08~0.21,重要性评分均值低于4.00分的有“C3.1.1承担学生工作”“C3.2.1参加社会活动”“C3.2.2参加学校文体活动”;可行性评分均值均高于4.00分,CV为0.08~0.25,其中“A1.2政治素养”的CV最高,为0.25。
除量化的评分结果外,第1轮共有6位专家提出开放性意见和建议,集中为以下几个方面:①增加1个三级指标,建议将“C3.1 学生工作”区分学生干部和社团工作,担任不同类型的学生干部对应的工作量和影响范围不同,应做以区分;②部分三级指标内涵不清晰或界线划分不清楚,例如“C3.2.2 参加学校文体活动”,参加其他团体性活动是否考虑在内;③学生参与导师课题是否能说明学生科研能力,部分专家认为参与课题仅代表导师课题组的学术资源,建议仅将主持课题纳入加分项,或在加分细则做以区分;④三级指标应是明确可以测量的指标,但部分三级指标不够具体明确,建议进一步细化三级指标并明确评分标准;⑤医学研究生的科研能力应体现“临床与科研融合”,课题研究需区分“临床课题”与“基础科研课题”;临床专业型研究生的临床实践表现应纳入科研能力或专项评价指标
根据以上专家评分结果和开放性意见,经课题组讨论,对指标体系进行如下修改:①增加三级指标1个,将“C3.1.1 承担学生工作”细分为“C3.1.1 担任学生干部”和“C3.1.2 担任学校社团负责人”;②优化部分三级指标名称,将“C3.2.1 参加社会活动”修改为“C3.2.1 参加社会服务/公益活动”,将“C3.2.2 参加学校文体活动”修改为“C3.2.2 参加学校集体活动”;③保留“参与课题研究”指标,明确区分临床课题与基础科研课题,并在加分细则中限定参与课题数不超过3项;④明确医学研究生科研产出包含“临床研究成果”与“基础研究成果”,后续评分细则中予以差异化赋分。
通过以上修改,最终形成了3个一级指标、9个二级指标和20个三级指标的奖学金评审指标体系,并将其作为第2轮专家咨询的指标体系进行再次论证。
2.2.2 第2轮专家咨询结果 第2轮德尔菲调查时,在咨询问卷中告知专家第1轮专家咨询的反馈意见及调整方案,要求专家结合第1轮的结果及医学研究生培养特点,对每项指标和维度重新进行评价。评分范围依旧是1~5分,针对指标重要性和可行性打分。第2轮咨询结果见表3。所有一级、二级指标的重要性均值均高于4.00分,其中思想道德素质中的“科研学术道德”、学习科研与临床实践能力中的“专业课程成绩”“发表学术论文”“著作、专利”等指标重要性和可行性评分均较高,贴合医学研究生“学术严谨、专业扎实”的培养要求;参与学校和社会活动类指标重要性均值略低,符合医学研究生以“医教研”为主的培养重心。
表3 第2轮专家咨询评分结果
重要性可行性指标均值变异系数均值变异系数A1 思想道德素质4.850.074.100.19 A1.1 思想素质4.950.044.200.18 A1.1.1 思想素质综合表现4.900.064.250.15 A1.2 政治素质4.850.074.150.21 A1.2.1 政治素质综合表现4.900.064.350.15 A1.3 道德素质4.950.044.200.18 A1.3.1 道德素质综合表现4.900.064.250.15 A1.3.2 科研学术道德4.950.044.700.10 B2 学习科研与临床实践能力4.850.074.600.13 B2.1 专业学习能力4.900.064.600.11 B2.1.1 专业课程成绩4.100.194.800.08 B2.2 科研创新能力(学术型研究生评估)4.850.074.700.10 B2.2.1 发表学术论文4.500.114.800.08 B2.2.2 主持/参与项目课题研究4.450.134.650.12 B2.2.3 参加学术会议交流4.250.164.700.12 B2.2.4 著作、专利4.300.154.750.09 B2.2.5 获得科研表彰4.250.134.800.08 B2.3 临床实践能力(专业型研究生评估)4.850.074.700.10 B2.3.1 临床规培考核成绩4.500.114.800.08 B2.3.2 临床技能操作水平4.450.134.650.12 B2.3.3 临床病例分析/诊疗方案设计4.250.164.700.12 B2.3.4 参与临床课题/临床新技术应用4.300.154.750.09 B2.3.5 获得临床技能/医疗服务表彰4.250.134.800.08 C3 参与学校和社会活动4.100.174.500.15 C3.1 学生工作4.150.164.800.08 C3.1.1 担任学生干部4.100.174.650.12 C3.1.2 担任学生社团负责人4.250.134.650.17 C3.2 社会活动4.050.184.550.13 C3.2.1 参加社会服务/公益活动3.950.194.400.15 C3.2.2 参加学校集体活动4.000.184.400.15 C3.3 表达能力4.250.134.250.21 C3.3.1 公开答辩与汇报4.300.114.550.11
2.2.3 指标权重确定 指标权重的确定是指标体系构建的关键环节,指标权重是否合理将直接影响研究结果的可靠性。本研究基于德尔菲专家咨询所获得的评分值,根据第2轮专家咨询专家对各项指标重要性的评分。差异化权重设计核心原则:学术型医学研究生侧重科研创新,对不同科研产出和学术交流活动进行赋予权重;专业型医学研究生侧重临床实践与社会服务,根据临床工作实际和要求,设定不同指标权重。同时提高“参加社会服务/公益活动”“学生工作”等指标权重,体现“临床实践+社会服务”的培养导向。见表4。
表4 最终确定的奖学金评审指标体系及权重
一级指标(权重)二级指标(权重)三级指标(权重)A1 思想道德素质(0.351 3)A1.1 思想素质(0.117 9)A1.1.1 思想素质综合表现(0.117 9)A1.2 政治素质(0.115 5)A1.2.1 政治素质综合表现(0.115 5)A1.3 道德素质(0.117 9)A1.3.1 道德素质综合表现(0.058 7)A1.3.2 科研学术道德(0.059 2)B2学习科研与临床实践能力(0.351 4)B2.1 专业学习能力(0.176 6)B2.1.1 专业课程成绩(0.176 6)B2.2 科研创新能力(学术型研究生评估)(0.175 0)B2.2.1 发表学术论文(0.036 2)B2.2.2 主持/参与项目课题研究(0.035 8)B2.2.3 参加学术会议交流(0.034 2)B2.2.4 著作、专利(0.034 6)B2.2.5 获得科研表彰(0.034 2)B2.3 临床实践能力(专业型研究生评估)(0.175 0)B2.3.1 临床规培考核成绩(0.035 8)B2.3.2 临床技能操作水平(0.036 2)B2.3.3 临床病例分析/诊疗方案设计(0.034 2)B2.3.4 参与临床课题/临床新技术应用(0.034 6)B2.3.5 获得临床技能/医疗服务表彰(0.034 2)C3 参与学校和社会活动(0.297 8)C3.1 学生工作(0.099 0)C3.1.1 担任学生干部(0.050 4)C3.1.2 担任学校社团负责人(0.048 6)C3.2 社会活动(0.097 1)C3.2.1 参加社会服务/公益活动(0.048 3)C3.2.2 参加学校集体活动(0.048 8)C3.3 表达能力(0.101 7)C3.3.1 公开答辩与汇报(0.101 7)
本研究构建的指标体系紧扣医学研究生“医教研融合、职业素养为先”的培养特点,相较于现有研究生奖学金评价体系,突出医学专业属性,实现定性与定量相结合。
思想道德素质(0.351 3)是对研究生思想品德和学术道德的综合评价,是对研究生基本素质的评分,包括3个二级指标和4个三级指标,除思想、政治和道德素质外,纳入了科研学术道德指标,旨在指引研究生树立正确的道德观和严谨的科研态度。
学习科研与临床实践能力(0.351 4)包含专业学习能力和科研创新能力/临床实践能力,此部分是奖学金评审的核心所在,主要考察研究生所具备的专业素质和科研能力。学习能力得分由所学课程平均成绩标化后确定。科研创新能力指标主要应用于学术型研究生,指研究生能够独立开展科研活动的能力,主要通过发表学术论文、主持参与项目课题研究、参加学术会议交流、完成著作和专利及获得科研表彰几方面。对于专业型研究生,采用临床实践能力指标进行评价。实际操作中,可对不同质量的科研产出赋予不同分数做以区分,以发表论文为例,可根据发表英文文章影响因子或JCR分区、发表中文文章是否核心期刊等因素,制订不同的加分规则,同时对第一作者发表论文数量不做限制,对其他作者参与发表论文篇数及排序提出相应要求,以此激励研究生发表高水平、高质量论文。
参与学校和社会活动(0.297 8)考察研究生学业以外的基本素质,包括学生工作、社会活动和表达能力。参与学生工作考察研究生的组织管理能力,为鼓励研究生积极参加班级事务,此部分可根据平时的工作量及学生干部年度考核情况赋予不同分值。社会活动包括学校开展的团体活动和社会团体组织的公益活动,可按照参加次数加分。表达能力考察研究生的交流沟通和答辩能力,此部分可由奖学金评审小组根据现场答辩情况进行打分。
奖学金评审是对研究生专业能力、科研能力、综合素质等各方面的综合评价,制订更加详细和科学的二级指标、三级指标,可将评审角度细化,增加奖学金评审的科学性,提升研究生满意度[12]。本研究构建的指标体系,从思想道德素质、学习科研与临床实践能力和参与学校和社会活动3个维度对研究生综合素质进行评价,和当前国内开展的相关研究相比,打破了简单量化的评审思路,纳入定性指标与定量指标,将模糊的评价通过构建模型的方式进行量化处理,实现定性与定量相结合。指标体系的构建过程科学、客观,可操作性较强,为其他高校开展奖助学金评审提供了可行工具。
奖学金评审评价指标体系是奖学金评选的重要依据,对研究生的学习生活具有重要的指导和引领作用。在执行过程中,根据实际情况,不断完善评审细则,避免出现学生功利性评奖的现象[13]。针对不同专业、不同年级、不同培养类型的研究生,也要根据培养目标和培养要求,对加分细则和标准进行不断调整。例如,对学术型研究生适当提高科研活动指标权重,对于专业型研究生则提高参与社会活动权重。奖学金评审指标体系不是固定的、单一不变的准则,不断在实践中反馈和完善,遴选出具有真正优秀的学生,保证奖学金发挥正向的激励作用[14]。
奖学金评审方案和细则的修订需要采用科学的方法,充分听取专家、研究生和教育管理部门的综合建议和意见。对于主观指标的评分,应避免出现一刀切的情况,可采用导师、辅导员和研究生互评等多种方式,从平时的学生管理中收集信息,公平全面的对研究生的综合素质进行评分。学生、导师和教育管理部门多元参与综合评价过程,确定科学、客观的指标,体现奖学金评审的科学性和公平性。在开展奖学金评审过程中,要开展精准、充足的宣传工作,包括前期的公示奖学金评审政策和细则,评审过程中参评人员材料公开,评审结束后对获奖名单进行公示。通过提高师生的民主参与度和评选过程的透明度,提升研究生参评的积极性,发挥奖学金的激励价值。
本研究存在一定的局限性,今后可尝试开展指标体系的实践验证与优化,将本指标体系应用于实际奖学金评审工作,收集评审过程中的问题与反馈,优化评分细则和权重设置。此外,不同的医学学科(如临床医学、药学、公共卫生)的研究生培养目标差异较大,可开展分学科的指标体系细化研究,针对不同学科设计专属的子指标体系,进一步提升评审的针对性和科学性。
利益冲突声明:所有作者均声明不存在利益冲突。
[1] 孙百才,龚丽华. 研究生学业奖学金制度实施状况调查研究:成效、问题及对策[J]. 学位与研究生教育,2021,340(3):60-66.
[2] 许丽佳,吴明,龚华云,等. 以学业奖学金评审促进研究生核心能力提升的探究——以C大学药学类硕士研究生为例[J]. 当代教育实践与教学研究,2019(23):100-101.
[3] 潘润琦,张瑞燕,杨宁燕,等. 基于区分性评价理论的医学研究生奖学金评价体系初探[J]. 医学教育研究与实践,2021,29(5):713-716.
[4] 教育部 财政部关于印发《普通高等学校研究生国家奖学金评审办法》的通知[EB/OL]. https://www.gov.cn/gongbao/content/2014/content_2707853.htm.
[5] 教育部《关于改进和加强研究生课程建设的意见》[EB/OL]. http://www.moe.gov.cn/srcsite/A22/s7065/201412/t20141205_182992.html.
[6] 刘建平,王艳萍. 医学科研指标体系构建方法与应用[M]. 北京:人民卫生出版社,2020.
[7] 孙振球,徐勇勇. 医学统计学[M]. 4版. 北京:人民卫生出版社,2014:391-393.
[8] 屈京楼,朱亚鑫,曲波,等. 德尔菲法在医学教育研究中的应用[J]. 中华医学教育杂志,2019(3):227-230.
[9] 胥娇,薄红,周晋,等. 基于职业胜任力的临床医学专业学位硕士研究生评价指标体系初探[J]. 中华医学教育探索杂志,2017,16(12):1208-1212.
[10] 王昕宇,魏娜,王岚. 科研育人视域下医学生科研诚信指标评价体系的构建[J]. 中国医学教育技术,2022,36(5):617-623.
[11] 曾光. 现代流行病学方法与应用[M]. 北京:北京医科大学、中国协和医科大学联合出版社,1994:267-275.
[12] 陈建军,刘力戈,庞少华,等. 临床医学研究生奖学金评选标准量化的探讨[J]. 中华医学教育探索杂志,2013,12(5):455-458.
[13] 马丹,胡飞君,吴近名. 国家奖学金育人功能探析[J].价值工程,2017(11):244-245.
[14] 孙政春,牛建敏,尹金淑. 医学研究生奖学金评比中主观指标客观考核的实践与思考[J]. 中华医学教育探索杂志,2017,16(12):1213-1216.
Research on the construction of evaluation index system for medical postgraduate scholarships
X