王战军大数据 李芬?王战军:基于大数据的研究生教育监测评估研究

研究生教育信息化产生了海量数据,在全面提高研究生教育质量、注重研究生教育内涵式发展的大背景下,结合并研究大数据技术在研究生教育评估工作中的作用,更多地依靠大数据技术开展研究生教育监测评估,是持续改进研究生教育质量保障和监督体系、全面提升研究生教育质量的内在需要。

《国家中长期教育改革和发展规划纲要(2010~2020年)》提出的“完善监测评估体系,定期发布监测评估报告”以及《关于加强学位与研究生教育质量保证和监督体系建设的意见》提出的建立全国研究生教育质量信息平台,则为开展研究生教育监测评估提供了制度保障。

一、大数据、研究生教育数据

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。对于大数据技术,国际数据公司IDC(International Data Corporation)下的定义为“通过使用高效的采集、发现和分析,从超大容量的多样数据中经济地提取价值”。业界普遍用“4V”来表征大数据特征,即大量(Volume)、多样(Variety)、高速(Velocity)、价值(Value)。

我国研究生教育是一个多层次、多类型的教育系统。截至2015年8月,全国在校研究生人数共计184.77万人,培养单位包括571所高校、217所研究机构。研究生教育信息数据量庞大、类型多样、结构复杂、富含价值,具备大数据的特征。

研究生教育领域数据量巨大,包括各类研究生生源、导师队伍、选修课程、学业成绩、学科选择、图书馆文献借阅、学术报告、科研活动、论文发表、奖学金评定、品德发展、社交活动等各类数据,这些数据时时刻刻都在变化,且呈迅猛增长态势。

随着互联网、移动互联网等新媒体的普及和传播平台的多样化,研究生教育产生的数据除了可以用二维表结构进行逻辑表达的结构化数据,如数据库中的数据文件、档案,还包括课堂讨论记录、教学视频、学术报告、网络社交、往来邮件、链接信息等大量半结构或非结构化数据。

相较于本科生,研究生具有多样化、个性化的特征。研究生生源结构多样化,包括多种类型,而且研究生培养过程中更多的是研究生与导师、课题组成员之间的互动交流,以个人研究和小组学习讨论为主,集体学习为辅,集体行为少,伴随其行为产生的数据都是碎片化的、零散的、动态性的、多样化的。

伴随着研究生学习与生活产生的多样化原始数据真实准确,蕴含巨大的价值,需要全面识别、系统集成、高度融合各类原始数据,才能挖掘出有价值的信息。

建立在云计算技术基础上的智能处理技术能够快速地从多源、异构、多模态、不连贯语法或语义的多样化数据中,快速提炼出有价值的信息,传统的信息处理技术难以胜任这些工作。

二、研究生教育监测评估研究现状及概念界定

当前,监测评估在基础教育领域已实现应用,而专门针对研究生教育的监测活动较少,有部分研究者就研究生教育监测问题进行了探讨,提出了将技术监测手段引入研究生教育质量管理领域的思想。还有研究者等构建了研究生教育质量监测指标和指数模型,并利用34所教育部直属理工农医类高校2000~2011年的统计数据进行了实证分析。

美国研究生教育委员会提出,开展监测评估可以适时解决研究生学习研究方式分散化和复杂化的问题,通过网络监控研究生的学术进步,管理系统以学期为周期伴随式收集学生的学业成绩、课堂出勤、提交作业等相关数据,进行评估,并把结果通知给导师和管理部门。

美国杜克大学、布朗大学的研究生院都对研究生的“研究行为责任(RCR)”这门课程的学习情况进行监测,并贯穿于研究生整个学术研究过程中。

美国全国学习效果评估研究所基于“学历资格档案”框架(Degree Qualifications Profile,DQP),探索实施在线“任务图书馆(Assignment Library)”项目,以定期、实时评估教师、学生辅导员为实现“学历资格档案”框架的五部分标准而设计的任务以及学生完成情况。

该项目的特色在于研究所有学生的数据。这些文献均提出了开展研究生监测评估的概念,并进行了实践,但是并未引入大数据理念与技术。

最早关于监测评估的讨论,是麦克劳克林在1987年提出的,他认为评估重点应从寻找项目整体结果的结论转移到强调短周期控制与纠正,采用“定期收集和分析信息”的方法提供关于执行情况、有效证据、改进建议等方面的信息。

目前,在国内外关于监测评估的文献中,研究者对监测评估主要有三种理解:①将监测、评估看作处于前后阶段的两种行为;②将二者视为并列的两个行为,如世界经济合作组织、世界银行、世界卫生组织等研究报告中都分别对“监测”“评估”进行定义,英文表述为M&E;③将监测评估理解为一个独立活动,认为是一个整体概念,更强调“监测”的含义,英文则用monitoring evaluation表示。

笔者认为:研究生教育监测评估是利用现代信息技术持续收集和深入分析研究生教育系统中的有关数据,直观呈现研究生教育状态,为多元主体价值判断和科学决策提供客观依据的过程。

研究生教育监测评估能够提供关于培养单位教育教学、科学研究等办学运行状况的准确信息,反映其办学和研究的效率和效益,对培养单位自身改进办学实践具有重要的意义,还能使政府对研究生教育工作的决策更加科学,同时也能满足向社会提供质量信息和决策咨询的需求。

理念上,研究生教育监测评估从较重视行政控制和问责转为重视持续改进研究生教育质量;实施方法上,从倚重专家经验到依靠信息技术和专家经验相结合;时间维度上,从周期性评估向常态化监测转变;价值判断方式则从终结性结论向多元主体根据需求自我进行价值判断转变。

三、基于大数据的研究生教育监测评估的特点

1.研究生教育监测评估依赖技术驱动

搜集数据、挖掘信息是开展评估活动的基础。基于大数据的研究生教育监测评估从数据采集、录入、上传、分析到结果呈现都突出强调利用大数据管理平台与技术。如在数据收集环节,是在信息管理系统中常规地、连续地与制度化地采集信息、同步数据;在数据分析环节,则是运用统计建模、数据挖掘等方法对数据进行多尺度、深层次的挖掘,快速提取有效信息,探索客观数据间的内在关联;在结果呈现环节,主要是通过技术手段,用具有象征性、隐喻性类型的图形符号来表征、输出监测评估分析报告,让利益相关方更加迅速、有效地理解信息、发现规律,作出价值判断。

目前,我国研究生教育信息化程度已经达到较高水平,各培养单位的研究生教育管理信息系统基本涵盖了招生报名、学籍管理、课程设计与管理、成绩录入及查询、教学评价、学位申请及审核等研究生教育全过程的数据。除了这些时时更新的信息数据库,学位与研究生教育数据中心的数据库、开放在线课程、在线问卷调查、媒体报道等相关公开数据,都是研究生教育监测评估的数据来源。

需要指出的是,监测评估强调应用信息技术处理数据的能力,但并不否认专家的作用,应该既基于数据挖掘技术的定量算法,又依赖于专家经验的定性分析,要防止陷入数据丛林,就数论数。

2.研究生教育监测评估强调状态描述

研究生教育监测评估注重对教育教学、学术进展、学科建设等状态进行直观呈现和深度描述,价值判断由利益相关方依据一定的价值标准进行。状态是指“表征物质系统所处的状况的范畴,指在一定时间内、一定物质系统的存在方式或表现形态”。研究生教育状态则是研究生教育系统的质量、结构、规模、水平等运行状态在一定时间、空间范围的表现形式。

研究生教育监测评估是对研究生教育状态阶段性的动态描述。发挥大数据的多样性、高速性特点,通过研究生教育质量监控信息平台,系统、实时地采集招生、选课、开题、答辩、课题申报、科研奖励、论文发表、应用研究开发成果转化、就业等研究生教育教学活动中的有关数据,经过数据分析、可视化技术,对全国、省域、培养单位的在校研究生规模、师资队伍、学术研究、学科建设、德育工作、教学管理等方面的质量状态进行连续、直观的客观描述,实现评估的连续性和常态化。

研究生教育监测评估的最终目的不是为了获得某种结论或价值判断,而是形象、直观地呈现国家、区域、培养单位的研究生教育实时特征与模式,重点解决“实际是什么”的实然问题。

3.研究生教育监测评估关注价值多元需求

评估结果的应用处理是整个质量保障过程的重要环节,是保证教育质量改进和评估活动有效性的基础。在研究生教育大规模、多元化发展的今天,研究生教育领域的利益相关方呈现多元态势,涉及包括中央政府、省级政府、培养单位、导师、研究生、用人单位、社会组织等的价值取向与利益需求。同时,利益相关方对研究生教育质量的关注度越来越高,对研究生教育的信息需求越来越多。

研究生教育监测评估强调将评估结果的价值判断权交给政府、培养单位、社会机构等多元利益主体。基于大数据技术的研究生教育监测评估可以让利益相关方根据需求有选择地选取评估指标体系,对存储于数据库中的相关数据进行抓取、挖掘、处理及解释分析,通过可视化技术生成针对性强、易于理解的评估报告。

如政府希望研究生教育培养更多更好的高素质人才,创造更多的新知识和技术来促进国家和区域的进步与发展,就可通过对全国、省域研究生教育规模、结构、水平等整体状况进行宏观监测评估。

培养单位的导师、研究生、管理人员等是研究生教育的直接参与者,他们对研究生教育质量的价值判断标准为研究生教育满足学术发展以及促进学生个人发展的程度。导师、指导小组通过对研究生学术训练、能力提升情况进行评估,掌握对学生能力提高起关键作用的因素,从而提升教学与科研水平;研究生关注自己所学专业的现状,规划自己的学术和职业发展道路;管理人员对研究生教育管理、教学科研现状等进行客观分析,以改进教育管理手段,提高管理水平。

社会主体包括用人单位、行业协会、学术团体等,用人单位根据行业需要选取指标体系,查看相关培养单位和学科的教育状态从而有针对性地开展科研合作与人员招聘工作;行业协会、学术团体、科研机构等要求研究生教育培养本专业所需高层次创新人才,从研究生教育满足社会各利益团体发展需要的程度来进行价值判断。

四、大数据技术对研究生教育监测评估的作用

基于大数据的研究生教育监测评估可以实现动态监测、行为矫正、预警预测、群体或个人行为分析等其他评估类型难以完成的工作,使研究生教育评估更加准确和科学,提升政府和高校的科学决策与管理水平,持续提高研究生教育质量。

1.增强评估的精确性

准确有效的信息是评价的基础性工作,信息是从数据中获取的有价值的内容。为了保证信息的一致性和可靠性,目前研究生教育评估以培养单位根据评估指标提供的数据为主要信息来源,因此导致了部分信息的不一致与滞后性。同时研究生教育的多样性、层次性、复杂性决定了数据采集来源的多样性和评估标准多维度的必要性。

基于大数据的研究生教育监测评估除了从培养单位收集关于学术队伍、获奖专利、论文专著、科研项目等指标的结构化数据,还可以从国家教育、科技、人事等主管部门网站、培养单位官方网站、权威媒体报道、报纸杂志书籍、网络博文等渠道获得大量的文字、图像、音频、视频的非结构化数据。

利用大数据管理平台持续、快速、多层次、多维度地收集研究生与导师个体产生的数据,全面客观记录信息,这些数据真实记录了研究生的学术活动、科研参与、生活轨迹、心理发展等状态。通过关联分析技术有针对性地挖掘这些数据中蕴含的信息以及相互关系,获得对研究生教育质量有显著影响的行为指标,从而增强研究生教育评估的精确性。

2.促进评估的即时性

囿于方法和成本等方面的限制,目前我国的学位授权审核、学位点定期评估、学科评估等评估项目的周期一般为3~5年,这些评估类型都存在着周期长、反馈滞后等缺陷,不能及时准确地反映事物的发展状态,在此基础上提出的改进建议对提升教育质量的作用有限。

在美国评估学会成立25周年纪念大会关于“评估发展趋势”的主题研讨中,研究者提出随着技术的发展、社会对高等教育关注度的提高,教育项目评估报告的“保质期”会越来越短,这就要求大量使用周期短、成本低的“最新评估”。

大数据不仅强调数据巨量,更强调从海量数据中快速获得有价值的信息。基于大数据的研究生教育监测评估除了强大的数据获取及集成功能,同时根据评估主体需求快速处理、关联分析数据,直观呈现质量状态,极大地缩短数据采集与结果反馈周期,使原来需要在全部工作结束后进行的追忆性评价转换为过程进行中的即时性评价。

监测评估收集的是平时教学和管理工作中积累的数据,不需要大量的人工投入,甚至不需要被评估对象提供评估材料,降低了数据收集的时间与成本,极大地提高了评估效益。

研究生教育监测评估并不是为了取代周期性评估,而是针对3~5年一轮的周期性评估其反馈滞后性的不足,在信息化背景下提出的一种新的评估类型,让研究生教育评估从过分倚重周期性评估向周期性评估与常态性评估相结合方向转变。

3.实现评估的开放性

研究生教育监测评估强调评估过程与结果的开放性,构建多元利益相关方平等协商、共同参与的新机制,包括评估主体的合作互动、信息渠道的多元、基于共识的共同改进等内涵。不同于其他评估类型中评估主体处于主导地位、评估对象处于被动状态的单向过程,多元利益相关方的共同参与是监测评估实施的核心理念。

研究生教育有关数据的产生是政府、高校、社会、研究生、导师等主体共同参与的结果,让相关利益者参加评估活动过程,并结合价值取向和利益需求对直观呈现的研究生教育质量状态进行价值判断,提高评估过程的参与度与透明度,增加评估结果的有效性,全面准确地反映研究生教育的整体质量状态,更为客观公正。

以培养单位研究生教育质量监测评估为例,充分吸纳培养单位的管理者、研究生导师、在校研究生、校友、校外有关行业专家参与监测评估指标的选取、评估方案的设计、数据采集与分析、报告呈现等环节,不仅可以缩短数据收集时间,降低成本,还可以建立彼此合作与互动的伙伴关系,能够更加客观全面地反映培养单位研究生教育的质量状态,推动本单位研究生教育质量的改进和提高。

管理者是研究生教育政策与制度具体实施者,导师和研究生是检验和评价研究生教育质量的重要信息反馈渠道,这三类主体的充分参与还能够增强他们对评估报告建议的接受认可程度以及实施的动力和积极性。

同时,校友及校外专家的加入有益于培养单位与社会有效沟通,在吸引社会关注研究生教育质量的同时促使培养单位主动适应社会发展需求。

4.强化评估的预警与预测功能

潘懋元先生认为,对高等教育发展作出预测和预警是高等教育理论研究者的重要职责。监测评估注重过程控制,通过持续、动态地收集与分析研究生课程教学、学术训练、科研活动等相关数据,客观呈现实际运行状态,对运行状态是否按照预定计划发展、是否向预定目标靠近等进行监控、预警,建立起一套反应及时、措施得当、改进务实的新机制。

研究生教育运行状态如接近临界值的指标,则发出预警信息,帮助研究生教育管理部门及时发现诊断教学、学术开展、管理中存在的问题,剖析原因,加以改进,以修正活动目标偏差,保证其朝着预定的或更高的目标发展。

同时,基于大数据的研究生教育监测评估将突破现有的评估体系注重对过去和现在进行总结和描述的局限,实现研究生教育教学的发展和动态趋势预测,为多元主体决策提供更有价值的信息。大数据预测技术通过把数学算法运用到海量的数据上来发现以往难以察觉的教育教学规律,并据此预测可能发生的事情,甚至可视化地展现出教育教学运行未来的“真实”场景。