职业教育质量年度报告合规性评价制度是伴随质量年报制度的实施而持续开展的，旨在保证质量年报自身质量的一项基础性制度。通过梳理质量年报合规性评价的缘起和意义，以2022年《高职院校质量年报合规性评价标准》为例阐释评价指标和权值赋分过程；对省级层面高职和中职质量年报合规性评价结果的分析表明，质量年度报告存在主体重视程度有待提高、报告基本要素不够规范、普遍缺少深入的量化分析、省域之间差别较大、企业年报质量有待提升等问题。提出应从规范化落实、标准化建设、数字化支撑等方面创新发展路径，对于推动各地规范编制行为、健全内容要素、提升编写质量具有较强的指导意义。
为深入推动职业教育质量年度报告合规性评价制度（简称“质量年报合规性评价制度”）落地落实，构建职责明确、依法行政的治理体系，深化教育评价改革，推进学校治理能力现代化，需要在理论层面厘清质量年报合规性评价制度何以产生、如何发展，管窥制度执行背后的运作逻辑，客观描述制度建构与演化理性主义的现实博弈。基于此，本研究对质量年报合规性评价制度的缘起和意义进行梳理，着重分析2022年质量年报合规性评价制度的落实情况和存在问题，客观探究质量年报合规性评价制度未来的改进路径。
一、质量年报合规性评价制度的内涵意蕴
质量年报合规性评价制度作为保证质量年报自身质量的一项基础性制度，主要由各级年报编制主体实施。实施主体根据每年度国家级质量年报工作通知形成评价指标，内容包括合规性评价的“必备”要求以及结合自身具体情况与需要的“个性”要求。通过建立并实施一个或多个程序，对质量年报遵守事先约定要求的情况进行评价，旨在实现自我评价与持续改进。当前，由于不同实施主体的思想意识不同，全面、系统和规范地开展质量年报合规性评价还只是“自选动作”，需要深刻认识其重要意义作用、阶段性发展特点及制度演进特征。
（一）质量年报合规性评价制度的意义作用
一是有利于推动实施质量年报制度。多年来，质量年报制度对于职业教育履行责任担当、确立质量发展观、宣传发展成绩、接受社会监督发挥出重要载体作用。质量年报合规性评价工作的开展对于引领和促进国家、省、校各级年报制度，对于完善年报内容体系、提高编制质量具有重要推动作用。具体表现为：规范的合规性评价指标使得年报工作的推进更为严谨、细致和扎实；系统的合规性评价过程能够全方位覆盖质量年报工作各个环节，全面落实国家提出的建立职业教育质量监测与报告制度；协同的合规性评价步骤和方法，使得合规性评价工作从单一的管理运作，推广扩大至管理组织内部全过程，成为管理工作的共同要求。
二是有利于切实提升职业教育形象。质量年报合规性评价工作的开展加深了公众对职业院校办学成效的了解，提升了社会对职业教育的认可度和接纳度。一方面，通过对职业院校大量数据支撑及生动案例进行合规性评价，有助于挖掘学校在教学改革、社会服务、国际合作等方面的典型经验和做法；另一方面，通过对企业质量年报报送情况的评价，使得企业公开参与职业院校人才培养的积极性明显提升，助推了职业教育良好发展环境的形成，促进了职业教育社会地位的提升。
三是有利于提高职业院校质量意识。经过多年的发展，质量年报制度已为建立职业教育管办评分离奠定了基础，为政府管理教育、学校自主办学、社会评价监督提供了根基，为建立“依法办学、自主管理、民主监督、社会参与”的现代学校制度贡献了力量。质量年报合规性评价工作的开展以及评价结果的运用，对于职业院校进一步凸显质量意识，健全内部质量保证体系，优化院校治理，培育院校质量文化具有重要推动作用。
（二）质量年报合规性评价制度的发展脉络
经过多年来不同阶段的发展（图1），质量年报合规性评价逐步形成了由报送行为规范、基本内容规范、编制质量规范和职教类型特色规范“四维度”构成的职业教育质量年报合规性评价范式，实现了从点到面、从局部到整体、从教育内部到教育外部、从局部评价扩展到中高本一体化评价。
一是起步奠基期（2012—2014年）。伴随2012年国家首次发布高职质量年报，质量年报合规性评价制度由此创立并发展起来。虽然不同年度的表述与实施推进方式不同，但“主体规范报送”成为评价年报质量的一项重要指标。例如，2013年《关于2012年高等职业教育年度质量报告报送情况的通报》，针对各地年报的报送时间、应报未报送的省份和学校、未要求但主动报送的省份及学校予以通报，同时强调“将年报编制质量和报送情况作为国家项目评审和资金分配的重要参考”。2014年，从内容完备性、报送及时性等12个方面对全国省级年报进行综合性评价。这一时期主要为定性评价，强调应报尽报、准时报送，并开始关注省级年报内容的规范性，为合规性评价制度的深入实施奠定了坚实基础。
二是探索发展期（2015—2021年）。伴随国家大力推进职业教育高质量发展，职业教育评价从关注硬件建设转变为关注内涵提升，由此质量年报合规性评价的指标也从定性为主转变为定性与定量相结合。2015年，随着年报制度落实到所有独立设置的公办和民办高职院校，国家年报编制组首次针对院校层面展开合规性评价。
2016年，《关于报送高等职业教育质量年度报告（2016）的通知》明确委托《中国高等职业教育质量年度报告》编写组“对各《省级年报》和《院校年报》进行合规性检查”，旨在通过第三方评价督促质量年报实施主体提高年报编制质量。同年，国家鼓励高职院校特别是国家示范（骨干）校联系合作企业发布“企业参与高等职业教育人才培养年度报告”，凸显职业教育校企合作办学成效和特色，体现企业在职业教育中的重要办学主体作用。
2017年，年报编制通知要求《院校年报》首页增加院校法人代表签字的“内容真实性责任声明”，要求院校质量年报实施主体对年报及其附件的真实性、完整性和准确性负责，进一步促进年报规范编制。
2018年，国家中职教育质量年报首次发布，高职教育“国家—省—校”三级年报发布制度进入常态化，上海、山西等省份建立起常态化合规性评价制度。2019年，教育部要求各地对高职院校年报内容框架、报送工作和数据规范等方面进行合规性检查。国家年报编写组进一步完善合规性评价指标，细化了报告文本的篇幅、排版等质量维度。2020年，首个中高本一体化质量年报发布，各级年报全部面向社会公开，广东、山西等省份开展了中职年报合规性审核。
2021年，中职年报合规性评价的工作力度进一步加大。河南、山东、江苏、重庆等省份初步建立“省—市—县—校”四级中职年报评价制度；上海市创新实践了“三级审核”“真实性声明”和市区两级年报公示制度。
三是创新发展期（2022年至今）。随着职业教育类型的确立，职业教育质量年报体系框架基本成熟，合规性评价制度逐渐发挥出规范报送和提升质量的双重功能，其对于职业教育实施主体提升质量意识、聚焦人才培养和社会服务质量，具有重要的实践意义。2022年，由于政策要求更高、评价范围更广、评价对象更多、评价主体更多元，质量年报合规性评价迎来了全新挑战。构建“标准规范、一体设计、客观公平”的合规性评价指标体系，建立规范化、常态化、制度化的长效机制，成为回应新时期职业教育类型特征、回应社会对职业教育关切与期盼的一种应然状态。基于此，形成了以“报送规范、要素完整、质量达标、特色彰显”四个方面为基本特征的质量年报合规性评价指标体系。
（三）质量年报合规性评价制度的演进特征
任何制度都是长时期逐渐演进形成的。通过考察质量年报合规性评价制度的发展历程，可以看出该制度的发展同样是一个逐渐适应的过程，主要呈现以下特征。
一是合规性评价制度体现出增量递进的过程。从每一年度职业教育质量年报的通知要求可以看出，合规性评价制度是一个持续进行的实践智慧的缓慢增量过程。这种增量体现在评价主体、评价对象、评价内容等各方面的持续增加和完善，表现为：一方面，评价对象范围逐步覆盖。从国家示范性和骨干高等职业院校单位，新增省级示范高等职业院校，扩增到独立设置公办高等职业院校，再到民办院校在内的独立设置高等职业院校，再到中等职业学校，报告主体范围经历了由点到面、逐级扩增的过程；另一方面，作为一项综合性制度，质量年报合规性评价制度的评价内容表现出由定性描述转变为定量分析，再逐渐发展到定性与定量相结合，其符合一项制度建立的基本规律。
二是合规性评价制度体现出教育评价机制逐渐优化的过程。国家教育行政部门始终注重营造优良的职业教育宏观政策环境，通过第三方评价提升职业教育办学质量和治理能力，确保职业教育质量保证体系的有效运行。其中，对于质量年报工作的要求，由最初的“鼓励”到“要求”，由“指导”到“审核”，再到2022年的“严把质量关、内容关、程序关”，反映出国家对年报实施主体履行责任担当的要求程度，旨在通过自我诊断与改进实现教育质量的再提升；对于质量年报合规性评价，主要通过每年度赋予各地质量年报编制、发布、评价的自主权，鼓励实施主体研制评价标准，制定实施方案，组织开展评价，最终将评价结果作为政府履职的依据。
二、质量年报合规性评价制度的实践图景
经过多年的发展，质量年报合规性评价制度在评价主体、评价标准、评价对象等方面实现了持续优化与完善。以下以2022年为例，展示职业教育质量年报合规性评价工作实践的整体概貌。
（一）质量年报合规性评价的标准设计
评价标准是质量年报合规性评价的基础。根据评价对象覆盖职业教育所有层次的客观现实，2022年质量年报合规性评价首次采用人工智能技术，系统化设计中高本一体化的评价标准，即不区分一级指标和二级指标而只区分评价内容。最终形成《省级层面高职教育质量年报合规性评价标准》《职业本科学校质量年报合规性评价标准》《高职院校质量年报合规性评价标准》《省级层面中职教育质量年度报告评价标准》《市县级中职教育质量年度报告评价标准》《中职学校质量年度报告评价标准》等6个合规性评价标准。以下将以《高职院校质量年报合规性评价标准》为例，从评价指标、权值赋分等方面呈现2022年质量年报合规性评价标准的研制过程。
一是合规性评价指标的确定。根据《国家职业教育改革实施方案》《职业教育提质培优行动计划（2020—2023年）》《关于做好2022年职业教育质量年度报告编制、发布和报送工作的通知》等文件要求，按照全面性、可操作性、定性与定量相结合的原则，确立“基本要素、编报质量、类型特色”的质量年报合规性评价思路。基于原有评价标准，设计了包含3个一级指标、17个二级指标和27项评价内容的评价指标体系，涵盖年报编制内容、编制质量、编制特色、报送程序等各个方面（表1）。其中，“基本要素”用于评价文本的基本要素是否齐备；“编报质量”用于评价是否按时上报以及文本表达、逻辑结构、数据填报与分析质量；“类型特色”用于评价文本内容导向是否鲜明、案例是否典型、企业年报是否优质等。
二是合规性评价指标的赋值。根据指标的性质和重要程度不同，采用的赋值方法也不同。常见的赋值方法有百分比率法、非此即彼法、层差法、说明法、加分法、减分法和等级评价法等。质量年报合规性评价指标的赋值主要采用非此即彼法和层差法。“非此即彼法”是指评价对象只存在两种状态，即得分与不得分，不存在其他状态。例如，评价“基本要素”中是否包含量化分析（1分），如果“有量化分析，且数据准确”则得1分；如果“无量化分析，或数据有明显错误”则得0分。而“层差法”是指将评价内容分为若干层次，根据评价对象的实际状态，赋予相应分值。例如，对“基本要素”包含内容的评价（4分），如果“不具备该部分内容”则得0分；如果“包含1项内容”则得1分；如果“包含2项内容”则得2分；如果“包含3项内容”则得3分；如果“包含4项及以上内容”则得4分，即根据评价对象年报文本中包含内容的数量，获得相应的分值。
（二）质量年报合规性评价的结果呈现
基于质量年报合规性评价标准，采用专家现场打分与人工智能自然语言处理方法，对9297份质量年报展开合规性评价，其中，包括省级层面高职教育质量年报31份、职教本科学校年报29份、高职院校年报1411份、企业年报1745份，以及省级层面中职教育年报31份、市县级中职年报442份、中职学校年报5608份。由于篇幅限制，以下将主要针对省级层面高职教育和中职教育质量年报的合规性评价结果加以分析。
一是省级层面高职教育质量年报合规性评价结果分析。基于2022年省级层面高职教育质量年报合规性评价统计数据发现，31个省份质量年报“基本要素”“报送质量”“类型特色”得分率均值分别为：77.87%、75.22%和66.49%，三个版块的均值得分反映出省级年报得分能力普遍较好。其中，江苏省、山东省、北京市质量年报综合得分能力领先于其他省份。相对于《高等职业院校质量年报合规性评价标准》，《省级层面高等职业教育质量年报合规性评价标准》增加了“附加得分”板块，主要用于评价省级层面质量年报的履职尽责情况，以及省级层面质量年报报送和合规性评价情况。
二是省级层面中职教育质量年报合规性评价结果分析。基于2022年省级层面中职教育质量年报合规性评价统计数据发现，31个省份质量年报“基本要素”“编报质量”“类型特色”得分率均值分别为：68.58%、58.39% 、72.58%，说明省级层面中职年报在要素完整性和文本编报质量方面与合规性评价要求尚有差距，导致“基本要素”和“编报质量”的差异性高于“类型特色”，而“基本要素”和“编报质量”的得分率小于“类型特色”得分率。其中，湖北省中职年报综合得分能力领先于其他省份。相对于《中等职业院校质量年报合规性评价标准》，对《省级层面中等职业教育质量年报合规性评价标准》同样增加了“附加得分”板块，主要用于评价省级层面质量年报的履职尽责情况，以及省级层面质量年报报送和合规性评价情况。
（三）质量年报合规性评价的综合分析
通过对省级、院校级高职教育质量年报，省级、市县级、院校级中职教育质量年报，以及企业年报共计9 297份开展合规性评价，发现各层级质量年报基本符合合规性评价标准。具体表现为：绝大多数省级高职教育质量年报的基本要素、内容框架、典型案例、数据分析、类型特点等与合规性评价标准吻合；公办职业本科学校年报基本符合合规性评价标准，大多数民办职业本科学校“忧患意识”较强，“面临挑战”部分分析详细；1411份高职院校（不含29所职业本科学校）年报质量呈逐年上升趋势，广东、湖南、山东、浙江、江苏等5个省份高职院校合规性评价平均得分排名靠前；不同层面中职质量年报能够得到各级实施主体的重视，按照年报工作要求规范编制，体现出鲜明的地域特色，凝练出较多优质的服务国家战略、服务地方发展、服务行业企业、服务学生发展典型案例。然而，不同层级质量年报也表现出一定不足，主要包括以下内容。
一是主体重视程度有待提高。部分省份的质量年报存在套用格式、数据不准确、数据分析不足、案例未经提炼、内容欠缺整合等问题。就2022年中职质量年报而言，有些省份缺失《中等职业教育质量数据表》，有些省份未按照最新年报通知体例要求编写，有些省份上交的是修订稿件，有些省份的典型案例未经凝练，有些学校提交的是经验交流材料等；就2022年职业本科学校质量年报而言，企业年报报送数量较少且质量普遍较差，多数公办学校未能从“学生发展”“教学改革”“社会服务”等方面展示职业本科学校的办学成效，民办学校年报基本不符合合规性评价标准，未对数据进行量化分析，内容可读性差强人意，图片不清晰、目录排版不规范等问题普遍存在。
二是报告基本要素不够规范。相当一部分省份未能呈现国际合作与交流相关内容；部分院校年报的真实性声明不够规范，“六个附表部分”内容存在缺失状况；个别省份在年报内容撰写方面只进行总结式描述，不使用数据支撑，更不对数据进行分析，不使用案例或者有案例无标题，尤其在“政策保障”方面缺少典型案例；多数省份在“面临挑战”部分仅提出存在问题，未能针对存在问题提出可行性对策建议；报告各部分篇幅差异较大，有的省份“学生发展”部分占据一半以上篇幅等。
三是普遍缺少深入的量化分析。就总体而言，各省份质量年报的数据量化分析普遍不够充分。大多数学校仅列出数据表格，或进行简单的描述性分析，缺乏对数据的深入量化分析，未能通过数据分析揭示数据背后的深层原因与产生逻辑，缺乏对数据进行横向和纵向的动态分析以追踪质量的变化轨迹，未能充分发挥出质量年报数据分析的强大功能和决策引导作用。
四是省域之间差别较大。根据各层级质量年报得分情况发现年报存在“东部高西部低”现象，且呈现出差距逐渐扩大趋势。相比较而言，职业教育改革走在前列、区域经济发展较好的省份，年报编制质量相对较高，文字内容逻辑严密、层次条理、内容清晰、表述准确、措辞凝练、具有示范和引领作用，企业年报质量也相对较高。而就相同区域的院校而言，公办院校年报质量普遍好于民办院校、“双高”院校好于非“双高”院校。
五是企业年报质量有待提升。近年来，企业年报编写质量整体有所提升，报送院校数量逐年增加。然而，就报送数量而言，不同院校之间企业年报数量差异较大，有的学校企业年报提交数达到几十个，而有的学校企业年报提交数为个位或空值；就报送质量而言，部分院校未能从企业资源投入、参与职业教育改革的做法与成效等方面进行撰写，企业重要办学主体作用未能得到充分展现。
三、质量年报合规性评价的未来展望
对2022年全国职业教育质量年报合规性评价的实证研究，将进一步推动各地规范编制行为、健全内容要素、提升编写质量。而未来质量年报合规性评价制度的创新性发展应主要着力于规范化、标准化、数字化等方面。
（一）更加强调规范化落实
制度的背后是逻辑，逻辑自洽是制度正常运行的基础。质量年报合规性评价制度得以有效运行，必然需要理论自洽来支撑。作为规范职业教育质量年报行为的内部规则，合规性评价制度自然适用一般法治逻辑。法律规则包括假定条件、行为模式、法律后果三要素。如果规则缺乏法律后果，意味着违反了规定而不用承担任何责任，相伴随的是规则将不再得到遵守。如果以假定条件、行为模式、法律后果的法治逻辑去分析合规性评价制度，那么，目前质量年报合规性评价制度尚欠缺惩罚规则和法律后果的制度设计，这也许是部分实施主体未落实或未按要求落实合规性评价制度的理论根源。
因此，应当补全制度设计的法律后果，在理论上弥补合规性评价制度作为规制教育行政主体行为规范的逻辑缺陷，形成法治逻辑自洽。具体而言，一方面，可以从行政自治视角，将下级部门合规性评价制度的落实情况纳入部门绩效考核或考评，以此强化责任落实。督促各省级/市县级教育行政部门进一步规范管理，按照各年度质量年报的工作要求，做好省级/市县级合规性评价工作，严把质量关、内容关和程序关，确保各层级质量年报的编制、发布与报送质量。另一方面，可以从外部监督视角，强化第三方评估制度的落实。借助第三方评估力度督促落实合规性评价制度，继续委托国家年报编制组加大对质量年报的合规性评价，将未落实合规性评价的省份、市县、学校向社会公布，以公示倒逼制度落实。
（二）更加注重标准化建设
标准化是提高治理能力的重要抓手。当前，质量年报合规性评价制度未对年报发布的内容、载体、形式、流程等做出规范化指引使得现有合规性评价标准存在一些模糊空间。比如，哪些数据内容属于必须评价并强制主体必须向社会公示；究竟需要多少家企业参与质量年度报告，报告的内容具体包括哪些；质量年报在向上级报送前，需要履行哪些程序，有必要从起草流程、报送流程到公开方式等进一步加以细化。
因此，有必要强化合规性评价制度落实的标准化建设。首先，以省域为范围制定职业教育质量年报制度落实的指引文本，强化报告名称、格式、报送程序、公开方式等标准化建设，明确哪些数据、事例、制度属于强制向社会公布的内容，以供省域范围内相关部门和主体遵照执行；其次，坚持问题导向开展培训工作，针对年报中存在的普遍性问题，开展全国范围及省域范围培训工作，尽快提高各层级年报编制水平与质量；再次，制定适用于基层合规性评价的指引和标准简化示范文本，营造“手把手”指导基层做好年报制度落实工作的良好氛围。
（三）更加强化数字化支撑
数字化管理是现代化的重要标志。自2020年起，国家已为各地各院校报送和公开质量年报建立了数字化平台。当前，质量年报所涉指标内容尚不能在已有国家级相关数据平台中获取到全部，还需要结合其他公开数据、调查数据、媒体数据等，揭示事物现象的特性及相互作用关系和发展趋势。因此，尚不能完全呈现出明确的、不受主观影响的、经得起事实检验的数量结果。
因此，应当建立集数据填报、年报报送和发布于一体的质量年报数字化平台，以省域为范围加强对数字化平台的监督和管理。省级/市县级教育行政主管部门、院校需要设置职业教育质量年报专栏，结合当地主要宣传媒体，在每年度的统一时间向社会公众集中发布。在全面展示职业教育改革发展成效的同时，也方便社会公众检索查阅信息、提升社会公众参与职业教育的热情。
本文摘自《中国职业技术教育》2022年第19期，如有转载请注明出处。
引用本文请标注：宗诚，吉国庆，李波.职业教育质量年度报告合规性评价制度：内涵意蕴、实践图景与未来展望[J].中国职业技术教育，2022（19）：55-61.
扫一扫 关注