柯氏评估与PDCA融合的机型培训质量体系研究

赵世伟¹  齐  鸣¹  杨海涛²  田子都¹  

（1.中国民航大学 工程技术训练中心 天津 300300；2. 中国商飞上海客户服务有限公司 上海 201100）

[摘  要]：现代民机维修培训建立健全反馈与优化体系，有助于培训质量的监控和持续提升。本文基于柯氏四级评估理论和PDCA循环优化模式，并以维修任务和教学组织管理为导向，构建了以课程评估为核心的课程优化体系，阐述了对培训过程中不同层面评估的方法和要求，并从不同层面出发，提出了优化的流程和目标，实现了机型维修培训反馈与优化工作程序的规范性和实效性。

[关键字]：机型培训；反馈与优化；柯氏四级评估；PDCA循环。

[作者简介]：赵世伟( 1980-) ，男，河北石家庄人，硕士，中国民航大学副教授，主要研究方向为航电实践教学，航空维修管理。

基金项目：2018年工业和信息化部“民机专项”(No. 2018SACSC-035JS)【名称无，因为项目特殊性，不建议增加基金题目】

[中图分类号]：G642.0   [文献标识码]：A   

1、机型维修培训反馈与优化体系现状

近年来民机维修人员素质要求逐步提高，迫切需要机务维修培训课程提质增效，提升维修人员技术能力，因此民机机型维修培训质量和成效日益受到行业关注，培训效果反馈与内容优化工作的重要性和紧迫性日益凸显,已成为民机持续健康发展不可或缺的支撑。

目前国内众多民机维修培训机构的课程质量管理体系普遍存在缺陷^[1]-[2]。首先，维修培训机构重视培训能力申请和课程开发，而不关心内容持续改进，甚至培训教材、资料多年没有改进。其次，维修机构的课程质量体系中评价机制和优化方法有待改进。通常维修培训机构按照法规建立了课程质量体系，但是课程评价维度、频度存在随意性，基于评价结果的课程优化主体责任往往不清晰。最后，维修机构的课程开发体系并不完善。我国民航机队主要由欧美国家生产的飞机组成，长期受制于技术垄断，习惯“拿来主义”，按照制造商提供的培训资料开展培训，缺乏从源头开始进行开发、改进的经验累积。

随着国产民用大飞机的加速推进，作为民机运营的主要支撑，机型维修培训课程的质量关系重大。为此民航局发布咨询通告AC-66-008《维修人员机型资格规范评审及评审结论的应用》明确“航空运营人、维修单位或维修培训机构应当参考航空器评审报告中认可并由制造厂家发布的机型维修培训规范编制自己的机型、差异或补充维修培训大纲，并根据机队实际构型确定适用的培训课目。”也就是未来的机型维修培训课程基于统一的机型维修培训规范，但是体现出各自不同的特色，这对于课程持续优化改进提出了要求。

柯氏评估模型^[3]是世界上最广泛的培训评估工具。PDCA戴明环^[4]是一种全面质量管理的理论。本文依托两种理论，探索形成一套适用于民机机型维修课程的质量管理体系，目的是持续提升机务维修培训课程质量，进而提升机务维修能力，为我国民机事业发展壮大提供动力。

2、柯氏评估理论和PDCA理论简介

目前机型维修培训整体是基于教学系统设计理论，按照ADDIE^[5]（(Analysis、Design、Develop、Implement、Evaluate）模型进行开发，其中的“E”即为课程反馈环节，需要进行课程评估和课程优化，如图1所示。本文以柯氏评估理论为基础对机型维修培训课程的反馈评估进行研究，并以评估体系作为课程优化的核心，借助PDCA理论建立持续提升机型维修培训质量的课程优化体系。

图1 机型维修培训课程管理体系流程图

2.1柯氏反馈评估理论

柯氏评估理论该评估模型通常分为四层级^[6]，包括反应层，学习层，行为层，结果层。反应层评估考量参与培训人员对教学设计和安排的响应情况，例如对培训方案、内容、时间安排等。学习层评估是考察培训学员的知识、能力和态度意识获得情况。行为层评估是考查培训前后行为的改变和提升，也就是培训对参训人员的知识、态度、思维方式、行为表现等方面产生的正面影响，如图2所示。结果层评估是评估培训效果收益及绩效的提高情况，衡量培训为个人、组织及社会效益所提供的实际贡献。四层级高度相关，低层级评估是更高层次评估基础，高层级评估为进一步优化低层级评估提供依据。

图2 课程评估四层级示意图

2.2 PDCA循环优化理论

PDCA循环优化是质量管理的有效工具，目前大量企业质量管理中得到应用，并取得了良好的效果^[7]-[8]。该理论将目标优化程序分为四个阶段：P(Plan)计划，确定工作目标、制定工作计划等；D(Do)实施，根据确定的计划、设计的方案等进行具体的运作,实现计划中的内容；C(Check)检查，总结执行计划的结果，分析效果；A(Action)处理，对检查的结果进行处理，对成功的经验予以肯定，将存在问题进行总结，若存在没有解决的问题则提交到下一个PDCA循环。

PDCA循环优化理论通过持续改进，在每一次循环中及时总结经验，固化成果，实现课程质量的持续提升，PDCA循环优化过程示意图如图3所示。

图3 PDCA循环流程示意图

3、机型维修培训课程反馈与优化流程体系的设计

机型维修培训课程主要由培训大纲和培训资料、培训组织形式与培训人员、培训实施方式以及培训设备和设施等要素构成，课程质量体系的目的是对四要素质量进行改进和提升。培训课程质量体系包括课程反馈评估、要素优化两个环节，这两个环节既紧密联系又有所区别，课程反馈评估是课程优化基础，课程优化是反馈评估目的。

3.1 机型维修培训课程反馈评估

机型维修培训课程的主要利益相关者包括培训学员、教员、维修机构和监管局方。培训学员是授课对象，其培训效果的优劣，与培训课程质量息息相关；教员是课程实施的执行者，直接面对学员，对学员培训效果产生直接影响；维修机构是课程的持续受益者，高水平维修人员是维修机构的核心竞争力；局方代表民众对民机维修进行监督，高水平维修人员能够有效提升民机维修的安全性。本文所述培训课程反馈评估围绕着培训学员、培训教员、维修机构和监管局方进行设计。

3.1.1 面向学员的反馈评估设计

依据柯氏评估理论，培训课程反馈评估可以分配在培训课程实施前、实施中，和培训完成后三个阶段，开展反应、学习、行为、结果四个层次评估，不同培训阶段开展的评估层次、内容如图4所示。

图4 面向培训学员的反馈评估程序

培训课程实施前可以安排学员反应评估，具体形式可采用调查问卷或门槛测试。重点了解培训学员工作背景、培训期望、知识体系等信息。利用所收集信息，确认学员培训资质，从而有效避免培训失败；此外可以辅助教员及时调整培训内容重难点、培训方式等，适应学员学习习惯，提升培训效果。培训实施前反应评估能够切实体现“以学员为中心，以规章为准绳”的培训理念，将规章要求真正落到实处。

培训过程中实施反应评估和学习评估。反应评估借鉴ICAO TPP TDC培训课程反馈体系模式，结合机型维修培训课程特点，理论课程按照章节，或者章节组合进行反应评估，实作课程按照项目或者项目组合进行反应评估，课程结束后进行课程整体的反应评估，从不同角度评估关键培训课程要素的质量。反应评估以调查表形式开展，调查主题依据培训进度各有侧重，调查表部分建议主题及条目如表1所示。

表1 培训过程中学员反应评估调研建议主题

学习评估按照局方规定采取传统闭卷考试的方式开展评估，同时应综合学员反应评估的情况，综合反应学员培训课程的收获情况。

培训课程结束后实施行为评估和结果评估。行为评估和结果评估是目前比较难以开展的评估，因为学员经过培训后到指导工作，改变行为存在时间延迟，一般认为培训后3-12个月内评估最为合适，其中6个月间隔是最常用的时间，而从改变自身行为到实现培训收益需要的时间间隔会更长，通常有2-3年的时间，并且受到评估成本的制约。综合多方面因素，本文建议在行为评估和结果评估方面采用基本相同的方式，以时间间隔加以区别。综合评估成本和评估效果，采用调查问卷的方式开展，调查表分为两种：一种面向培训学员自身或其周边同事，另一种面向学员所在的单位，建议的调研主题如表2所示。

表2 行为评估/结果评估调查建议主题

培训后的行为和结果层评估应进行多次调查问卷，多次调查结果能够反映的情况更加客观真实。此外，也可采用座谈或者访谈方式进行，这样能够促使被调查者能够在更深层次进行思考和描述。由于此种方式成本较高，需要与评估效果与评估成本方面进行综合评估确定。

3.1.2 面向教员的反馈评估设计

面向培训教员的反馈评估程序可以分为两个阶段：培训课程实施过程中和课程完成后，反馈评估采取评估单和调查表相结合的方式。培训课程实施阶段调查主要是教员针对培训方式与手段、培训设备与设施的选择使用，同时采用培训机构督导组、同行教员随机抽选进行听课评估，若是遇到教员讲授新课程，需要在课程实施前进行新课评估。培训课程完成阶段的调查可通过调查表的方式评估关键课程要素中存在的问题和困难，用于课程后续的优化，建议的调研主题如表3所示。

表3 面向培训教员的调查建议主题

3.1.3 面向维修机构和局方的反馈评估设计

面向维修单位的反馈评估分为培训课程实施前和完成后两个阶段。培训课程实施前主要用于确定维修单位的预期培训需求，培训课程实施完成后对于维修单位的反馈评估可以结合培训学员行为层和结果层的评估调查共同开展，从而确定培训学员实际培训效果和维修单位的预期差距情况。

面向监管局方的反馈评估配合局方定期检查进行。通常局方负责多个维修培训机构的监管，并且从宏观到微观多个层次与飞机制造商交流，因此对于机型维修中存在的共性问题，维修的先进理念和成熟技术的理解具有天然优势。面向局方的机型维修培训课程反馈评估采取以会议研讨、座谈会等方式进行，为培训课程内容建设，培训资料优化、教学设备设施更新等保驾护航。

3.2 机型维修培训课程改进优化

课程反馈与优化体系分为计划、实施、检查和处理四个阶段。计划阶段，依据对课程反馈的评估结果，分析适航规章和维修人员岗位职责，进行机型维修培训需求的分析和培训课程的设计。实施阶段，按照大纲的培训目标和课程的设计标准，设置不同的课程类型，按照各类课程的培养方案制定教学资料、分配教员、选择教学场所、配备教学设备，并完成课程的组织和实施。检查阶段，对教学实施后的教学效果进行检查,及时发现教学中存在问题,并对课程开发和实施过程进行再次评估，完成分析和总结。处理阶段，找出问题的解决方法,不断提升教学质量,建立更高的发展目标。然后根据新的发展目标去完善培训大纲,并重新设计课程开发和培养方案, 再次实施、检查,找出存在的问题,提出解决方案并实施。如此反复,教学质量可持续上升，如图3所示。

（1）在培训课程实际讲授过程中的检验

在完成上述各环节的优化工作后，与用户、厂家及局方多方沟通，收集整理得到初步认可的优化方案，对这些新方案进行整合，便可形成新的机型维修培养方案，并以此为依据，实施教学管理和教学内容的改革，在教学实施的过程中对这些新方案进行再次检验，从中筛选出经过实践确认仍然获得成功的优化案例，同时，在教学过程中，也会发现新的问题以及在上一次优化过程表现效果不好的案例，最后，在课程结束，将获得成功的优化成果进行固化，形成新的培训大纲或培训管理制度，继续应用于下一次和其他机构的培训中。收集在本次课程实施过程中发现的新问题以及不能获得成功的优化案例，转入下一次的PDCA优化流程，实现对培训课程的持续改造。

（2）在培训需求和课程设计层面的优化

根据反馈意见，从需要调整的培训目标中解析出对应的维修任务和子任务，并对这些任务进行分类和归纳，将其总结为保养、拆卸/安装、调整/试验等工作类型，再逐个分析受训者执行不同类型任务的困难性、重要性和频繁性，最后，按逻辑分析法在这些维修任务中挑选出需要增减的培训内容。经过对培训需求的分析后，结合学员的工作岗位需求，将已更新的培训知识点按照这些岗位的类别，从ATA章节和难度等级上进行重组，进而对同类岗位培训课程的教学内容、教学手段及考题进行改造，完成对课程的重新设计和优化。

（3）在课程开发和课程实施层面的优化

通过对反馈问题的收集和整理，分析存在这些问题对应的学员岗位、教员、课程、教学设备、培训场所及培训机构，归纳问题的特点，从不同的反馈结果中发掘出存在于教学资料编制、教员培训、课程编排、教学手段、教学设备和环境、培训管理制度等方面的共性问题和个性差异，寻根求源找出症结，精准解决在课程开发和实施过程中各环节出现的影响教学进度发展和教学目标实现的因素，在保证符合规章要求和学员安全的框架下，尽可能做到因材施教并提高教学过程的效率和效益，建议的优化内容如表4所示。

表4 课程开发与实施优化项目表

4、结语

在机型维修培训课程管理体系中融入以课程评估为核心的PDCA循环优化模式，可帮助培训机构看到课程反馈与优化的重要意义并引起重视，通过引入该模式可规范培训机构将反馈评估与课程优化的具体方法转变为工作程序，便于形成集中统一的标准流程，并最终实现制度化。同时，借助柯氏四级评估理论和以维修任务为导向的优化方法等科学高效的研究方法，可保证评估与优化结果的准确性和实效性，加快课程的改进速度，实现培训质量稳步提升。

[参考文献]

[1] 吴月伟,刘燕,冯建朝,任仁良.国内民航机务维修培训体系的现状与发展[J].航空维修与工程,2014(01):21-24.

[2] 卞林杰.国内民航机务维修培训体系的现状与发展[J].内燃机与配件,2019(21):186-187.

[3] 马向南,刘清.国内外培训效果评估方法综述[J].继续教育研究,2020(05):57-60.

[4] 韩叶,蕾蕾,周梦韵.浅谈制度建设如何助推企业提质增效[J].现代商业,2021(12):135-137.

[5] 马李昕,董本清.ADDIE模型在学习平台中的融合设计[J].软件工程,2019,22(11):39-41.

[6] 林祝君,冯学东.如何做好培训评估—柯氏四级评估法[M].北京:电子工业出版社,2015:22-82.

[7] 吴小凡.浅谈PDCA循环在制度优化中的应用[J].中小企业管理与科技(中旬刊),2021(05):130-131.

[8] 姜文鑫.浅析PDCA在机务维修培训机构质量管理系统中的应用[J].侨园,2020(01):76.

Research on quality system of aircraft type maintenance training course based on Kirkpatrick evaluation model and PDCA Cycle Theory

Shiwei Zhao¹ Ming Qi¹ Haitao Yang² Zidu Tian¹

(1.Engineering Techniques Training Center Civil Aviation University of China Tianjin  300300;  2.COMAC Shanghai Aircraft Customer Service Co.,Ltd Shanghai 201100)

In the modern civil aircraft maintenance training, the establishment and improvement of feedback and optimization system will help to monitor and improve the training quality. Based on the four-level evaluation theory of Kirkpatrick and PDCA cycle model, and guided by maintenance task and teaching organization management, this paper constructs a curriculum optimization system with curriculum evaluation as the center, depicts the methods and requirements of different levels of evaluation in the training process, and puts forward the optimization process and objectives from different levels, The normalization and effectiveness of the feedback and optimization of the working procedure of the machine maintenance training are realized.

Key words: Aircraft Type Training; Feedback and Optimization; Four Levels of Kirkpatrick Model; PDCA Cycle