浙江君同智能科技申请基于教师模型输出重构的知识蒸馏方法专利，提高知识质量

金融界2024年12月21日消息，国家知识产权局信息显示，浙江君同智能科技有限责任公司申请一项名为“基于教师模型输出重构的知识蒸馏方法”的专利，公开号 CN 119150963 A，申请日期为2024年11月。

专利摘要显示，本发明涉及机器学习领域，具体为基于教师模型输出重构的知识蒸馏方法，对数据集预处理，得到能够直接输入教师模型的预处理数据集，并输入教师模型和学生模型，分别得到教师模型和学生模型各自对应的分类结果和输出logit，以此得到教师模型修正后的输出logit的概率分布以及非目标类别概率分布，以及学生模型的输出logit的概率分布；基于教师模型修正后的输出logit的概率分布以及非目标类别概率分布，与学生模型的输出logit的概率分布，进行知识蒸馏，对学生模型进行训练，从而得到所需的学生模型。本发明能够对教师模型输出概率分布进行重构，提高知识质量，完善知识类型，使得学生模型学习更加准确，优化模型压缩性能，有利于增强学生模型的泛化能力。

来源：金融界