摩尔线程申请语言模型优化方法专利，有效提高预测效果

金融界2024年12月21日消息，国家知识产权局信息显示，摩尔线程智能科技（北京）股份有限公司申请一项名为“一种语言模型的优化方法及装置、电子设备和存储介质”的专利，公开号 CN 119150945 A，申请日期为2024年8月。

专利摘要显示，本公开涉及一种语言模型的优化方法及装置、电子设备和存储介质，该方法包括：基于训练语料中各个单词出现的频次，构建词频队列；从所述词频队列中，确定目标单词的第一参照单词和第二参照单词，所述第二参照单词为所述词频队列中比所述目标单词的频次高的单词；从所述第一参照单词和所述第二参照单词中，确定所述目标单词的正例和反例，并基于所述正例和反例构建对比学习损失函数；根据所述对比学习损失函数，对语言模型的参数进行迭代更新，所述语言模型基于所述训练语料构建。根据本公开实施例的方法能够有效提高优化后语言模型的预测效果。

来源：金融界