腾讯短文本对话专利获授权 又一个国产类ChatGPT产品？
天眼查App显示，3月17日，腾讯科技（深圳）有限公司申请的“短文本对话方法、装置、设备及存储介质”专利获授权。
此前有媒体报道，针对类ChatGPT产品，腾讯已经成立“混元助手”项目组，基于此前在AI大模型、机器学习算法以及NLP等领域的技术储备，持续投入AI等前沿技术的研发，进一步开展前沿研究及应用探索。目前腾讯的布局包括腾讯云TI平台、腾讯云智能数智人、文本理解系统、混元AI大模型等。
摘要显示，该方法包括：获取查询文本；调用基于语言模型的短文本对话模型对查询文本进行预测，得到回复文本；基于语言模型的短文本对话模型中设置有混合注意力层，混合注意力层同时包括自注意力机制和用于监督查询文本的注意力机制；输出回复文本。
该申请通过将S2S框架替换为基于语言模型的短文本对话模型，同时利用该模型中的混合注意力层对查询文本的隐层表示进行监督，使得短文本对话模型既能捕获长短距离依赖，也可以在预测时着重考虑查询文本的信息，能够生成语义上与查询文本密切相关，同时形式上较为丰富的回复文本。
