机械人行业报告：机器学习与因子：Transformer 特征工程算法测评（附下载）
今天分享的是机械人系列深度研究报告：《机械人行业报告：机器学习与因子：Transformer 特征工程算法测评》。（报告出品方：浙商证券）
精选报告来源公众：人工智能学派
报告共计：22页
【报告内容摘要如下】
Transformer算法
Transformer算法通过ChatGPT展示出了其在自然语言任务中的强大性能。股票投资场景和自然语言任务有内在相似的地方，比如金融时序任务可以被看作Seq2Seq任务，而Transformer正是该领域的主力算法。因此，本文尝试在股票投资场景探索Transformer算法的使用。
算法简介
Transformer算法是自然语言处理（NLP）任务所流行使用的深度学习模型。它在机器翻译，文本生成等任务中取得了显著的突破，并逐渐成为NLP领域的重要模型。为人熟知的ChatGPT,BERT等模型的底层算法就是Transformer。
在此之前，循环神经网络（RNN）和卷积神经网络（CNN）是常用于NLP任务的模型。然而，RNN存在难以并行计算和处理长距离依赖的问题，而CNN则对输入序列的长度有限制。这些问题限制了它们在处理长文本序列时的效果。
Transformer算法通过引入自注意力机制（self-attention）来解决这些问题。自注意力机制允许模型在处理每个位置时，能够同时考虑到输入序列中的其他位置，从而捕捉到更长距离的依赖关系。此外，Transformer还使用了多头注意力机制（multi-headattention），通过并行计算多个注意力头来提高模型的表达能力。
Transformer工作流程
Transformer算法可以完成从序列输入到序列输出的任务。其工作流程如图1所示。首先，输入序列被获取，并且位置编码被添加到输入序列中。然后，输入序列被送入Transformer模型进行计算，以获得输出结果。
Transformer特征工程
本文使用Transformer算法，对个股因子和个股次月预期收益率之间的关系进行回归，并测试算法在该任务中的性能。由于Transformer的一大优势是能处理Seq2Seq任务，因此输入数据为T×N的面板数据，其中T为时间步长，N为特征维度。数据频率为月频。
为客观比较特征工程算法之间的性能，本文使用与《机器学习与因子（一）：特征工程算法测评》同样的因子池和样本内、外划分方法，并将文章中测试过的模型作为比较基准。
【内容看点】
- Transformer 工作流程
- 数据采集与处理
- 输入因子构建
- 模型训练
（本“人工智能学派”已获上百家出品方授权。本文仅供参考，不代表我们的任何立场。如需使用相关信息，请参阅报告原文，内容版权归原撰写/出品方所有。）
报告共计：22页
受篇幅限制，仅列举部分内容。
海量精选报告来源公众号“人工智能学派”