AI大模型专题：机器学习与因子，Transformer 特征工程算法测评
今天分享的是人工智能AI大模型研究报告：《机器学习与因子（二）：Transformer 特征工程算法测评》。
研究报告内容摘要如下
Transformer作为ChatGPT的底层模型，展示出了其在自然语言任务中的强大性能。股票投资场景和自然语言任务有内在相似之处，金融时间序列可以被看作文字序列，且Transformer在处理长期记忆和变长序列任务中有优势。因此，本文尝试在股票投资场景测试Transformer算法的特征工程能力。
基于Transformer构建特征工程模型
本文以带时间步长的多维因子作为输入数据，以股票的次月回报作为标签，逐步测试了各个超参数对Transformer模型的影响，并最终确定了月频调仓场景下应用于股票特征工程的模型架构。
Transformer算法能有效对特征加总
经训练的Transformer模型在样本外能有效对股票特征进行加总并筛选股票。经过中证1000、中证500、沪深300和全市场股票池的检验，模型能有效筛选出股票组合，从而对基准指数或空头组合形成稳定超额。经测试，基于Transformer的特征工程模型IC为0.047，IR为0.69。
Transformer对比其它算法无明显优势
在相同的场景设定下，本文对比了Transformer和《机器学习与因子（一）：特征工程算法测评》中测试的其它十种机器学习模型，Transformer并未体现出明显优势。可能的原因是月频样本的数量难以满足大参数模型训练要求。
（报告出品方：浙商证券）
报告原文内容节选如下：
下载资料，公众号《幻影视界》。
（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）