基于大模型的金融风险预测：画像微调
介绍一篇arXiv2023论文：FinPT: Financial Risk Prediction with Profile Tuning on Pretrained Foundation Models
文章提出了使用大语言模型和用户画像数据进行金融风险识别的方法，用户画像数据包括性别、年龄、教育程度、收入等，都是结构化数据。因此所提出的模型对于如何在大语言模型中使用结构化数据有一些参考价值。
文章中使用的大模型包括：Bert、FinBert、GPT-2、T5、FLAN-T5、LLaMA，其中FinBert是使用金融文本在金融情绪分类等任务上对Bert进行微调得到，FLAN-T5是使用零样本或小样本学习任务进行指令微调的T5。
论文实验中识别的金融风险包括：信用卡逾期、金融欺诈、客户流失。
FinPT的模型结构如下，包括三个步骤。
第一步是对结构化的画像数据转换成自然语言文本S（实际上是构造一个指令-instruction文本）；
第二步是使用S对大模型（文章采用ChatGPT、GPT-4之类的）进行指令微调，生成画像的自然语言流畅表达T；
第三步是使用T对上述提到的大模型LLaMA等进行微调（即画像微调），微调方式是对于一个训练样本构造5个不同的prompt样本，如 Profile: p_i, Answer: y_i
同时在大模型输出端增加一个前馈神经网络，在冻结部分参数（实验包括：FuLL、LAST）后进行分类器训练。
训练数据需要事先人工标注，不同风险识别任务的数据特征及规模如下：
需要考虑的问题是：
（1）第三步骤的大模型在这里发挥了什么作用？
（2）为什么仍然需要比较多的用户画像及其标注数据做训练？