前面我们通过LLM+向量数据库搭建了RAG,然后又将LLM和外部组件协作构建了Agent。
LLM作为AI的一个细分领域,LLM+也和AI+一样正在重塑各行业。
今天,我们来看看LLM和传统机器学习能碰撞出什么火花。
我们都知道,机器学习模型擅长从数据中发掘潜在模式,大语言模型擅长自然语言理解与生成。
但传统机器学习算法依赖人的经验去做特征工程,模型选择,调参等。那能否借助LLM的理解和生成能力去弥补传统机器学习的不足呢?这种融合新范式能否实现1+1>2?
先介绍一个工具Pecan,Pecan是一个基于LLM和机器学习模型实现预测的平台,然后通过一个用户购买可能性的示例来展示LLM和ML融合的潜在能力。
https://www.pecan.ai
第一步,需求分析
首先会有一个LLM助手与你沟通,目的是明确需求,根据需求确定任务类型。
目前Pecan中支持二分类、多分类和线性回归任务,Pecan会根据你的需求自动选择分类模型还是回归模型。
Pecan的第一个问题是:你想预测什么?
假设我是一个电商,我想预测用户是否会再次购买我的商品。
此时,Pecan会进一步细分需求,例如,确认目标群体、预测周期以及触发机制等。
例如,我想预测一个用户购买商品后在下一个月是否还会再次购买,如果没有,我将会采取一些激励措施,例如,发放优惠券等等。
第二步,数据集成
当Pecan明确我的需求后,会要求你上传数据,然后对数据进行初步分析。
当我上传历史交易数据csv文件后,Pecan会识别出列的名称和类型,并根据需求识别交易日期和客户ID这两个关键列。
第三步,数据预处理
Pecan基于前面的需求描述和数据,生成一个notebook,里面是对数据进行预处理的SQL语言,
首先会对数据进行简单的处理,例如,补全,清理,相关性分析等等。
然后,根据用户购买时间,去搜索下个月的销售记录,以此判断该用户是否再次购买,如果购买了,则该数据的标签为True,否则标签为False。
最终将用户特征和标签组织成机器学习模型可识别的训练数据。
在此过程中,如果对SQL代码不理解,还可以让AI帮你解释一下。
第四步,模型训练和预测
Pecan会训练多个模型,然后选择性能最好的。
这个过程中数据预处理,特征工程,模型选择都是几乎是通过自然语言完成的,而不需要过多的数据科学和机器学习经验。
每一次颠覆性技术的出现,对人类社会的思想冲击都很大,本文的目的不是介绍某个工具,而是向大家传送一个概念,那就是AI正在重塑各行业,让我们理解当下时代,拥抱AI,拥抱变革。