当前位置:首页|资讯|机器学习|大语言模型

当大模型遇到了传统机器学习,是生搬硬凑?

作者:人工智能大讲堂发布时间:2024-05-27

前面我们通过LLM+向量数据库搭建了RAG,然后又将LLM和外部组件协作构建了Agent。

LLM作为AI的一个细分领域,LLM+也和AI+一样正在重塑各行业。

今天,我们来看看LLM和传统机器学习能碰撞出什么火花。

我们都知道,机器学习模型擅长从数据中发掘潜在模式,大语言模型擅长自然语言理解与生成。

但传统机器学习算法依赖人的经验去做特征工程,模型选择,调参等。那能否借助LLM的理解和生成能力去弥补传统机器学习的不足呢?这种融合新范式能否实现1+1>2?



先介绍一个工具Pecan,Pecan是一个基于LLM和机器学习模型实现预测的平台,然后通过一个用户购买可能性的示例来展示LLM和ML融合的潜在能力。

https://www.pecan.ai

第一步,需求分析

首先会有一个LLM助手与你沟通,目的是明确需求,根据需求确定任务类型。


目前Pecan中支持二分类、多分类和线性回归任务,Pecan会根据你的需求自动选择分类模型还是回归模型。

Pecan的第一个问题是:你想预测什么?

假设我是一个电商,我想预测用户是否会再次购买我的商品。

此时,Pecan会进一步细分需求,例如,确认目标群体、预测周期以及触发机制等。

例如,我想预测一个用户购买商品后在下一个月是否还会再次购买,如果没有,我将会采取一些激励措施,例如,发放优惠券等等。

第二步,数据集成

当Pecan明确我的需求后,会要求你上传数据,然后对数据进行初步分析。

当我上传历史交易数据csv文件后,Pecan会识别出列的名称和类型,并根据需求识别交易日期和客户ID这两个关键列。

第三步,数据预处理

Pecan基于前面的需求描述和数据,生成一个notebook,里面是对数据进行预处理的SQL语言,

首先会对数据进行简单的处理,例如,补全,清理,相关性分析等等。

然后,根据用户购买时间,去搜索下个月的销售记录,以此判断该用户是否再次购买,如果购买了,则该数据的标签为True,否则标签为False。

最终将用户特征和标签组织成机器学习模型可识别的训练数据。

在此过程中,如果对SQL代码不理解,还可以让AI帮你解释一下。

第四步,模型训练和预测

Pecan会训练多个模型,然后选择性能最好的。

这个过程中数据预处理,特征工程,模型选择都是几乎是通过自然语言完成的,而不需要过多的数据科学和机器学习经验。

每一次颠覆性技术的出现,对人类社会的思想冲击都很大,本文的目的不是介绍某个工具,而是向大家传送一个概念,那就是AI正在重塑各行业,让我们理解当下时代,拥抱AI,拥抱变革。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1