越来越像“人”，如何防止生成式AI作恶？
文｜科技新知 沙棠
编辑丨伊页
2023年的“央视315晚会”，曝光了一些网络平台明目张胆地售卖直播水军，人气、播放量、点赞、评论等数据，均可24小时自助下单，达成烘托直播间气氛的目的。
根据报道，嘉兴宇禾文化传媒有限公司推出的云控系统，只需一台手机，即可同时操控200到20000台手机。为了让水军看起来更像真实用户，该云控系统还能事先设定批次、进入时间以及不同的发言内容等进入直播间，甚至还可以去竞争对手的直播间，自动投诉甚至抹黑。
互联网水军早已是一条成熟的灰色产业链，如今在生成式AI的加持下，技术又开始作恶了？
01、单条五毛到三块
“平时不需要做什么，只要在群里等着雇主发任务信息，收到后立马去私信雇主，他就会给你提供要发布的图片、内容和推荐话题，你直接在小红书上发布就好了。”
Jenny是一名大二学生，据她介绍，在小红书上发布这样的信息一般不需要重新注册账号，反而用自己的日常号更能体现出内容的真实性。雇主通常潜伏在二手转卖群、互助群等校园QQ群里，由于不是正式的官方群，鱼龙混杂的环境也成了雇主们播撒广告的掩护。
“我有三个小红书账号，最开始的时候接信息代发不管广告的类型，后来就是开始专门接考研和护肤类的广告代发。”Jenny说道。赶上考研网上报名和分数公布前后，这种信息发布得会更加频繁。“最好的时候，我三个账号一天共发布了七条。如果内容下面有评论时，你还可以去维护，当评论的点赞量过10，就能额外领取五毛钱。单条小红书内容点赞量过50，还能再得一块。这都是可以累计的。”
与小红书这样的种草平台类似，微博也是雇主们分发信息的聚集地。同样是三元一条，但微博的点赞量和评论就不会被记录在内。“不过最近的行情不太好了，以前一个月能发10-15条，现在整个9月份我还没有收到新的代发信息。另外，你如果能拉过来好友跟你一起发，一位同学好友就又能给你加3元。”
Jenny告诉「科技新知」，自己一开始只是想利用闲暇时间来赚一点零花钱，但随着接单次数的增加，“我发现这样替别人发一些不太靠谱的信息，也是在欺骗和我年龄相仿的人，自己的心里也过意不去。”
不过，像Jenny这样的大学生还属于水军产业链的低端，而在产业链中上游的玩家，他们可以凭借一己之力轻松制造网络声浪的海啸。
此前有媒体曝出，广州的李某用760元就能购买标价500元的10万“僵尸粉”、160元的2万点赞数和100元的1万转发数，最终导致李某女儿的班主任被网暴，引发广泛的关注。
水军产业链可细分为技术流、卡商、接码平台等多个环节。虚假的账号主要有两个来源，一种是水军团伙通过“养号”，即掌握大量手机和手机号，注册微信、抖音、小红书等各种平台后，进行一些规律性活动，如发表作品等，模仿真人的行为，用来躲避平台的审核机制。这些仿真号（又称“真人号”）成熟后，再交由电脑程序进行自动化的关键词抓取。
而另一种则是廉价劳工，客户需求通过平台发包，承包商通常再通过微信、QQ群或抖音等社交平台发布任务，一些兼职人员领取完成任务后，再兑换为相应报酬。
02、水军越来越像个“人”了
当你在网上冲浪跟人争论时，有没有想过，跟你对线的有可能根本不是人，而是一台机器。
2019年，芝加哥大学研究人员发布的一篇《在线点评系统中的自动众包攻击和防御》论文中说明，人工智能将有能力生成大量虚假复杂的点评信息，甚至机器和读者都无法检测和分辨其真伪。
比如下面的这段话，“我喜欢这个地方。我跟我哥一起去的，我们点了素食意大利面，很好吃。啤酒不错，服务也很棒。推荐这个地方，是个吃早餐的好去处。地儿小但是买卖大”。
尽管最后一句稍有拗口和歧义，但芝加哥大学的调研结果显示，这个评论不仅逃过了参与调研的600人的法眼，而且还被用户认为“有用”。
如今，生成式AI的出现，让水军的评论变得更像一个人的真实所说所写。有业内人士爆料，用AI所撰写的内容不仅产出快还丰富，只需要提前设置好想要的评论内容，比如直接抹黑、阴阳怪气或者拉踩等形式，然后通过机器人账号就能发布。
“一个人可以控制几十到上百个机器人账号，只要有人在网上发布关键词内容，被监控系统捕捉并对比成功后，就能让评论出现在内容下方。这已经是一条成熟的灰色产业链，并且用系统监控还有一个好处是能够快速出现在热帖的前部，也就是占据楼王位置。”
每个热帖其实都像一座摩天大楼。第一个进行回复的人，在短期内最容易掌控后续楼层的风向，同时也是去树立影响的最佳时机。比如你如果想推翻2楼的观点，可能就需要3和4楼同时反驳；如果想推翻2、3、4楼的观点，那就需要5-20楼所有人的齐心协力，并以此类推。越晚发言的人，话语权的权重就越低；发帖越晚的人，就越容易受到风向的影响。
事实上，国外的生成式AI水军更为泛滥。ChatGPT未爆火前，网络分析师With Secure就发布了对其ChatGPT 3实验的全面描述。实验中，With Secure通过捏造网络上的点评来诱导并操纵真人作出错误的决定。
With Secure一共进行了两次实验。第一个社会验证实验包括对人工智能进行编程，编写一系列虚假的促销信息和客户反应，创造出与NFT相关的“投资机会”得到广泛认可的假象。由于去年虚拟货币领域出现了大量的“拉高和抛售”骗局，代币持有者使用单独的账户在网上购买并人为地夸大代币已经较为常见。因此，这一实验并不能完全证明AI诱导真人的可能性。
但当With Secure要求ChatGPT 3写一系列推文，暗示真人出于“冒险”吞下汰渍荚（一种摄入后有毒的清洁产品）并安然无恙时，AI就开始变味了。
它首先创建了一个问答，并附上相关话题。内容是：“挑战你尝试一些新东西——吃一个汰渍荚。让我们知道你是否做过以及味道如何。#Tide Pod Challenge#Tide Pod Experience。”
随后用另外的账号模仿网友语气并发布说道：“有冒险精神吗？尝试热门的新挑战——吃汰渍荚。与我们分享您的体验，让我们知道味道如何。#Tide Pod Challenge#Tide Pod Experience。”
紧接着ChatGPT 3撰写虚假的挑战反馈：“是的，我参加了#Tide Pod Challenge，这不是我所期待的，它有一种奇怪的味道，但还不错。”另一篇则热情地写道：“我做到了。我吃了汰渍荚，令人惊讶的是，它并没有那么糟糕。#Tide Pod Challenge#Tide Pod Experience。”
With Secure最后总结道，ChatGPT 3能够使人的“意见发生转移”，利用人工智能技术编写“真实”的宣传内容，可以用于引导公众对关键事件的舆论。
03、冰山之下还有多少？
近年来，在明星热搜打榜、软文广告推广、商品服务推出、自媒体流量等互联网活动中，都有水军的身影。
与之前相比，随着AI、大数据等技术的发展，水军的攻击方式或手段有了很大变化，主要体现在以下三方面：从早期单一的兼职刷单，到如今的多行业、多场景、多任务的广泛渗透；从早期的只在PC端进行单一手法的兼职，到如今以移动端为主；从早期的线上群组媒介（QQ群、YY语音等），到如今的平台化和裂变化。
而网络黑灰产之所以能发展至今长盛不衰，关键是形成了一个分工明确、协助紧密的成熟产业链，分为上中下游三个环节。其中，上游提供资源和技术，下游进行作恶和变现，而中游则连接上游和下游。
整个产业链中的关键环节，包括上游能否持续稳定地提供可靠的资源和技术，下游能否有稳定的变现途径或渠道，中游能否高效地连接上游和下游，保持稳定的供需关系。如果这几点都不出问题，整个商业模式的运作就会很顺畅。
“水军”的运作模式可分为两类：一是“发布信息型”。“水军”接到任务后，在其“货源”平台购买相关服务，如增加点赞数、评论数或对企业负面新闻进行“优化”。“货源”平台自动打包至下一“货源”，每一“货源”平台均赚取其中的差价，最后完成该任务的是“水手”或者由黑灰产业链批量养的“僵尸号”。
二是“删除信息型”。“水军”在接到删帖业务后，对客户要求删除的内容进行“验单”，即对需删内容的难易程度进行评估，再收取相应服务费，并进行二次转包。在这过程中，删除的方式可细化为替换、屏蔽、删除三种。
黑灰产的冰山已经形成，但如何严打灰黑产业链一直存在众多现实难点。广州大学法学院院士欧卫安表示，涉及相关领域的法律较为零散，尤其在民法领域，对相关行为的认定存在一定争议。此外，由于越来越多的网路黑灰产业租用境外的云服务器或者使用美国手机号，甚至雇用境外人员从事相关违法行为，打击层面存在调查难、取证难等诸多难点。
但AI是否向善还是作恶，背后完全取决于使用它的人。或许有一天，我们也能看到正义的AI工具自动去清除那些AI水军，还给用户一个干净的互联网环境。
（文中人物为化名）