热闻|9.9元一套写真，数千人排队“尝鲜”，生成式AI风险多
上传20张以上照片，再支付9.9元，选择喜欢的模板，生成自己的“数字分身”，效果以假乱真，堪比市场价几十元甚至几百元的艺术照。最近，一款名叫“妙鸭相机”（以下简称“妙鸭”）的小程序在互联网上火爆出圈。
9.9元的平民定价、简单的玩法、惊喜的效果，加之裂变技巧，不到一周时间，妙鸭相机就成为爆款。在使用高峰，一晚上就有 5000 多人排队使用，用户可能要等上几小时甚至十几小时，才能拿到属于自己的作品。有网友直言：“和线下动辄几百上千的拍照体验相比，真是太香了。”
随着社交媒体上越来越多用户分享着这份“9.9元带来的快乐”时，争议问题也随之而来，网友开始担心上传那么多个人照片，安全吗？应用方是否会将用户照片挪作他用？若上传的照片被用于AI模型训练，那用户的一些面部特征是否会出现在其他地方的生成图片？而这些不仅仅是妙鸭相机，也是更多需要上传照片的相机应用所面临的问题。
网友们的担忧并不是完全没有道理，毕竟随着AI模型迭代，训练数据集的扩大、算法的迭代以及算力水平的提升，AI生成内容越来越逼真，内容侵权、信息造假、AI欺诈等风险让人不得不在心里多留几个心眼。
据上海辟谣平台调查发现，妙鸭是生成式人工智能（AIGC）技术的一种应用。生成式AI将改变工作方式、重塑商业模式，越来越多的企业已开始积极探索相关应用，以期提升创新效率、实现高质增长，随着它的走红，如何预防技术风险和信息安全风险，显得愈发重要。
AI相机靠谱吗
生成式AI带来敏感个人信息泄露风险
朝阳区居民阿珊表示，看到大家在朋友圈发妙鸭相机生成的照片，很想尝试。但在体验中发现需要上传20张照片，这一要求直接将其劝退，“向一个APP里传这么多我的照片，感觉很不安全”。
一次性上传20张照片才能生成“数字分身”的前提同样劝退了从事技术工作的孟小姐，“我看了同事的成品，发现最后的结果与上传照片质量很有关系——上传的照片越清晰、越正面，最后产生的作品越真实。但是，我把自己的照片交给这样一个小程序，安全吗？我上传的照片，以及生成的图片，企业会妥善处理吗？”她还做了一个实验：使用妙鸭生成的画像，能成功骗过那些采用图片比对进行人脸识别的应用，“如果有人用我的‘数字分身’从事不法行为，我能免责吗？”
妙鸭小程序的自我介绍
使用过程中需上传20张不同角度的个人照片，获取了大量的人脸信息。根据《个人信息保护法》的规定，这是生物识别的信息，属于敏感的个人信息。
对此，北京航空航天大学法学院副教授赵精武认为，存在数据泄露、内部员工擅自对外非法出售、超期留存、超范围使用等安全风险。
当然，妙鸭相机并非个例，随着越来越多AI生成类应用普及在生活中，关于隐私和创新的平衡，将迎持续考验。
如果有商家将用户照片进行二次利用或传播，对用户的名誉权、隐私权、肖像权都会造成侵害。
还有一些不法分子用AI换脸的方式制作淫秽视频牟利，还会构成传播淫秽物品牟利罪。民法典规定，任何组织或个人不能丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。
“强势”用户协议惹争端 用户安全难以保障
早在上线之初，妙鸭“强势”的用户协议，已备受诟病。
有细心的网友发现，“妙鸭相机”一开始在用户服务协议中写道：“您特此授权我方在全世界（包括元宇宙等虚拟空间）范围内享有永久的、不可撤销的、可转让的、可转授权的、免费的和非独家的许可，使得我方可以任何形式、任何媒体或技术（无论现在已知或以后开发）使用您的内容”。
不少网友表示，该用户服务协议中授权许可的表述过于霸道，质疑其有没有保障用户隐私和数据安全。
妙鸭相机原用户协议截图
上述协议引发质疑后，“妙鸭相机”在其公众微博平台发布协议修改公告称：您所上传的照片只会用于数字分身制作，不会提取也不会用于识别和其他用途，且分身制作完成后自动删除。
妙鸭相机公告截图
对此，众成清泰（济南）律师事务所律师陈怀远表示，即便是更改后的《隐私政策》及《用户协议》中，也无法承诺用户个人信息的绝对安全。
存在“尽管已经采取了上述合理有效措施，并已经遵守了相关法律规定要求的标准，但请您理解，由于技术的限制以及可能存在的各种恶意手段，在互联网行业，即便竭尽所能加强虽安全措施，也不可能始终保证信息百分之百的安全，我们将尽力确保您提供给我们的个人信息的安全性”的表述。
关于授权部分的内容，陈怀远表示，确认《用户协议》的同时，将用户平台发布上传的内容免费授权给了公司，此外，还将维权事宜直接授权给公司或公司委托的第三方。这样一来，在使用妙鸭相机的过程中，关于用户个人信息的用权与维权始终无法得到全面保障。
“李逵”还不完善，“李鬼”蠢蠢欲动
值得一提的是，在预防新应用的风险方面，消费者还要当心“蹭热点”中的风险。
以妙鸭相机为例，市场热议的产品由未序网络科技公司运营，目前仅通过微信小程序提供服务。但在苹果手机的App Store以及安卓应用市场中，以“妙鸭”“妙鸭相机”为关键词搜索后，显示出很多与妙鸭及其开发企业完全无关的应用软件，其中部分产品的名称与logo与妙鸭很是相似。也就是说，刚刚亮相的妙鸭已经遭遇了“李鬼”。
查看这类应用软件，大部分也主打AI绘画、AI头像生成，开发者既有企业也有个人，很难依靠短短的软件介绍来判断其可信度。记者试用这些软件发现，同样得上传大量照片。
这些应用软件的安全性有保障吗？不依靠技术手段和监管力量，无法确认。
对此，妙鸭相机团队发布公告，近期网络上出现多个假冒“妙鸭相机”的产品、仿造“妙鸭相机”官方渠道的账号、软件和小程序，给消费者造成严重的信息安全隐患。
上海市消保委点名妙鸭相机不退款涉嫌侵害公平交易权
据上海市消保委微信公众号，近日，上海市消保委微信团队的工作人员也尝试了一把。可是，9.9元却没有换得想要的照片，原因是上海市消保委微信团队的小伙伴平时就佩戴眼镜，照片中也佩戴了眼镜，可生成的照片却是没有眼镜的，上传时也并未要求需要上传无眼镜的照片。
但当工作人员想退款时，客服却表示暂时不支持退款。
图源：上海市消保委
接着上海市消保委又看到了一些其他消费者的投诉，说在该程序储值了6元却没法用于合成费用，要求退款，对方依然保持我们绝不退款的态度。
翻完该小程序的服务协议，并没有找到退款相关条款。唯一跟退款相关的只有在支付下方的这行：一旦购买成功，不支持退款。
上海市消保委查询了该小程序的注册公司为未序网络科技（上海）有限公司，所留电话不是无人接听就是空号。
《中华人民共和国消费者权益保护法》第二十六条第二款规定：经营者不得以格式条款、通知、声明、店堂告示等方式，作出排除或者限制消费者权利、减轻或者免除经营者责任、加重消费者责任等对消费者不公平、不合理的规定，不得利用格式条款并借助技术手段强制交易。
妙鸭相机在付款页面以灰色小字标注的“一旦购买成功，不支持退款”涉嫌侵害消费者的公平交易权。
针对上海市消保委提出的问题，妙鸭相机也作出如下回应：
上海市消保委对未序网络科技公司的积极响应和措施表示肯定。消保委相关负责人表示，企业是消费者权益保护的第一责任人，在运用新技术创新消费新场景中也应同步做好消费者服务工作。
AI生成内容版权问题未明晰
AI生成内容频频“出圈”，相关法律问题也引发关注，其中，著作权问题就是重点之一。
中国传媒大学文化产业管理学院法律系主任郑宁在采访中提到：《中华人民共和国著作权法》对于是否有著作权是要看它是不是具有独创性。那么关于AI生成的图片到底有没有著作权，存在一定的争议。
目前操作的层面主要是通过合同约定，有以下两种模式：一种是在用户协议当中约定，只要是付费的用户，就可以取得AI生成内容的著作权，但是其作品可以免费授权给平台方使用；第二种模式就是约定平台享有AI作品的所有权，付费用户可以获得不同程度的使用权。
防范AI式生成内容风险
做好个人信息安全第一责任人
AI时代的新产品、新服务伴随着新风险。提升反AI欺诈风险认知，高度警惕个人信息被非法平台运用最新AI技术进行滥用风险。
消费者在尝鲜时，一定要注意保护个人信息：
首先，要必要查看应用软件的开发者、用户评价、慎选那些来历不明或用户评价不高的产品。
其次，认真阅读产品的用户条款、隐私条款等，拒绝那些明显存在“霸王条款”的产品，避免将个人信息、隐私拱手送出。
最后，务必通过正规的应用软件市场下载软件。
AI监管规定出台
为“生成式人工智能”划了底线
近年来，生成式人工智能技术快速发展，为经济社会发展带来新机遇的同时，也产生了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题，如何统筹生成式人工智能发展和安全引起各方关注。出台《办法》，既是促进生成式人工智能健康发展的重要要求，也是防范生成式人工智能服务风险的现实需要。
针对生成式人工智能服务，国家网信办等多部门于7月13日公开的《生成式人工智能服务管理暂行办法》指出，“生成式人工智能服务提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使用记录”。这一管理暂行办法将自2023年8月15日起施行。
妙鸭入水，激起了数据时代的监管新挑战。事实上，妙鸭相机生成AI写真并不是新事物，抖音、美图秀秀早已推出了“AI换头”类似功能，但如何不踩红线，保障用户安全，是妙鸭相机等AI应用需要着重考虑的头号问题。
希望未来能有更多更长生命周期、能够提供更稳定服务的产品畅游AIGC赛道，戴好保护用户隐私和消费者权益的“紧箍咒”，为用户带来更多美好体验。
综合：上海网络辟谣平台、上海市消保委、南方都市报、上观新闻等
编辑：管悦
壹点内容中心出品