当前位置:首页|资讯|AIGC|数字人|人工智能

记移动影像的“vivo时刻”:长期主义的又一次胜利

作者:锌刻度发布时间:2023-07-31

3D+AIGC与智能手机的融合,无疑是移动人像赛道又一颠覆性重要突破。vivo再次领先背后,有着哪些极限挑战?


  作者|Cindy

 编辑|刘珊珊


火热7月下旬,“AI写真数字人”一夜间刷屏社交网络,渐有成为“中国AIGC首个刷屏案例”之势。

这是AIGC(生成式人工智能)风口“梦想照进现实”冰山一角。在2023年,历经70多年技术沉淀的AIGC,和ChatGPT、大模型、3D等技术一起,成为人工智能产业落地重要形式,为商业世界带来全新代际变革。


一个引人注目的问题随之浮现:作为高端制造行业重要分支,智能手机将在未来很长一段时间,仍是智能汽车、智能家居等科技最好载体。智能手机应如何与AIGC、3D、大模型这样的全新技术融合贯通,以反哺智能手机的迭代创新?


“AI技术突破让移动影像面临新课题,也让我们重新思考人与影像技术的关系。”7月30日,青海西宁。在这场交换彼此影像故事的盛典发布会上,vivo给出了自己的探索答案:AIGC、3D将成为创新赋能未来人像技术的生产工具。



影像研发,道阻且艰。影像长赛道上,vivo再次抢先布局,发布全新制程6nm自研影像芯片V3、推出AIGC四季人像模式、与蔡司联合探索新结构的长焦镜头、并对T*镀膜技术进行升级。


其中,外界最为关注焦点,正是vivo明确进行3D人像技术研发,将在人像3D重建感知和AIGC两个方向进行探索。而为了更好的进行人像3D重建感知研究,vivo还在重庆建立了动捕实验室。


这是vivo深耕“人性化的专业影像”之路又一重要升级。“得影像者得天下”已成行业共识的当下,移动影像——特别是人像竞争更是焦点中的焦点,“VO荣米”、华为甚至苹果都在不约而同探索移动人像边界。

3D+AIGC与智能手机的融合,无疑是移动人像赛道又一颠覆性重要突破。那么,vivo布局3D人像技术前沿,探索AIGC全新技术背后,有着哪些极限挑战?又会给“极致内卷”的影像赛道,带来怎样的体验创新?



01

AI创新,vivo移动人像再跃迁


自2000年夏普推出世界上第一款能拍照的手机开始,23年间,手机影像能力在一轮轮迭代演进中极致内卷——尽管手机摄影足以媲美专业相机成像效果,但厂商对手机影像追求从未停止。


原因很简单,人人皆可随时随地拍摄、分享、创作时代,谁掌握影像未来,谁就左右着用户购买决策,更容易获得市场和消费者的青睐。


其中,人像是最高频最重要应用之一。“人像和夜景、运动、变焦,是我们定的四个拍照赛道。”vivo影像副总裁于猛如此表示,另外还有视频、未来赛道,是和拍照并行的一级赛道。


拍人像,用户最直观感受是成像效果是否足够自然和足够美,但美没有定义。对每家手机厂商而言,最难的是如何更懂用户,更懂影像,去让大多数用户都拍出满意的照片。


如何更懂用户和影像上,每家厂商理解各不同。


vivo对人像摄影理解是,需要像专业摄影那样,去精确人像和人体中语义重点,大到年龄、性别人物速写,细到毛发、五官轮廓自然和立体感,并且要通过技术在影调、色彩、亮度、虚化等层面上,让人与场景和谐、自然融合。


在此理解基础上,vivo探索出行之有效的“影像”方法论,即通过“三个比肩”打造vivo影像技术矩阵——比肩专业影像设备、比肩专业摄影团队、比肩专业后期能力,满足每位创作者、每个普通人的不同诉求。


这对vivo的考验是,需要从硬件、软件两大方面进行技术上的不断革新。为此,vivo打造出光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎四大影像技术模块,又与蔡司深度、全面合作打造行业顶级的专业人像镜头,从多个维度去优化人像拍摄效果。


这些探索,让vivo在人像赛道上相比行业其他玩家走得更远。从2015年vivo X5 Pro推出知性美颜算法开始,到2022年vivo X80 Pro首次搭载蔡司人像微云台镜头,vivo X90 Pro+搭载行业首发蔡司双焦段人像镜头,以及vivo X90s的“质感模式”。8年间,vivo一直无愧人像、夜景赛道开辟者与领跑者,给了一个用户几乎无法拒绝vivo的理由。


从2023年第二季度中国(大陆)智能手机厂商市场份额中看到,vivo以17.7%的市场份额占据中国智能手机市场第一。而从2021年夺冠至今,这已经是vivo第三年取得这样令人瞩目的市场成功。



但是,用户对移动人像的需求提升,永不会停止。这让所有厂商影像创新都面临“技术矛盾点”——轻量化趋势下,手机内部空间方寸,很难以类似专业相机堆硬件方式持续进化。应如何去打造更具差异化、引领性的人像体验?


人工智能,是谁都不会错过的“第四次产业革命”机遇,手机厂商也如此。“我对于(影像)这个赛道越来越有信心,也相信这个赛道会越来越长。”在接受媒体专访时,于猛就表示,AI正改变千行百业,也会给智能手机创新带来无限可能。


事实上,AI能力早已和手机相融合。最典型的,就是成为行业标配的“AI多摄”,通过AI算法以及处理器算力,助力光感知系统软硬件一体化协同升级,带来手机人像拍摄上的指数级效果提升。


AI方面,vivo更是深耕已久。几乎每一代vivo手机,影像、视频、图像、语音等日常处理背后,都有数十个复杂AI算法一起工作。


比如美颜技术,是vivo抛弃传统遮瑕式美颜,通过筛选、达成的百万量级素材训练集,利用AI确保可以在任何人像场景下,都能达成最佳美颜效果;“夜景拍摄”场景,vivo也是通过AI算法、实时黑光夜视等去赢得行业领先。


而在西宁举办的vivo影像盛典特别活动,更是AIGC、3D、大模型等全新技术浪潮之下,vivo基于历史技术积累和未来研发方向,对AI如何与智能手机影像更好融合,以及影像光学、算力和算法未来发展方向的再次跃迁。



例如,不同于V2自研芯片,全新自研芯片V3将设计重心放到手机影像思考上,算法提升让手机影像在画质、宽容度等方面有了进一步的提升。不但场景覆盖会更全面,并且在V3加持下,安卓平台也将首次实现4K拍后编辑功能,支持4K电影人像视频功能。


同时,vivo围绕人像和夜景这两个核心场景,集中构建了超感人像系统和苍穹夜景系统。迭代算法矩阵目的,依然是通过AI,去确保人像、夜景等核心场景实现最极致的拍摄体验和效果。


如果说上述探索,是vivo为满足当前消费者多元影像需求,保持移动影像人像赛道持续领先优势的重要之旅。那么布局人像3D重建感知技术平台,积极拥抱AIGC算法,则是AI浪潮下,vivo作为人像赛道的开辟者和领跑者,面向未来,引领行业进化的创新探索。



02

3D+AIGC,动捕实验室的隐藏秘密


这是第一次有主流大厂,将3D、AIGC明确视为智能手机移动人像布局方向。


3D技术上,vivo其实不是第一次有所涉及。2018年,vivo发布 TOF 3D超感应技术,实现手机对高精度3D信息的采集和运算。


但毋庸置疑,最新布局的人像3D重建感知技术,意义会更加重大,将是事关行业未来的全新突破。



“基于稳定的移动端人像3D感知技术,为用户提供多种人像AR特效,帮助用户创作出惊艳的虚实融合影像内容。”7月18日,在vivo重庆动捕实验室,相关负责人告诉实地探访和体验的“极点商业”。


这是vivo重庆动捕实验室首次对外界开放。vivo在盛典上发布的人像3D重建感知技术,正是重庆动捕实验室的创新成果。


vivo重庆动捕实验室坐落于vivo重庆智能制造中心内——作为vivo全球智能制造关键一环,vivo重庆智能制造中心于2014年布局、2017年完工并正式投产。


除了生产线,芯片、5G、AI、影像、3D等核心技术的研发应用,在此都有落子,和vivo北京研发中心、东莞智能制造基地、深圳研发中心等一起,成为完善vivo全球研发和生产布局重要一环。


从业内看,3D人像重建概念并不新鲜,被公认为是AIGC、AR/VR场景必然入口,也是数字人、机器人、自动驾驶等领域关键共性技术。


问题是,行业目前没有可以通用的3D人像重建方案——大多数3D人像成本高昂,逼真效果一般,面临算法复杂度高,难以实时处理挑战。举个例子,短视频制作公司使用到的3D化写实数字人,比如“柳夜熙”,制作成本可达到数十万到百万元不等。


vivo布局,看上去正是瞄准上述痛点——如果一款智能手机能低门槛解决3D人像重建算法复杂、算力要求高等核心挑战,那么无疑会加快相关概念产业落地速度。


依托于vivo重庆影像实验室平台,vivo在重庆动捕实验室中自主搭建了影视级光场系统。根据实验室工作人员现场透露,光场系统由175个摄像头、96盏灯环绕搭建而成,“只需3秒钟,就可以实现人像重打光DEMO,然后通过AI等技术能力,完成‘毛孔级’的3D人像重建感知。


简单来说,在vivo的3D数据采集平台中,3D人像重建感知技术是一条这样的路径:捕捉人体3D姿势数据—人脸3D重打光—通过AI算法完成3D人像重建—最终在端侧应用于实际场景。


光场系统在其中起到关键作用。“96盏灯重打光只是往中心点一个方向。”vivo动捕实验室相关人士对“极点商业”称,175个不同角度机位摄像头的投影下,可以类似“全息摄影”方式,全面、精准捕捉到人的面部表情、姿态动作以及手势交互数据和视频背景分割。


数据精确性对3D捕捉结果至关重要。在良好底层数据支撑下,该实验室重点储备了以人脸、人体和手势为核心的三大人像3D感知算法,依靠AI算法模型,实现对人脸面部表情、人体姿态动作以及手势交互感知的精准捕捉和驱动,减少动作捕捉、CG合成制作流程,最终生成一个逼真的3D目标人物。


这与传统动捕,比如抖音AR渲染有着明显区别——抖音AR渲染是2D,但vivo人像重建感知是3D,重建是一个“动起来”的过程,“3D场景精确性更高,也能提升深度信息。任何相机场景下的深度图、人脸表情,都可以与Mask结合后,实现类似于单反相机、大光圈的渐近感、真实感,让人像与背景更好融合。”



从“极点商业”实测来看,vivo人像3D重建感知技术下,坐在小凳子上后,只需灯光一闪,就完成了数据收集。生成的3D人像,AR特效相当惊艳,纹理、亮度、阴影表现远超传统专业相机,脸部甚至毛孔在细节、动作、行为的逼真度,都得到了“完美重现”。


相比技术创新,vivo追求的还有产业落地。如今,立足于人像3D重建感知技术,vivo开始加快AIGC算法的落地应用探索——帮助用户创作出虚实融合影像内容。


通过3D重建感知,配合辅助AIGC,vivo得以大幅降低了成本和门槛,可以为用户提供多种人像AR特效,比如在3D换装、3D画场景、表情驱动、数字人等方面的落地应用。



而盛典会上推出的AIGC算法,通过vivo手机可以拍出虚拟与实景结合更为自然和谐的照片,这正是vivo融合3D+AIGC虚拟内容创作技术后,在人像赛道上的应用探索:


通过vivo手机内置的AIGC四季人像模式,不仅拍出虚拟与实景结合更为自然和谐的照片,还能以假乱真,从草长莺飞的春天,到炎炎酷暑的夏天、秋日层林尽染的秋天,以及白雪皑皑的寒冬,足不出户拍出四季人像大片。




03

技术长跑,敢突破边界者才能持续领先


“AIGC四季人像模式,将会在未来人像摄影的使用场景中,打下坚实技术基础。”一位手机行业观察人士认为。


而在vivo影像效果产品经理张焱看来,AIGC在智能手机中的想象不止如此,比如借助AIGC算法,用户还可以实现丰富多样的人像属性编辑,如对光照、年龄、发型、表情等进行编辑。“这些未来影像的新技术、新应用,将持续激活用户创作热情。”



人像摄影一直是vivo在影像领域的主力赛道,不论是和蔡司在传统光学领域的持续沉淀,还是8年来在历代产品中不断打磨软硬件,包括在3D/AIGC未来人像上基于用户需求的不断探索,其实都是率先在行业进行移动影像“极限挑战”。


“赋予每个人表达和创作的自由空间,是手机作为影像创作工具价值所在。”在于猛看来,打造“人性化的专业影像”是vivo一直追求影像理念。vivo希望把各种复杂的影像技术和经验都放进手机,让用户不受功能、场景、时间上的限制,专业创作者可以满足极限环境下创作需求,普通用户也可以通过简单操作收获个性化的影像。


这种“极限挑战”理念追求,源自“埋头种因”和“本分”价值观下,vivo将“做正确的事”永远排在第一位。


vivo在人像领域的深耕,就是最好案例。2014年开始布局影像赛道后,vivo花费三年多时间,走访了全国55个城镇,包括北上广一线城市,也包括五、六线乡镇,在数百场深度访谈,以及上万名不同职业、年龄的消费者测试后,逐步建立了一整套消费者正确认知,让自己更懂用户,更懂影像。


用于猛的话来说,这就是:想尽一切办法、抓住一切机会,获得认知。


在认知正确基础上,vivo大踏步建立针对影像技术全链条的研发体系——毕竟,手机影像是一个系统工程,涉及软件、硬件、算法、摄像头、芯片等一系列技术的有效协同,所有环节都要做到领先,才能让影像整体领先。



2017年,vivo组建AI全球研究院,在算法、数据、算力方面建立全面AI能力,全方位赋能vivo核心长赛道。


无论是历时24个月、投入超300人研发,用硬件级算法开启手机影像行业下一个时代的自研芯片V1,还是助推vivo成为安卓首家实现4K电影人像拍后编辑功能手机厂商的自研芯片V3,都是在埋头种因后收获的硕果。


芯片自研之外,vivo与蔡司这家百年光学品牌的全面牵手,目的也是在秉承共同影像理念下,不断去突破影像想象边界。


过去几年,vivo在微云台防抖、镜头镀膜、光学镜头等方面的不断进化——包括最新与蔡司联合探索最新结构长焦镜头、对T*镀膜技术进行升级,其实还是围绕“让普通用户用手机拍出专业大片,让专业人士可自由进行创作”,缩小专业与大众摄影上的“创造力鸿沟”,共同探索移动影像新高度。


这些在移动影像领域的深刻理解、专业技术和自我超越,vivo得以奠定影像领域的全球优势,引领中国世界移动影像进入中国时刻——哪怕与iPhone相比,vivo表现也不落下风。人们心中对vivo坚守的“长期主义”,也有了更多新认知。


可以畅想的是,“第四次产业革命”浪潮席卷,大模型、AIGC必将进入移动影像领域趋势下,其使用场景将有着巨大的想象空间,“手机影像大师”有机会书写更多AI传奇。


一个例子可以说明,此前vivo相关的AI工程师已经超过1000名,仍在源源不断投入,将更多AI研发人才纳入囊中。vivo官网最新招聘显示,其正在招聘大量AI算法专家、AR/VR领域AI大模型专家、图像AIGC算法专家、AI产品经理,3D光学动捕算法工程师、工作地点位于深圳、杭州、重庆等地。



基于AI影像领域的探索,vivo瞄准的是更大世界。”一位资深手机从业人员评价说。


目前,AIGC在vivo手机中的应用主要是人像,但AI与影像生产力工具结合紧密趋势下,AIGC未来在vivo中也会有更多用武之地,比如与手机终端语音助手结合,可以更快速、准确理解语义。


AI大时代下,AI在文字、语音、图像、视频,教育场景、音乐创作等领域,与手机融合具备广泛应用空间,让手机工具价迎来更大爆发。比如,教育场景通过AI个性化因材施教,让中小企业、普通用户都能低门槛、低成本拥有属于自己的逼真“数字人”——而非当前AI写真照片。


或者,让所有人可以通过AI进行创作,或者代码编写、识别翻译,实现内容生态的新一轮范式转移。以及,在AR、元宇宙等虚拟世界中,加速实现环境、虚拟人物的构建需求,去无限逼近真实。在远程医疗、智能汽车等方面,AI与手机的结合同样充满想象空间。


这些未来畅想的实现或融合创新基础,毫无疑问仍然基于影像。


“vivo将把影像视为和AI、5G、6G通信一样的底层技术能力。”在于猛看来,在不远的未来,vivo将把影像当成一种AI底层能力,去和其他产业融合创新,“如同互联网改造制造业一样,影像的价值也远不止拍照、游戏,而是与AI、互联网一样有无限可能。”




Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1