当前位置:首页|资讯|AIGC

vivo首款自研6nm芯片!AIGC算法加持,支持4K电影级人像视频

作者:量子位发布时间:2023-08-04

原标题:vivo首款自研6nm芯片!AIGC算法加持,支持4K电影级人像视频

萧箫 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

安卓视频拍摄体验,出现了新的天花板——

只用手机,也能拍出 4K电影级别的人像视频了!同时还能实现无损拍后编辑。

不用靠长枪短炮的画幅和光圈,就能真· 全自动检测和切换虚化主体

让镜头就聚焦在某个人物身上,同时周围景物自然虚化,只需一键实现:

不仅如此,就连肤质优化和色彩处理,也能秒速搞定,分分钟拍出大片效果:

安卓机型人像拍摄的这个新天花板出现,更有层次的照片,这不就来了?!

要知道,背景虚化一直是手机摄影的短板,无论是虚化层次还是边缘处理,很难与单反相机分庭抗礼。

哪怕是对所搭载的算法进行创新和优化,想要最终效果是4k电影级,必须要兼顾降低功耗。

不多卖关子,这种视频拍摄效果,出自刚刚登顶中国手机第一的 “蓝厂”vivo之手,在其最新的发布会上露面。

最重要的是,背后果然又用到了 最新的自研芯片

难怪有网友调侃道:

所以,这个芯片究竟实现了什么样的功能,又是如何打破安卓手机影像能力天花板的?

打破安卓手机摄影天花板

vivo给手机摄影带来的突破,主要体现在两方面, 更高的画质更快更好的算法

先是在画质上,vivo在安卓手机摄影上实现了两个“首次”,即 4K电影人像视频4K级拍后编辑

4K电影人像视频,意味着手机拍人像视频,已经能达到4K电影级的水平,不仅分辨率更高、色彩呈现也更好。

相比之前,包括焦外散景虚化 (背景虚化)、全自动主体焦点检测和切换、电影级肤质优化和色彩处理,现在vivo都已经能用到4K视频拍摄中。

焦外散景虚化,即拍出很好的浅景深效果;全自动主体焦点检测和切换,意味着不再需要手动调试镜头距离“对准”某个物体,算法自动实现;电影级肤质优化和色彩处理,让拍视频人像也“帧帧开美颜”,无需拍后再手动调整。

进一步地,在拍摄完成后,vivo还实现了4K级拍后编辑,快速且无损。

视频编辑耗费计算量较大,此前往往只有压缩视频大小,才能缩短剪辑加载和导出的时间。

现在,如果对拍摄出来的视频不满意,编辑时无需压缩视频,在分辨率保持4K的情况下,手机仍然能快速调整虚化和焦点位置,实现无损编辑。

不仅仅在于画质上的两大功能,这次vivo手机影像技术的升级,还体现在“算法大融合”上。

要知道,过去各种手机虽然宣称已经搭载了不少提升拍照技术的AI算法,但大部分算法无法同时运行。

人像夜景为例。目前不少手机,都能看到这两种类型的拍照模式优化,但“夜景+人像优化”却比较少见——

这是因为,针对夜景和人像所需的算法不完全一样,如果同时运行,不仅功耗更大、延迟也会更高。

因此,如果说之前的算法处理还只能让用户自己做选择,最新的vivo手机,已经能实现大量自研影像算法同时开启的效果。

像是夜景拍摄几乎必不可少的AI降噪 (NR,Noise Reduce)算法:

基于人像理解技术,进一步实现拍摄需要的影调 (调色)算法:

视频拍摄需要的MEMC插帧算法:

能保留图像中的更多细节、对比度也更高,提升整体效果的HDR技术:

以及图像变焦算法等等。

过去这些算法还需要分时间阶段运行,现在,vivo手机不仅能 同时处理它们,而且延迟都保持在用户可以感知的范围之内。

完成这些部署,离不开vivo自研的新一代影像芯片,名为 V3

蓝厂究竟在V3芯片中加了什么黑科技,来实现这样的效果?

vivo最新自研芯片V3

V3芯片采用 6nm制程工艺,相比上一代的V2芯片,能效比提升了 30%

架构设计上,V3仍然是ISP (图像信号处理器),但相比上一代可以实现 多并发AI感知

同时,为了更好地和SoC“打配合”,V3芯片还推出了 第二代FIT互联系统,来调度二者之间的资源。

具体来说,V3主要通过 硬件架构升级、以及 和主芯片“打配合”两种模式,来支持上面提到的两大新功能,以及一系列AI算法并发效果。

一方面,在架构上,V3不仅在制程上得到升级,大幅提升能效,同时设计上侧重于提升AI算法的计算效率。

V3芯片延续了V系列芯片的特征,自带定制化深度学习加速器 (DLA)、以及纯SRAM架构,用于提升计算AI任务的效率。

虽然手机芯片也配备NPU这种神经网络硬件加速器,用于进行向量化计算和并行处理,然而,由于这种NPU是通用型的,因此在计算某些专用任务时效率不高。

以计算AI任务常用的乘加计算 (MAC)为例,通用NPU做这类计算往往只能达到30%的利用率。

这是因为它所用的片上缓存 (TCM)容量有限,一旦图像类AI任务变多,每一层网络特征图写入DDR内存,带宽就会爆炸、功耗也会大幅度上升。

V3芯片自带的深度学习加速器,则能更好地处理这类任务。即使芯片制程是6nm,在处理特定图像任务时,整体能效比相比4nm的SoC仍旧可以提升2~3倍。

同时在内存上,V3芯片没有采用DDR,而是采用了SRAM架构来存储信息。

相比通用NPU,V3只运行特定任务,不受外部后台线程 (如CPU线程)的干扰,也不会因为其他功能升压或提频导致功耗上升,因此在做乘加计算时,利用率可以达到100%。

但仅仅是通过升级硬件架构、提升处理AI任务的能力还不够。

毕竟对于手机来说,只有将所有算力资源调度起来,才能真正确保计算效率最大化,因此——

另一方面,V3芯片推出了第二代FIT双芯互联系统,让算力资源调动变成了灵活的“一盘棋”。

具体来说,这种系统能同时调用手机SoC和V3的算力,使得它们在处理AI算法时“各司其职”,从而更高效地处理不同的算法。

其中,V3芯片主要能处理两类任务。

一个是可以用低级别、像素级别的AI算力处理的任务;另一个是对于一些需要较大滤波器的算法 (如运动估计等),V3能将算法“硬件化”,即将它们转换成特定应用集成电路 (纯ASIC),成为芯片的一部分。

同时,对于更复杂的一些算法,则主要用SoC来完成,同时V3提供“协作”。

整体来说,V3不仅能将一些特定AI任务的处理做到极致,同时也能作为算力“补充库”,来协助SoC完成其他AI算法的处理。

这样一来,不仅能降低原本计算特定AI算法所用的功耗,做到SoC+V3芯片的总功耗“1+1<2”,还能做到原本“不可能的事情”——

假设手机上搭载了10个算法,此前可能会因为功耗和发热,导致只能同时跑6个;现在加上V3后,10个算法都能同时运行 (例如整套人像功能),并将功耗和发热保持在合适的范围内。

当然,在配合的硬件“位置”上也有讲究。相比前置ISP (PreISP),V3选择了后置ISP (PostISP)的方式,即数据先通过SoC,再通过V3进行处理,最后打到屏幕上。

这样设计的好处是可以降低芯片内部的处理延时、提升性能,虽然会在回传通路上增加一点处理时间,不过并不影响整体使用效果,像视频拍摄预览延迟在180~200ms左右,对于人眼来说几乎无感。

当然,除了针对V3芯片的设计,vivo也在影像相关的其他芯片技术上下了不少功夫。

其中之一就是在CMOS芯片上。

vivo针对这个芯片研发了一项名叫自适应DCG-HDR技术,目前研究论文已经发表在VLSI 2023上。

VLSI (超大规模集成电路技术和电路研讨会)是电路领域的国际顶会,今年vivo也是国内手机厂商中唯一一家发表论文、并被选中进行会上分享的。

这项技术能够让在用户拍视频时常开HDR模式,获得更好的拍摄效果,同时功耗更低。

相比传统HDR在整个图像区域使用曝光设置 (或分区使用不同的曝光设置),自适应DCG-HDR可以将曝光设置粒度缩小到像素级别。

也就是说,每个像素根据所在的场景和光照条件选择曝光设置,使得HDR效果更精准;同时,通过这种调制,它还能省去一次读取像素值的操作,进一步降低了功耗。

这样一来,用户不仅能常开HDR模式,甚至开着拍视频,也不会出现过热或频繁关机的问题。

对于之后的影像行业布局,vivo影像产品高级总监李卓表示:

AI一定是未来最重要的方向之一。

然而,即便自研芯片在影像上取得了如此不错的效果,投入数十甚至上百亿去研发芯片、甚至不断迭代升级,仍然不是一个短期内看得到巨大回报的过程。

对于手机厂商、甚至整个行业而言,自研芯片的意义究竟何在?

AIGC时代,自研芯片更显重要

回顾这几年的手机行业,新的产品、技术层出不穷,令人眼花缭乱。

行业也热点,作为各厂商发力的角逐地,也在不断变化。折叠屏、双芯设计、屏下摄像头、夜间拍摄、AI+……新的热点为手机行业不断加码,同时对技术提出了更高的要求。

比如,按照当下的热门技术定义,手机行业实则处于一个影像芯片、AIGC、3D影像等热点交融的时代。

在这样浩荡的时代里,交汇交融是无法避免的趋势。

就拿vivo首次对外披露与AIGC算法相关的研发成果为例。

一手建立了重庆3D动捕实验室,搭建影视级光场系统,支撑vivo各类人像3D感知算法的研发、迭代工作。

重点储备以人脸、人体和手势为核心人像3D感知算法能力。

另一边,则 在自研芯片领域持续发力,对外发布V3。

细数vivo自研芯片的历程,已有 4年历史

2019年,蓝厂被曝造芯;2021年,正式闯入自研芯片赛道,推出第一颗 影像芯片V1,除了生产全部自研。

当时,手机行业主打的降噪、插帧等图像处理功能,有不少还停留在传统算法层面。

V1主打特色之一,就是能够很好地处理传统影像算法,同时已经具备一定的算法并行能力,可以在一块芯片内同时进行部分图像成像算法,这让手机的夜景拍摄能力有了极大提升。

2022年, 结合AI算法的ISP芯片V2快速面世。它采用迭代后的AI-ISP架构,能够在手机内部实现数据和算力的优化、高速协同。

这个阶段,由于用上了AI技术,vivo自研的算法开始变得更复杂,需要的额外信息也变得更多。

例如,相机原本的自动对焦AF、自动曝光AE、自动白平衡AWB这类3A功能,也开始加上AI算法,这类算法往往需要用上相机控制参数、硬件参数和返回值等信息,用来做一些运动估计功能,因此延迟也会相应变高。

为了确保AI功能变多的同时,延迟还维持在用户可以接受的层面,V2芯片开始正式引入FIT双芯互联技术,确保两颗芯片沟通的效率。

可以说,V1到V2,是蓝厂不断满足初代影像算法及AI 1.0时代对影像芯片的要求的过程。

林林总总可以归结为一句话: 一个时代有一个时代的芯片要求

AIGC时代下,不仅算法数量呈现井喷式增长,算法的体量也有了质的差异。

尤其针对需求质与量与日俱增的 影像技术而言,手机芯片的算力和处理性能,都相对应地有了更高要求。

如今在影像算法中,光是人像系统中,就有包括发丝分割、肤色增强、虚化渲染、场景感知等一系列需要用到AI算法的功能;

更别提夜景这类同时需要提升画质、色彩的场景,长此以往,所需的算法类型和数量只会越来越多。

同时,随着AI模型效果变得更好、体积变得更大,AIGC算法逐渐成为潮流的当下,如何利用深度学习加速引擎和异构加速引擎提升AI处理效率,也是手机业界的一道长期思考题。

总而言之,AIGC潮流为代表的AI 2.0时代,对所承载的算力的扩张需求,迫在眉睫。

一路走来都是困难重重,未来的挑战也将一个接着一个。相比优化算法去适配硬件厂商的芯片, 软硬件结合,才是AIGC时代的王道——

手握自研芯片,就能算法软件和芯片硬件两手抓;

没有自研芯片,只能坐等市场有什么样的芯片,再设计研究算法去适配。

显而易见,软硬件的并行,无论是对大厂本身,还是对满怀期待的客户而言,都更有竞争力和说服力。

看到这条路线的不只有vivo一家。

国外亚马逊、Meta。国内百度、阿里,诸多在AIGC时代争先恐后布局的大厂,在尝试将AI功能最大化时,都会考虑把“合作或自研设计芯片”作为具体的实现途径之一。

其他大厂尚且如此,向来主攻影像的手机行业,作为AIGC技术的头部应用场景之一,更加应该明白这样的道理:

只有真正从算力底层出发,将AIGC软硬件技术细节掌控在自己手中,才能最大程度地确保走在技术创新的中轴线上。

点这里 👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1