【查相机资料,就看相机笔记】
今年早些时候,佳能公布了基于深度学习开发的图像处理技术和工具软件。ET当时不仅做了相关报道,还下载体验了海外版本。而在刚刚闭幕的P&I上海国际摄影器材和数码影像展览会上,佳能(中国)展台也出现了新技术和新软件的宣传资料 —— 看来它们很快就能和大家正式见面了。
在下面的内容里,ET会为大家解释与人工智能有关的概念,回顾佳能在深度学习方面的应用,介绍并预览新工具软件的使用方法和效果。希望能为大家了解新技术、应用新技术带来一些帮助。
近年来,我们频繁看到与人工智能有关的技术名词。这里,ET试着用尽可能浅显的语言,做一个不大严谨的解释。
人工智能(Artificial Intelligence,简称AI)简单来说就是赋予机器“人的智能”。不同于科幻作品里描述的场景,目前的人工智能大多是一些单项功能,比如图片分类、对象识别、对弈策略等,这也被称为“弱人工智能”。
机器学习(Machine Learning)是实现人工智能的一种方法。与传统软件相比,最大区别是能通过大量数据样本的不断训练,提高智能水平,达到更好的实现效果。
神经网络(Neural Network)则是一种机器学习算法,是模拟人脑神经网络的数学模型。而深度学习(Deep Learning)主要依赖神经网络算法,让机器能像人一样具有分析、理解数据样本的能力。
目前在相机、图像处理上应用的“AI人工智能”,主要是通过基于神经网络的深度学习,提升识别、降噪、增强分辨率等具体应用的性能。虽然开发过程需要大量财力、物力(比如算力和数据样本),但最终实现的功能效果往往也有划时代的进步。
▲ 新概念相机PowerShot Pick也具备一些AI功能
佳能从很早以前就开始关注深度学习:
2020年1月:EOS-1DX Mark III通过深度学习,提升了光学取景下对人物头部、面部的识别能力。
2020年7月:EOS R5、EOS R6配备了基于深度学习开发的“动物检测”,实现了对猫/狗/鸟的身体、头部、眼睛的识别,并且是在拍照、视频下均可用。
2021年4月:EOS R3新增了基于深度学习的“车辆检测”,可以识别多种两轮、四轮赛车。
2022年11月:R6 Mark II在动物、车辆检测上做了进一步扩展,增加了对马、飞机、直升机、火车的识别。
▲ R6 Mark II“动物检测”的识别能力
▲ R6 Mark II“交通工具检测”的识别能力
除了基于深度学习的对焦识别算法外,佳能也关注到深度学习在图片处理和照片优化方面的应用 —— 一直以来,佳能都很重视图像的数字优化处理,早在2013年就推出了利用光传播函数和镜头设计数据优化照片的“数码镜头优化技术”(简称“DLO”)。之后10年,佳能通过不断优化、完善,最终在EOS R系列相机上实现了不损失拍摄性能的实时DLO。
了解上述信息后,相信大家会觉得佳能推出基于深度学习的图像处理技术是意料之内、情理之中的。
佳能这次推出了两款工具软件,分别是:
神经网络图像处理工具(Neural network Image Processing Tool)是佳能“RAW显像”软件Digital Photo Professional(以下简称“DPP”)的插件。它能通过基于深度学习得到的数据,对使用兼容相机、镜头拍摄的RAW图像做出优化,具体包括:
- 降噪,包括高感降噪和高感拍摄的皮肤细节还原;
- 去马赛克,包括降低伪色和摩尔纹;
- 镜头优化,包括改善衍射模糊、还原高光溢出细节和减轻色晕。
▲ 我们实拍的降噪对比,使用R6 Mark II以ISO 25600拍摄,左边是ACR普通降噪,右边是神经网络图像处理工具降噪。
处理后会生成.CRN为后缀名的新文件(支持多个文件的批处理),接下来可以用Digital Photo Professional对.CRN做进一步的优化调整。这个工具适合对画面质量有较高要求的专业摄影师,以及希望挖掘相机、镜头潜力的发烧友。
* 支持的相机、镜头型号可以参考佳能官网说明。
▲ 神经网络图像处理工具的界面
和其他AI图像处理软件相比,神经网络图像处理工具不仅提供了降噪和去马赛克,还带来了针对衍射、高光溢出和色晕的镜头优化 —— 正因为佳能是相机、镜头的生产企业,才会积累大量RAW图像数据库,进而为开发相关功能提供训练样本。
神经网络升级工具(Neural network Upscaling Tool)则是一个相对独立的软件。它支持JPEG和TIFF文件,可以将长、宽分别扩大2倍,最终得到一张4倍像素的照片(比如将2400万像素升级为9600万像素)。相比常见的插值放大方式,可以恢复更多图像细节,得到更精细的画面。既适合鸟类等依赖裁切放大的题材,也有利于需要大尺寸打印输出的用户。
* 长或宽在400-9999像素,总像素不超过6500万。
和EOS R5上的“机身防抖高分辨率拍摄”功能相比,神经网络升级工具在相机、被摄对象、拍摄状态上更为宽松(EOS R5能得到约4500万×9=约4亿像素,而后期扩大可以手持拍摄,也可以拍摄运动对象)。而和Adobe Lightroom / CameraRAW上的类似功能相比,也不会存在其他优化(降噪、镜头优化、去马赛克)与提升分辨率只能二选一的情况。另外,以鸟类拍摄为例,我们可以先裁切出包含鸟类主题的画面局部,再做扩大处理。不像Adobe Lightroom / CameraRAW只能放大整个图像,徒增空间占用。
需要说明的是,这两个软件都需要付费购买,属于进阶增值服务。
▲ 神经网络图像升级工具的界面
希望上述介绍能让大家对佳能图像处理新技术有一个初步了解。说到底,专业相机并不拒绝数字处理与算法,只是在应用和宣传上更谨慎。就像佳能一直在做的,无论是DLO还是基于神经网络的图像处理工具,都是在用数字处理弥补光学和前期拍摄的不足。可以让我们在各种场景、题材下,都能获得更好品质的照片。