美国NAB大会透视：生成式AI、软件定义、XR、创作者经济等十大趋势
近日，第101届NAB Show（美国广播电视展）在美国拉斯维加斯举办。作为全球电视和广播行业影响力最大的展会之一，其展示内容代表了全球行业与技术结合的前沿风向。今天透过本届展会，我们看到生成式AI、云计算、软件定义、虚拟拍摄、XR、区块链乃至人形机器人等众多前沿数字技术，正在加速融入传媒行业并迸发出令人惊喜的可能性。
1. 人工智能成为2024年传媒行业创新的聚焦点
与去年NAB Show最大的不同，本届展会1000多家参展厂商中，近200家展出了人工智能相关技术和工具，并举办了超过150场以人工智能为核心议题的会议，而去年还鲜有厂商打出AI的旗号。
总体上，国际媒体界呈现出全行业、全流程+AI的明显趋势，包括内容创作、分发、观众参与和货币化等各方面。Devoncroft发布的AI冲击指数调查显示，未来2-3年AI影响最大的领域是音/视频编辑，这意味着AI将深入传媒行业的核心环节成为了业内共识。
亚马逊、微软、Adobe等头部技术服务商，均推出了针对媒体+AI的系列产品或解决方案，吸引了大量关注。亚马逊展示的内容最全面，在内容制作、审核、搜索、摘要、问答以及广告等多方面都推出了与AI结合的工具及方案，还专门搭建了生成式人工智能（GenAI）游乐场、高尔夫体验区等，促进观众体验和探索。微软除通用的coplit外，还展示了智能媒体运营和媒体本地化AI方案。
作为为数不多的中国参展商之一，腾讯重点展示了媒体处理服务（Media Processing Service，MPS）为代表的方案，能够大幅压缩视频等媒体文件节约存储及传输成本，并提供视频质量增强、超分、去噪、插帧、擦写&修复、实时翻译、横纵转换、敏感信息屏蔽等一系列丰富的AI功能，受到多国访客关注。
图：亚马逊PartyRock支持个性化AI应用生成
图：腾讯云MPS方案- 极速高清极致压缩
2. GenAI在传媒的真正实用尚待时日
虽然不少厂商展示了GenAI、大模型相关的内容，但大多还处于概念或实验阶段。根据现场观察及与业内专家交流反馈，目前传媒行业使用的更多还是传统单一任务、小模型的AI，而GenAI至少要到明年才可能看到真正实用的案例与效果。
Adobe为例，在展会上宣布了一项重大更新消息，除了自家的Firefly，还将Sora、Pika、Runway等第三方AI视频生成模型工具集成到其视频编辑软件Premiere Pro（PR）中，走在了业界前列，激起广泛的兴趣和讨论。随之发布的官方演示视频显示，用户能在PR中灵活选择AI模型工具，只需要输入文本提示词+点击操作，就能在视频中便捷地添加、删除或改变对象，增加辅助镜头，甚至对某个镜头进行扩展延长，整个使用过程非常丝滑，展现出了专业软件与GenAI有效结合的一种理想模式。但在展会现场想试用时，Adobe专家坦诚表示目前这只是视频（just a vedio）、没有demo，具体发布时间还不确定。其实际展示的，还是传统AI在视频编辑中的应用，包括基于文本编辑快速创建粗剪、AI音频类别标签、语音转文字、增强语音、场景编辑检测、自动颜色校正等功能。
可见目前通用的GenAI还存在局限，在内容生产中直接调用可能还难满足要求，比如生成的视频要与原视频前后保持一致和连贯等，还需要针对性进行工程优化，甚至要模型本身实现版本升级的性能突破，才有望达到如Adobe演示视频中显示的实用程度。
图：Adobe Premiere Pro的第三方GenAI调用演示视频
图：Adobe Premiere Pro当前使用的AI编辑功能
3. 上云已是海外传媒厂商和客户共识
本届展会还有一个明显特点，大量的参展厂商都提供了基于云的解决方案和服务，包括不少传统公司也把传统工具、业务等搬上了云。在数字媒体内容不断增长、用户媒体消费日趋个性化的趋势下，云的方式能够更灵活适应快速变化的市场，已成为海外媒体机构的普遍选择，作为现场远程直播、后期制作工作流程等的基础设施。
云厂商方面，如亚马逊重点展示了基于云的六大方案，包括内容制作、广播和现场制作、直接面向消费者的流媒体、媒体供应链和档案、数据科学与分析、货币化等，覆盖了传媒行业全流程的核心场景与环节。同时，亚马逊还与英伟达合作搭建了云上新闻编辑室，支持展会的NAB Show LIVE全球在线直播，为观众带来直观体验。NAB的年度产品奖颁给了亚马逊的多个产品和方案，也反映出行业对云计算的肯定，如AWS Deadline Cloud的云渲染实现简化设置、提升3D渲染效率，云广播和直播方案则有效降低监控的复杂度、保障质量。
图：亚马逊和英伟达提供支持的 NAB Show LIVE News Desk
传统厂商、传媒公司也在积极拥抱云。如国家冰球联盟（NHL）制作了北美首个职业联盟的直播云广播，涉及通过 Verizon 5G 网络发送的摄像头信号，由 AWS 在云边缘进行处理，实现“从冰上内容的捕获到广播的速度从几秒到几毫秒不等”。美国第二大电视台运营商辛克莱广播（Sinclair Broadcast），已在AWS商议部署了整个广播业务，包括现场新闻制作和基于IP的广播创作，实现186个不同站点的统一管理。摄影摄像设备界传统巨头索尼，也重点展示了云和虚拟制作领域的解决方案，其Creators' Cloud是基于云的平台和应用套件，包括编辑协作与媒体管理、流式传输、监控与控制等多个组件功能，同时提供个人和企业服务。视频设备和技术服务商Blackmagic Design公司，为其知名的后期制作系统——达芬奇（DaVinci Resolve 19）提供了云上协作功能，让生产流程上的各种角色可以全球远程高效协作。
图：Blackmagic Cloud支持Davinci Resolve 19多用户远程协作
4. 专深小公司+通用大平台的合作生态树立典型模式
亚马逊、微软等通用大平台，在西馆中占据了核心位置，各家平台均携众多合作伙伴生态一同展出了行业的系列解决方案，大平台与小公司的配合广泛且深入，令人印象深刻。
亚马逊占据了展厅入口位置，几乎每一个解决方案上，都列出了一大批合作伙伴的名字。其中，内容制作演示了如何在云上创建一个整体的工作室，由使用虚幻引擎和 Cuebric 的生成式 AI 辅助虚拟制作组成，并采用 Wacom 平板电脑；视觉特效和渲染采用 Foundry 的 Nuke 和 SideFX 的 Houdini；使用 Adobe Premiere 和 Streambox 在云中进行实时视频预览编辑，并使用 Frame.io 进行制作资产管理；以及使用 Leostream 和 Qumulo 进行云工作室管理。整个工作流程的展示，用的是即将上映的科幻/喜剧电影“月球上的女牛仔”的 90秒电影预告片从头到尾的制作过程。
图：亚马逊与UE等合作伙伴的内容生产和编辑工具
图：亚马逊联合十多家供应商的云上播出及分发
微软携自身合作伙伴，展出了互动电视的应用场景Beat the BUZZR。现场和英伟达联名展示了电视购物的现场互动竞猜小游戏，让参展观众可以与当前的节目有效互动。
图：微软和英伟达的互动电视展示
微软的互动电视方案中，有众多合作伙伴联合为用户提供服务：如MediaKind改变了流媒体直播的体验，使动态广告投放和数字内容交付成为现实；Prime Focus Technologies的CLEAR AI提供了智能剪辑、人工智能辅助内容审核、社交媒体营销、情境广告、媒体供应链管理等功能，帮助用户充分释放互动电视的商业化潜力；Alice & Smith联合微软推出XR 服务器，将游戏的互联交互特点与媒体事件的数据洞察相结合，使媒体公司能够更好地了解观众，并通过有针对性的节目和促销设计，对观众行为做出实时反应，实现从被动观察到主动、沉浸式参与的升级；Symphony Al 推出的Media Copilot集成了微软Azure OpenAl服务，将协助用户快速分析跨分发平台和收入模式的内容性能，并提供AI驱动的洞察力，以释放流媒体内容和服务的新价值。
5. 软件定义正在改变业界玩法
在云基础设施和平台的支持下，海外各类媒体软件工具呈现繁荣发展态势。与传统依靠专业硬件设备为主的内容摄制方式相比，软件的使用更灵活、成本更低，越来越被海外媒体用户接受。在软件应用的驱动下，硬件设备和环境也呈现出可以大幅简化、轻量化的趋势。有硬件参展商感叹，看云和软件这样发展再过几年，可能现在这些硬件设备就都没了。
腾讯多媒体实验室的臻彩云境虚拟拍摄工作站，现场展示就受到广泛关注。该工作站核心在于通过软件算法就能实现虚拟拍摄与制作，摆脱了传统硬件设备、传感器依赖等局限，能够低成本、高效制作实时特效内容。现场就有客户在体验后反馈非常感兴趣，表示考虑要回去更换掉自己现在的昂贵设备。
一些硬件厂商也在更积极应对进行“软化”变革，推出软件并不断丰富功能，搭配更加轻便的硬件，软硬件结合提升性价比和竞争力。长期看，尤其在短视频、GenAI等大发展驱动下，传媒行业主流可能也会从“重硬件、重资产”模式，逐渐转变为“重软件、轻资产”。
图：腾讯的云上媒体解决方案矩阵
图：腾讯多媒体实验室的臻彩云境虚拟拍摄工作站，提供便携、高性价比的虚拟拍摄
6. 虚拟拍摄成为行业标配
实时虚拟拍摄可以说遍布了本届展会全场，不仅包括访谈类节目包装，还有即将展开的美国2024年大选演示，以及观众可以深度体验的虚拟拍摄开车展示等等。各大厂商都在展出自己的虚拟拍摄技术，允许在不受时间和空间限制的情况下进行拍摄，为媒体内容制作提供更为灵活、更具沉浸感的拍摄方式。
虚拟拍摄的特点是“所见即所得”，它结合了虚拟现实（VR）、增强现实（AR）、计算机生成图像（CGI）和游戏引擎等技术，通过实时渲染实现场景的实时可视化，从而颠覆了传统的媒体节目制作流程。虚拟拍摄可以大幅缩短制作周期、降低成本、提高效率，为影视行业带来巨大的变革和发展机遇，有望进一步推动传媒行业的创新和发展。
图：现场观众可以体验虚拟拍摄的互动区
图：现场展示虚拟拍摄并合成播出内容的场景
7. 混合现实已部分迈进商业现实
混合现实的感受更多不是来自会场本身，而是在会场之外、美国的泛娱乐商业场景，已经融入了不少混合现实相关技术。典型像洛杉矶的好莱坞环球影城，大量的游玩项目中都深度嵌入了裸眼3D等技术，让用户获得更加沉浸、超越现实的体验，同时也能节约传统物理环境和设施搭建等成本。印象最深的是Studio Tour项目中坐电瓶车逛好莱坞片场，期间穿越一个山洞时旁边出现一群演员进行歌舞、戏剧等表演，一开始大家都觉得是真人，仔细看才发现都是3D场景和数字人。
图：好莱坞环球影城Studio Tour项目途中的”现场“表演
拉斯维加斯的巨型球建筑Sphere，则更进一步把虚实融合的沉浸式体验，打造成了城市新地标，被称为当今世界最接近元宇宙的地方。该球体被5.4万平方米的LED屏幕覆盖，是目前最大、也是分辨率最高的LED屏幕。内部也装了近1.6万平方米的环绕式LED屏幕，能播放由多台8K摄像机捕获的360度全景视频，结合音乐会级音频系统、定制的触觉地板等多种感觉技术，效果非常震撼。目前，Sphere的直接收入主要有外墙广告、日常参观门票、演出租赁组成，政府和开发商预计还能借此吸引游客、带动当地消费和就业。
图：拉斯维加斯的新地标建筑 Sphere外观
图：Sphere内部球形影院播放影片《地球明信片》
会场里也有相关的前沿展示和专题讨论，特别是围绕Apple Vision Pro。如云图形公司OTOY、电影公司Roddenberry Entertainment 和派拉蒙游戏工作室联手，推出了用于Vision Pro 的首个大型扩展包《The Roddenberry Archive》，让用户能沉浸在《星际迷航》的空间体验中，探索数百个地点和物品。其中还有专为Vision Pro重制的概念视频和纪录片，具备超高的光线追踪质量和分辨率。
图：Apple Vision Pro上的《The Roddenberry Archive》
腾讯多媒体实验室也带来了与Apple Vision Pro结合的最新成果，用全息视频 6DoF（六自由度）技术做出的舞者Demo。观众能够从任何角度和位置参与内容，结合 Vision Pro 的透视功能，实现虚拟和实景完美融合的交互体验。6DoF比普通VR360更先进、更沉浸，把自由度从三扩展到六，需要体积视频等新技术支持，数据量随之也大幅提升超出传统流媒体带宽。腾讯多媒体实验室自研压缩引擎支持6DoF/点云/VVC等前沿视频技术，可以大大降低带宽，使未来视频的流媒体传输成为现实。
图：腾讯多媒体实验室在Apple Vision Pro上展示6DoF技术做出的舞者Demo
8. 人形机器人担任媒体主持人值得期待
在展会的欢迎会议上，Ameca（一款自主人工智能驱动的人形机器人）和 Futuri Media 创始人兼首席执行官 Daniel Anstandig 进行了演讲。未来，人形机器人加入到媒体和娱乐节目中，是非常值得期待的方向，这将为媒体内容制作带来更多有趣、可互动的节目效果。不难想象，未来出现一档机器人担任主持人的栏目或许就在不远的时间。随着人形机器人技术的不断演进，加上大模型在具身智能，机器人语言交互等方面助力，机器人可以在晚会、真人秀、时事评论、电影、电视剧等更多场景中担当主持人和演员。
图：Ameca在NAB开场欢迎词上的互动
在Sphere展馆中，也放置了多台Ameca供观众互动体验。Ameca不仅可以实现流畅的对话，还可以根据现场发问观众声音方向，来调整自己的身体朝向，从而跟正在说话的观众直接互动。其英文对话的流畅度非常好，而且配合相关的肢体动作，让机器人交互不再生硬，也能用中文进行“你好、谢谢、欢迎”等简单对话。
图：Sphere展馆中的接待机器人Ameca吸引了大量围观体验
9. 创作者经济可能迎来新一轮爆发
展会还专门打造了一个全新的创作者经济展区，举办了近百场专场活动，囊括数百家参展商。在GenAI的加持下，内容创意可能井喷。创作者可以利用工具更便捷、快速生成多种形态的内容，比如文字、图片、视频等。在数字创新正在迅速改变传统广播、媒体和娱乐行业的世界中，创作者经济已成为驱动力，重塑格局并重新定义内容的创建、分发和货币化方式。
在展会上，一些创作者分享了他们的新型工作室，如汽车 DIY YouTuber Lucky Lopez 在他的车库进行拍摄，并开发了一些定制技术，使他能够在没有大型制作团队的情况下更轻松地制作内容。
图：汽车 DIY YouTuber Lucky Lopez 分享过去一年的工作
还有一些创作者分享了线上线下结合的创作者经济案例，如 YouTube 系列《Snake Discovery 》是由明尼阿波利斯一家宠物店的老板制作的。除了商品和各种其他收入来源外，仅 3500名会员就为该公司带来超过 125000美元的收入。这其中也反映出一个新特点，即大多数创作者经济活动并不依赖于数十亿次点击或数千万粉丝。大多数好机会将来自像 Snake Discovery 这样的企业，它们围绕自己的工作建立了小而强大、高度参与、超级热情和忠诚的社区。
据高盛称，目前全球有 5000万人在创作者经济中工作，根据其预测，创作者经济规模可能会增长近一倍，从去年的 2500亿美元攀升至 2027 年的 4800亿美元。创作者经济继续颠覆传统媒体的创作、制作、广告和发行。根据eMarket的研究，品牌商投给网红创作者的支出的增长速度将超过 Facebook、Instagram、TikTok、YouTube 和Snapchat 上的付费广告。
图：网红营销与广告增长对比
创作者经济之所以能获得如此强劲的发展势头，有四个关键原因。一是生成式AI技术的革新：无论是GPT4等文字生成大模型，Midjourney、Dell-E3等文生图模型，还是Pika、Runway、Sora等文生视频大模型，人工智能的技术进步给创作者带来了革命性的帮助，创作者可以借由工具寻找灵感，让创意快速展现。这极大提升了创作的效率，也让更多的人有机会创作出平均水平至上的作品，大幅降低了创作门槛，丰富了市场供给。二是商业化日益成熟：创作者可以利用各种货币化渠道，例如广告、赞助、商品销售和粉丝的直接打赏支持。三是社区参与和私域流量的加持：与受众的直接联系可以实现更有意义的互动反馈，增强用户信任度，增加用户购买，从而繁荣创作者经济生态。四是灵活的工作选择：创作者经济提供了独立工作、个人可控的时间表和灵活性。
10. 数字内容的信任危机有赖区块链等技术创新解决
区块链和Web3也是本次展会一个值得关注的议题，并且有讨论认为加上人工智能和元宇宙可能是好莱坞乃至影视界的下一个商业模式。在技术助力创作者经济大发展的情况下，未来数字化媒体内容的形态、生产和流通的方式、变现的模式等都将更丰富多变，如何保障数字内容的安全和版权收益公平分配，避免盗用、伪造、滥用等风险，成为媒体和娱乐行业越来越需要面对和解决的问题。
主展区举办的“公平透明电影制作的未来”专题会议讨论了相关问题。代表性案例是非营利组织去中心化图片（Decentralized Pictures，DCP），用区块链和数字货币的方式创建了一个透明的电影制作管理平台和自主奖励系统，通过智能合约，让电影相关内容的提交者、审稿人、评估者、版主等都能按需参与并获得奖励，支持收益的合理分配。该平台已经支持成功制作了多部独立影片。
实际上，电视广播领域区块链使用走得可能更快，特别是对内容准确和实时性高要求的新闻领域。例如，BBC和Adobe、谷歌、英特尔、微软等公司联合创立了内容来源和真实性联盟（C2PA）并制定了技术标准，将加密元数据附加到图像和视频文件中，类似给了数字内容“出生证”。OpenAI的DALL-E 3近期也宣布加入该标准，为防止美国总统大选前被滥用传播虚假消息。Fox也开发了一个内部系统Verify，建立在由Polygon Labs开发的区块链上，也是为确保媒体内容的来源可查可追溯。项目负责人反映，Fox新闻或体育在线发布的每一条内容，或从其任何一个本地电视台发布的内容，都会同时写入区块链经过验证进行加密签名。
图：C2PA防篡改签名过程示意
Lian,MK：《AGI万字长文：2024，趋势与展望》
王齐昂：《加速分化：关于大模型走势的十个判断》
👇点个“在看”分享洞见