近日,杭州文广集团成功研发一个以策、采、编、发全流程人工智能生成内容为技术驱动的短视频实验生产车间。该实验生产车间秉持内容为王、技术驱动、集成创新、开放合作的宗旨,以AI赋能内容生产,并以此为基础进行流程创新,实现了短视频内容生产提质增效。
△ 央视新闻、钱江晚报等多家媒体报道相关内容
据悉,2023年伊始,杭州文广集团开始布局人工智能生成视频内容的技术研发创新工作。目前已完成文本驱动超写真语音生成、超写真数字主播生成、视频AI检索、文本驱动的视频剪辑一键成片等技术创新模块的研发,并成功研发了国内首档全流程人工智能生成电视节目《冠军AI亚运》。
杭州文广集团以人工智能技术打造短视频内容生产集成创新平台,开创了国内媒体行业之先河,通过直接对接目前国内最前沿的算法大模型,并充分调用自有庞大的音视频数据资源,技术起点高,应用场景切入点准,在内容生产领域取得了长足进步,具有示范作用。
杭州文广集团拥有深厚的音视频媒资库的资源优势,联汇科技依托OmFusion引擎、AIGC技术打造的OmFusion媒体辅助生产平台通过多模态数据处理、向量数据库、AI增强分析等核心技术为基础,实现对音、视、图、文等多种模态的数据进行融合处理,并构建高维向量数据索引和关系图谱,打造一个具备自监督学习能力的一体化认知型智慧大脑,高效实现视频AI检索、文本驱动视频剪辑一键成片等应用,让视频的内容检索更简单、视频的生产制作更容易。
视频AI检索
OmFusion引擎拥有夯实的检索能力,面对杭州文广集团的巨量媒体数据与资源(音频、视频、图片、图文等),Fusion引擎通过AI自动处理对媒体资料的分类、打标签、向量检索等环节,抽取对象的各种标签特征和知识点,形成全息检索知识库,无需人工编目。同时通过语义检索,克服传统关键词搜索的弊病,检索精准度和获得率远高于关键词搜索。
OmFusion引擎既能满足支持图搜图、文本搜文本、视频搜视频等单模态检索,也可以满足图搜文、文搜视频等跨模态检索,同时通过对视频的全景扫描,满足对人脸、车辆车牌及人体特征等特殊检索需求,大幅提升视频检索的效率和准确率,检索精度可以精确到每帧、每秒。
文本驱动智能剪辑
在文本驱动AI智能剪辑方面,OmFusion引擎实现了一键成片的创作。只需上传文本稿件,OmFusion引擎即可通过AI智能分析文本,合理解析语义,智能分段、分句,根据新闻稿件智能生成镜头脚本,并根据脚本内容在素材库中实现文本、音频、视频、图片等多模态素材快速搜索、剪辑和生成,为用户提供媒体新闻视频、影视动画混剪等,进一步降低了视频制作门槛。
同时通过使用视频字幕生成、视频锦集、视频拆条、视频超分等视频智能化剪辑工具,满足个性化、多样化的视频剪辑需求,高效节省人力时间成本,最大化版权内容价值,有效提升了成片的完整性和精彩程度,大幅提升文广专业工作者的工作与创作效率。
随着人工智能进入了通用人工智能阶段,生成式AI率先落地传媒领域,媒体行业正在大踏步迈入传统内容创作和AIGC并行的时代,联汇科技始终以技术与产品创新为核,为行业客户提供丰富的行业AI技术服务方案,不断加速大模型、AIGC等新技术在赋能行业升级方向中的创造性的实践与应用。