大脑如何处理音乐?当艺术遇上AI,将会有哪些可能性?10月28日至10月30日,第二届世界音乐人工智能大会(The Second Summit on Music Intelligence)在中央音乐学院举办,大会汇聚音乐人工智能、音乐与脑科学等领域具有影响力的人物以及音乐产业相关企业代表等,分享前沿技术与产业热点,致力于推动音乐人工智能“产、学、研、用”发展。
与听众建立情感连接,表演者通过个性化诠释进行再创作
10月28日晚,第二届世界音乐人工智能大会以一场“未来音乐会”揭开序幕,音乐会由中国顶尖音乐家携手人工智能团队共创,展现“音乐+人工智能”的跨界融合。
其中,序曲《欢迎》由央音人工智能作曲系统作曲,记者了解到,该系统可通过人工智能算法进行作曲、编曲、歌唱、混音,并最终生成完整音乐作品。智能作曲系统能够在23秒内快速地创作出一首歌曲,管弦乐作曲系统还能快速生成多声部乐队作品。
在《观己 II :如心》中,作曲家还能与现场观众建立情感连接而进行创作。作品首先对佩戴脑电设备的听众代表的 EEG (脑电信号)进行采集,运用深度学习模型进行认知过程分析,与此同时,通过基于表情的情感分析技术对算法音乐表演者的状态进行分析,获取其对音乐的情感反馈。
通过两种技术的结合,作品呈现了一个共情策略,让现场作曲家可以与听众建立情感连接。算法再将共情策略的结果传达给两位声学乐器表演者,表演者通过个性化的诠释与再创作,与算法音乐表演者和观众代表共同完成这部作品。
作品《观己 II :如心》中,作曲家现场与听众建立情感连接进行再创作。图/中央音乐学院
高校专家探讨人工智能如何应用于音乐创作
当艺术遇上AI,将会产生哪些可能性?10月29日,来自香港科技大学、清华大学、北京大学等多所高校的专家们就音乐与人工智能的发展做了分享。
香港科技大学副校长、英国皇家工程院院士郭毅可表示,在过去的几年里,AI开始在艺术创作领域崭露头角,透过深度学习和生成对抗网络(GAN)等技术,AI能够学习和模仿大量的艺术作品,并生成全新的创作。艺术家们也开始积极将AI纳入他们的创作过程,通过与机器的互动和探索,将传统艺术与科技的元素融合在一起。在报告中,他介绍了艺术和AI 结合下的创新方向与技术。
第二届世界音乐人工智能大会主旨报告现场。新京报记者 苏季 摄
北京通用人工智能研究院院长、北京大学智能学院院长朱松纯指出,近年来,人工智能模型与算法在音乐创作与视频配乐等应用中引起了较大的兴趣。当前大量的工作集中在基于Transformer、扩散模型等深度学习方法,通过从人类音乐作品中学习统计模型, 再从模型中生成音乐,但这类方法在模型的可解释性、可控性、交互性等方面还存在较大不足,也受限于专业的音乐标注数据的不足,尚不能与人类创作者在音乐的层次结构、认知、情感、美学价值观等概念表达上实现对齐。针对这个问题,他介绍了一种新的音乐建模理论, 将通用人工智能的UV理论应用于音乐创作。
此外,清华大学脑与智能实验室主任王小勤分享了大脑处理音乐机制的最新进展;欧洲科学院外籍院士、清华大学教授孙茂松介绍了中央音乐学院“乐言”小组在音乐人工智能领域的相关研究进展,涵盖音乐生成、歌词创作、声源分离、技法识别、音乐分析以及民族音乐数据库等多个方面。
新京报记者 苏季
编辑 缪晨霞 校对 贾宁