当前位置:首页|资讯

Synthesizer V Studio 1.10.0b1 公开测试版更新说明

作者:Dreamtonics发布时间:2024-09-11

Dreamtonics 欣然宣布 Synthesizer V Studio 1.10.0b1 公开测试版更新,为创作者带来 RLHF 改进音高模型等一系列新功能。


此次发布的公开测试版更新包含 Dreamtonics 最新研究进展——将人类反馈强化学习(Reinforcement Learning from Human Feedback,RLHF)技术运用于歌声合成领域。经内部测试证明,RLHF 能够用于音高生成模型并获得显著改进,同时提供了一种将用户反馈数据整合回歌声数据库,持续改进产品的路径。

具体而言,此次更新包含了 Synthesizer V Studio 的功能更新与 Synthesizer V AI 歌声数据库的底层更新,在提供歌声合成效果改进的同时,还能够在创作者同意的前提下,通过编辑器向 Dreamtoincs 提供关于音高模型偏好的反馈数据,这些反馈数据将用于下一步人类反馈音高模型的训练,并包含在未来的歌声数据库更新中。


通过人类反馈改进音高生成模型


人工智能可以通过训练,学习歌手的演唱数据,从而深入模仿一位人类歌手的演唱特点。但是,为人工智能训练这一过程获取优质的数据长久以来都是一种挑战。传统的歌声合成算法会从歌手的原始录音素材里学习到演唱风格的优点与缺点,在某些情况下,这反而可能会生成不尽如人意的歌声。


为了解决这一问题,我们在此次发布的 Synthesizer V Studio 公开测试版中引入 RLHF 技术来改进音高生成模型。RLHF 技术在过去已广泛用于文本生成类人工智能模型中,用于引导模型生成更符合人类偏好的结果。通过引入 RLHF 技术,我们可以“指示”Synthesizer V AI 生成更加符合创作者喜好的音高曲线,例如更少的跑调,更好的颤音,以及更具有表现力的音符过渡方式。



在将编辑器软件与歌声数据库更新到公开测试版后,创作者能够在 AI 重录面板上看到新增加的“强化”滑块,用于控制 RLHF 技术模型对歌声合成的参与程度。默认情况下,强化滑块将设置为最大值,以完全展现人类反馈的偏好。通过调节滑块,创作者可以在使用 AI 重录功能时获得更加多样化的歌声呈现,不断扩展歌声的表达空间。


通过 AI 重录功能提交反馈


此次发布的歌声数据库公开测试版更新,其内部搭载的 RLHF 技术模型是 Dreamtonics 通过长达一个月的严格内部测试搜集到的反馈数据训练而成的。尽管当前的 RLHF 技术模型已经对音高生成模型起到了增强作用,但我们预计,公开测试带来的更加广泛的测试环境与更加多样化的创作者音乐需求,将为 RLHF 技术模型带来更加全面的反馈数据,进而为歌声合成带来更加全面的改进。


Dreamtonics 将根据用户提供的反馈数据进一步改进音高生成模型,并计划将 RLHF 技术运用到音色合成模型领域。伴随此次更新,Synthesizer V Studio Pro 引入了用户反馈功能。在 AI 重录面板中,每个重录旁边都放置了一个心形图标,过去这个图标是用来为重录样本添加书签以方便管理,现在该图标也将用于反馈功能,用户点击该图标后,将向 Dreamtonics 分享这一重录片段的有关信息。这些反馈信息将用于训练歌声合成模型,并伴随未来的歌声数据库更新推出。



需要特别说明的是,反馈功能仅在用户明确同意的情况下才会启用。如果用户不参与反馈计划,或在参与后退出反馈计划,那么心形图标将恢复原有的书签功能,点击图标不会传输任何数据。


如果用户愿意参与反馈计划,在点击心形图标时,软件将搜集所选音符有关的项目数据片段,连同重录参数信息一并反馈,用于构建可供参考的训练数据。Dreamtonics 明确承诺,这些反馈数据仅在 Dreamtonics 内部使用,且仅严格用于研究与开发用途。这些数据无法识别出特定用户,也不会被公开。


软件可用性改进


Synthesizer V Studio 1.10.0b1 公开测试版更新还包含了多项用户界面与功能改进。现在,音轨右键菜单集成了音轨颜色选择器,为创作者区分各个音轨,并依据创作需求组合各个音轨提供了有效方法。



此外,根据用户反馈,1.10.0b1 还引入了新的菜单选项,允许创作者对音符内填入的歌词进行前后移动。该功能将便于创作者待使用“插入歌词”对话框输入歌词后,对歌词整体或部分进行快速调整。


项目工程文件兼容性提示


由于 AI 重录功能进行了重大更改,自 Synthesizer V Studio 1.10.0b1 版本起,使用新版本编辑器保存的项目工程文件将无法与 1.9.0 及更早版本的编辑器兼容。为方便创作者在不同工序间进行交接,1.10.0b1 版编辑器在“文件”菜单中引入了新的选项,允许创作者以兼容 Synthesizer V Studio 1.9.0 的格式保存项目工程文件。


获取公开测试版更新


此次发布的 Synthesizer V Studio 1.10.0b1 公开测试版更新将分别发布编辑器更新与歌声数据库更新。


公测版是 Synthesizer V Studio 软件更新的早期版本,通过参加公测,创作者能够抢先体验计划发布的最新功能更新以及稳定性优化。

公测版包含 Synthesizer V Studio 计划发布的全新功能与错误修复,但这些更新仍处于开发阶段,可能还不稳定,会出现与操作预期不符或错误的情况,需要创作者加以注意,并在更新前做好工程文件保存与备份。


需要特别提醒的是,自 Synthesizer V Studio 1.10.0b1 开始,项目工程文件的保存形式发生变化,1.10.0b1 及未来版本保存的项目工程文件,默认将无法在 1.9.0 及更早版本中打开。如创作者在参加公测过程中需传递工程文件或回退版本,请注意在保存文件时勾选兼容性选项,以兼容旧版本的文件格式保存工程文件。


鉴于 Synthesizer V Studio 1.10.0 带来的歌声合成模型更新,Dreamtonics 宣布为自有品牌歌声数据库发布公开测试版更新,并经合作伙伴批准为合作伙伴产品发布公开测试版更新,包括:



Dreamtonics

岸晓(An Xiao)、澄宵(Cheng Xiao)、从铮(Cong Zheng)、D-Lin、沨漪(Feng Yi)、Kevin、林籁(Lin Lai)、Mai、默辰(Mo Chen)、Natalie、Ninezero、青溯(Qing Su)、Ritchy、Ryo AI、Saki AI、Weina、煊宇(Xuan Yu)、Yuma、韵泉(Yun Quan)


AHS

小春六花 AI、夏色花梨 AI、花隈千冬 AI、弦卷真纪 AI(日语)、弦卷真纪 AI(英语)、京町精华 AI、追傩酱 AI、重音 Teto AI


Animen

爱莲娜·芙缇(Eleanor Forte) AI


AUDIOLOGIE

铃爱莉(ANRI)、JUN


Eclipsed Sounds

SOLARIA、ASTERIAN


飞天胶囊(E-CAPSULE)

夏语遥(Xia Yu Yao)


平行四界(Quadimension)

五维介质·星尘 Infinity



如创作者在使用过程中发现公开测试版歌声数据库存在任何问题、错误或可供改进之处,可随时向产品的对应发行商反馈。


下载测试版编辑器,请访问:

  • https://resource.dreamtonics.com.cn/download/中文/Synthesizer%20V%20Studio%20公开测试版/

下载测试版歌声数据库,请访问:

  • https://resource.dreamtonics.com.cn/download/中文/歌声数据库/公开测试版歌声数据库/


完整更新日志

Synthesizer V Studio 1.10.0b1 (2023年8月2日)


新功能

  • 自动处理:增加对 RLHF-强化音高模型的支持,并在音高重录上增加了强化参数(需更新歌声数据库)。

  • 编曲:在音轨头的右键菜单中增加了音轨颜色选择器。

  • 钢琴卷帘:增加了菜单项目,可以向前/向后转移所选音符的歌词。

  • AI 重录面板:用户可以选择加入重录反馈采集,通过点击心形按钮将偏好的重录、以及所选音符附近的有限项目数据发送给 Dreamtonics,并帮助其改进音质。

功能增强

  • Synthesizer V 引擎:改进了音素时长的生成,并使音色重录有更丰富的变化(需更新歌声数据库)。

  • AI 重录面板:重新设计面板以始终显示全局(音轨/音符组范围)表现力和强化数值。

  • 插件:AU 和 VST3 插件现在支持拖拽导入 MIDI 文件。

  • 其他:改进了中国大陆地区的激活服务器连接。

行为变更

  • AI 重录面板:现在重录列表中的表现力和强化滑块会叠加全局数值,并以绝对值显示。

  • 文件:由于表现力取值范围发生变化,在 Synthesizer V Studio 1.10.0 及更高版本中保存的项目不再向下兼容。用户可以使用“另存为 (与 1.9.0 兼容)...”将项目导出到先前版本的 Synthesizer V Studio。

Bug 修复

  • Synthesizer V 引擎:修复了上次更新因词典更改,而引起标准歌声数据库崩溃和质量下降的问题。

  • 图形界面:修复了 macOS 平台上某些键盘快捷键字体缺失的问题。

  • 实时渲染:修复了在启动后立即加载渲染会跳过项目某些部分的问题。



关于 Synthesizer V

Synthesizer V 是由 Dreamtonics 推出的歌声合成软件系列,以简洁高效的编辑界面及阵容庞大的歌声数据库组合为创作者提供一站式歌声合成体验。结合直观灵活的用户界面与强大的歌声处理引擎,创作者只需编写旋律并填入歌词,即可创作出属于自己的歌曲。Synthesizer V 歌声合成无需网络连接及昂贵的电脑配置,只需简单点击即可在设备本地高速合成。


关于 Synthesizer V AI

Synthesizer V AI 是以 Dreamtoncis 研发训练的深度学习网络(DNN)为核心的歌声合成技术,歌声有如人类歌手般自然流畅,细节饱满。凭借领先的跨语言合成技术,Synthesizer V AI 能够让歌声在中文、粤语、英语、日语四种语言间自由切换演唱,并能够合成高水平中英文说唱歌声。借助丰富的参数控制选项与声线效果,歌声能够在歌曲间变换多种风格,为创作带来广阔可能。


关于 Dreamtonics

Dreamtonics 是一家专注于歌声合成与语音合成技术开发的初创企业,以灵活高效的开发模式为全世界创作者提供顶尖的歌声合成技术与语音合成技术。同时,公司还面向企业提供多样化的声音定制、技术嵌入等多样化的商用服务。


关注 Dreamtonics

哔哩哔哩:Dreamtonics

微博:Dreamtonics

微信公众号:Dreamtonics


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1