MagicTime 是一款由北大团队开发的新框架,用于生成可变时间延时视频( Metamorphic Videos )。简单一点来说,就是可以基于文本提示,展示物体变化的过程,并生成我们熟知的延时摄影视频。
通常来说,生成变化过程的视频对于模型来说是很困难的,因为模型不仅需要根据文本生成正确的信息,还需要跟随时间,展示出变化的过程。对于现有的模型来说,在生成这样的视频时,它们往往无法很好的遵循现实世界的物理规律,比如 Sora 的演示视频中凭空出现的小狗。
而 MagicTime 的开发团队通过自主设计的 MagicAdapter 方案,可以解耦空间和时间训练,从而编码更多的物理知识,使图像更符合现实。基于传统的 T2V 模型,MagicTime 在预训练 T2V 的基础上进行转换,从而生成我们看到的延时视频。
团队还将 MagicTime 集成到了先前介绍过的北大 Open-Sora-Plan 中,在同一标注框架中使用额外的变质景观延时视频进行扩展,以获得 ChronoMagic-Landscape 数据集。然后利用该数据集对 Open-Sora-Plan 进行微调,得到 MagicTime-DiT 模型。在项目的主页上,也对模型生成效果进行了部分展示。
开发团队似乎对《我的世界》这款游戏情有独钟,项目已生成的 demo 中,有很大一部分都是展示 Minecraft 中的建筑过程。相信不少游玩过这款游戏的玩家都和我一样,在看到演示 demo 是自己喜欢的游戏画面时,都会忍不住往下翻翻吧。
如何下载资源?
1:下载压缩包
首先,您需要从以下链接下载一键启动包:
2:启动程序
下载完成后,解压压缩包,点击"运行程序"
3:浏览器操作
在浏览器中访问 http://127.0.0.1:7860/,即可通过浏览器界面使用工具。
学术Fun 2023-11-25
陌鱼喜糖 2024-05-12