ZHO | 每日简报 | 20240418
论文精选
1）快速生成高质量 3D 虚拟人物：DiffHuman
同样基于单图输入，DiffHuman 通过预测一系列基于 2D 图像的 3D 重建概率分布，实现同时对多个3D模型（与图像一致）的采样，提升了对不可见/不确定区域的重建能力
在保证多样化的同时还大幅提升了推理速度
https://akashsengupta1997.github.io/diffhuman/
2）最新进展！Open-Sora Plan 发布 v1.0.0
显着增强了视频生成质量和文本控制功能：
1）使用 CausalVideoVAE 进行高效训练和推理，对视频进行 4×8×8 的时空压缩
2）图像-视频联合训练以获得更好的质量
技术报告：https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.0.0.md
3）3D 场景编辑新进展：Freditor
研究发现图像的低频部分在编辑后具有更好的多视图一致性，并且外观风格也主要体现在这一部分，而内容细节则主要体现在高频部分
Freditor 通过对低频部分进行编辑，从而得到高保真的编辑场景。同时在低频特征空间的编辑还使得场景转移成为可能
https://aigc3d.github.io/freditor/
4）4D 人体动态渲染新方法！SurMo
SurMo 是一种 4D 运动建模新范式，能够有效地在统一框架内联合建模时间动态和人体外观，实现了动态人体的渲染保真度和视角一致性，展示了在保持高渲染质量的同时，实现快速动作和相关阴影渲染的潜力
https://taohuumd.github.io/projects/SurMo/
5）耦合激光雷达+相机的高质量3D重建方法：TCLC-GS
一种全新的紧密耦合激光雷达和相机的高斯投影，充分利用激光雷达和相机传感器的综合优势，实现快速、高质量的3D重建和新视角RGB/深度合成
在城市场景中实现了实时RGB和深度渲染，1920×1280帧率90 FPS，1600×900帧率120 FPS
https://arxiv.org/abs/2404.02410
项目精选
1）Stable Diffusion 3 通过 API 率先发布！
Stability AI 刚刚 发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo！现在已经可通过 Stability AI 开发者平台 API 使用
SAI 计划在不久的将来通过会员资格提供模型
详情：https://bit.ly/3W43FjY
2）Stable Diffusion 3 （API）已经可以在 ComfyUI 中使用了！
使用方法：
先申请API，然后填入config.json文件即可（每账户25免费积分）
SD3 每张图6.5积分（比较贵）
项目地址：https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API
3）SD3 一些测试图
ZHO | 每日简报 | 20240418