欢迎大家访问我的网站!

DMAD 开源:50 步压到 4 步,8GB 显卡也能出有声视频

4 步这个数字,先看清楚再说

DMAD 是德州 A&M 与字节跳动的研究者合作的一个项目,9 月底建的仓库,Apache-2.0 协议。它做的事说起来简单:把扩散模型的采样步数从 50 步压到 4 步。对象不是参数量——学生模型是挂在原模型上的 LoRA,rank 和 alpha 都是 128,两个权重文件各 1.4 GB。省下来的是串行去噪的次数。

被蒸馏的基座是 MiniMax-H3-33B,一个联合音视频生成模型。蒸馏后默认输出 1344×768、124 帧、24 fps 下约 5.2 秒的视频,同时生成 32 kHz 原生立体声。也就是说画面和声音是一起出来的,不是后期配音。

项目在 ImageNet、SDXL、Wan2.1、MiniMax-H3 四个基座上都做了验证。四步 SDXL 在 COCO-10K 上 FID 14.47;四步 Wan2.1-T2V-14B 在 VBench 上总分 85.15。音视频联合生成这块,用 VideoGenEval 的 387 个提示词做了 774 组两两对比,四步学生相对 DMD2 的总体偏好率是 79.1%,音频质量偏好 87.9%。

视频生成与音频波形概念插画

图片由 AI 生成

它把「再养一个模型」这一步省掉了

扩散蒸馏的常规路线是 DMD:让学生拟合"目标分布分数减去学生分布分数"的差。问题在于拿到学生分布的分数,需要额外维护一个辅助扩散模型,持续追踪学生不断变化的分布——这是额外的显存和算力。

DMAD 把这件事改成了分类问题。训练一个二分类判别器,区分"真实数据/教师样本"和"学生样本",直接学两条分布的对数密度比。判别器共享一个特征骨干、挂两个头:教师头对教师样本,真实数据头对真实样本。论文证明了判别器达到最优时,这组线性损失能还原出 DMD 依赖的那个梯度。

配套的三个工程改动让训练更省:教师样本离线预生成并缓存,训练时不再在线调用教师;判别器与生成器的更新配比从 5:1 改成 1:1;教师监督的权重按噪声区间动态分配,用真实数据头在两类样本上的平均 logit 差作为信号,衰减系数 0.99 的指数移动平均追踪。

结果写在论文附录里:4 张 H200、MiniMax-H3-33B、rank-128 LoRA 的配置下,每次生成器更新的耗时从 DMD2 的 818.1 秒降到 233.3 秒,约 3.5 倍;峰值显存从 127.23 降到 114.72 GiB/GPU。

8GB 显存能跑,但别把它读成 8GB 秒出

官方档位是这样分的:

  • 8 GB 显存:124 帧,约 5 秒有声视频,官方称所有峰值都在 6 GiB 以下
  • 12 GB 显存:362 帧,约 15 秒
  • 16 GB 及以上:同样 15 秒,可用 4 步或 8 步工作流

做法是把 32B 文本编码器和 33B 变压器全部留在显存之外,一层一层从检查点流式读入 GPU,用两个轮转缓冲区把读取藏在计算后面。作者在 H200 上核对过:这条路径与常驻显存的输出逐比特一致。

真正容易被标题带偏的是"4 步"——它指的是去噪评估次数,不是 4 秒出片。作者按 H200 实测利用率推算到消费级显卡:4090 和 5090 上每次模型评估约 1 分钟,3090 约 2 分钟,也就是一条 5 秒视频要 4 到 8 分钟采样,另加解码时间。15 秒视频的 token 数是 5 秒的 2.9 倍,而注意力开销按平方增长,算力约为 6 倍。RTX 20 系及更早的卡没有原生 bf16,会走模拟路径,慢得多。

消费级显卡工作站概念插画

图片由 AI 生成

真正的门槛不在显卡

基础模型约 170 GB 磁盘,每次模型评估要流式读 36 GB 权重。官方建议 48 GB 以上系统内存以开启内存常驻,否则每一步都要重新读盘;ComfyUI 的低显存工作流明确推荐 64 GB 系统内存。开 int8 权重能把读取量和内存占用减半,但官方明确说了输出会与默认路径不同,不再逐比特一致。

还有几项硬性限制:只有 Mac 或核显的设备用不了,没有 NVIDIA 显卡连低显存路径都进不去;使用前要接受 MiniMax H3 社区许可;输出分辨率固定在 1344×768。

作者自己也留了余地——在快动作的提示词上(武术、拳击、扣篮),8 步和 12 步渲染出的动作比 4 步更干净,因为采样时间随评估次数线性增长,步数是可以自由换的。这句话其实说明了这次开源的性质:它是一套蒸馏方法的示范,不是一款调好的成品。

对做素材的人,值得算一笔账

如果你手上有一张 8GB 的 NVIDIA 显卡、170 GB 空闲磁盘、再加 36 GB 以上的内存或一块够快的 NVMe,那么现在可以自己做 5 秒带立体声的首屏视频了。对下载站、模板站的演示短片,或者产品页上的动效素材,这确实把外包成本砍掉了一截。

但算账的时候要把时间也算进去:一条 5 秒素材 4 到 8 分钟,批量做二十条就是两小时起步。而且要出稳定的成品,提示词迭代的轮次往往比生成本身更耗时间。

更现实的用法可能不是替代素材库,而是补缺口——素材库里找不到合适角度的那几个镜头,自己生成一下。批量、可控、稳定输出这三点,目前的开源方案还没到能放心交给它的程度。

最后提醒一句:以上成绩全部是论文和作者自报数字,未经第三方复现,本机的显存与耗时数据也全部来自官方 README。真要投入生产,先自己跑一遍再说。

转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源!

本文链接:https://www.zkui.cn/post/78.html

收藏 点赞

网友评论

热门文章
随机文章
热门标签
侧栏广告位
图片名称