Self-Hosting Economics · 开源模型自部署经济模型

把开源前沿模型跑起来，
比官方便宜 50%，还能赚钱吗？

逐模型拆解：技术规格 · 算力需求 · 官方与第三方市场价 · vast.ai 等平台租赁成本 · 自部署方案 · 单位经济学与利润 · 社区优化。本期深度展开 Kimi K3，后续持续更新 DeepSeek / Qwen / Flash 与 Video 板块。

💰 商业机会 · Arbitrage

官方 / 第三方定价 $13–15/M，而 H200 实际 serving 成本低至 $3.17/M —— 以官方 −50% 报价切入，仍留 37–58% 毛利的套利窗口。

最优毛利率

58%

16×H200 预留 · −50% 报价

单集群月净利

~$24k

16×H200 按需 · 满负载 24/7

年化净利 / 集群

~$290k

纯租赁 · 零 capex

价格护城河

低 42%

$7.5 vs 第三方最低 $13

我们报价 · 出 token

$7.50/M

官方 $15 的 −50%

最佳成本 · 出 token

$3.17/M

16×H200 预留价

生产甜点毛利

37–58%

H200 按需 → 预留

收支平衡吞吐

2540tok/s

H200 按需 @70% 利用率

01模型清单 · LLM

点击已上线模型进入深度分析。灰色为排期中——同一套框架（技术→算力→市场价→自部署→利润→优化）逐个展开。

02Kimi K3 · 技术规格

Moonshot AI 的旗舰：2.8T 总参 / 104B 激活的原生多模态 MoE，1M 上下文，MXFP4 原生量化。激活参数大 = 单 token 算力重，这是它成本高于小模型的根因。

总参 / 激活

2.8T / 104B

专家 (激活)

896 → 16+2

层数

93 (69 KDA+24 MLA)

注意力

KDA 线性 + Gated MLA

上下文 / 词表

1M / 160K

量化 (权重体积)

MXFP4 ≈ 1.56 TB

多模态

文本+图像+视频

投机解码

EAGLE-3 draft

许可证

Kimi K3 License

03算力需求 & 部署方案

权重 1.56 TB 是硬约束。两条现实路径：H200 集群（生产）与 5090 集群（成本套利/实验）。MXFP4 只在 Blackwell/MI355 级原生加速——5090 是 Blackwell，格式没问题，瓶颈在容量与无 NVLink 的 all-to-all。

方案	拓扑	聚合显存	互联	吞吐(base)	定位
H200 生产	16× H200 (141GB) 2 节点，DP16+EP16	2,256 GB	NVLink + IB	~4,000 tok/s高并发·出	稳定商用甜点
5090 套利	60× RTX 5090 (32GB) 8卡/节点 × ~8	1,920 GB	PCIe 5.0 (无 NVLink)	~1,000 tok/s需 spec+P2P	低价实验/夜间
B300 官方级	8× B300 (288GB) 单节点	2,304 GB	NVLink5	最高	Moonshot 官方路径

吞吐为建模估计（高并发混合负载 · 出 token），按 DeepSeek-V3 级 MoE 服务能力、以激活比例(104B)缩放并计入投机解码，非官方实测值——真实值随 batch、上下文长度、命中率波动，故下方计算器全部参数可调。

04推理框架 & Profiling

吞吐是成本的分母——它由推理管线的每一环决定。下面拆开 K3 的服务框架，并对单 token 解码做延迟归因（profiling），说明 20 → 50 tok/s 的空间从哪来。

推理管线 Prefill / Decode 分离部署

① 请求 + 前缀缓存

KDA-aware 前缀缓存联合管理 KDA 递归状态 + MLA KV。1M 上下文命中后仅增量 prefill ~4K。

512-token 边界可命中

② Prefill 阶段

FlashKDA chunkwise 内核 + Gated MLA；SM 级 Context Parallelism 并行超长序列。

算力密集 · 可独立扩容

③ Decode 阶段

进入自回归循环，逐 token 出字。瓶颈从算力转为状态搬运 + 跨卡通信。

延迟敏感 · 本节重点

Decode 循环（每步）

draft · EAGLE-3

Kimi-K3-0.40B 单层草稿模型一次提 k 个候选 token。

提 4

target verify

KDA 递归状态更新 + MLA KV 读 + MoE 16 专家 all-to-all，一次前向校验 k+1 个 token。

批量化改善通信

accept + rollback

ReplaySSM 缓存 draft 投影输入、on-chip 重建被接受 token 的状态。

接受 ~3 / 步

Profiling：单 token 解码延迟归因（裸 EP · batch 1 · 示意）

基线 50 ms/token = 20 tok/s。纯权重读取（HBM）理论下限仅 ~0.5 ms——差 90×，全在通信、CPU 中转与 kernel 碎片。瓶颈不是算力也不是带宽，是无 NVLink 的 all-to-all。

MoE all-to-all (PCIe) ~29ms CPU 中转 ~9ms kernel 碎片 ~6ms 其他 ~5ms

跨卡专家通信（主导瓶颈）无 P2P 的主机内存反弹 93 层 kernel launch 通用/未适配 kernel 权重读取 ~0.5ms（理论下限）

优化增益阶梯：20 → 50+ tok/s（累计 · 已打折）

基线（裸 EP · 无 spec）

20 tok/s

+ EAGLE-3 投机

~40 ·×2

+ PCIe P2P 补丁

~52 ·×1.3

+ latent-FP8 / FlashKDA

~62 ·×1.2

+ CUDA Graph / 重叠

~70 ·×1.13

目标 50 tok/s 稳妥达成（叠乘有相互抵消，已打折至 40–70 区间）。吞吐每提升一档，第 05/06 节的成本/M 同比例下降、毛利同步走高——这就是「优化即利润」。分解为示意值（batch 1 裸 EP 基线），实际随并发、上下文、命中率波动。

05市场价格对照 · 出 token ($/M)

官方 $3 入 / $0.30 缓存 / $15 出。第三方普遍贴近官方，最低见 Sail Research $2.60/$13。我们定官方 −50%：$1.50 入 / $0.15 缓存 / $7.50 出——比全市场都低，靠自部署成本撑毛利。

Kimi 官方$15.00

官方 platform.kimi.ai

第三方最低 (Sail)$13.00

FP4 · 略裁上下文

我们报价$7.50

官方 −50%

自部署成本 (H200 预留)$3.17

成本线

条形宽度 = 相对官方 $15 出 token 的比例。我们报价与成本线之间的落差即毛利空间。

06单位经济学 · 每 1M 出 token

成本公式：成本/M = 集群$每小时 ÷ (吞吐 tok/s × 3600 ÷ 1e6 × 利用率)。利用率取 70%，报价 $7.50/M。

方案	集群 $/hr	吞吐 tok/s	成本/M	毛利@$7.5	平衡吞吐
H200 按需 ($3/GPU)	$48	4,000	$4.76	37%	2,540
H200 预留 ($2/GPU)	$32	4,000	$3.17	58%	1,693
5090 按需 ($0.35)	$21	1,000	$8.33	−11%	1,111
5090 spot ($0.15)	$9	1,000	$3.57	52%	476

核心判断：K3 这种 104B 激活的重模型，H200 是生产甜点区（按需即 37% 毛利，预留达 58%）。5090 按需会亏——低吞吐 + 无 NVLink 的 all-to-all 拖累；只有 spot 价或把吞吐优化上去才转正。5090 的真正主场是后续的小模型（V4-Flash / Qwen），下期展开。

上表以「出 token」为核心（成本与售价的大头）。入 token/prefill 是净利上行项：agentic 负载入:出常达 4:1，且 1M 上下文缓存命中率高、prefill 算力便宜，而我们仍按 $1.50/$0.15 计费——计算器已含此项。

07交互式利润计算器

调参数看单位经济学与月度损益。默认 = H200 按需生产配置。

GPU 数量 16

单 GPU $/小时 $3.00

聚合吞吐 tok/s（出）4000

利用率 70%

降价幅度 vs 官方 50%

入:出比例 4 : 1

入 token 缓存命中率 50%

成本 / M 出

$4.76

毛利率（出）

37%

利润率健康度

我们售价 · 出 token$7.50 /M

月产出 token（24/7）7,258 M

月收入（出 + 入）$64,300

月成本（GPU + 15% 运维）$39,744

月净利$24,556

月度按 24/7 满负载 × 利用率估算；入 token 收入已扣缓存折扣，prefill 算力占用近似含于利用率。仅供量级参考。

08社区 & 自研优化方法

同样的硬件，吞吐能差 2–3×——直接决定上表毛利正负。优先级从高到低：

投机解码 EAGLE-3

K3 原生自带 draft（`Kimi-K3-0.40B`）。接受长度 ~3 → 单流吞吐直接 2–3×，且 verify 批量化改善 all-to-all 效率。

增益 ×2–3 · 最高杠杆

SGLang / vLLM + P/D 分离

KDA-aware 前缀缓存 + prefill/decode 分离；1M 上下文命中后仅增量 prefill 4K，成本降数量级。

增益 ×1.5–2 · 官方 recipe

PCIe P2P 驱动补丁（5090）

消费卡默认禁 P2P；打补丁走 GPUDirect 直传，去掉每次 all-to-all 的 CPU 中转。5090 集群转正的关键。

增益 ×1.3–1.6 · 仅 5090

层级并行 + latent 派发

跨节点 PP（只传 7KB 激活）+ 节点内 grouped-EP；latent 维 3584 派发 + FP8 通信，all-to-all 载荷减半。

增益 ×1.3

CUDA Graph + kernel 移植

整 decode step 捕图去 launch 开销；FlashKDA / WarpDecode 移植到 sm_120，吃满架构红利。

增益 ×1.2–1.5

调度：连续批处理 + 预算准入

连续批处理拉高并发利用率；按请求类分预算，防长上下文突发饿死短请求、稳住利用率（毛利分母）。

利用率 +15–25pt

Distillation · 并行专题

DLLM 蒸馏 · 大模型之间怎么"蒸"

蒸馏 = 用强「教师」模型的知识训练更小/更快的「学生」，逼近能力而省算力。LLM 蒸的是知识与推理轨迹（视频侧蒸的是「采样步数」，见 Video 板块的蒸馏专栏）。下面拆解：术语 → 三种范式与架构 → 数据/训练怎么做 → 推理侧蒸馏 → 合规传言 → 典型产品。

D1专业名词

教师 / 学生teacher / student

强而大的源模型 → 弱而小的目标模型；蒸馏就是把前者的行为迁移到后者。

软标签 · Logitssoft labels

教师输出的完整概率分布（不只是最终 token），比硬标签含更多「暗知识」——哪些答案接近对。

温度temperature

软化 logits 的系数，温度越高分布越平、暴露越多类间关系，蒸馏常用较高温度。

KL 散度KL divergence

衡量学生分布与教师分布的差距，是白盒蒸馏的核心损失；逆向 KL(MiniLLM) 更聚焦教师高概率模式。

白盒 / 黑盒white / black-box

白盒能拿到教师权重与 logits（同厂/开源）；黑盒只能拿到教师的输出文本（闭源 API）。

序列级蒸馏sequence-level KD

直接用教师生成的完整答案当训练数据做 SFT——黑盒场景的主力，R1→Qwen/Llama 即此。

On-policy 蒸馏on-policy KD

学生先自己生成，再让教师评分/纠正后更新；减少「训练用教师轨迹、推理用自己轨迹」的分布错位。

拒绝采样rejection sampling

教师大量生成后只保留正确/高质量样本进数据集，是造蒸馏数据的关键过滤步。

推理轨迹蒸馏CoT / trace KD

把教师的思维链(reasoning trace)也蒸进学生，让小模型「学会怎么想」，而非只背答案。

MOPDmulti-teacher on-policy

Kimi K3 用法：多个领域专家教师 → on-policy 蒸馏，合并成单一全能学生。

草稿模型蒸馏EAGLE / speculative

把大模型蒸成一个单层「草稿」模型做投机解码——推理侧蒸馏，提速不改主模型。

API 模仿蒸馏imitation distillation

用目标闭源模型的 API 输出当教师数据训练自己——技术上是黑盒序列蒸馏，多数 ToS 禁止用于训竞品。

D2三种范式 + 架构

蒸馏数据流教师 → 学生

① 教师模型

大而强（如前沿闭源/开源旗舰）。冻结不训。

frozen

② 教师产出

白盒：logits 分布；黑盒：生成的答案+推理轨迹。

logits / sequences

③ 蒸馏数据集

拒绝采样过滤留对的，保留 CoT 格式化。

reject-sample

④ 学生模型

小而快，从教师/自身初始化，被训练。

trainable

⑤ 损失

白盒 KL(拟合软分布)；黑盒 CE(SFT)。

KL / CE

On-policy 变体（如 Kimi MOPD）

学生生成

用当前学生策略采样输出。

教师评分/纠正

教师对学生自产轨迹打分或给正解。

按学生分布更新

在学生自己的分布上蒸，消除 train/infer 错位。

白盒 Logit 蒸馏

需教师权重/logits，学生用带温度的 KL 拟合软分布。信息最全，但只限同厂/开源。血统：DistilBERT / TinyBERT / MiniLLM。

信息最全 · 需权限

黑盒序列蒸馏

只需教师输出文本 → 组数据 → SFT 学生。跨厂皆可，闭源 API 也能"蒸"（合规见 D5）。R1→Qwen/Llama 走这条。

最通用 · 可跨闭源

On-policy 蒸馏

学生自产轨迹→教师纠正→更新，分布对齐、抗错位。Kimi K3 MOPD 多教师合并即此路。

质量最高 · 训练更重

D3数据怎么做 · 训练怎么做

案例：DeepSeek-R1 → 小模型

R1 自生成 80 万条带推理轨迹的样本。
拒绝采样留正确的 → 仅 SFT（无 RL）灌进 Qwen2.5(1.5/7/14/32B) 与 Llama(8/70B)。
蒸出的小模型在数学/代码上超 GPT-4o、Claude 3.5 Sonnet。
启示：推理能力可低成本迁移，小模型也能"会想"。

案例：Kimi K3 MOPD

先分别培养多个领域专家教师（SFT+RL）。
再用 Multi-Teacher On-Policy Distillation 合并成单一模型。
on-policy：在学生自己的分布上蒸，避免灌轨迹的错位。
启示：蒸馏不止"压缩"，也是"能力融合"的手段。

数据流水线通用四步：教师大量生成 → 拒绝采样/校验过滤 → 保留推理轨迹并格式化 → SFT（黑盒）或 KL（白盒）/ on-policy 更新。数据质量 > 数据量，「留对的」是关键。

D4推理侧蒸馏

EAGLE-3 草稿蒸馏

把大模型蒸成一个单层草稿模型（Kimi K3 自带 0.40B）做投机解码：草稿提 k 个 token、主模型一次校验，接受 ~3 → 单流吞吐 2–3×，主模型不变、无损。

推理提速 · 无损

QAT / 自蒸馏

量化感知训练可视作模型对自身的蒸馏——让低精度(如 MXFP4)学生逼近全精度教师的行为，部署省显存省带宽。K3 从 SFT 起就 QAT。

压体积 · 保精度

D5传言与合规（中立呈现）

这些是「指控」，非定论——被指方否认或未证实，各实验室也未公开完整证据。
· 2025-01：DeepSeek-R1 发布后，OpenAI/微软调查其是否用 ChatGPT 输出训练；2026-02 OpenAI 称其经第三方代理程序化提取输出。
· 2026-02-24：Anthropic 指控 DeepSeek、Moonshot(Kimi)、MiniMax 通过商用代理（约 2.4 万个账号、1600 万+ 次对话）绕过区域限制，"蒸馏攻击"式提取 Claude 的推理/编码/agentic 能力。
· 技术本质 = 黑盒 API 模仿蒸馏（用目标模型输出当教师数据）。OpenAI/Anthropic 的 ToS 普遍禁止用其输出训练竞品。合规上属灰/红区，商用前需法务评估。

D6典型工程 / 产品

工程 / 产品	做什么	方法
DistilBERT / TinyBERT	早期编码器压缩（~40% 更小，保 ~97% 性能）	白盒 logit KD
DeepSeek-R1-Distill	把 R1 推理蒸进 Qwen/Llama 1.5–70B	序列级 SFT
Kimi K3	多领域专家 → 单一全能模型	MOPD on-policy
MiniLLM	逆向 KL，缓解模式平均	白盒逆向 KL
EAGLE-3	草稿模型做投机解码	特征/草稿蒸馏
Gemma / Llama distilled	官方从旗舰蒸小尺寸	logit + 序列

Video Generation · 视频推理的硬件账

开源视频模型能不能
做成又便宜又能赚的服务？

视频生成的经济学和 LLM 不同——按「每片时长 / 每帧」计价，成本由扩散步数 × 分辨率 × 卡决定。本期深度展开 MiniMax H3（33B 视频 DiT）：架构、推理提速、GPU 矩阵、参考与 LoRA 生意，全部由一手拆解与实测支撑。

💰 商业机会 · Video Arbitrage

fal H3 Max $0.40 / 5s 片，而自建 4-step 蒸馏单片成本 <$0.001 —— 成本仅 fal 的 ~0.3%；以仍便宜 8× 的报价切入，毛利 4.8–16×。

最高毛利 (Turbo 4-step)

16×

$0.0006 成本 → $0.010 报价

报价 vs fal

便宜 8×

成本维度 280–490×

提速 (342s→3.8s)

90×

4-step · 8×5090 · FP4

关键洞察

先砍 11s

固定开销，别急着买卡

01MiniMax H3 · 深度拆解

33B 视频扩散 Transformer（DiT），支持文生视频+音频、图生视频、ref2va 参考驱动。Base 已开源（2026-08-03，FL2VA + Ref2VA 双 checkpoint）；H3 Max 为 fal 闭源后训练版，跑在 GB200 NVL72。以下拆解基于 transcript 一手研究（含 11 次自我修正）+ 可复现算子级 FLOPs 计算。

V1 · 模型总览

它不是单个模型，而是三件套系统：33B 生成器 + 全量 Qwen3-VL-32B 条件编码器（取第 50 层隐状态）+ 双 VAE（视频 fp16 / 音频 fp32）。HF 仓库 ≈ 498 GB；官方 BF16 部署 ≈ 4 卡（~123.6 GB）。

类型 / 参数

视频 DiT · 33.1B

结构

50 层 · d=5376 · 56 头

条件编码器

Qwen3-VL-32B (全量)

能力

t2va / i2v / ref2va

分辨率

768p 1344×768@24 / 480p

参考上限

9 图 / 3 视频 / 3 音频

Base (开源)

FL2VA + Ref2VA

H3 Max (闭源)

fal · GB200 · +8 Elo

fal 报价

$0.40 / 5s (促 $0.20)

H3 Max 是唯一有质量数字的变体（AA 榜与 Gemini/Seedance 2.0 差 6–8 Elo，落在 ±10 CI 内 = 统计打平）。商用 license 条款尚未核实——上线前需法务确认。

V2 · 架构拆解

核心发现是参数与算力的「错位」：条件注入走 AdaLN 调制（非 cross-attention），39.3% 的参数只产生 0.0011% 的算力；而 52.9% 的算力来自零参数的注意力二次项。这直接决定了「显存几乎从不是瓶颈，算力才是」。

模块参数占比算力占比 (768p 5s)

AdaLN 调制39.3%0.0011%

FFN (gated)36.3%28.2%

Attn QKV18.1%14.1%

Attn 输出6.0%4.7%

Attn 二次项0%52.9%

结构参数由 safetensors header 的 HTTP-Range 读取实测（不下载权重）；FLOPs 经 PyTorch 计数器验证 0.00% 偏差。AdaLN 输入仅时间步嵌入、与 token 无关 → 每步可预计算缓存（提议省 ~25GB，尚未实现）。

VDN-H3 · 混合注意力

把 video-video 注意力劈成两支：滑窗 softmax（局部 + 4 边界锚点，仅 +3.57% 密度）与门控 delta 线性分支（把窗外帧总结成恒定代价的状态）。内容相关 sigmoid 门融合。创新是把 delta 规则做成帧级而非逐 token。

开源 (OpenVDN) · 需 FA4 + PyTorch 2.13+

4 阶段训练 · ~2950 步

A1 逐层对齐 200 / A2 端到端 500 / B LoRA 2000 / DMD 250。checkpoint = 72GB 冻结 base + 4.3GB 分支&LoRA + 5.1GB turbo，即插即用。刻意选 8 步而非 4 步（"四步太激进"）——与本研究出于身份保真的 8 步建议独立互证。

8×B200：14.4s 片 → 11.23s（自报，无 ablation）

V3 · 推理与提速

生产 shipped workflow = 20 步。提速阶梯从 342s 一路到 3.8s（90×），而最大单笔收益来自换 4-step 蒸馏权重（现成、9.3×）。

配置 (768p 5s · 2 参考图)	整片时延	相对
生产 ref2va · 1×5090 · 20 步 dense	342 s	1×
4-step 蒸馏 · 1×5090 · FP16	36.7 s	9.3×
4-step · 8×5090 · FP16	6.1 s	56×
8-step · 8×5090 · FP4 (质量档)	6.7 s	51×
4-step · 8×5090 · FP4	3.8 s	90×

11 秒洞察：FastH3 在 1×B200 上 16.2s，其中 11.3s 是固定管线开销、仅 4.9s 是去噪。fal 的 <3s 是把那 11s 压到亚秒（>20×），和 GB200 基本无关。→ 先砍 11s 固定开销，别急着买卡。8×5090 阶梯里「换 4-step 权重 + 砍固定开销」两步（无需新硬件/内核）就拿到 9.4×，剩下四步只再添 2.1×。

官方 Acc LoRA

trunk LoRA rank 64 把整体挪向少步工作点 + 32 个按时间区间的蒸馏头；CFG 蒸进适配器（guidance=1.0，每步一次前向）。20×2=40 前向 → 4×1=4，光这就 10×。学生从教师初始化、权重没走远 → 差值天然低秩，几百 MB 适配器即可。

10× · 几百 MB 适配器

DMD2 数据无关蒸馏

教师=冻结 Base、学生=4-step、critic 估两者分数差作为训练信号，无需真实视频标注。三网络需 861 GB 显存（66.2+397.4+397.4）→ 训练要 ≥1 个 8×B200 节点；8×5090 是纯推理资产。

ref2va 蒸馏 ≈ 1123 B200 GPU-hr ≈ $5.6k–11.2k/次

V4 · GPU 硬件账

九张卡横评（仅 4090 有实测锚点，余同 MFU 外推）。反直觉结论：VRAM 几乎从不是瓶颈，算力才是——逐层权重换入（~0.8GB 常驻）下，连 12GB 3060 都能跑 768p，仅 +1–6% 时间（H3 算术强度是 H100 roofline 拐点的 48×，PCIe 传输藏在计算下）。

显卡	VRAM	768p 5s	480p 5s	vs 4090
RTX 3060	12 GB	93.3 min	23.9 min	0.08×
RTX 3090	24 GB	33.5 min	8.6 min	0.22×
RTX 4080	16 GB	12.2 min	3.1 min	0.59×
RTX 5080	16 GB	10.6 min	2.7 min	0.68×
RTX 4090 实测	24 GB	7.2 min	1.9 min	1.00×
RTX 5090	32 GB	5.7 min	1.5 min	1.27×
RTX PRO 6000	96 GB	4.7 min	1.2 min	1.52×

并发 > 序列并行：8 卡各服务自己的请求 ≈ 9.4 片/分，序列并行仅 3 片/分——同样硬件 3× 吞吐；序列并行只买延迟（"有人盯着页面时才值"）。「加参考就 OOM」的真因不是显存（4090 能装 173 张参考图），而是阶段未卸载 / ComfyUI 未登记 H3 的显存因子 / 参考视频 VAE 编码尖峰。

V5 · 参考 & LoRA 生意

实测成本是竞品报价的 1–3%。参考输入在 768p 默认下仅约 2.09× 算力（1 张参考图 ≈ 1 目标帧，非早期误判的 17×）——足以打出「参考不额外收费」这张竞品没测过成本、不敢跟的牌。

档位	成本 $/s	建议报价	毛利	vs fal
H3 标准 20-step	$0.0031	$0.015	4.8×	便宜 5.3×
H3 Turbo 8-step	$0.0012	$0.010	8.1×	便宜 8×
H3 Turbo 4-step	$0.0006	$0.010	16.1×	便宜 8×

角色外观 LoRA — 别当卖点

正被 ref2va 吃掉：9 张参考图即时解决"长什么样"，无需训练。且加 2 张参考图边际成本仅 +$0.00053/片，vs 训一个 LoRA ~$2.14 → 要 3000–10000 片才回本。

风格 LoRA — 不受影响

你没法用九张图表达"我们片子该有的肤质/光线/质感"。最硬证据：fal 自己的旗舰是 Realism People —— 一个风格 LoRA，不是角色 LoRA。

运镜/运动 LoRA — LoRA 是更好载体

参考视频约等于 7 张图的代价、上限仅 1–3 条。fal 出 ref2va/trainer 本身就是答案——若两者是替代关系，这产品没存在理由。

战略落点

自建比 fal 便宜 51–147×（成本维 280–490×）但慢 7–17× → 可排队的批处理自建、交互低时延给 fal。别追 H3 当产品，借它把已有产品推出去；优势始终是价格，模型换代也带得走。

V6 · 方法与自我修正

本研究把 11 次自我推翻当作可信度定价的特性，而非谦辞。几个关键修正：

结论	早期 → 最新	为何翻
H3 步数	30 → 49 → 20	把 harness/diffusers 默认当生产值
H3 结构	L=64/d=6553 → L=50/d=5376	逆向估计 vs header 实测
参考成本	17× → 2.09×	把非默认满配当默认（且"替代"解释也错）
4090 有效算力	123 → 178.6 TFLOP/s	旧值 =108% 峰值，物理不可能
fal 是否支持 ref2va	否 → 是	把某时刻产品页当成能力边界

关键待验证实验：VSA 是剪掉 video-video tile（可能误伤 ref→目标），VDN 是把远程上下文总结进线性分支——参考块在时间轴上正是"远程"。假设（推断非事实）：VDN 结构对 ref2va 可能天生更安全。可一次性判定：把参考块喂进去，看它落在滑窗还是线性分支。
而全盘最大未知是——4 步能否承载身份，没人做过。缓解：先训 8-step 探针 + 留一个纯蒸馏(非稀疏) 4-step 作干净对照。

V7 · 资料来源

fal H3 Max blog · page · ref2va 端点 · LoRA 训练指南 · ref2va trainer · Realism People LoRA · Acc LoRA (comfyui-wiki) · VDN-H3 主页 / 仓库 · FastH3 preview / FastVideo / DMD 文档 · VSA (NeurIPS 2025) · Adaptive Video Distillation · X-MinimaxH3

技术拆解来自内部项目 video-asic 的可复现计算（flops_exact.py · h3_memory.py · gpu_matrix.py · h3max_parity.py · refdistill.py）与 video-research 会话研究记录。数值以官方发布/实测为准；未标"实测"者为同 MFU 外推。

Distillation · 并行专题

D视频 / 扩散蒸馏 · 把「多步」压成「一步」

和 LLM 蒸「知识」不同，扩散模型蒸的是采样步数与去噪轨迹：教师要几十步去噪，学生学会几步甚至一步出图/出片。这是视频推理提速的核心手段（承接 MiniMax H3 的 342s→3.8s）。

D1专业名词

去噪步数denoising steps

扩散从噪声到成品要迭代的前向次数；步数×分辨率决定时延与成本，是蒸馏要压的目标。

步数蒸馏step distillation

让少步学生复现多步教师的采样结果——视频蒸馏的统称。

渐进蒸馏progressive distillation

学生 1 步匹配教师 2 步，迭代反复 → 每轮步数减半（40→20→…→4）。

一致性模型 / LCMconsistency / LCM

强制 ODE 轨迹上所有点映射到同一终点 → 原则上 1 步；LCM 落到 4–8 步且质量损失小。

LCM-LoRA—

把一致性蒸馏的结果打包成一个 LoRA 适配器，即插即用地给任意底座加速（见 D2）。

对抗蒸馏adversarial

在蒸馏里加判别器提升少步质量：SDXL-Lightning、AnimateDiff-Lightning、APT(1 步视频)。

DMD / DMD2distribution matching

教师冻结 + 学生 + critic 估两者分数差作为信号，数据无关；质量强、训练重。

CFG 蒸馏guidance distillation

把 classifier-free guidance 的两次前向蒸成一次（guidance_scale=1），每步省一半算力。

稀疏蒸馏VSA sparse-distill

稀疏化(VSA)与蒸馏必须联合训练；分开做会教师/学生错位或丢收敛质量。

数据无关data-free

多数扩散蒸馏无需真实视频标注，用教师自产轨迹/分数即可训练。

D2LoRA 是一种蒸馏吗？

不是——但常被当成蒸馏的「载体」。 LoRA 本身是参数高效微调(PEFT)：只训练低秩增量、不改主干。它与蒸馏是正交的两件事。
· 加速 LoRA（LCM-LoRA / MiniMax Acc-LoRA）：把「少步蒸馏」的结果存进一个 LoRA 适配器 → 挂上去任意底座就变少步。这里 LoRA 是蒸馏产物的包装形式，蒸馏发生在训练它的时候。
· 角色 / 风格 / 运镜 LoRA：纯微调，注入身份或风格，与蒸馏无关。
一句话：「蒸馏能装进 LoRA，但 LoRA 不等于蒸馏。」

D3方法谱系 + 步数阶梯

教师（多步 dense）

40–50 步

渐进蒸馏

~8–10 步

一致性 / LCM

4–8 步

对抗 / DMD2

1–4 步

渐进蒸馏 Progressive

学生 1 步匹配教师 2 步，迭代减半。稳、可分阶段判定，但轮数多。

40→…→4 步

一致性 / LCM(-LoRA)

直接学 ODE 一致性，4–8 步；LCM-LoRA 成通用即插加速件。视频版：VideoLCM、Animate-LCM(解耦图像/运动先验)。

4–8 步 · 可打包 LoRA

对抗蒸馏 Lightning / APT

加判别器把少步质量拉回来。SDXL-Lightning、AnimateDiff-Lightning；APT 做到 1 步视频。

1–4 步 · 质量优

DMD2 分布匹配

教师冻结+学生+critic 估分数差，数据无关、质量强。代价：三网络显存大。

数据无关 · 训练重

D4数据 · 训练 · 推理

数据 & 训练

数据无关为主：用教师自产轨迹/分数，无需真实视频标注（DMD2）。
训练件 = 蒸馏头 / LoRA + (可选)判别器 / critic。
显存重：DMD2 三网络（教师+学生+critic）861 GB → 需 8×B200 节点；推理卡（如 8×5090）跑不了训练。
MiniMax Acc-LoRA：trunk LoRA rank 64 + 32 个时间区间蒸馏头 + CFG 蒸进适配器（40→4 前向，10×）。

推理收益

少步直接换时延：MiniMax H3 342s → 36.7s(9.3×) → 3.8s(90×)。
蒸馏产物几百 MB LoRA，即插即用、不发新底座。
VSA 稀疏蒸馏：稀疏与蒸馏须联合，保留 10% video-video tile。
与 LLM 蒸馏呼应：都在「用教师产出训小/快学生」，只是这里的"知识"是采样轨迹。

D5典型工程 / 产品

工程 / 产品	做什么	方法
LCM / LCM-LoRA	SD 系通用少步加速（4–8 步）	一致性蒸馏
SDXL-Lightning	1–8 步高质量出图	渐进 + 对抗
Animate-LCM / VideoLCM	视频 4 步生成	一致性(解耦)
DMD2 / FastVideo(FastH3)	数据无关少步视频	分布匹配
MiniMax H3 Acc-LoRA	4 步蒸馏，90× 提速	CFG+时间头蒸馏
APT (Seedance 系)	1 步视频生成	对抗后训练

与 LLM 蒸馏专题对照：LLM 蒸「知识/推理轨迹」、目标是小模型；视频蒸「采样步数」、目标是少步——但范式同源（教师产出 → 造数据 → 训学生）。

把开源前沿模型跑起来，比官方便宜 50%，还能赚钱吗？

01模型清单 · LLM

02Kimi K3 · 技术规格

03算力需求 & 部署方案

04推理框架 & Profiling

Profiling：单 token 解码延迟归因（裸 EP · batch 1 · 示意）

优化增益阶梯：20 → 50+ tok/s（累计 · 已打折）

05市场价格对照 · 出 token ($/M)

06单位经济学 · 每 1M 出 token

07交互式利润计算器

08社区 & 自研优化方法

DLLM 蒸馏 · 大模型之间怎么"蒸"

D1专业名词

D2三种范式 + 架构

D3数据怎么做 · 训练怎么做

案例：DeepSeek-R1 → 小模型

案例：Kimi K3 MOPD

D4推理侧蒸馏

D5传言与合规（中立呈现）

D6典型工程 / 产品

开源视频模型能不能做成又便宜又能赚的服务？

01MiniMax H3 · 深度拆解

V1 · 模型总览

V2 · 架构拆解

V3 · 推理与提速

V4 · GPU 硬件账

V5 · 参考 & LoRA 生意

V6 · 方法与自我修正

V7 · 资料来源

D视频 / 扩散蒸馏 · 把「多步」压成「一步」

D1专业名词

D2LoRA 是一种蒸馏吗？

D3方法谱系 + 步数阶梯

D4数据 · 训练 · 推理

数据 & 训练

推理收益

D5典型工程 / 产品

把开源前沿模型跑起来，
比官方便宜 50%，还能赚钱吗？

开源视频模型能不能
做成又便宜又能赚的服务？