Self-Hosting Economics · 开源模型自部署经济模型

把开源前沿模型跑起来，
比官方便宜 50%，还能赚钱吗？

逐模型拆解：技术规格 · 算力需求 · 官方与第三方市场价 · vast.ai 等平台租赁成本 · 自部署方案 · 单位经济学与利润 · 社区优化。本期深度展开 Kimi K3，后续持续更新 DeepSeek / Qwen / Flash 与 Video 板块。

💰 商业机会 · Arbitrage

官方 / 第三方定价 $13–15/M，而 H200 实际 serving 成本低至 $3.17/M —— 以官方 −50% 报价切入，仍留 37–58% 毛利的套利窗口。

最优毛利率

58%

16×H200 预留 · −50% 报价

单集群月净利

~$24k

16×H200 按需 · 满负载 24/7

年化净利 / 集群

~$290k

纯租赁 · 零 capex

价格护城河

低 42%

$7.5 vs 第三方最低 $13

我们报价 · 出 token

$7.50/M

官方 $15 的 −50%

最佳成本 · 出 token

$3.17/M

16×H200 预留价

生产甜点毛利

37–58%

H200 按需 → 预留

收支平衡吞吐

2540tok/s

H200 按需 @70% 利用率

01模型清单 · LLM

点击已上线模型进入深度分析。灰色为排期中——同一套框架（技术→算力→市场价→自部署→利润→优化）逐个展开。

02Kimi K3 · 技术规格

Moonshot AI 的旗舰：2.8T 总参 / 104B 激活的原生多模态 MoE，1M 上下文，MXFP4 原生量化。激活参数大 = 单 token 算力重，这是它成本高于小模型的根因。

总参 / 激活

2.8T / 104B

专家 (激活)

896 → 16+2

层数

93 (69 KDA+24 MLA)

注意力

KDA 线性 + Gated MLA

上下文 / 词表

1M / 160K

量化 (权重体积)

MXFP4 ≈ 1.56 TB

多模态

文本+图像+视频

投机解码

EAGLE-3 draft

许可证

Kimi K3 License

03算力需求 & 部署方案

权重 1.56 TB 是硬约束。两条现实路径：H200 集群（生产）与 5090 集群（成本套利/实验）。MXFP4 只在 Blackwell/MI355 级原生加速——5090 是 Blackwell，格式没问题，瓶颈在容量与无 NVLink 的 all-to-all。

方案	拓扑	聚合显存	互联	吞吐(base)	定位
H200 生产	16× H200 (141GB) 2 节点，DP16+EP16	2,256 GB	NVLink + IB	~4,000 tok/s高并发·出	稳定商用甜点
5090 套利	60× RTX 5090 (32GB) 8卡/节点 × ~8	1,920 GB	PCIe 5.0 (无 NVLink)	~1,000 tok/s需 spec+P2P	低价实验/夜间
B300 官方级	8× B300 (288GB) 单节点	2,304 GB	NVLink5	最高	Moonshot 官方路径

吞吐为建模估计（高并发混合负载 · 出 token），按 DeepSeek-V3 级 MoE 服务能力、以激活比例(104B)缩放并计入投机解码，非官方实测值——真实值随 batch、上下文长度、命中率波动，故下方计算器全部参数可调。

04推理框架 & Profiling

吞吐是成本的分母——它由推理管线的每一环决定。下面拆开 K3 的服务框架，并对单 token 解码做延迟归因（profiling），说明 20 → 50 tok/s 的空间从哪来。

推理管线 Prefill / Decode 分离部署

① 请求 + 前缀缓存

KDA-aware 前缀缓存联合管理 KDA 递归状态 + MLA KV。1M 上下文命中后仅增量 prefill ~4K。

512-token 边界可命中

② Prefill 阶段

FlashKDA chunkwise 内核 + Gated MLA；SM 级 Context Parallelism 并行超长序列。

算力密集 · 可独立扩容

③ Decode 阶段

进入自回归循环，逐 token 出字。瓶颈从算力转为状态搬运 + 跨卡通信。

延迟敏感 · 本节重点

Decode 循环（每步）

draft · EAGLE-3

Kimi-K3-0.40B 单层草稿模型一次提 k 个候选 token。

提 4

target verify

KDA 递归状态更新 + MLA KV 读 + MoE 16 专家 all-to-all，一次前向校验 k+1 个 token。

批量化改善通信

accept + rollback

ReplaySSM 缓存 draft 投影输入、on-chip 重建被接受 token 的状态。

接受 ~3 / 步

Profiling：单 token 解码延迟归因（裸 EP · batch 1 · 示意）

基线 50 ms/token = 20 tok/s。纯权重读取（HBM）理论下限仅 ~0.5 ms——差 90×，全在通信、CPU 中转与 kernel 碎片。瓶颈不是算力也不是带宽，是无 NVLink 的 all-to-all。

MoE all-to-all (PCIe) ~29ms CPU 中转 ~9ms kernel 碎片 ~6ms 其他 ~5ms

跨卡专家通信（主导瓶颈）无 P2P 的主机内存反弹 93 层 kernel launch 通用/未适配 kernel 权重读取 ~0.5ms（理论下限）

优化增益阶梯：20 → 50+ tok/s（累计 · 已打折）

基线（裸 EP · 无 spec）

20 tok/s

+ EAGLE-3 投机

~40 ·×2

+ PCIe P2P 补丁

~52 ·×1.3

+ latent-FP8 / FlashKDA

~62 ·×1.2

+ CUDA Graph / 重叠

~70 ·×1.13

目标 50 tok/s 稳妥达成（叠乘有相互抵消，已打折至 40–70 区间）。吞吐每提升一档，第 05/06 节的成本/M 同比例下降、毛利同步走高——这就是「优化即利润」。分解为示意值（batch 1 裸 EP 基线），实际随并发、上下文、命中率波动。

05市场价格对照 · 出 token ($/M)

官方 $3 入 / $0.30 缓存 / $15 出。第三方普遍贴近官方，最低见 Sail Research $2.60/$13。我们定官方 −50%：$1.50 入 / $0.15 缓存 / $7.50 出——比全市场都低，靠自部署成本撑毛利。

Kimi 官方$15.00

官方 platform.kimi.ai

第三方最低 (Sail)$13.00

FP4 · 略裁上下文

我们报价$7.50

官方 −50%

自部署成本 (H200 预留)$3.17

成本线

条形宽度 = 相对官方 $15 出 token 的比例。我们报价与成本线之间的落差即毛利空间。

06单位经济学 · 每 1M 出 token

成本公式：成本/M = 集群$每小时 ÷ (吞吐 tok/s × 3600 ÷ 1e6 × 利用率)。利用率取 70%，报价 $7.50/M。

方案	集群 $/hr	吞吐 tok/s	成本/M	毛利@$7.5	平衡吞吐
H200 按需 ($3/GPU)	$48	4,000	$4.76	37%	2,540
H200 预留 ($2/GPU)	$32	4,000	$3.17	58%	1,693
5090 按需 ($0.35)	$21	1,000	$8.33	−11%	1,111
5090 spot ($0.15)	$9	1,000	$3.57	52%	476

核心判断：K3 这种 104B 激活的重模型，H200 是生产甜点区（按需即 37% 毛利，预留达 58%）。5090 按需会亏——低吞吐 + 无 NVLink 的 all-to-all 拖累；只有 spot 价或把吞吐优化上去才转正。5090 的真正主场是后续的小模型（V4-Flash / Qwen），下期展开。

上表以「出 token」为核心（成本与售价的大头）。入 token/prefill 是净利上行项：agentic 负载入:出常达 4:1，且 1M 上下文缓存命中率高、prefill 算力便宜，而我们仍按 $1.50/$0.15 计费——计算器已含此项。

07交互式利润计算器

调参数看单位经济学与月度损益。默认 = H200 按需生产配置。

GPU 数量 16

单 GPU $/小时 $3.00

聚合吞吐 tok/s（出）4000

利用率 70%

降价幅度 vs 官方 50%

入:出比例 4 : 1

入 token 缓存命中率 50%

成本 / M 出

$4.76

毛利率（出）

37%

利润率健康度

我们售价 · 出 token$7.50 /M

月产出 token（24/7）7,258 M

月收入（出 + 入）$64,300

月成本（GPU + 15% 运维）$39,744

月净利$24,556

月度按 24/7 满负载 × 利用率估算；入 token 收入已扣缓存折扣，prefill 算力占用近似含于利用率。仅供量级参考。

08社区 & 自研优化方法

同样的硬件，吞吐能差 2–3×——直接决定上表毛利正负。优先级从高到低：

投机解码 EAGLE-3

K3 原生自带 draft（`Kimi-K3-0.40B`）。接受长度 ~3 → 单流吞吐直接 2–3×，且 verify 批量化改善 all-to-all 效率。

增益 ×2–3 · 最高杠杆

SGLang / vLLM + P/D 分离

KDA-aware 前缀缓存 + prefill/decode 分离；1M 上下文命中后仅增量 prefill 4K，成本降数量级。

增益 ×1.5–2 · 官方 recipe

PCIe P2P 驱动补丁（5090）

消费卡默认禁 P2P；打补丁走 GPUDirect 直传，去掉每次 all-to-all 的 CPU 中转。5090 集群转正的关键。

增益 ×1.3–1.6 · 仅 5090

层级并行 + latent 派发

跨节点 PP（只传 7KB 激活）+ 节点内 grouped-EP；latent 维 3584 派发 + FP8 通信，all-to-all 载荷减半。

增益 ×1.3

CUDA Graph + kernel 移植

整 decode step 捕图去 launch 开销；FlashKDA / WarpDecode 移植到 sm_120，吃满架构红利。

增益 ×1.2–1.5

调度：连续批处理 + 预算准入

连续批处理拉高并发利用率；按请求类分预算，防长上下文突发饿死短请求、稳住利用率（毛利分母）。

利用率 +15–25pt

Post-training · 并行专题

PLLM 后训练 · 蒸馏是其中一类

后训练（post-training）= 预训练之后的一切——把基座变成好用、对齐、专精、够快够小的模型。蒸馏只是其中一种技术。先看全景，再重点展开蒸馏（LLM 里迁移能力最核心的一类）。

先厘清：后训练 ≠ 蒸馏。后训练是大类（SFT / RL 对齐 / 蒸馏 / LoRA / 量化 / 架构改造…）；蒸馏是「用教师训学生」的一种具体技术，属其中一支。二者常被混用，其实是「类别 vs 方法」的关系。

P0后训练方案库（训练 / 框架 / 数据 / 效果 / 案例）

SFT 监督微调对齐第一步

训练过程冻结或全参，(指令→回答) 交叉熵微调，1–3 epoch、小学习率。

训练框架LLaMA-Factory · Axolotl · TRL(SFTTrainer) · Megatron/DeepSpeed。

推理框架vLLM · SGLang · TGI（同基座）。

数据高质量指令对（人工/教师生成/拒绝采样），数千~数百万条。

效果让基座听话、学格式与领域；对齐的起点。

典型量级Alpaca 仅 52K 条即见效。

案例Alpaca(52K 开创指令微调)；几乎所有 instruct 模型的第一步。

RLHF / RL 对齐对齐 + 推理

训练过程SFT 后 → 训奖励模型 → PPO/GRPO 优化；或 DPO 直接用偏好对(免 RM)；推理任务用 RLVR(可验证奖励)。

训练框架TRL · OpenRLHF · veRL · NeMo-Aligner（rollout 常用 vLLM）。

推理框架同基座 vLLM/SGLang。

数据偏好对(chosen/rejected)；可验证任务(数学/代码有正解)。

效果对齐人类偏好、激发推理能力。

变体PPO / GRPO / DPO / RLVR。

案例InstructGPT(PPO 开创)；DeepSeek-R1(GRPO+RLVR 纯 RL 激发推理)；Kimi K3 RL。

蒸馏本栏重点 · ↓ D1–D6 详解

训练过程教师产出(logits / 序列 / on-policy) → 造数据 → KL(白盒)/CE(黑盒) 训学生。

训练框架TRL / LLaMA-Factory(序列级 SFT)；on-policy 需 rollout(vLLM)。

推理框架同基座；草稿蒸馏配 EAGLE 做投机解码。

数据教师生成 + 拒绝采样，保留推理轨迹。

效果小模型继承大模型能力，成本骤降。

范式白盒 logit / 黑盒序列 / on-policy。

案例DeepSeek-R1 → Qwen/Llama(80 万条 SFT)；Kimi K3 MOPD(多教师 on-policy 合并)。

LoRA / PEFT 微调省算力注入

训练过程冻结主干，只训低秩增量 ΔW=BA(rank 8–64)；QLoRA=4bit 基座+LoRA。

训练框架PEFT(HF) · Unsloth(快) · LLaMA-Factory · Axolotl。

推理框架合并回主干(零开销)或 vLLM 多 LoRA 热挂载。

数据同 SFT，小数据也行(风格/垂类注入)。

效果几百 MB 适配器注入能力/风格；一基座多租户。

注意是「载体」非目的——蒸馏可装进 LoRA。

案例vLLM multi-LoRA serving；无数垂类/角色 LoRA；LCM-LoRA(把蒸馏装进 LoRA)。

量化 / QAT压体积保精度

训练过程PTQ(GPTQ/AWQ 校准，训练后) 或 QAT(训练中模拟低精度)。

训练框架AutoGPTQ · AutoAWQ · llm-compressor · TensorRT-Model-Optimizer(NVFP4)。

推理框架vLLM/SGLang/llama.cpp(GGUF)；FP4 需 Blackwell。

数据PTQ 几百条校准；QAT 用训练集。

效果4-bit 压 4× 体积、保 ~99% 质量；极低比特 QAT>PTQ。

格式GPTQ / AWQ / GGUF / MXFP4 / NVFP4。

案例Kimi K3 MXFP4-QAT(从 SFT 起)；DeepSeek-V4 FP4 专家；GGUF Q4_K_M 生态。

架构改造 / grafting改结构再适配

训练过程换/加结构(线性注意力、MoE upcycling、深度扩展)后对齐+蒸馏适配；冻结大部分、训新增。

训练框架多自研 + Megatron + 自定义 kernel。

推理框架需配套 kernel(FlashKDA / VDN 分支)。

数据data-free 对齐(教师=原模型) 或少量数据。

效果改善效率/长上下文，尽量保原质量。

含蒸馏对齐阶段常是自蒸馏。

案例Kimi K3 KDA(线性注意力嫁接)；dense→MoE upcycling；视频 VDN-H3(见 Video 栏案例)。

▽ 以下重点展开「蒸馏」——术语 → 三范式 → 数据/训练 → 推理侧 → 合规 → 产品。

D1专业名词

教师 / 学生teacher / student

强而大的源模型 → 弱而小的目标模型；蒸馏就是把前者的行为迁移到后者。

软标签 · Logitssoft labels

教师输出的完整概率分布（不只是最终 token），比硬标签含更多「暗知识」——哪些答案接近对。

温度temperature

软化 logits 的系数，温度越高分布越平、暴露越多类间关系，蒸馏常用较高温度。

KL 散度KL divergence

衡量学生分布与教师分布的差距，是白盒蒸馏的核心损失；逆向 KL(MiniLLM) 更聚焦教师高概率模式。

白盒 / 黑盒white / black-box

白盒能拿到教师权重与 logits（同厂/开源）；黑盒只能拿到教师的输出文本（闭源 API）。

序列级蒸馏sequence-level KD

直接用教师生成的完整答案当训练数据做 SFT——黑盒场景的主力，R1→Qwen/Llama 即此。

On-policy 蒸馏on-policy KD

学生先自己生成，再让教师评分/纠正后更新；减少「训练用教师轨迹、推理用自己轨迹」的分布错位。

拒绝采样rejection sampling

教师大量生成后只保留正确/高质量样本进数据集，是造蒸馏数据的关键过滤步。

推理轨迹蒸馏CoT / trace KD

把教师的思维链(reasoning trace)也蒸进学生，让小模型「学会怎么想」，而非只背答案。

MOPDmulti-teacher on-policy

Kimi K3 用法：多个领域专家教师 → on-policy 蒸馏，合并成单一全能学生。

草稿模型蒸馏EAGLE / speculative

把大模型蒸成一个单层「草稿」模型做投机解码——推理侧蒸馏，提速不改主模型。

API 模仿蒸馏imitation distillation

用目标闭源模型的 API 输出当教师数据训练自己——技术上是黑盒序列蒸馏，多数 ToS 禁止用于训竞品。

D2三种范式 + 架构

蒸馏数据流教师 → 学生

① 教师模型

大而强（如前沿闭源/开源旗舰）。冻结不训。

frozen

② 教师产出

白盒：logits 分布；黑盒：生成的答案+推理轨迹。

logits / sequences

③ 蒸馏数据集

拒绝采样过滤留对的，保留 CoT 格式化。

reject-sample

④ 学生模型

小而快，从教师/自身初始化，被训练。

trainable

⑤ 损失

白盒 KL(拟合软分布)；黑盒 CE(SFT)。

KL / CE

On-policy 变体（如 Kimi MOPD）

学生生成

用当前学生策略采样输出。

教师评分/纠正

教师对学生自产轨迹打分或给正解。

按学生分布更新

在学生自己的分布上蒸，消除 train/infer 错位。

白盒 Logit 蒸馏

需教师权重/logits，学生用带温度的 KL 拟合软分布。信息最全，但只限同厂/开源。血统：DistilBERT / TinyBERT / MiniLLM。

信息最全 · 需权限

黑盒序列蒸馏

只需教师输出文本 → 组数据 → SFT 学生。跨厂皆可，闭源 API 也能"蒸"（合规见 D5）。R1→Qwen/Llama 走这条。

最通用 · 可跨闭源

On-policy 蒸馏

学生自产轨迹→教师纠正→更新，分布对齐、抗错位。Kimi K3 MOPD 多教师合并即此路。

质量最高 · 训练更重

三种范式到底「流」什么？ 同一个 prompt「2+2=?」，三条路传递的信号完全不同：

白盒 · logits 分布

教师→{ "4":0.95, "5":0.03, "四":0.01 }→学生 KL 拟合

学生学到的不只是「4」，还有「5 比香蕉更接近对」——完整的暗知识。需要教师权重。

黑盒 · 生成文本

教师→"4，因为 2 加 2…"→学生 SFT 复现

只需教师输出文本（含推理轨迹）。跨闭源可行——你的中转平台数据正是这种（见 ▶ 实战）。

On-policy · 反馈

学生先答"5"→教师："错，应为 4"→按学生分布更新

在学生自己的轨迹上纠正，消除「训练看教师、推理靠自己」的错位。质量最高、训练最重。

D3数据怎么做 · 训练怎么做

案例：DeepSeek-R1 → 小模型

R1 自生成 80 万条带推理轨迹的样本。
拒绝采样留正确的 → 仅 SFT（无 RL）灌进 Qwen2.5(1.5/7/14/32B) 与 Llama(8/70B)。
蒸出的小模型在数学/代码上超 GPT-4o、Claude 3.5 Sonnet。
启示：推理能力可低成本迁移，小模型也能"会想"。

案例：Kimi K3 MOPD

先分别培养多个领域专家教师（SFT+RL）。
再用 Multi-Teacher On-Policy Distillation 合并成单一模型。
on-policy：在学生自己的分布上蒸，避免灌轨迹的错位。
启示：蒸馏不止"压缩"，也是"能力融合"的手段。

数据流水线通用四步：教师大量生成 → 拒绝采样/校验过滤 → 保留推理轨迹并格式化 → SFT（黑盒）或 KL（白盒）/ on-policy 更新。数据质量 > 数据量，「留对的」是关键。

▶实战：你的中转平台数据怎么用

如果你手里有大量中转/网关平台的 (prompt, 输入, 输出) 流量（且合法合规），这本质就是一份现成的黑盒序列蒸馏教师数据集——正是上面「黑盒·生成文本」那条路。用法远不止蒸馏：

数据加工流水线原始流量 → 可训练资产

① 原始流量

(system, user, 输入) → (推理轨迹, 输出) 日志。

raw logs

② 清洗

近似去重、去 PII、去报错/截断、按语言/任务分类。

dedup · PII

③ 过滤 + 拒绝采样

有 ground truth 直接判（代码能跑/数学可验），无则 LLM-judge/多数投票，只留对的。

reject-sample

④ 格式化

统一 (system,user)→(reasoning,answer)，保留思维链。

SFT-ready

⑤ 训练 / 应用

见下方六种用途。

→ 六用途

1蒸馏垂类小模型

按任务聚类，每类 SFT 一个小而专的学生（Qwen/Llama 某尺寸）。最大价值——直接接回自部署经济学：小模型服务成本远低于通用大模型。

2真实评测集

线上 prompt 分布 = 最贴合业务的 eval/回归集，给候选或自建模型打分，比公开 benchmark 更代表你的真实负载。

3偏好数据 / RL

同一 prompt 有多模型/多次输出 → 构造 pairwise 偏好 → DPO/RLHF，或作 RL 冷启动。

4RAG / 缓存层

高频问答对 → 语义缓存/检索，命中直接返回、省 token（呼应前缀缓存经济学）。

5智能路由降本

分析哪些 prompt 简单（路由到便宜小模型）、哪些难（留大模型）→ 成本大降。

6提示词资产

真实 prompt 分布 → 提炼高效模板与 few-shot 示例库，反哺产品与运营。

合规前提（让「假设合规」成立的清单）：① 上游模型 ToS——多数禁止「用其输出训练竞品模型」，这是最大红线（正是 D5 指控的核心）；② 终端用户授权 / 数据所有权——中转用户的 prompt/输出是否许可你二次使用；③ PII / 敏感数据脱敏；④ 跨境与行业监管。前三条不满足，价值再大也不能碰。

规模参考：R1 用 80 万条；垂类任务几千~几万条精选常胜过几百万条噪声——数据质量 > 数量。

D4推理侧蒸馏

EAGLE-3 草稿蒸馏

把大模型蒸成一个单层草稿模型（Kimi K3 自带 0.40B）做投机解码：草稿提 k 个 token、主模型一次校验，接受 ~3 → 单流吞吐 2–3×，主模型不变、无损。

推理提速 · 无损

QAT / 自蒸馏

量化感知训练可视作模型对自身的蒸馏——让低精度(如 MXFP4)学生逼近全精度教师的行为，部署省显存省带宽。K3 从 SFT 起就 QAT。

压体积 · 保精度

D5传言与合规（中立呈现）

这些是「指控」，非定论——被指方否认或未证实，各实验室也未公开完整证据。
· 2025-01：DeepSeek-R1 发布后，OpenAI/微软调查其是否用 ChatGPT 输出训练；2026-02 OpenAI 称其经第三方代理程序化提取输出。
· 2026-02-24：Anthropic 指控 DeepSeek、Moonshot(Kimi)、MiniMax 通过商用代理（约 2.4 万个账号、1600 万+ 次对话）绕过区域限制，"蒸馏攻击"式提取 Claude 的推理/编码/agentic 能力。
· 技术本质 = 黑盒 API 模仿蒸馏（用目标模型输出当教师数据）。OpenAI/Anthropic 的 ToS 普遍禁止用其输出训练竞品。合规上属灰/红区，商用前需法务评估。

D6典型工程 / 产品

工程 / 产品	做什么	方法
DistilBERT / TinyBERT	早期编码器压缩（~40% 更小，保 ~97% 性能）	白盒 logit KD
DeepSeek-R1-Distill	把 R1 推理蒸进 Qwen/Llama 1.5–70B	序列级 SFT
Kimi K3	多领域专家 → 单一全能模型	MOPD on-policy
MiniLLM	逆向 KL，缓解模式平均	白盒逆向 KL
EAGLE-3	草稿模型做投机解码	特征/草稿蒸馏
Gemma / Llama distilled	官方从旗舰蒸小尺寸	logit + 序列

Consumer GPU · 并行专题

C消费级 GPU 跑 LLM · 4090 / 5090 与端侧

不是所有 LLM 都得上数据中心卡。24–32GB 的消费级卡能跑不少中小模型；社区还有办法把百亿~千亿 MoE 拆到消费级集群或 CPU。Qwen 是当下对消费级最友好的开源家族（全系 Apache 2.0、尺寸全、MoE 小激活），本栏重点看它。

C1两张消费级主力卡

RTX 4090

24 GB · ~1.0 TB/s

RTX 5090

32 GB · 1.79 TB/s · FP4

共同短板

无 NVLink（PCIe）

多卡策略

pipeline > tensor 并行

量化格式

GGUF / AWQ / GPTQ / NVFP4

决定能否跑

显存容量（非算力）

消费级的两条铁律：容量决定「能不能装」（不够就量化/卸载/拼卡）；无 NVLink → 多卡走 pipeline（只传激活）比 tensor 并行（频繁 all-reduce）更适合 PCIe。5090 的 FP4 张量核让 4-bit 推理更快。

C2单卡能跑什么 · Qwen 实测

Qwen 模型	4-bit 权重	4090 (24GB)	5090 (32GB)
Qwen3-0.6B / 1.7B / 4B	<3 GB	✓ 端侧富余	✓
Qwen3-8B	~5 GB	✓ 满 131K 上下文	✓
Qwen3-14B	~8.5 GB	✓ 宽裕	✓
Qwen3-32B	~20 GB	⚠ 紧（小 ctx）	✓
Qwen3.8-27B（最新）	~16–21 GB	⚠ AWQ 89%，需调	✓ Q6 + 128K 全上显存
Qwen3-30B-A3B（MoE）	~18 GB	✓ 激活仅 3B，快	✓
Qwen3-235B-A22B（MoE）	~120 GB	✗ 单卡 → 见 C5	✗ 单卡 → 见 C5

实测参考：Qwen3.8-27B UD-Q4 GGUF 在 4090 上 144K 上下文 ~46 tok/s；社区 ninfer-4090 用 E8 4-bit KV 把 27B 塞进单 4090 跑满 262K 上下文、MTP3 下代码解码达 149 tok/s。5090 32GB 可 Q6 全精度档 + 128K 上下文全驻显存。

C3Qwen 全家谱（重点）

Dense 稠密系

0.6B / 1.7B / 4B / 8B / 14B / 32B。128K 上下文、双模式思考、工具调用。8–14B 是消费单卡甜点，32B 需 5090 或量化。

全尺寸覆盖

MoE 稀疏系

30B-A3B、235B-A22B、Coder-Next 80B-A3B(256K)。小激活是消费级利器：显存够装、每 token 只算 3B → 30B-A3B 在单卡上又快又强。

大脑大 · 算力小

2026 新版

Qwen3.6：27B dense + 35B-A3B MoE；Qwen3.8-27B(8/5 发布，Apache 2.0，最新)。36T tokens、119 语言。

Apache 2.0 商用友好

C4端侧 & 小 / Flash 模型

端侧 0.6B–4B

Qwen3-0.6B/1.7B 可上手机、边缘盒子（llama.cpp / MLX / Ollama，甚至纯 CPU）；4B 是端侧质量甜点，本地助手/离线 agent 够用。

手机 / CPU 可跑

Flash / 小激活 MoE

「Flash」类主打低延迟：要么是蒸馏出的小 dense（见后训练专栏），要么是小激活 MoE。MoE-A3B 这种「装得下、算得少」的结构，是消费级最划算的一档。

低延迟 · 高性价比

C5把大模型拆到消费级（社区方案）

单卡装不下千亿模型？三条社区路子，让 4090/5090（甚至加 CPU 内存）也能跑百亿~千亿 MoE：

MoE 拆解：热的上 GPU，冷的下 CPU ktransformers / llama.cpp --n-cpu-moe

GPU 24–32GB

注意力 + KV 缓存 + 共享/热专家（算力密集部分）。

compute-heavy

路由

每 token 只激活少数专家（如 A3B=激活 3B），按需取。

sparse

CPU 大内存

冷/路由专家常驻 128–512GB RAM，按需流式喂给 GPU。

capacity-heavy

① 多卡 pipeline 并行

N 张 4090/5090 拼显存；无 NVLink 用 pipeline（只传 KB 级激活）而非 tensor 并行。双 4090 跑 70B ~100 tok/s。

拼显存 · PCIe 友好

② MoE CPU 卸载

llama.cpp --n-cpu-moe N：把前 N 层 MoE FFN 放 CPU、注意力留 GPU → 16GB 卡也能跑 100B+ MoE（如 Qwen3-235B-A22B）。

显存换内存

③ ktransformers

千亿级 MoE（DeepSeek-V3/R1、Kimi 类）在单张消费卡 + 大内存上跑：GPU 存注意力+热专家、CPU 存冷专家。能跑但吞吐有限。

单卡跑 671B

C6工具 & 社区

工具	定位	消费级亮点
llama.cpp	GGUF 推理引擎	多卡自动 · --n-cpu-moe · 跨平台
Ollama / LM Studio	易用封装 / GUI	一键跑 · 自动多卡
ktransformers	巨型 MoE + CPU 卸载	单卡 + RAM 跑千亿
vLLM / SGLang	生产级服务	TP/PP · 高吞吐（更吃互联）
ExLlamaV3	EXL3 量化 + 快推理	单/双卡吞吐优
GPUStack	消费级 GPU 集群管理	异构卡拼集群

C7案例：Qwen3-30B-A3B 在 5090 的经济账

这是目前经济性最好的一档：小激活 MoE（30B 总 / 3B 激活）单张 5090 就能高吞吐服务，成本低到几乎白菜价，毛利甩开 Kimi K3。

💰 单卡即盈利

单张 5090（$0.35/时）跑出 ~4,570 tok/s（vLLM 实测）→ 出 token 成本仅 $0.03/M，而市场卖 $0.50/M。

成本 / M 出

$0.03

1×5090 按需 · 70% 利用率

毛利（市场−50% 报价）

88%

卖 $0.25 vs 成本 $0.03

单卡月净利

~$1.8k

24/7 · 出 token · 扣运维

vs Kimi K3 毛利

88% ‹ 37–58%

小 MoE 完胜重模型

项	按需 ($0.35/时)	Spot ($0.15/时)
吞吐（vLLM AWQ 实测）	4,570 tok/s	4,570 tok/s
有效吞吐 @70%	3,199 tok/s	3,199 tok/s
成本 / M 出	$0.030	$0.013
市场价（OpenRouter）	$0.12 入 / $0.50 出	同左
我们报价（市场−50%）	$0.25 出	$0.25 出
毛利率（出）	88%	95%
单卡月净利（出 token）	~$1,780	~$1,970

4× 5090 replica 可达 12,744 tok/s（线性堆叠）。绝对营收/卡不高（小模型是商品价），但毛利近 9 成、基建极简（1 卡、无 NVLink、无集群）——和 Kimi K3 那种「60 卡勉强打平」是两个极端。入 token 收入为额外上行项。数值为建模估计，随并发/上下文波动。

C8大模型拆解：谁真的更省？

「把大模型拆到消费级」有两类成功案例，但省的地方不同——别混为一谈：

CAPEX 胜利：ktransformers 跑 671B

DeepSeek-R1/V3 671B 在单张 4090 + 512GB 内存上跑：prefill ~286 tok/s、decode ~14 tok/s。整机 ~$9.7k vs A100/H100 服务器 ~$280k → 拥有成本省 95%+。

赢在「能拥有/接入」· 吞吐低(单用户)

Serving 胜利：30B-A3B 原生跑

不拆、不卸载，小激活 MoE 直接高吞吐服务（4,570 tok/s/卡）。每 token 经济性最优，~88–95% 毛利。

赢在「每 token 成本」· 可规模化盈利

结论：要做生意（高吞吐、高毛利）→ 选原生小激活 MoE（30B-A3B）+ 消费卡；要低成本私有拥有一个前沿千亿模型（自用/低并发/合规隔离）→ ktransformers 拆解 671B 划算。「拆千亿」省的是 CAPEX 与门槛，不是每 token 成本——高并发商用它反而不划算（decode 14 tok/s）。

C9小模型为何够用 · 牺牲了什么 · 怎么卖

为何这么小还这么强

① MoE 稀疏：30B 存知识、每 token 只算 3B →「知识像 30B、算力像 3B」；② 数据为王：36T tokens 高质量/119 语言，效果如今主要由数据驱动；③ 蒸馏：从 235B 大 Qwen 蒸出，继承推理轨迹；④ 成熟的 RLHF/推理训练配方；⑤ thinking 模式用更长推理链换准确率。

相比大模型牺牲了什么

① 长尾知识 & 事实召回弱、更易幻觉；② 最难推理/长程 agentic显著逊于前沿（实测：30B-A3B「判断力好、解题力一般」，HLE 类几乎不能打）；③ 复杂指令/歧义/分布外稳定性差；④ MoE 省算力不省显存（总参都要装）；⑤ 长上下文极限、多模态广度。一句话：够用型通用+垂类能打，前沿难题/高可靠 agent 仍需大模型。

市场现状（红海）：Qwen3 服务商众多——阿里云(一方) · OpenRouter(聚合) · DeepInfra · Together · Fireworks · Novita · SiliconFlow…；开源权重(30B-A3B, Apache 2.0)人人可托管 → 裸 token 价格战（~$0.12/$0.50，还在跌）。卖裸 API = 无护城河。（仅 Qwen-Max 闭源，只有阿里能供。）

那怎么卖出去？——别卖商品 token，卖价值/结果。你的 88% 毛利是「弹药」（能激进定价/免费引流/捆绑），不是产品本身。护城河在这五处：

1垂类微调模型

用你的中转数据蒸/微调出行业专用小模型（客服/代码/翻译/法律）。客户为「更懂我业务」买单，不为 token。护城河=你的数据。

2私有 / 合规部署

Apache 2.0 可给不能用公有 API的客户（金融/政务/医疗、数据不出域、气隙）做 on-prem/VPC 部署 + SLA。开源模型最大付费点。

3托管 + 保障

专属算力、低延迟、可用性 SLA。比共享端点贵，但企业为「省心可靠」付溢价。

4产品化 / 白标

把模型藏进垂直 SaaS/Agent，按结果/席位收费；token 成本隐形，毛利来自产品价值。

5边缘 / 端侧

小模型 + 硬件盒子，卖「离线 AI」给需要本地/断网的场景（工厂/门店/车载）。

6渠道铺开

上架 OpenRouter 当 provider、自建 API 网关、云市场(AWS/Azure)、直销企业私有部署、嵌入行业 SaaS。

一句话变现逻辑：裸 token 是红海、拼价格必死；护城河 = 你的数据(微调) + 私有/合规部署 + 可靠性 SLA + 垂直整合。低成本(~88% 毛利)让你有本钱打这些差异化，而不是去卷单价。

回扣经济学：消费级卡的甜点是中小模型 + 本地/私有 + 低并发——Qwen 8–32B 或 30B-A3B 在单张 5090 上又快又便宜。千亿级靠 CPU 卸载/集群「能跑但慢」，生产高吞吐仍需数据中心卡（无 NVLink 的 all-to-all 是硬伤，见 Kimi K3 的 5090 分析）。最划算组合：Qwen 小激活 MoE + 5090 32GB + 4-bit。

Video Generation · 视频推理的硬件账

开源视频模型能不能
做成又便宜又能赚的服务？

视频生成的经济学和 LLM 不同——按「每片时长 / 每帧」计价，成本由扩散步数 × 分辨率 × 卡决定。本期深度展开 MiniMax H3（33B 视频 DiT）：架构、推理提速、GPU 矩阵、参考与 LoRA 生意，全部由一手拆解与实测支撑。

💰 商业机会 · Video Arbitrage

fal H3 Max $0.40 / 5s 片，而自建 4-step 蒸馏单片成本 <$0.001 —— 成本仅 fal 的 ~0.3%；以仍便宜 8× 的报价切入，毛利 4.8–16×。

最高毛利 (Turbo 4-step)

16×

$0.0006 成本 → $0.010 报价

报价 vs fal

便宜 8×

成本维度 280–490×

提速 (342s→3.8s)

90×

4-step · 8×5090 · FP4

关键洞察

先砍 11s

固定开销，别急着买卡

01MiniMax H3 · 深度拆解

33B 视频扩散 Transformer（DiT），支持文生视频+音频、图生视频、ref2va 参考驱动。Base 已开源（2026-08-03，FL2VA + Ref2VA 双 checkpoint）；H3 Max 为 fal 闭源后训练版，跑在 GB200 NVL72。以下拆解基于 transcript 一手研究（含 11 次自我修正）+ 可复现算子级 FLOPs 计算。

V1 · 模型总览

它不是单个模型，而是三件套系统：33B 生成器 + 全量 Qwen3-VL-32B 条件编码器（取第 50 层隐状态）+ 双 VAE（视频 fp16 / 音频 fp32）。HF 仓库 ≈ 498 GB；官方 BF16 部署 ≈ 4 卡（~123.6 GB）。

类型 / 参数

视频 DiT · 33.1B

结构

50 层 · d=5376 · 56 头

条件编码器

Qwen3-VL-32B (全量)

能力

t2va / i2v / ref2va

分辨率

768p 1344×768@24 / 480p

参考上限

9 图 / 3 视频 / 3 音频

Base (开源)

FL2VA + Ref2VA

H3 Max (闭源)

fal · GB200 · +8 Elo

fal 报价

$0.40 / 5s (促 $0.20)

H3 Max 是唯一有质量数字的变体（AA 榜与 Gemini/Seedance 2.0 差 6–8 Elo，落在 ±10 CI 内 = 统计打平）。商用 license 条款尚未核实——上线前需法务确认。

V2 · 架构拆解

核心发现是参数与算力的「错位」：条件注入走 AdaLN 调制（非 cross-attention），39.3% 的参数只产生 0.0011% 的算力；而 52.9% 的算力来自零参数的注意力二次项。这直接决定了「显存几乎从不是瓶颈，算力才是」。

模块参数占比算力占比 (768p 5s)

AdaLN 调制39.3%0.0011%

FFN (gated)36.3%28.2%

Attn QKV18.1%14.1%

Attn 输出6.0%4.7%

Attn 二次项0%52.9%

结构参数由 safetensors header 的 HTTP-Range 读取实测（不下载权重）；FLOPs 经 PyTorch 计数器验证 0.00% 偏差。AdaLN 输入仅时间步嵌入、与 token 无关 → 每步可预计算缓存（提议省 ~25GB，尚未实现）。

VDN-H3 · 混合注意力

把 video-video 注意力劈成两支：滑窗 softmax（局部 + 4 边界锚点，仅 +3.57% 密度）与门控 delta 线性分支（把窗外帧总结成恒定代价的状态）。内容相关 sigmoid 门融合。创新是把 delta 规则做成帧级而非逐 token。

开源 (OpenVDN) · 需 FA4 + PyTorch 2.13+

4 阶段训练 · ~2950 步

A1 逐层对齐 200 / A2 端到端 500 / B LoRA 2000 / DMD 250。checkpoint = 72GB 冻结 base + 4.3GB 分支&LoRA + 5.1GB turbo，即插即用。刻意选 8 步而非 4 步（"四步太激进"）——与本研究出于身份保真的 8 步建议独立互证。

8×B200：14.4s 片 → 11.23s（自报，无 ablation）

V3 · 推理与提速

生产 shipped workflow = 20 步。提速阶梯从 342s 一路到 3.8s（90×），而最大单笔收益来自换 4-step 蒸馏权重（现成、9.3×）。

配置 (768p 5s · 2 参考图)	整片时延	相对
生产 ref2va · 1×5090 · 20 步 dense	342 s	1×
4-step 蒸馏 · 1×5090 · FP16	36.7 s	9.3×
4-step · 8×5090 · FP16	6.1 s	56×
8-step · 8×5090 · FP4 (质量档)	6.7 s	51×
4-step · 8×5090 · FP4	3.8 s	90×

11 秒洞察：FastH3 在 1×B200 上 16.2s，其中 11.3s 是固定管线开销、仅 4.9s 是去噪。fal 的 <3s 是把那 11s 压到亚秒（>20×），和 GB200 基本无关。→ 先砍 11s 固定开销，别急着买卡。8×5090 阶梯里「换 4-step 权重 + 砍固定开销」两步（无需新硬件/内核）就拿到 9.4×，剩下四步只再添 2.1×。

官方 Acc LoRA

trunk LoRA rank 64 把整体挪向少步工作点 + 32 个按时间区间的蒸馏头；CFG 蒸进适配器（guidance=1.0，每步一次前向）。20×2=40 前向 → 4×1=4，光这就 10×。学生从教师初始化、权重没走远 → 差值天然低秩，几百 MB 适配器即可。

10× · 几百 MB 适配器

DMD2 数据无关蒸馏

教师=冻结 Base、学生=4-step、critic 估两者分数差作为训练信号，无需真实视频标注。三网络需 861 GB 显存（66.2+397.4+397.4）→ 训练要 ≥1 个 8×B200 节点；8×5090 是纯推理资产。

ref2va 蒸馏 ≈ 1123 B200 GPU-hr ≈ $5.6k–11.2k/次

V4 · GPU 硬件账

九张卡横评（仅 4090 有实测锚点，余同 MFU 外推）。反直觉结论：VRAM 几乎从不是瓶颈，算力才是——逐层权重换入（~0.8GB 常驻）下，连 12GB 3060 都能跑 768p，仅 +1–6% 时间（H3 算术强度是 H100 roofline 拐点的 48×，PCIe 传输藏在计算下）。

显卡	VRAM	768p 5s	480p 5s	vs 4090
RTX 3060	12 GB	93.3 min	23.9 min	0.08×
RTX 3090	24 GB	33.5 min	8.6 min	0.22×
RTX 4080	16 GB	12.2 min	3.1 min	0.59×
RTX 5080	16 GB	10.6 min	2.7 min	0.68×
RTX 4090 实测	24 GB	7.2 min	1.9 min	1.00×
RTX 5090	32 GB	5.7 min	1.5 min	1.27×
RTX PRO 6000	96 GB	4.7 min	1.2 min	1.52×

并发 > 序列并行：8 卡各服务自己的请求 ≈ 9.4 片/分，序列并行仅 3 片/分——同样硬件 3× 吞吐；序列并行只买延迟（"有人盯着页面时才值"）。「加参考就 OOM」的真因不是显存（4090 能装 173 张参考图），而是阶段未卸载 / ComfyUI 未登记 H3 的显存因子 / 参考视频 VAE 编码尖峰。

V4+ · 版本 × 质量 × 设备全谱

把 MiniMax 视频线的版本谱系、质量与设备要求拉通对齐（从 4090 到 GB200）。要点：「H3 Max」是 fal 的后训练闭源版，不是 MiniMax 官方版本；官方旗舰是 H3(Hailuo 3.0) 开源权重。

A · 版本谱系（官方 + H3 开源/加速变体）

版本	时间	开/闭源	质量	定位
T2V-01-Director	2025-02	闭源 API	一代	早期文生视频
Hailuo-02	2025-06	闭源 API	二代（架构/数据/规模）	效率与扩展
Hailuo 2.3	2025-10	闭源 API	WorldModelBench「物理冠军」	物理一致性强
H3 / Hailuo 3.0	2026-07	开源权重	Elo #2 (1242 T2VA) · 编辑 #1	当前旗舰 · 2K@24fps · 全模态
├ H3 Base · FL2VA	H3	开源	满质量（教师）	文生 + 帧条件图生
├ H3 Base · Ref2VA	H3	开源	满质量	参考驱动（角色/运镜/声音）
├ H3 Max fal	H3	闭源（fal 后训练）	+8 Elo（最高）	fal 托管 · GB200
├ VDN-H3 OpenVDN	H3	自报近乎无损	开源（第三方）	混合注意力 · 8 步
├ FastH3 Hao AI	H3	少步（DMD）	开源（第三方）	4 步 · VSA（B200）
└ 蒸馏/量化档	H3	开源	少步略降 / 量化档	4–8 步 · FP4/Q4… 上消费卡

B · 设备要求矩阵（跑 H3 · 768p 5s）

设备	VRAM	能跑档	典型时延	定位
RTX 4090	24 GB	量化/卸载/少步	20步 7.2min · 4步数十秒	实验/端侧
RTX 5090	32 GB	Q6/少步	20步 5.7min · 4步 36.7s · 8卡 3.8s(FP4)	成本套利
H100	80 GB	BF16（需多卡）	需 2+ 卡；略慢于 H200	通用数据中心
H200	141 GB	BF16 全档	8卡无损 37.8s→缓存 17.2s；4卡 75s→25.8s	生产主力
B200	~180 GB	BF16/FP4	8卡：VDN 14.4s片/11.2s；FastH3 15s/<13s	高端生产
GB200 NVL72	巨量	全档	Sol 引擎 3.95× 近无损	顶配 · fal H3 Max 平台

官方 BF16 部署约 4 卡(~123.6GB)：单张 H200(141GB) 勉强容 BF16，H100(80GB) 需 2+ 卡；消费卡靠量化(NVFP4 12.5GB / Q4 20.9GB)+逐层卸载+少步「能跑但慢/需调」。质量↔速度↔设备是三角：满质量 dense 要多卡数据中心；少步蒸馏(FastH3/VDN)在 B200 秒级但依赖 FA4 + B200(sm100a) 内核（5090 sm120 会 fallback）；消费卡是「跑得起、但别做高并发生意」。数据中心时延为 SGLang/官方公开值。

V4+ · 成本收益（对齐 Qwen 经济账）

把设备矩阵换算成钱。市场锚点 fal H3 Max $0.40 / 5s 片（促销 $0.20，≈ $0.08/秒）。成本/片 = 集群 $每时 ÷ 每时片数。结论和 LLM 的 Qwen 经济账同构。

🎬 每片白菜价

单张 5090 + 4 步蒸馏，每片成本仅 ~$0.004，而 fal 卖 $0.40/片 → 成本便宜 ~100×，毛利 98%。

成本 / 片（5090·4步）

$0.004

≈ $0.0008/秒视频

毛利（卖 $0.20）

98%

仍比 fal 便宜一半

满质量档（H200 缓存）

$0.11/片

毛利 43% · dense 全质量

对齐 Qwen（LLM）

98% ≈ 88%

小/蒸馏+消费卡双双最高

配置（768p 5s）	集群 $/时	秒/片	片/时	成本/片	毛利@$0.20
5090×1 · 4 步蒸馏	$0.35	36.7	98	$0.0036	98%
5090×8 · 4 步 FP4	$2.80	3.8	947	$0.0030	98%
5090×1 · 20 步 dense	$0.35	342	10.5	$0.033	84%
H200×8 · 缓存(满质量)	$24	17.2	209	$0.115	43%
H200×8 · 无损 dense	$24	37.8	95	$0.25	亏 → 卖 $0.40 得 37%
B200×8	$48	12	300	$0.16	20% → 卖 $0.40 得 60%

与 Qwen 经济账同构（贯穿 LLM & Video 的统一结论）：
· 小 / 蒸馏 + 消费卡 = 最高毛利：视频 5090+4步 ~98%、LLM Qwen3-30B-A3B+5090 ~88%——都是「便宜卡 + 少算力」的印钞组合。
· 满质量前沿 + 数据中心 = 毛利薄：视频 H200/B200 dense、LLM Kimi K3——每单位成本高，只能靠质量 / 可靠性 / 高并发卖高价档（fal $0.40 / K3 $7.5）。
· 打法一致：跑量走消费级蒸馏档（走量、极高毛利）；接高端/合规/满质量单走数据中心档（毛利薄但客单价高）。质量↔速度↔成本三角，两条产品线并行。

GPU 租金取 vast.ai 量级（5090 $0.35 / H200 $3 / B200 $6，spot 更低）；片/时按连续队列满算（视频任务天然排队、GPU 近满载），实际利用率 70–90% 会等比抬高成本/片。4 步蒸馏质量略低于满质量 dense（见 V4+ 三角）。数值为建模估计，随分辨率/时长/命中率波动。

V5 · 参考 & LoRA 生意

实测成本是竞品报价的 1–3%。参考输入在 768p 默认下仅约 2.09× 算力（1 张参考图 ≈ 1 目标帧，非早期误判的 17×）——足以打出「参考不额外收费」这张竞品没测过成本、不敢跟的牌。

档位	成本 $/s	建议报价	毛利	vs fal
H3 标准 20-step	$0.0031	$0.015	4.8×	便宜 5.3×
H3 Turbo 8-step	$0.0012	$0.010	8.1×	便宜 8×
H3 Turbo 4-step	$0.0006	$0.010	16.1×	便宜 8×

角色外观 LoRA — 别当卖点

正被 ref2va 吃掉：9 张参考图即时解决"长什么样"，无需训练。且加 2 张参考图边际成本仅 +$0.00053/片，vs 训一个 LoRA ~$2.14 → 要 3000–10000 片才回本。

风格 LoRA — 不受影响

你没法用九张图表达"我们片子该有的肤质/光线/质感"。最硬证据：fal 自己的旗舰是 Realism People —— 一个风格 LoRA，不是角色 LoRA。

运镜/运动 LoRA — LoRA 是更好载体

参考视频约等于 7 张图的代价、上限仅 1–3 条。fal 出 ref2va/trainer 本身就是答案——若两者是替代关系，这产品没存在理由。

战略落点

自建比 fal 便宜 51–147×（成本维 280–490×）但慢 7–17× → 可排队的批处理自建、交互低时延给 fal。别追 H3 当产品，借它把已有产品推出去；优势始终是价格，模型换代也带得走。

V6 · 方法与自我修正

本研究把 11 次自我推翻当作可信度定价的特性，而非谦辞。几个关键修正：

结论	早期 → 最新	为何翻
H3 步数	30 → 49 → 20	把 harness/diffusers 默认当生产值
H3 结构	L=64/d=6553 → L=50/d=5376	逆向估计 vs header 实测
参考成本	17× → 2.09×	把非默认满配当默认（且"替代"解释也错）
4090 有效算力	123 → 178.6 TFLOP/s	旧值 =108% 峰值，物理不可能
fal 是否支持 ref2va	否 → 是	把某时刻产品页当成能力边界

关键待验证实验：VSA 是剪掉 video-video tile（可能误伤 ref→目标），VDN 是把远程上下文总结进线性分支——参考块在时间轴上正是"远程"。假设（推断非事实）：VDN 结构对 ref2va 可能天生更安全。可一次性判定：把参考块喂进去，看它落在滑窗还是线性分支。
而全盘最大未知是——4 步能否承载身份，没人做过。缓解：先训 8-step 探针 + 留一个纯蒸馏(非稀疏) 4-step 作干净对照。

V7 · 资料来源

fal H3 Max blog · page · ref2va 端点 · LoRA 训练指南 · ref2va trainer · Realism People LoRA · Acc LoRA (comfyui-wiki) · VDN-H3 主页 / 仓库 · FastH3 preview / FastVideo / DMD 文档 · VSA (NeurIPS 2025) · Adaptive Video Distillation · X-MinimaxH3

技术拆解来自内部项目 video-asic 的可复现计算（flops_exact.py · h3_memory.py · gpu_matrix.py · h3max_parity.py · refdistill.py）与 video-research 会话研究记录。数值以官方发布/实测为准；未标"实测"者为同 MFU 外推。

Post-training · 并行专题

P视频后训练 · 蒸馏 / 微调 / 架构改造

视频扩散的后训练也是大类：步数蒸馏、微调（角色/风格 LoRA）、架构改造（VDN）、量化、对抗后训练…。本栏重点展开「步数蒸馏」（把几十步去噪压成几步），并给一个「架构改造 → 消费级工程」的真实案例：VDN → ComfyUI。

P0视频后训练方案库（结合 MiniMax H3）

步数蒸馏本栏重点 · ↓ D1–D5 详解

训练过程多步教师 → 少步学生（渐进 / 一致性LCM / 对抗 / DMD）；CFG 蒸进适配器(每步一次前向)。

训练框架FastVideo · diffusers；DMD2 三网络需 8×B200(861GB)。

推理框架diffusers · ComfyUI · SGLang Diffusion，少步采样。

数据data-free（教师自产轨迹/分数）。

效果步数↓ → 时延 9–90×（342s→3.8s）。

质量4 步略降、8 步接近；50 步基本无损。

案例MiniMax H3 Acc-LoRA(trunk rank64+32 时间头，40→4 前向，10×)；FastH3(4 步 DMD+VSA)。

微调 / LoRA（角色·风格·运镜）注入身份/画风

训练过程冻结 H3 底座，训 LoRA 注入身份/画风/镜头；或用 ref2va trainer。

训练框架fal H3 LoRA / ref2va trainer · diffusers+PEFT · ComfyUI 训练节点。

推理框架ComfyUI / diffusers 挂 LoRA，可多 LoRA 叠加。

数据几~几十张图(角色)或参考视频(运镜)；风格需一致风格集。

效果注入特定人物/画风/镜头；角色被 ref2va 部分替代。

注意纯微调，与蒸馏正交（不是提速）。

案例fal MiniMax-H3-Realism-People-LoRA(旗舰风格 LoRA)；fal ref2va/trainer。

架构改造（VDN）↓ 下方案例详解

训练过程换线性注意力分支 + 4 阶段(A1/A2 对齐 + B LoRA + DMD 蒸馏)。

训练框架OpenVDN 自研(FA4/Triton)；ComfyUI 移植改纯 PyTorch。

推理框架ComfyUI-VDN-H3(消费卡) / 官方 B200 脚本。

数据data-free 对齐(教师=原全注意力)。

效果线性长程、8 步；消费卡可跑(2.6×)。

本质后训练、内含蒸馏。

案例VDN-H3 → ComfyUI（见下方案例：研究→消费级工程 + 有损/无损表）。

量化（FP4 / INT8）上消费卡

训练过程PTQ 为主；INT8 ConvRot(可逆旋转，bit-identical)；NVFP4-AWQ 编码器。

训练框架llm-compressor · TensorRT-ModelOpt · 自定义 ConvRot。

推理框架ComfyUI-VDN-H3 · SGLang Diffusion · diffusers。

数据少量校准。

效果DiT 28→8.5GB(Q2)、NVFP4 12.5GB；上 12–16GB 卡。

档位Q6 / INT8 / NVFP4 / Q2。

案例H3 量化档(Q6_K 28GB / INT8 20.9 / NVFP4 12.5 / Q2 8.5GB)。

对抗后训练 APT1 步视频

训练过程蒸馏基础上加判别器(GAN 式)把少步质量拉回，做到 1 步。

训练框架自研(字节/Seedance 系)；FastVideo。

推理框架diffusers / 自研，单步生成。

数据data-free / 教师轨迹。

效果1 步出片，质量接近多步。

代价训练更复杂(判别器难稳)。

案例APT(Seedance one-step 视频)；图像侧 SDXL-Lightning。

▽ 以下重点展开「步数蒸馏」

D1专业名词

去噪步数denoising steps

扩散从噪声到成品要迭代的前向次数；步数×分辨率决定时延与成本，是蒸馏要压的目标。

步数蒸馏step distillation

让少步学生复现多步教师的采样结果——视频蒸馏的统称。

渐进蒸馏progressive distillation

学生 1 步匹配教师 2 步，迭代反复 → 每轮步数减半（40→20→…→4）。

一致性模型 / LCMconsistency / LCM

强制 ODE 轨迹上所有点映射到同一终点 → 原则上 1 步；LCM 落到 4–8 步且质量损失小。

LCM-LoRA—

把一致性蒸馏的结果打包成一个 LoRA 适配器，即插即用地给任意底座加速（见 D2）。

对抗蒸馏adversarial

在蒸馏里加判别器提升少步质量：SDXL-Lightning、AnimateDiff-Lightning、APT(1 步视频)。

DMD / DMD2distribution matching

教师冻结 + 学生 + critic 估两者分数差作为信号，数据无关；质量强、训练重。

CFG 蒸馏guidance distillation

把 classifier-free guidance 的两次前向蒸成一次（guidance_scale=1），每步省一半算力。

稀疏蒸馏VSA sparse-distill

稀疏化(VSA)与蒸馏必须联合训练；分开做会教师/学生错位或丢收敛质量。

数据无关data-free

多数扩散蒸馏无需真实视频标注，用教师自产轨迹/分数即可训练。

D2LoRA 是一种蒸馏吗？

不是——但常被当成蒸馏的「载体」。 LoRA 本身是参数高效微调(PEFT)：只训练低秩增量、不改主干。它与蒸馏是正交的两件事。
· 加速 LoRA（LCM-LoRA / MiniMax Acc-LoRA）：把「少步蒸馏」的结果存进一个 LoRA 适配器 → 挂上去任意底座就变少步。这里 LoRA 是蒸馏产物的包装形式，蒸馏发生在训练它的时候。
· 角色 / 风格 / 运镜 LoRA：纯微调，注入身份或风格，与蒸馏无关。
一句话：「蒸馏能装进 LoRA，但 LoRA 不等于蒸馏。」

D3方法谱系 + 步数阶梯

教师（多步 dense）

40–50 步

渐进蒸馏

~8–10 步

一致性 / LCM

4–8 步

对抗 / DMD2

1–4 步

渐进蒸馏 Progressive

学生 1 步匹配教师 2 步，迭代减半。稳、可分阶段判定，但轮数多。

40→…→4 步

一致性 / LCM(-LoRA)

直接学 ODE 一致性，4–8 步；LCM-LoRA 成通用即插加速件。视频版：VideoLCM、Animate-LCM(解耦图像/运动先验)。

4–8 步 · 可打包 LoRA

对抗蒸馏 Lightning / APT

加判别器把少步质量拉回来。SDXL-Lightning、AnimateDiff-Lightning；APT 做到 1 步视频。

1–4 步 · 质量优

DMD2 分布匹配

教师冻结+学生+critic 估分数差，数据无关、质量强。代价：三网络显存大。

数据无关 · 训练重

把「轨迹」画出来：去噪是从纯噪声一步步走到成品；蒸馏就是让学生少走几步直达。紫点=真实前向，灰点=被跳过的步，■=成品，⚡=判别器。

D4数据 · 训练 · 推理

数据 & 训练

数据无关为主：用教师自产轨迹/分数，无需真实视频标注（DMD2）。
训练件 = 蒸馏头 / LoRA + (可选)判别器 / critic。
显存重：DMD2 三网络（教师+学生+critic）861 GB → 需 8×B200 节点；推理卡（如 8×5090）跑不了训练。
MiniMax Acc-LoRA：trunk LoRA rank 64 + 32 个时间区间蒸馏头 + CFG 蒸进适配器（40→4 前向，10×）。

推理收益

少步直接换时延：MiniMax H3 342s → 36.7s(9.3×) → 3.8s(90×)。
蒸馏产物几百 MB LoRA，即插即用、不发新底座。
VSA 稀疏蒸馏：稀疏与蒸馏须联合，保留 10% video-video tile。
与 LLM 蒸馏呼应：都在「用教师产出训小/快学生」，只是这里的"知识"是采样轨迹。

D5典型工程 / 产品

工程 / 产品	做什么	方法
LCM / LCM-LoRA	SD 系通用少步加速（4–8 步）	一致性蒸馏
SDXL-Lightning	1–8 步高质量出图	渐进 + 对抗
Animate-LCM / VideoLCM	视频 4 步生成	一致性(解耦)
DMD2 / FastVideo(FastH3)	数据无关少步视频	分布匹配
MiniMax H3 Acc-LoRA	4 步蒸馏，90× 提速	CFG+时间头蒸馏
APT (Seedance 系)	1 步视频生成	对抗后训练

案例VDN-H3 → ComfyUI：架构后训练落到消费级

VDN 本身是一次「架构改造后训练」——在冻结的 H3 上把远程二次注意力换成线性分支，再用 4 阶段适配补偿：A1/A2 对齐（自蒸馏）+ B LoRA + DMD 步数蒸馏。它是后训练、内部用到蒸馏，正好印证「蒸馏 ⊂ 后训练」。Saganaki22/ComfyUI-VDN-H3 这个社区工程，把它从「只跑数据中心」变成「消费卡即插即用」。

研究 → 工程做了什么

① 内核可移植：官方 Triton/FA4（需 Linux+B 系列）→ 纯 PyTorch SDPA/FlexAttention；② INT8 ConvRot 量化（bit-identical，4.3→2.2GB）；③ 显存有界(~1GiB)+逐块流式+预取；④ diffusers→ComfyUI 张量 re-key；⑤ 绕过 compiler 冲突；⑥ 封装原生节点 + 示例 workflow；⑦ 对官方实现做回归测试。

零新依赖 · 不改 ComfyUI 核心

结果

RTX 5090 上 1280×736×145 帧 ~17s/迭代；736p 在 12–16GB 卡可跑（INT8 栈，无需 --lowvram）；单卡纯 PyTorch。加速 ~2.6×，而官方 74.5× = 8卡+FP8+FA4+8步蒸馏叠加——损的是速度，不是画质。

消费卡能跑 ≠ 生产吞吐

哪些步骤有损（区分「质量有损」与「性能有损」）

步骤	有损?	类型
线性分支替代远程注意力	⚠ 轻微	质量（近似远程上下文）
8-step DMD 蒸馏	⚠ 有损	质量（少步；50-step 档基本无损）
文本编码器 NVFP4-AWQ	⚠ 有损	质量（4-bit 编码器）
可选 fp8_scaled diffusion	⚠ 有损	质量（FP8 权重）
可移植内核（FA4→PyTorch）	性能有损	速度（2.6× vs 74.5×，画质近似无损）
INT8 ConvRot（分支/Video VAE）	✓ 无损	声称 bit-identical
显存调度 / 流式 / re-key	✓ 无损	不改计算

要更接近满质量：用 50-step stage-b 档 + INT8 ConvRot（而非 fp8）+ 少叠激进缓存。这个工程在「画质↔速度↔设备」三角里选了消费卡可跑 + 尽量保画质，代价是速度——是「研究代码 → 消费级工程」的教科书案例。

与 LLM 后训练专题对照：LLM 后训练迁移「知识/推理轨迹」、目标是小模型；视频后训练压「采样步数」或改结构、目标是少步/可跑——但同属后训练大类，且都常用蒸馏。

把开源前沿模型跑起来，比官方便宜 50%，还能赚钱吗？

01模型清单 · LLM

02Kimi K3 · 技术规格

03算力需求 & 部署方案

04推理框架 & Profiling

Profiling：单 token 解码延迟归因（裸 EP · batch 1 · 示意）

优化增益阶梯：20 → 50+ tok/s（累计 · 已打折）

05市场价格对照 · 出 token ($/M)

06单位经济学 · 每 1M 出 token

07交互式利润计算器

08社区 & 自研优化方法

PLLM 后训练 · 蒸馏是其中一类

P0后训练方案库（训练 / 框架 / 数据 / 效果 / 案例）

D1专业名词

D2三种范式 + 架构

D3数据怎么做 · 训练怎么做

案例：DeepSeek-R1 → 小模型

案例：Kimi K3 MOPD

▶实战：你的中转平台数据怎么用

D4推理侧蒸馏

D5传言与合规（中立呈现）

D6典型工程 / 产品

C消费级 GPU 跑 LLM · 4090 / 5090 与端侧

C1两张消费级主力卡

C2单卡能跑什么 · Qwen 实测

C3Qwen 全家谱（重点）

C4端侧 & 小 / Flash 模型

C5把大模型拆到消费级（社区方案）

C6工具 & 社区

C7案例：Qwen3-30B-A3B 在 5090 的经济账

C8大模型拆解：谁真的更省？

C9小模型为何够用 · 牺牲了什么 · 怎么卖

开源视频模型能不能做成又便宜又能赚的服务？

01MiniMax H3 · 深度拆解

V1 · 模型总览

V2 · 架构拆解

V3 · 推理与提速

V4 · GPU 硬件账

V4+ · 版本 × 质量 × 设备全谱

A · 版本谱系（官方 + H3 开源/加速变体）

B · 设备要求矩阵（跑 H3 · 768p 5s）

V4+ · 成本收益（对齐 Qwen 经济账）

V5 · 参考 & LoRA 生意

V6 · 方法与自我修正

V7 · 资料来源

P视频后训练 · 蒸馏 / 微调 / 架构改造

P0视频后训练方案库（结合 MiniMax H3）

D1专业名词

D2LoRA 是一种蒸馏吗？

D3方法谱系 + 步数阶梯

D4数据 · 训练 · 推理

数据 & 训练

推理收益

D5典型工程 / 产品

案例VDN-H3 → ComfyUI：架构后训练落到消费级

哪些步骤有损（区分「质量有损」与「性能有损」）

把开源前沿模型跑起来，
比官方便宜 50%，还能赚钱吗？

开源视频模型能不能
做成又便宜又能赚的服务？