684.6–685.8 ms
完整 warm action chunk
SINGLE GPU · NVIDIA RTX 5090
FLUX.3 Action把等待减半。
从编译与混合精度，到注意力内核与数据搬运。
在相同四步推理工作负载下，将动作预测压到 约 685 ms。
WARM INFERENCE已验证
2.05×
相对原始 BF16 · 两个输入 2.04–2.05×
ORIGINAL1,402.5 ms
OPTIMIZED685.2 ms
两个输入的 median 均值延迟 −51.1%
−5.3%
相对固定 Sage2 基线的额外延迟下降
120 / 120
同进程交替测量，全部请求匹配
2 / 2 PASS
两个固定离线观测，阈值保持不变
01 / PERFORMANCE
每一段加速，都有实测落点。
相同 GPU、checkpoint、输入、seed 和四步配置；统计量统一使用中位数。
OBSERVATION 01将黄色杯中的内容物倒入粉色碗中
从原版到最终路径
MEDIAN / ms · 越短越快05001,0001,500 ms
阶段 01–04 为历史独立进程结果；阶段 05 使用最终 ABBA 中位数。这里呈现优化路线，阶段差值不作为严格单项消融。
最后 5.3%，用交替测量确认
ABBA · 15 组固定 Sage2 基线全部无损优化
每路径、每输入 5 次预热 + 30 次计时；A/B 模式切换在计时外。横轴是各路径的样本序号，纵轴显示实际延迟区间。
722.625 → 684.603 ms
同一个进程、同一个模型，在热态请求间交替切换优化。
5.262%额外延迟下降
1.05554×额外加速倍数
✓ 120 次输出全部逐位一致
独立重启复测也通过。主结论保留 ABBA 数据，不以另一次运行的更低绝对时间替代。
02 / ENGINEERING
先减少计算成本，再消除搬运。
混合精度带来主要性能提升；最后一轮保持既有计算结果，继续压缩内存与调度开销。
图像 / VAE conditioning→4 步视频 + 动作去噪→1 × 32 × 8 动作输出
01
编译与执行路径
执行优化编译 DiT / VAE，合并 CFG 分支并共享 conditioning，融合四步 UniPC 更新，使用既有 CUDA Graph 热态路径。
1.26×历史阶段 / vs. 原版
02
混合精度投影
数值近似 · 经 gate保持 Q/K 投影为 BF16，其他选定投影使用 row-wise FP8。保留四步求解、guidance 和原模型权重来源。
1.79–1.80×历史累计 / vs. 原版
03
SageAttention2
数值近似 · 经 gateper-thread INT8 QK、FP8 PV、FP32 累加；保留 K smooth 和 V smooth。采用 NHD 布局，覆盖 5 个 video early 与 28 个 joint block。
1.96×历史累计 / vs. 原版
04
融合、布局与缓存
无新增近似 · bit exact融合中心化与量化、直接写目标布局、引用 V 投影输出，并缓存固定工作。将这套 Sage2 基线的延迟再降低约 5.3%。
2.04–2.05×最终累计 / vs. 原版
“无损”的准确范围
最后一轮优化相对已固定的混合精度 + Sage2 基线输出逐位相同。整个优化路线包含量化近似，不宣称与原始 BF16 逐位相同。
最后一轮，具体做了什么
打开卡片查看实现细节AK 中心化 × INT8 quant+
在量化核中完成 K 减均值，并显式保留原来的 BF16 舍入。Q quant、scale 与 INT8 规则保持一致，消除 K 中间张量。
K → center + BF16 round + quant → INT8
主形状 K quant104.65 → 59.02 μs
BNorm / RoPE 直接写 NHD+
仅调整生成核最后的存储类型和位置，直接输出 BF16 / NHD。保留原算术及实际归约配置，省去 Q/K 独立转换与拷贝。
Norm / RoPE → BF16 · NHD → attention
作用范围5 early + 28 joint blocks
CV alias + tiled transpose+
直接引用 V+MLP projection 的 V 切片，省去 V 物化；以 64×64、4 warps 的 Triton tile 完成转置、padding 和 permutation。V mean / scale / quant 仍用原核，保留 V smooth。
V quant 整段，含搬运78.93 → 37.22 μs
D固定工作缓存+
缓存 timestep modulation、四步求解器 CPU 系数、同 seed 的噪声和位置 IDs。按依赖张量、seed、形状、设备及配置匹配；每个输入的观测推理仍照常执行。
输出检查逐位一致
组件时间来自对应真实形状测试，用于解释机会；不能直接相加或当作 E2E 加速倍数。
03 / QUALITY & REPRODUCIBILITY
速度之外，保留原来的判断标准。
最终路径与原始 BF16 输出对照；下面的数值随“输入 01 / 02”选择联动。
误差距离阈值还有多远
INPUT 01条形长度 = 误差 / 阈值，右端为 gate 上限。低于阈值仅表示本次离线数值筛查通过。
两个输入通过。
阈值没有放宽。
joint MAE ≤ 0.02 rad，joint max ≤ 0.05 rad，gripper max ≤ 0.05；相对 recorded action 的 joint MAE 退化 ≤ 0.02 rad。
当前输入 · recorded joint MAE 变化−0.00859 rad负值表示本输入的 MAE 下降
评测范围：2 个固定离线观测。没有进行机器人 rollout，不能据此推断任务成功率或泛化表现。
RESTART CONSISTENCY
固定实际 launcher，复现同一份输出。
重启诊断发现：权重、conditioning 与第一次 DiT 输入相同，但 3 个 LayerNorm 核的 R0_BLOCK 被 autotune 在 512 / 1024 之间切换，第一次 DiT 输出开始分歧。
冻结通过原 gate 的 46 个实际 hot launcher 配置，并绑定生成代码 SHA。固定基线、全部优化和最终独立进程复测的输出文件哈希一致。
OUTPUT SHA256 / 四份记录一致
INPUT 01
b94ec2cdfe33…2902e132✓INPUT 02
下载完整哈希与复测结果 ↗cce231bfffb1…1c99a✓仅对本轮已验证的代码、环境和工作负载成立。
实验边界与保留的失败记录+
重启失败如实保留
早期 fresh runner 的 case 0 joint max 为 0.053043 rad；诊断 v1 为 0.071199 rad，均超过 0.05。最终冻结通过 gate 的具体配置后完成复现验证。这不是“所有 autotune 配置都能过 gate”的证明。
没有收益的方向停止集成
主要 GEMM 形状的同精度 autotune / padding 没有收益；改变 bits 且更慢的 FP8 attention-out 被拒绝。early BF16 小核理论收益上限约 0.23 ms / request，未继续移植。
已有优化不重复计算
CUDA Graph、共享 CFG、静态编译路径和融合 solver 已在前期基线中。最后一轮没有再将它们计算为新增收益，也没有减少推理步数。
5090 与 B200 分开看
本页只汇总完成验证的单卡 RTX 5090 路线。参考项目的 GB200 数据及本任务的 B200 VC-Attn 研究不并入这组结果；最终 5090 路径使用 SageAttention2。
04 / METHODS & EVIDENCE
结论可以点开，数据可以重算。
报告使用已完成的测量记录。下载包保留数值、配置与来源哈希，便于独立核查。
计时边界
计入
完整 warm predict_action_chunk：图像 / VAE conditioning + 四步视频 / 动作去噪，每次请求同步 GPU。
不计入
权重加载、Qwen 文本编码、首次编译 / 图捕获及 warmup。这里报告热态请求延迟。
原版与历史阶段使用同一任务 harness。额外无损收益来自同进程 ABBA；总收益相对历史原始 BF16。
固定配置
- 硬件
- 1 × RTX 5090 / SM120
- 求解器
- Cosmos UniPC · 4 NFE · shift 5
- Guidance
- video 4 / action 1
- 输入与输出
- 2 固定观测 / 1 × 32 × 8
- 随机种子
- 0
- 运行环境
- Torch 2.12.1+cu130
Triton 3.7.1 / Sage 2.2.0 - 统计
- 5 warmup + 30 timed / path / input
模型版本与参考来源+
black-forest-labs/flux-3-action-droid ↗3d0887bdc7acee1686b19afac267125d519ff4f1
black-forest-labs/flux-3-action-base ↗62878e2925e59b7a89ec14463ce89932624c490d
参考实现：flux-action-gb200-optimized @ 823db016 ↗
视觉参考：GB200 加速与评测报告 ↗。本页所有 5090 数值来自本任务测量，未复用参考页的仿真与成功率结果。
交互数据暂时无法加载。静态结论仍可阅读，也可通过上方链接下载原始数据。