从做出来,
到讲清楚。
编译器、布局与 GPU 算子。记录已经实现的成果,以及背后的判断。
6 篇
让压缩后的 KV Cache 真正参与推理
↗持久因子池、增量上传与 Hexagon 消费路径。
EDGEKV / SYSTEMSKV CACHE
Compression → Runtime → Hardware
从算法走进运行时
先看交付,再看取舍与分层实验。
我们做出了怎样的 Layout 系统
具名空间、映射组合与多种数学表示,成为编译器可检查、可变换的语义对象。
成果、实现与证据 →01 / FLAGLANG · LAYOUTLAYOUT
逻辑域 → 映射关系 → 硬件位置
设计与实现
我们做出了怎样的 Layout 系统
具名空间、映射组合与多种数学表示,成为编译器可检查、可变换的语义对象。
让 TIRx 跑在 Hopper 上
从 WGMMA / TMA 和布局支持,到 packed GDN 算子;六场景复测相对固定 CuTeDSL 延迟几何平均降低 16.52%。
成果、实现与证据 →02 / TIRx · HOPPER16.52%
H20 · BF16 · D128 · 六场景公开调用
个人 fork · 公开复测
让 TIRx 跑在 Hopper 上
从 WGMMA / TMA 和布局支持,到 packed GDN 算子;六场景复测相对固定 CuTeDSL 延迟几何平均降低 16.52%。
从 DSL 到性能:对比 FlashInfer
八种 attention 规模延迟几何平均降低 10.33%;从源码与调度选择解释这组结果。
成果、实现与证据 →03 / FLAGKERNEL · PERFORMANCE10.33%
H20 · FP16 · D64 · 非因果 · 八种规模
结果与工程取舍
从 DSL 到性能:对比 FlashInfer
八种 attention 规模延迟几何平均降低 10.33%;从源码与调度选择解释这组结果。
从源码到 GPU:三层系统如何协作
FlagLang、FlagLib 与 FlagKernel:用户表达什么,编译器推导什么,算子如何验证。
成果、实现与证据 →04 / FLAGLANG · ARCHITECTURESOURCE
FlagKernel → FlagLang → FlagLib
编译器架构
从源码到 GPU:三层系统如何协作
FlagLang、FlagLib 与 FlagKernel:用户表达什么,编译器推导什么,算子如何验证。
用 GEMM + bias 读懂值式接口
围绕一个真实计算,讲清值式表达、舍入顺序与异步依赖。
成果、实现与证据 →05 / FLAGLANG · VALUE SEMANTICSA × B + C
计算关系 · 精度 · 就绪状态
接口与数值语义
用 GEMM + bias 读懂值式接口
围绕一个真实计算,讲清值式表达、舍入顺序与异步依赖。
让真实算子检验语言
用公开 DSL 编写 GEMM、softmax 和 attention,把表达能力推进到实现与验证。
成果、实现与证据 →06 / FLAGKERNEL · OPERATORSKERNEL
GEMM / SOFTMAX / ATTENTION
算子与实现
让真实算子检验语言
用公开 DSL 编写 GEMM、softmax 和 attention,把表达能力推进到实现与验证。