- 博客(3)
- 收藏
- 关注
原创 《AI 系统性能工程》问答 | 优化GPU,我还得先调CPU?
搞 GPU 的人容易有个思维定式:性能问题 = kernel 不够快 = 上更牛的算子。但主机侧的这些"脏活"——NUMA、大页、swap、分配器——恰恰是收益确定、风险可控、不需要改一行模型代码的部分。GPU 是台印钞机,别让 CPU 成为卡纸的那张纸。
2026-11-21 23:29:43
179
原创 《AI 系统性能工程》问答 | NUMA?牛马?
NUMA 全称是。一旦数据离得远,哪怕 Kernel 写得再漂亮,推理延迟也可能莫名其妙抖动。很多“明明没改模型,性能却掉了”的问题,最后追到底,往往都绕不开 NUMA。
2026-11-19 23:44:51
481
原创 《AI 系统性能工程》问答 | Kernel和算子到底谁包含谁?
在这个维度上,算子是上层抽象,Kernel 是下层实现,可以说算子的“实现集合”里包含了几十个 Kernel。内核融合是把多个算子(如“加法”和“ReLU”)的计算步骤合并写进同一个 Kernel 里执行,以减少中间数据的读写和启动开销。这回答的是“这一次执行里塞进了哪些功能”。按“执行单元”看:一个融合 Kernel(执行体)→ 多个算子的逻辑(被合并的计算)。Kernel 是“容器”,算子逻辑是“被装进去的内容”。算子是“需求”,Kernel 是“供给”,一个需求可以由多种供给来满足。
2026-11-18 22:33:37
453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅