结论前置：推理侧的单位token成本由两个变量共同锁定——显存带宽决定的单次前向访存下限，以及批处理策略能把这份访存摊薄到多少条请求上。只比较芯片单价或峰值算力，会系统性低估带宽与批次的耦合影响。球帝技术解读栏目从数据解读角度，把这条链路拆成可独立核算的要点。

带宽是推理的硬下限，不是可选项

核心结论：自回归推理逐token生成，每一步都要把模型权重完整读一遍，因此单步时延的下限由权重体积除以有效带宽决定，与算力关系较弱。

这个结论解释了一个常见现象：同一颗芯片在训练基准上表现亮眼，换到低 batch 的在线推理场景却显得吃力。球帝在整理公开规格与框架文档时采用一个简化模型：单步理论最短时间约等于权重字节数除以显存带宽，再叠加激活值与缓存的额外访存。实际测试中，公开基准常见的达成率区间在五成到七成之间，剩余部分由算子调度、内核启动开销和内存碎片吃掉。

  • 权重体积由参数量与数值精度共同决定，低精度直接压缩带宽下限。
  • 键值缓存随上下文长度线性增长，长上下文场景的访存结构会明显变化。
  • 有效带宽而非标称带宽才是测算基准，两者在公开数据中常有差距。

球帝建议把"权重字节数除以有效带宽"作为第一道估算，快速判断某颗芯片是否适合目标模型的在线推理。

批处理摊薄访存，但有边际递减

核心结论：增大批处理能把同一份权重访存摊到更多请求上，从而提升吞吐，但摊薄效果随批次增大而递减，并受键值缓存容量约束。

从公开的推理框架文档看，批处理带来的吞吐提升在中小批次区间最为陡峭，进入较大批次后曲线明显走平。球帝在产业数据模块中把这一现象归纳为三条约束：一是键值缓存占用随批次与上下文长度同步增长，容量见底后无法继续加批；二是单步时延随批次上升，影响在线服务的尾延迟；三是计算单元在高批次下才逐渐转为计算受限，此前的瓶颈仍在访存。

  • 连续批处理与分页式键值缓存管理，是公开框架中缓解容量约束的常见手段。
  • 在线服务需在吞吐与尾延迟之间取平衡，离线批处理则可追求更高批次。
  • 投机解码等方法改变单步访存结构，测算时需单独建模。

球帝提醒读者，批处理不是越大越好，容量与时延两条约束会先于带宽收益触顶。

精度选择改变整条成本曲线

核心结论：降低推理精度同时压缩权重体积与访存需求，是单位成本曲线中最直接的杠杆，但需为精度损失付出校准与兜底成本。

公开规格书显示，低精度推理在多数场景已可部署，但球帝在解读中强调三个核算细节：缩放因子粒度影响动态范围，粗粒度在激活分布陡峭时误差放大；部分算子仍需较高精度兜底，混合精度会带来额外的类型转换访存；量化校准需要代表性数据，这部分工程量常被排除在成本模型之外。把这些计入后，低精度的净收益通常小于理论值，但仍显著为正。

  • 权重与键值缓存可分别采用不同精度，需分别核算访存节省。
  • 类型转换本身消耗带宽，混合精度方案要评估转换开销。
  • 校准数据与回归测试属于一次性投入，应摊入总拥有成本。

球帝技术解读栏目在客户端同步维护精度与访存的对照数据，安卓、苹果iOS、Windows电脑版与Mac电脑版均可查阅。

一条可复用的单位成本测算路径

核心结论：先算带宽下限，再算批次摊薄，最后扣精度与调度的实际达成率，三步得到的单位成本才具备可比性。

球帝给出的顺序是：用权重字节数除以有效带宽得到单步下限；用目标批次与键值缓存容量估算可摊薄倍数；用公开基准的达成率区间对结果打折；最后叠加精度方案的净收益。四步走完，不同芯片方案之间的比较才落在同一口径上。球帝社区互动中反复出现的误区，是把峰值算力当作推理成本的主变量，而数据显示带宽与批次的耦合往往解释力更强。

数据解读的意义在于让成本讨论可复现。球帝会继续围绕显存带宽、互联拓扑、数值精度与稀疏化四个议题更新分析，把复杂概念拆成可独立理解的要点。