为什么峰值算力不再是唯一答案

在智芯观澜日常整理的公开资料中，一个趋势已经非常清晰：无论是训练集群还是端侧设备，采购方在评估AI芯片时，越来越频繁地把“每瓦性能”放在参数表的第一行。原因并不复杂——当单卡算力增长到一定程度后，供电与散热能力反而成为系统扩展的硬约束。一台整机柜能提供的电力有限，芯片跑得再快，若功耗同步飙升，实际可部署的算力总量并不会线性提升。智芯观澜在梳理多家厂商公开规格书后发现，同一代产品中不同型号的能效比差距，往往比绝对算力差距更能解释真实场景下的表现差异。

需要说明的是，能效比并不是一个单一数字，它的含义高度依赖测量口径。脱离任务类型谈“每瓦多少TOPS”，很容易得出误导性结论。

能效比的三层构成：算力、功耗与利用率

理解能效比，可以把它拆成三个互相牵制的部分。智芯观澜建议读者按以下顺序逐层核对公开资料，而不是只盯一个比值。

  • 有效算力：厂商标称的峰值算力通常在特定精度下测得，例如INT8或FP8。实际业务往往混合精度运行，有效算力会低于峰值。公开规格书中若只给出单一精度数据，需要额外留意。
  • 功耗口径：芯片TDP、板卡功耗、整机功耗是三件事。智芯观澜提醒，能效比计算若分子用芯片算力、分母用整机功耗，横向对比就会失真，必须保证口径一致。
  • 利用率：再高的能效比，若在目标模型上利用率偏低，实际表现也会打折。推理场景中批处理大小、序列长度都会显著影响利用率，这部分通常需要参考公开的基准测试说明。

三者相乘，才接近真实业务中的“有效能效”。智芯观澜在整理方案对比资料时，会把这三项分开列示，避免读者被单一数字带偏。

训练与推理：两套不同的能效逻辑

训练芯片与推理芯片对能效比的诉求并不相同。训练阶段长时间满载运行，互联带宽与内存容量往往优先于单位功耗的精细优化；推理阶段则相反，请求波动大、空闲占比高，低负载下的功耗表现和快速唤醒能力变得关键。智芯观澜观察到，部分面向端侧的产品会在公开材料中强调空闲功耗与动态调频策略，这正是推理场景能效评估的重要补充维度。

对普通读者而言，一个实用的判断方法是：先明确自己的业务是持续高负载还是波峰波谷明显，再去看对应场景下的能效数据。跨场景直接比较两个能效比数值，意义有限。

评估能效比的四个可操作步骤

智芯观澜结合公开信息整理了一套简化流程，供非硬件背景的读者参考。

  • 第一步，确认精度与任务：找到与自身模型精度、输入规模接近的公开测试条件。
  • 第二步，统一功耗口径：芯片级、板卡级、整机级不可混用，优先选择整机级数据做横向参考。
  • 第三步，关注利用率说明：查看公开基准是否披露批大小、并发数等配置。
  • 第四步，结合部署环境：供电上限、散热方式、机柜密度都会改变能效比的实际价值。

智芯观澜在客户端各端（安卓、苹果iOS、Windows电脑版、Mac电脑版）同步更新的术语百科中，对上述概念均有条目化解释，便于随时查阅。能效比的本质不是追求一个漂亮数字，而是让算力投入与电力、空间约束相匹配。理解这一点，选型讨论才能回到真实需求上来。