RK3562/3588 系列之0—NPU基础概念

1.处理器分类

• 中央处理器(CPU)；

• 图形处理器 (GPU)；

• 神经网络处理器(NPU)。

每个处理器擅长不同的任务:CPU擅长顺序控制和即时性；GPU适合并行数据流处理,NPU擅长标量、向量和张量数学运算,可用于核心AI工作负载。

2.算力衡量指标TOPS

TOPS作为展示处理器计算能力的指标，是衡量NPU性能的核心。

TOPS通过以万亿单位测量一秒钟内执行的运算（加法、乘法等）次数来量化NPU处理能力。

乘法累加(MAC)运算执行AI工作负载中的核心数学公式。矩阵乘法由两类基础运算组成：累加器的乘法和加法。例如，一个MAC单元可在每个时钟周期内运行两类基础运算各一次，意味着它在每个时钟周期内执行两个运算。

频率决定NPU及其MAC单元（以及CPU或GPU）运算的时钟速度（或每秒周期数），直接影响整体性能。更高的频率允许在单位时间内执行更多运算，从而提高处理速度。但是，提高频率也会导致更高功耗和发热，影响电池续航和用户体验。处理器TOPS计算通常使用峰值运行频率。

精度指计算的颗粒度，通常精度越高模型准确性就越高，需要的计算强度也越高。最常见的高精度AI模型为32位和16位浮点精度，而速度更快的低精度低功耗模型通常使用8位和4位整数精度。当前行业标准为以INT8精度评估AI推理性能TOPS。

计算TOPS要从计算OPS开始，OPS等于MAC单元数乘以运行频率的两倍。TOPS数量是OPS除以一万亿的值，将公式更简单地列出，即：
$$TOPS=2\times MAC单元数\times 频率/1万亿$$

以上来自高通:AI TOPS和NPU性能指标指南。

参考文献

[1] 高通:NPU是什么？为何它是开启终端侧生成式AI的关键？
[2] 高通:通过NPU和异构计算开启终端侧生成式AI
[3] 高通:AI TOPS和NPU性能指标指南
[4] Intel NPU 是什么？深入解析Neural Processing Unit 技术与应用趋势