华为人工智能模型量化相关专利公布 可减少AI模型占用的内存

天眼查App显示，近日，华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利公布。

摘要显示，量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度，将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理，以得到量化后的分块量化矩阵，并存储在存储器中，可以减少AI模型占用的内存。量化矩阵可以是权重矩阵，也可以是激活矩阵。量化单元量化过程中，是基于运行AI模型的计算设备的各个计算单元的处理粒度进行量化，并不需要基于张量级别进行离群值的统计，实现AI模型对权重矩阵和激活矩阵都可以进行实时量化。