Google发布API以训练更小，更快的AI模型

Google今天发布了 Quantification Aware Training（QAT）API，使开发人员可以利用量化的性能优势来训练和部署模型-将输入值从大集合映射到较小集合的输出过程-同时保持接近原始状态准确性。目标是支持开发更小，更快，更高效的机器学习模型，这些模型非常适合在现成的机器上运行，例如那些计算资源非常宝贵的中小型企业环境中的机器。

通常，从较高精度到较低精度的过程很嘈杂。这是因为量化将一小范围的浮点值压缩到固定数量的信息存储区中，导致信息损失，类似于将小数值表示为整数时的舍入误差。（例如，范围[2.0，2.3]中的所有值都可以在单个存储桶中表示。）有问题的是，当在多个计算中使用有损数时，损耗会累积，并且需要为下一次计算重新定标。

QAT API通过在AI模型训练过程中模拟低精度计算来解决此问题。量化误差作为噪声引入，在整个训练过程中，QAT API的算法会尝试将其最小化，以便它学习对量化更可靠的变量。训练图利用将浮点对象转换为低精度值，然后将低精度值转换回浮点的操作，从而确保在计算中引入量化损失，并确保进一步的计算模拟低精度。

在测试中，谷歌报告说，在开源Imagenet数据集上进行测试后，未经量化的精度为71.03％的图像分类模型（MobilenetV1 224）在量化后达到了71.06％的精度。针对相同数据集测试的另一种分类模型（Nasnet-Mobile）在量化后仅发生了1％的准确性损失（74％至73％）。

除了模拟降低精度的计算外，QAT API还负责记录必要的统计信息，以量化训练模型或模型的一部分。例如，这使开发人员能够将经过API训练的模型转换为仅量化的TensorFlow Lite模型，或者在模拟量化如何影响不同硬件后端的准确性的同时尝试各种量化策略。

Google表示，默认情况下，QAT API（它是TensorFlow模型优化工具包的一部分）被配置为与TensorFlow Lite中提供的量化执行支持一起使用，TensorFlow Lite是Google的工具集，旨在将其TensorFlow机器学习框架上构建的模型适应于移动设备，嵌入式和物联网设备。“我们很高兴看到QAT API如何进一步使TensorFlow用户在其TensorFlow Lite支持的产品中突破有效执行的界限，以及它如何为研究新的量化算法和进一步开发具有不同特性的新硬件平台打开大门精确度”，Google在博客中写道。

QAT API的正式发布是在TensorFlow开发峰会上TensorFlow Quantum（用于训练量子模型的机器学习框架）发布之后发布的。在会议的录制会话中预览了QAT API。