AI端侧模型量化部署定制：INT8精度与内存预算

把模型放进硬件，难点很少在算力，而在内存与功耗的边界。本期智能硬件实验室围绕端侧部署做了一组对照实验：同一振动分类任务（6 通道加速度、1kHz 采样、窗口 512 点），分别以 FP32、动态范围 INT8、per-channel INT8 三种形式部署到 Cortex-M7 加小型 NPU 的模组上。

结果显示，FP32 模型占 Flash 1.8MB、RAM 峰值 512KB，超出目标模组预算；换成动态范围 INT8 后体积降到约 460KB、RAM 峰值 190KB，但少数通道权重分布偏移，精度从 94.2% 掉到 92.8%。改为按通道校准的 per-channel INT8，并把首尾两个算子保留为 FP16，精度回到 93.9%，端到端推理耗时 8.7ms，满足 20ms 的产线节拍。一个可复用的判断是：量化误差通常集中在少数通道和少数算子上，与其整体降精度，不如先定位离群算子再定点处理。

下一步计划：

• 建立算子级敏感度扫描脚本，把校准集从随机采样改为覆盖各工况的分层采样；
• 在内存更紧的模组上验证混合精度调度，目标把 Flash 占用再压缩 20%，同时保证精度损失小于 1 个百分点。