边缘AI部署定制：算力选型与推理延迟核算

不少产线AI项目在服务器上跑得通，装到工控机上就掉帧、卡死，问题多半出在选型阶段没把算力与延迟算清楚。落地时建议倒推三步：先定业务节拍，例如视觉检测工位 300ms/件，留给推理的预算通常不超过 80ms；再定输入分辨率与精度，量化到 INT8 一般能省四到六成算力，但小目标召回要重新复测；最后才选硬件，把标称算力按实际利用率的 30%~50% 折算，别拿 100 TOPS 的峰值直接对标需求。 两个容易踩的点： - 延迟要拆成“采集+预处理+推理+后处理+通信”，预处理（缩放、色彩转换）常占三成以上，可用 GPU 加速或前置 ISP 处理； - 功耗与散热决定长期稳定性，无风扇整机建议留 30% 功耗余量，机柜内温度超过 50℃ 时要有降频预案。 交付前用真实产线连续跑 8 小时以上，记录帧率抖动与内存增长曲线，比单次跑分更能说明问题。