边缘AI与端侧推理

边缘 AI 指的是把 AI 推理放在靠近数据产生的位置，例如手机、摄像头、车载设备、工厂网关或本地电脑，而不是全部传到云端处理。

为什么要在端侧运行AI

云端模型能力强，但并不总是最佳选择。很多场景需要低延迟、离线可用、保护隐私或减少带宽成本。

例如智能门锁识别人脸，如果每次都把视频传到云端再判断，会有延迟和隐私风险。在本地设备上完成识别更合适。

端侧推理的优势

• 低延迟：不必等待网络往返；
• 隐私更好：原始数据可以不离开设备；
• 离线可用：网络不好时仍能工作；
• 带宽成本低：不必上传大量图片或视频；
• 响应稳定：不完全依赖云服务。

端侧推理的限制

端侧设备算力、内存、电量和散热都有限。一个云端能跑的大模型，不一定能直接放到手机或摄像头里。

因此端侧 AI 常需要模型压缩、量化、剪枝、蒸馏或选择更小的模型。

模型量化的作用

量化会把模型参数从高精度浮点数转换成更低精度格式，例如 INT8 或 INT4。这样可以减少模型体积和推理成本，但可能带来精度下降。

量化后必须重新评估，不能只看模型能不能跑。

常见应用

• 手机拍照增强；
• 本地语音唤醒；
• 摄像头人形检测；
• 工业缺陷检测；
• 车载感知；
• 离线翻译；
• 本地大模型助手。

这些场景共同特点是：数据产生在本地，响应速度和隐私很重要。

设计端侧AI要考虑什么

1. 模型大小；
2. 推理延迟；
3. 内存占用；
4. 电量消耗；
5. 硬件兼容；
6. 更新机制；
7. 数据安全；
8. 异常回退方案。

小结

边缘 AI 不是简单把云端模型搬到设备上，而是在能力、速度、功耗、隐私和成本之间做权衡。适合端侧的模型，必须经过压缩、适配和真实设备测试。