面向AIoT的深度学习推理框架MACE

单位: 小米MACE团队

开源类型: 开源产品

MACE是专注于移动端和IoT设备深度学习推理引擎,为了获得极致的计算与存储性能,MACE专门开发了针对移动端设备的MACE框架和针对IoT设备MACE Micro框架。 MACE框架专注于移动端深度学习模型推理场景,针对常用的多厂商移动端芯片的异构计算特点,进行了极致的性能优化,并结合Cache优化,并行化等优化策略,其性能超越了目前领先的TensorFlow Lite和ncnn等框架。 MACE Micro框架专注于IoT设备的深度学习模型推理场景。微控制器(MCU)是小型、低能耗的计算设备,经常嵌入在只需要进行基本运算的硬件中,包括家用电器和物联网设备等。每年都有数十亿个微控制器被生产出来。MACE Micro针对设备特性与业务需求,MACE Micro在性能、功耗、内存/存储占用、移植性等方面都进行了专门优化,具有高性能、低能耗、好移植、易用的特点。 经过四年多的研发以及开源,MACE框架已成为小米集团首选AI框架,部署在小米近几年发布的所有机型上,应用在视觉、语音、NLP、人体行为识别等领域。 MACE框架在小米MIUI上部署的应用有单摄背景虚化、图像风格化、场景识别、图像超分辨率、机器翻译、目标检测、灵弦算法等等,调用次数超过了50000000次/天。