近日,美的集團ai創新中心全自主研發的邊端ai算法部署工具鏈aidget(ai edge toolbox)正式在github和openi兩大社區同步上線開放。推進開源開放是美的集團承擔建設的智能服務機器人國家新一代人工智能開放創新平臺的重要內容,aidget將有助于美的與開發者推進ai生態共創,賦能行業技術發展。
static.chinaiolupload/image/202302/28/6381320211693705589860500.">
在各種智能嵌入式邊端設備上運行深度學習模型(深度神經網絡)已成為aiot的主流方式,但由于主流深度學習模型部署要求高,且邊端設備運算資源受限,直接部署存在大量的計算資源浪費等直接挑戰,阻礙了深度學習模型在資源有限的邊端設備上的部署。致力于解決ai通用部署落地難題,針對智能家電領域存在的操作系統和芯片工程化部署難度高、效率低、通用工具鏈對資源極低的家電和iot設備適配性較差、通用工具鏈對語音算法支持力度較低,算子實現與優化不足等現實問題,美的集團ai創新中心于2021年發起了aidget項目。
static.chinaiolupload/image/202302/28/6381320215003019566830333.">
作為美的全自研高性能深度學習推理部署工具鏈,aidget包含模型壓縮工具以及推理加速引擎工具,實現從模型壓縮,到推理加速全鏈路優化。aidget適用于linux/rtos/android/ios等多種不同邊端系統,面向armv7/v8及dsp等不同邊端平臺提供指令級加速;針對多計算單元設備,提供高性能異構計算能力;針對邊端小內存設備,在內存管理方面進行優化設計。
static.chinaiolupload/image/202302/28/6381320216985943338313044.">
aidget工具鏈主要工作流程是將模型通過壓縮工具進行模型壓縮,支持前沿的主流算法技術剪枝、蒸餾及量化。通過多種壓縮方式結合應用,實現高壓縮比并保持良好的精度性能。經過壓縮后的模型通過推理引擎側轉換工具進行解析,進行進一步優化,包括算子消除、算子替換、布局調整等圖優化操作。推理時加載模型,然后經過預處理把模型從抽象的圖轉換為具體的算子和張量連接的描述形式,并進行內存復用和執行調度等運行優化。
static.chinaiolupload/image/202302/28/6381320219045308792568162.">
static.chinaiolupload/image/202302/28/6381320220456603542075839.">
目前,aidget已陸續在智能冰箱、洗碗機、家庭服務機器人等智能家電產品上實現了投產驗證和規模化量產,持續發揮了降本增效作用。美的集團希望通過aidget開源項目,為邊端智能提供ai解決方案;同時,美的ai將持續推進語音技術、計算機視覺、機器人學習相關算法/模型的開放服務和開源共創,賦能行業發展。
以上是網絡信息轉載,信息真實性自行斟酌。