人工智能端側芯片基準測試評估方案 v0.5 版本發(fā)布

2018-10-17 15:29來源:機器之心synced//

原標題：人工智能端側芯片基準測試評估方案 v0.5 版本發(fā)布

ai 進入爆發(fā)期后，芯片對技術進步的影響愈發(fā)凸顯。深度學習對計算芯片提出了新需求，催生了 ai 加速芯片的問世。當 ai 芯片的功能日益復雜化、多樣化，一方面，芯片廠商紛紛給出不同的衡量標準，聲稱其產品在計算性能、單位能耗算力等方面處于行業(yè)領先水平；另一方面，需求方卻關心如何能從廠商給出的信息中判斷出芯片是否能實際滿足其真實場景的計算需求。針對這一現(xiàn)狀，一個與真實場景緊密相連的、同時跨產品可比的測試評估方案的出現(xiàn)，迫在眉睫。

如何構建與真實場景緊密相連的、面向不同產品形態(tài)、設備級別的ai加速器測試評估方案？2018 aiia 人工智能開發(fā)者大會揭曉了答案。會上，《aiia dnn benchmark——人工智能端側芯片基準測試評估方案 v0.5 版本》由中國信息通信研究院云大所人工智能部副主任、中國人工智能產業(yè)發(fā)展聯(lián)盟 （aiia） 總體組組長孫明俊代表中國人工智能產業(yè)發(fā)展聯(lián)盟發(fā)布。

中國信息通信研究院云大所人工智能部副主任、中國人工智能產業(yè)發(fā)展聯(lián)盟總體組組長 孫明俊

aiia dnn benchmark 的工作目標為客觀反映當前以提升深度學習處理能力的 ai 加速器現(xiàn)狀，所有指標均旨在提供客觀比對維度。aiia 希望，該方案能夠為芯片企業(yè)提供第三方評測結果，幫助產品市場宣傳；同時為應用企業(yè)提供選型參考，幫助產品找到合適其應用場景的芯片。v0.5版本首先給出了端側評估方案。

根據孫明俊介紹，ai 基準測試方案的制定面臨諸多挑戰(zhàn)。即便拋開優(yōu)化程度、硬件架構等若干問題不談，延遲、帶寬、能耗都要納入考慮范圍。同時，各種神經網絡模型都有不同參數，不同設備在不同參數下有不同的輸出曲線。如何讓指標在不同級別的設備中橫向可比？而云端和終端的應用是否需要不同的基準測試？如何為不同測試項目分配權重，以獲得一個相對公正客觀、有代表性的評分？這些都是應用領域的差異性和實現(xiàn)選擇的多樣性導致的測評難題。

針對以上特點，aiia 聯(lián)合 arm 中國、阿里巴巴集團、百度、寒武紀科技、chipintelli、地平線、華為、華大半導體、imagination、synopsys，騰訊、云之聲等 12 家企業(yè)，推出了 aiia dnn benchmark——人工智能端側芯片基準測試評估方案。

aiia dnn benchmark 將以「版本迭代、不斷豐富、不斷完善」的工作方式，為更多評測應用場景、評測指標等提供評估方案，最新公布的 v0.5 版本提供了「通用芯片 ai 能力評估」和「定制化芯片的 ai 能力評估」2 種方案評測方案。方案覆蓋了時間、性能評價指標以及功耗 3 類測評指標和圖片分類、目標檢測、語音識別、超分辨率 4 大應用場景。其中通用芯片的 ai 能力評估限定在指定場景、數據集、網絡模型、框架下，而定制化芯片的 ai 能力評估將更加關注 ai 芯片對于特殊場景的優(yōu)化能力，如安防、自動駕駛、智能音箱等。針對每一個具體變量，方案都提供了 check list 選項，供被測方選擇 。

目前aiia dnn benchmark芯片基準測試評估方案是初級版本，預計會在10月底到11月初面向企業(yè)征集首輪評估對象及方案，首輪測試對象主要為端側設備。aiia dnn benchmark 將會從場景、指標、部署位置等角度不斷做版本更新，誠邀企業(yè)參與。

以上是網絡信息轉載，信息真實性自行斟酌。