2020年3月13—14日,以“促進工業界和學術界的對話”為主題的benchcouncil國際大數據與人工智能線上峰會正式拉開帷幕。星云clustar 作為代表之一,與來自、facebook、、、等教育、金融、醫學等領域的百余名大數據和ai專家共同探討學術前沿。

星云clustar 打造聯邦學習的新算力

星云clustar 首席科學家胡水海博士受邀于會上發表了《gpu在聯邦機器學習中的探索》的主題演講,全面展示了星云clustar 在聯邦學習領域的布局與全新研究成果。

應對聯邦學習難題,星云clustar 的破局之道

在人工智能領域,目前存在比較嚴重的數據孤島問題。雖然每個公司和機構都有數據,但大部分是小數據,難以成勢;加之行業競爭、安全問題等因素,企業之間不愿意分享數據;另外,隨著多國著手出臺一系列數據隱私與安全的法律法規,縱使行業間愿意交換數據也變得難以合規。這都造成了數據以一個個孤島的形式存在,相互之間不能連接,數據失去流通性。

“聯邦學習”就是同時可以滿足隱私保護和數據安全的解決方案。聯邦學習采用同態加密技術,對數據進行加密,保證數據不泄漏。然而同態加密的代價是加密后的數據量龐大導致計算耗時和通信傳輸延時。聯邦學習中的部分同態計算量是明文計算量上千倍,且數據傳輸總量也比傳統機器學習大100到1000倍。

面對這些挑戰,星云clustar 在聯邦學習中做了革命性的算力突破:

1.優化單點計算:

gpu的并行計算為深度學習開拓了前進的道路。然而聯邦學習計算需進一步處理2048-bit的大整數運算、大量的模冪運算以及緩存大量中間計算結果,此時gpu表現就不盡人意。

針對這些技術挑戰,胡水海表示:星云clustar 首先使用分治思想做元素級并行,通過將大整數乘法分解成可并行計算的小整數乘法,優化了運算本身;其次,利用平方乘算法和蒙哥馬利算法降低復雜度并避免取模運算;最后,使用中國剩余定理,減小中間值計算結果,避免了更大的顯存緩存中間結果。

胡水海同時展示了星云clustar 基于gpu初步優化方案,測試結果顯示:相對于傳統服務器,星云clustar 在聯邦學習復雜的同態加密和解密計算上帶來了約6倍的加速比;密態乘法和加法效率上分別提高了30倍和400倍以上。

2.突破通信傳輸瓶頸

聯邦學習通信的兩大場景:一是數據中心內部不同機構間通信,二是不同機構的數據中心跨區域通信。在這兩大場景下,都需要加速聯邦學習通信,以帶來模型訓練效率的提升。胡水海表示:星云clustar 利用gdr(gpu direct rdma)技術,gpu的數據不再經過內存的多次拷貝,而是直接從gpu移動到rdma網卡,然后通過rdma網卡直接發送到網絡,接受側也同樣,從而實現零拷貝的數據流目標。同時gdr還可以控制內存分配機制,直接把數據分配在允許rdma操作的內存上,就能減少數據拷貝,進一步提升性能。相對于tcp模式,gdr能提高75%整體訓練效率。

星云clustar :助力聯邦學習,打造“新”算力礦機

聯邦學習作為同時保障安全和隱私的新一代人工智能算法框架,對于同態加密后的龐大數據量的處理上則需要更強勁的算力作為支撐。星云clustar 推出pai密態計算硬件加速卡,能讓數據在加密狀態下進行ai模型訓練與推理,解決數據安全和用戶隱私的合規挑戰。星云clustar 以領先的聯邦學習、同態加密等創新性技術,加速有密態需求的ai場景,致力于打造“ai+隱私”新算力,提供更加高效、更加安全的ai解決方案,為企業之間數據快速流通、互惠共贏的合作方式保駕護航。未來,星云clustar 將打造新算力時代領航者,助力聯邦學習在多行業多應用場景下發揮無限潛能。

關于星云clustar

星云clustar 成立于2018年1月,是全球領先的ai算力解決方案提供商,支持通用、密態ai計算,致力于將高性能網絡、聯邦學習等創新性技術應用到人工智能及大數據領域。星云clustar 核心團隊來自香港科技大學sing lab,其世界領先的學術成果為星云clustar 研發提供支撐,獲得紅杉資本等頂級機構投資,在北京、深圳和香港都設有產品和研發中心,目前團隊規模100余人,80%以上為產品研發團隊。

星云clustar 從通用ai市場著手,首先完成aios高性能算力平臺,加速分布式ai訓練;于2019年進一步打造全新產品線 pai (privacy preserving ai),這是軟硬件一體的高性能ai算力解決方案,包括星云clustar aios高性能通用算力平臺以及星云clustar 深度安全ai處理器,支持密態ai場景下從數據準備、模型訓練到模型推理的完整解決方案。

以上是網絡信息轉載，信息真實性自行斟酌。