Arm作為邊緣計算領域的“幕后英雄”,其架構支撐著數十億邊緣設備的運行。近日,Arm推出全球首個Armv9邊緣AI計算平臺。該平臺專為物聯網應用優化,以全新的Cortex-A320 CPU和Ethos-U85 NPU為核心,支持運行超10億參數的端側AI模型。其中,全新的基于Armv9架構的超高能效Cortex-A320 CPU,其能效比較Cortex-A520提升了50%,更與Ethos-U85 AI加速器組成了邊緣AI時代的”黃金搭檔“,助力大模型與生成式AI在物聯網領域的落地。Arm不僅是“算力供給者”,也是“場景賦能者”。
最近兩年的AI技術日新月異,在如此高速發展的態勢之下,Arm全新的邊緣AI計算平臺背后有哪些關鍵點值得關注?對于AI行業的熱點,Arm又有什么見解?EEWorld與Arm物聯網事業部業務拓展副總裁馬健進行了深度訪談,并對一些熱門問題進行了解析。
Armv9邊緣AI計算平臺:Arm為未來邊緣計算和AI處理提出的新范式
此次發布的Armv9邊緣AI計算平臺實現了CPU和AI加速器的深度配合。Cortex-A320可以為Ethos-U85提供更高的內存容量與帶寬,讓大模型在Ethos-U85上的執行如虎添翼。任何開發者們不希望在Ethos-U85上運行的AI操作,可以回退到Cortex-A320,利用其Neon/SVE2引擎更靈活有效地在CPU上執行。這使得智能物聯網與消費類電子生態系統能夠在正確的時間,并在合適的地方運行最適合的工作負載。
馬健表示,Arm此次發布的平臺不僅僅是一次漸進式的升級,更代表了Arm為未來邊緣計算和AI處理提出的新范式。Cortex-A320是Arm首個專為物聯網應用設計的Armv9架構處理器,它將超高能效與先進AI能力相結合,實現了前所未有的突破。當Cortex-A320與Ethos-U85結合時,將催生出全新的應用類別,為邊緣側AI應用拓展更多可能性。
Cortex-A320的獨特之處
全新邊緣AI計算平臺將覆蓋多個應用場景,實現包括視覺和自然語言在內的多模態的環境感知與理解,進而運行智能體AI、自主規劃、執行復雜任務等。該平臺具備強大的計算能力,Cortex-A320與Ethos-U85的組合,比去年基于Cortex-M85搭配Ethos-U85的平臺提升了八倍的ML計算性能,帶來了顯著的AI計算能力突破。
那么此次推出的超高能效Cortex-A320 CPU與Cortex-M85相比,究竟有哪些獨特之處?
對此,馬健深度解析了Cortex-A320和Cortex-M85的差異,具體包括:
第一,從內存支持的角度,Cortex-M85作為一款32位的嵌入式處理器,最多能支持的內存尋址空間是2的32次方,也就是4GB左右。在這樣一個有限的內存空間內,需要運行操作系統、其他程序以及進行內存管理等,那么留給運行模型的空間就會非常小。相比之下,Cortex-A320是64位處理器,在內存方面能夠給到很好的支持。
第二,從內存的分層管理角度,SRAM肯定是首選,但在需要更大內存容量時,DRAM的加入變得至關重要。然而,一般的Cortex-M系列上面所運行的操作系統很難同時管理DRAM、SRAM,并優化DRAM的時延。Cortex-A系列可以運行比較豐富的操作系統,這些操作系統本身其實就可以幫助完成這一任務,并且能夠更快地推動產品上市。
第三,從生態角度,Arm的Cortex-A處理器系列的產品生態更加豐富。舉例來說,對于Android生態中的數百萬個應用程序,借助Cortex-A的生態,這些應用都可以無縫地移植到超高能效的設備上。
Arm對于產業熱點及趨勢的解析
熱點之一:DeepSeek
DeepSeek是最近一段時間的熱點,很多邊緣芯片和設備廠商都紛紛宣布支持接入DeepSeek。
馬健就此表示,DeepSeek在減小模型尺寸、增加模型效率方面帶來了創新。DeepSeek-R1最小可做到1.5B的體量,可以讓邊緣設備游刃有余地部署這些模型。DeepSeek降低了計算成本,并為更多邊緣AI應用提供了重要機會。對于深耕計算領域的Arm而言,這代表了創新的速度正在加快,尤其是推理工具的創新速度,這也展現出了行業對計算性能和能效日益增長的需求。
熱點之二:智能眼鏡
近來非常火熱的智能眼鏡正成為快速發展的新興市場,而Arm技術已被廣泛應用于智能眼鏡等智能可穿戴設備,比如市場上頗受矚目的Meta Ray-Ban AR智能眼鏡,其搭載的正是Arm CPU。
因智能眼鏡體積小巧、重量輕盈,并且需要直接佩戴在面部,智能眼鏡對功耗及散熱有著極為嚴苛的要求。一旦散熱效果不理想,使用者在佩戴過程中便極易產生不適之感,嚴重影響產品體驗。
談及智能眼鏡這一熱門應用,馬健表示,Arm Cortex-A320在性能和功耗上有著卓越表現。相較于之前的Cortex-A CPU,Cortex-A320在能效方面有大幅提升。相信Cortex-A320搭配Ethos-U85的這一組合對于智能眼鏡來說會是一個很好的解決方案。
熱點之三:邊緣側訓練
當被問及AI在邊緣側是否也有訓練需求時,馬健認為,有些場景是需要在邊緣進行一些重訓練的,尤其是在智能制造領域,鑒于數據隱私和安全的考量,很多廠商不愿將生產數據上傳至云端。因此,當面臨新數據或新零件質檢時,若需對模型進行更新或微調,這些工廠更傾向于在邊緣側或終端側進行操作。如果計算量比較小,比如只有幾個新的樣本,可以對模型做一些后訓練微調,這完全可以在Cortex-A320搭配Ethos-U85的邊緣AI計算平臺上進行。但如果本地收集數據量比較多,就可能需要部署在邊緣的AI服務器進行重訓練。
熱點之四:場景碎片化
此外,這幾年很多企業都會談到“邊緣AI場景碎片化”。對此,馬健認為這是一個悖論。她表示,像數據中心這類場景,各企業用的計算平臺都非常類似,即使是有不同的數據中心加速器,所實現的功能也大都相近。而邊緣側應用種類繁多,很難通過一種選擇滿足各類需求,針對性能、功耗的組合也更加多樣化,但這并不意味著我們不能通過某種方式來提供一定程度的統一性和靈活性,Arm邊緣AI計算平臺就是一個很好的范例,用IP異構的方式構建平臺解決方案,給邊緣側的合作伙伴提供更優的性能和更大的靈活性。