人工智能走向異質化，邊緣運算已經成為現在主流趨勢，以臺北國際電腦展(Computex2019)為舞臺，各廠商大秀邊緣AI火力。

人工智能(AI)的技術日益成熟，須要處理的資料量也不斷增加，因此邊緣運算(EdgeComputing)形成時下主流，大廠紛紛加速布局邊緣AI。于Computex2019可以看到Arm、NVIDIA、美光(Micron)等皆展現了各自在邊緣AI的實力。

TotalCompute大策略全力釋放AI潛力

現在人工智能核心平臺開始邁向異質化時代。現在的智能手機已經內建許多人工智能和機器學習(ML)的基礎功能，包括即時影像擷取、人臉識別等，ArmIP產品事業群總裁ReneHaas(圖1)于Computex2019論壇中，發表“全面運算引領AI成長”(ScalingAIThroughTotalCompute)主題演說。探討AI運算在各個市場所面臨的復雜挑戰，以及TotalCompute解決方案為何能夠同時滿足AI效能提升與應用開發的需求。

ArmIP產品事業群總裁ReneHaas表示，全面運算可以提升AI效能并滿足應用開發需求。

目前在全球大約14億支的智能手機中，仍然約有85%的手機是將機器學習的工作負載交由CPU或者CPU+GPU執行的。而根據Arm對AI處理器工作負載的研究，為達成更佳的應用效能和使用體驗，發揮AI和ML的優勢，未來智能裝置的AI運算核心，將以CPU為中心，再整合運用GPU、類神經網絡處理器(NPU)、資料流處理器(DPU)、現場可編程邏輯閘陣列(FPGA)等運算資源。

從產業轉型方面來看，軟件也邁向碎片化，不論是自動駕駛、5G引爆的邊緣伺服器需求、AI型穿戴裝置和虛擬實境(VR)、擴增實境(AR)、高畫質游戲體驗、5G智能手機等，都帶來超高的運算效能與智能功能要求。此外，安全也是一項極大的考驗，前述各種市場領域的設備與裝置，都儲存了大量的個人資訊，沒有人希望竊取個人機密資料的事件再次發生。

Haas指出，這些大規模運算流程、跨處理元件的運用、安全保護要求，以及特定領域運算vs通用運算等，都將讓應用開發變得越來越困難且成本越來越高，市面上太多不同軟件的選擇，造成開發人員/生態系統碎片化的擴大，增加了推動裝置AI化的困難。

針對上述的AI運算與體驗挑戰，Arm提供從系統整體出發，結合硬件矽智財(IP)、軟件架構和最佳化工具，一次解決未來運算復雜性的全面運算解決方案。一方面，TotalCompute解決方案能以CPU為任務控制核心，再透過SystemIP確保AI運算的工作負載能達到最佳分配。例如影像搜尋作業由NPU執行，將比CPU更快、更有效率。再加上Arm的GPU、ML處理器、顯示處理器、ArmNN架構等，將能協助開發人員全面釋放AI效能。

另一方面，TotalCompute為開發人員提供了一個更容易運用的未來生態系統。碎片化的軟件和開發人員生態系統，除面臨需提升各種裝置的存取效能以推展AI應用的挑戰外，復雜的運算又進一步提升效能的需求，因此為了能讓AI應用輕松擴展到不同的環境中，Arm借由快速、簡單、成本更低的TotalCompute解決方案。提供一個統一的開發途徑。Arm所開發的軟件架構充分運用ArmIP以及ArmNN、ArmComputeLibrary、ArmDevelopmentStudios和ArmMobileStudios，有效加速產品開發的上市時程。

Haas總結未來新的工作負載是以使用案例為設計基礎的，要解決未來的復雜性挑戰，必須從根本上最佳化硬件、軟件、平臺安全性和工具。整個AI產業面臨著極大的挑戰，而CPU軟件生態系統將有助于開發人員拓展邊緣的AI體驗，Arm透過TotalCompute策略涵蓋的軟硬件和生態系統，幫助開發者跨越各個市場領域，加速提供5G時代的全新體驗。

NVIDIAEGX加速運算平臺讓決策更即時

隨著人工智能技術逐漸成熟，相關企業積極布局AI邊緣運算。因應此潮流，NVIDIA在Computex2019發表了EGX加速運算平臺，讓企業能在邊緣執行低延遲的即時(Real-time)AI作業，能針對5G基地臺、倉儲、零售商店、工廠與其他作業站間龐大且不間斷的資料串流進行接收、分析并即時采取行動。

NVIDIA產品行銷經理PareshKharya表示，為了實現不同的工業應用，如智能影像識別分析系統(IVA)、資料中心(DataCenter)、嵌入式系統(Embedded)和汽車等等，NVIDIA推出了EGX加速運算平臺。現在的資料量越來越大，所有的分析必須是立即的，才能即時做出決策，因此即時邊緣AI的重要性也顯得更加重要。

Kharya舉例說明，在醫院，可以利用即時邊緣AI協助醫生做出醫療診斷;在智能城市(SmartCity)的應用，也可以用來辨別車輛，進行分析決策，借此控制車流，達到疏通壅塞的目標。NVIDIAEGX平臺將加速AI運算的力量帶到了邊緣，讓智能零售、醫療保健、制造業、運輸和城市都具備更即時的AI運算能力。

另外，EGX擁有強大的擴充性，小至體積極小的NVIDIAJetsonNano，以僅僅幾瓦的耗能就能提供如影像識別等任務所需每秒五萬億兆次浮點的運算(TOPS);規模亦可大至一整柜的NVIDIAT4伺服器，為即時語音識別和其他即時AI任務提供超過10,000兆次浮點運算的效能(圖2)。同時NVIDIAEGX在架構上支援云端提供的NVIDIAAI運算。在云端開發的AI應用程式可以在NVIDIAEGX上運作，反之亦然。內含EGX的NVIDIAEdgeStack可以連接到云端IoT服務，使客戶能從AWSIoTGreengrass和MicrosoftAzureIoTEdge遠端管理他們的服務。NVIDIAEGX也具備了企業級的安全保障，NVIDIA的AI和運算技術結合了Mellanox、Cisco等大廠的網絡、儲存和安全技術，進而實現更高階的隔離和安全性，同時又不會影響CPU的效能。

NVIDIAEGX平臺可提供超過10,000兆次浮點運算的效能

美光積極布局AI促進強化邊緣運算

預估全球傳輸、儲存、分析的數據量將于九年內成長十倍，至2023年時將達到103ZB。面對如此龐大的數據量，如何將其轉化為資訊并從中挖掘有用的洞見將是一項難題，而人工智能在數據分析的過程扮演要角。美光于Computex2019上，表示將積極布局人工智能領域，并讓運算更靠近邊緣。

美光運算與網絡業務部門資深副總裁暨總經理ThomasT.Eby(圖3)表示，美光本身就是人工智能應用的最佳案例。透過導入人工智能至生產廠區，美光得以增加生產良率、促進工作環境安全與提升整體效能。美光導入人工智能打造智能制造，所得到的成果包括達到成熟良率的時間縮短25%、提升晶圓產出10%以及不良率減少35%，效果顯著。

美光運算與網絡業務部門資深副總裁暨總經理ThomasT.Eby表示，運算越來越異質化，AI在邊緣運算的重要性也跟著提高。

同時，Eby也提到，隨著運算越來越異質化，人工智能在邊緣運算的重要性就更高。以前的資料中心以CPU為中心，現在則趨向異質化，有CPU、GPU、FPGA等，在邊緣運算已經是大勢所趨。美光提供全面的解決方案，讓運算更靠近記憶體，甚至在記憶體中運算，以配合現在資料中心的需求。

Eby進一步指出，根據美光委托Forrester訪問建構人工智能平臺的工程師和IT專家的結果顯示，開發人工智能系統時，首要考量并非運算，而是如何打造記憶體與儲存架構以滿足龐大運算需求。報告中有超過九成的受訪者表示，記憶體與儲存架構攸關開發人工智能系統的成敗，儲存與記憶體吞吐量的重要性更勝于運算，且運算與記憶體間的距離越來越近。

在自駕車的記憶體需求方面，Eby也表示，未來每輛L5級自駕車，將會配置8~12個解析度高達4K~8K的顯示熒幕，而為了支援V2X連結，記憶體每秒需處理0.5~1TB的數據量，在車內娛樂系統方面，記憶體頻寬需求每秒也將達150~300GB。未來自駕車將會像飛機一樣有黑盒子，以每30秒持續錄制片段，紀錄車內外狀況，因此記憶體頻寬需求每秒也達到1GB。此外，在車輛生命周期中，會重復寫入的數據加起來將有150PB(Petabyte)，所以對記憶體與儲存的效能與耐用性要求會特別高。