人工智能走向異質(zhì)化，邊緣運算已經(jīng)成為現(xiàn)在主流趨勢，以臺北國際電腦展(Computex2019)為舞臺，各廠商大秀邊緣AI火力。

人工智能(AI)的技術(shù)日益成熟，須要處理的資料量也不斷增加，因此邊緣運算(EdgeComputing)形成時下主流，大廠紛紛加速布局邊緣AI。于Computex2019可以看到Arm、NVIDIA、美光(Micron)等皆展現(xiàn)了各自在邊緣AI的實力。

TotalCompute大策略全力釋放AI潛力

現(xiàn)在人工智能核心平臺開始邁向異質(zhì)化時代。現(xiàn)在的智能手機(jī)已經(jīng)內(nèi)建許多人工智能和機(jī)器學(xué)習(xí)(ML)的基礎(chǔ)功能，包括即時影像擷取、人臉識別等，ArmIP產(chǎn)品事業(yè)群總裁ReneHaas(圖1)于Computex2019論壇中，發(fā)表“全面運算引領(lǐng)AI成長”(ScalingAIThroughTotalCompute)主題演說。探討AI運算在各個市場所面臨的復(fù)雜挑戰(zhàn)，以及TotalCompute解決方案為何能夠同時滿足AI效能提升與應(yīng)用開發(fā)的需求。

ArmIP產(chǎn)品事業(yè)群總裁ReneHaas表示，全面運算可以提升AI效能并滿足應(yīng)用開發(fā)需求。

目前在全球大約14億支的智能手機(jī)中，仍然約有85%的手機(jī)是將機(jī)器學(xué)習(xí)的工作負(fù)載交由CPU或者CPU+GPU執(zhí)行的。而根據(jù)Arm對AI處理器工作負(fù)載的研究，為達(dá)成更佳的應(yīng)用效能和使用體驗，發(fā)揮AI和ML的優(yōu)勢，未來智能裝置的AI運算核心，將以CPU為中心，再整合運用GPU、類神經(jīng)網(wǎng)絡(luò)處理器(NPU)、資料流處理器(DPU)、現(xiàn)場可編程邏輯閘陣列(FPGA)等運算資源。

從產(chǎn)業(yè)轉(zhuǎn)型方面來看，軟件也邁向碎片化，不論是自動駕駛、5G引爆的邊緣伺服器需求、AI型穿戴裝置和虛擬實境(VR)、擴(kuò)增實境(AR)、高畫質(zhì)游戲體驗、5G智能手機(jī)等，都帶來超高的運算效能與智能功能要求。此外，安全也是一項極大的考驗，前述各種市場領(lǐng)域的設(shè)備與裝置，都儲存了大量的個人資訊，沒有人希望竊取個人機(jī)密資料的事件再次發(fā)生。

Haas指出，這些大規(guī)模運算流程、跨處理元件的運用、安全保護(hù)要求，以及特定領(lǐng)域運算vs通用運算等，都將讓應(yīng)用開發(fā)變得越來越困難且成本越來越高，市面上太多不同軟件的選擇，造成開發(fā)人員/生態(tài)系統(tǒng)碎片化的擴(kuò)大，增加了推動裝置AI化的困難。

針對上述的AI運算與體驗挑戰(zhàn)，Arm提供從系統(tǒng)整體出發(fā)，結(jié)合硬件矽智財(IP)、軟件架構(gòu)和最佳化工具，一次解決未來運算復(fù)雜性的全面運算解決方案。一方面，TotalCompute解決方案能以CPU為任務(wù)控制核心，再透過SystemIP確保AI運算的工作負(fù)載能達(dá)到最佳分配。例如影像搜尋作業(yè)由NPU執(zhí)行，將比CPU更快、更有效率。再加上Arm的GPU、ML處理器、顯示處理器、ArmNN架構(gòu)等，將能協(xié)助開發(fā)人員全面釋放AI效能。

另一方面，TotalCompute為開發(fā)人員提供了一個更容易運用的未來生態(tài)系統(tǒng)。碎片化的軟件和開發(fā)人員生態(tài)系統(tǒng)，除面臨需提升各種裝置的存取效能以推展AI應(yīng)用的挑戰(zhàn)外，復(fù)雜的運算又進(jìn)一步提升效能的需求，因此為了能讓AI應(yīng)用輕松擴(kuò)展到不同的環(huán)境中，Arm借由快速、簡單、成本更低的TotalCompute解決方案。提供一個統(tǒng)一的開發(fā)途徑。Arm所開發(fā)的軟件架構(gòu)充分運用ArmIP以及ArmNN、ArmComputeLibrary、ArmDevelopmentStudios和ArmMobileStudios，有效加速產(chǎn)品開發(fā)的上市時程。

Haas總結(jié)未來新的工作負(fù)載是以使用案例為設(shè)計基礎(chǔ)的，要解決未來的復(fù)雜性挑戰(zhàn)，必須從根本上最佳化硬件、軟件、平臺安全性和工具。整個AI產(chǎn)業(yè)面臨著極大的挑戰(zhàn)，而CPU軟件生態(tài)系統(tǒng)將有助于開發(fā)人員拓展邊緣的AI體驗，Arm透過TotalCompute策略涵蓋的軟硬件和生態(tài)系統(tǒng)，幫助開發(fā)者跨越各個市場領(lǐng)域，加速提供5G時代的全新體驗。

NVIDIAEGX加速運算平臺讓決策更即時

隨著人工智能技術(shù)逐漸成熟，相關(guān)企業(yè)積極布局AI邊緣運算。因應(yīng)此潮流，NVIDIA在Computex2019發(fā)表了EGX加速運算平臺，讓企業(yè)能在邊緣執(zhí)行低延遲的即時(Real-time)AI作業(yè)，能針對5G基地臺、倉儲、零售商店、工廠與其他作業(yè)站間龐大且不間斷的資料串流進(jìn)行接收、分析并即時采取行動。

NVIDIA產(chǎn)品行銷經(jīng)理PareshKharya表示，為了實現(xiàn)不同的工業(yè)應(yīng)用，如智能影像識別分析系統(tǒng)(IVA)、資料中心(DataCenter)、嵌入式系統(tǒng)(Embedded)和汽車等等，NVIDIA推出了EGX加速運算平臺?，F(xiàn)在的資料量越來越大，所有的分析必須是立即的，才能即時做出決策，因此即時邊緣AI的重要性也顯得更加重要。

Kharya舉例說明，在醫(yī)院，可以利用即時邊緣AI協(xié)助醫(yī)生做出醫(yī)療診斷;在智能城市(SmartCity)的應(yīng)用，也可以用來辨別車輛，進(jìn)行分析決策，借此控制車流，達(dá)到疏通壅塞的目標(biāo)。NVIDIAEGX平臺將加速AI運算的力量帶到了邊緣，讓智能零售、醫(yī)療保健、制造業(yè)、運輸和城市都具備更即時的AI運算能力。

另外，EGX擁有強(qiáng)大的擴(kuò)充性，小至體積極小的NVIDIAJetsonNano，以僅僅幾瓦的耗能就能提供如影像識別等任務(wù)所需每秒五萬億兆次浮點的運算(TOPS);規(guī)模亦可大至一整柜的NVIDIAT4伺服器，為即時語音識別和其他即時AI任務(wù)提供超過10,000兆次浮點運算的效能(圖2)。同時NVIDIAEGX在架構(gòu)上支援云端提供的NVIDIAAI運算。在云端開發(fā)的AI應(yīng)用程式可以在NVIDIAEGX上運作，反之亦然。內(nèi)含EGX的NVIDIAEdgeStack可以連接到云端IoT服務(wù)，使客戶能從AWSIoTGreengrass和MicrosoftAzureIoTEdge遠(yuǎn)端管理他們的服務(wù)。NVIDIAEGX也具備了企業(yè)級的安全保障，NVIDIA的AI和運算技術(shù)結(jié)合了Mellanox、Cisco等大廠的網(wǎng)絡(luò)、儲存和安全技術(shù)，進(jìn)而實現(xiàn)更高階的隔離和安全性，同時又不會影響CPU的效能。

NVIDIAEGX平臺可提供超過10,000兆次浮點運算的效能

美光積極布局AI促進(jìn)強(qiáng)化邊緣運算

預(yù)估全球傳輸、儲存、分析的數(shù)據(jù)量將于九年內(nèi)成長十倍，至2023年時將達(dá)到103ZB。面對如此龐大的數(shù)據(jù)量，如何將其轉(zhuǎn)化為資訊并從中挖掘有用的洞見將是一項難題，而人工智能在數(shù)據(jù)分析的過程扮演要角。美光于Computex2019上，表示將積極布局人工智能領(lǐng)域，并讓運算更靠近邊緣。

美光運算與網(wǎng)絡(luò)業(yè)務(wù)部門資深副總裁暨總經(jīng)理ThomasT.Eby(圖3)表示，美光本身就是人工智能應(yīng)用的最佳案例。透過導(dǎo)入人工智能至生產(chǎn)廠區(qū)，美光得以增加生產(chǎn)良率、促進(jìn)工作環(huán)境安全與提升整體效能。美光導(dǎo)入人工智能打造智能制造，所得到的成果包括達(dá)到成熟良率的時間縮短25%、提升晶圓產(chǎn)出10%以及不良率減少35%，效果顯著。

美光運算與網(wǎng)絡(luò)業(yè)務(wù)部門資深副總裁暨總經(jīng)理ThomasT.Eby表示，運算越來越異質(zhì)化，AI在邊緣運算的重要性也跟著提高。

同時，Eby也提到，隨著運算越來越異質(zhì)化，人工智能在邊緣運算的重要性就更高。以前的資料中心以CPU為中心，現(xiàn)在則趨向異質(zhì)化，有CPU、GPU、FPGA等，在邊緣運算已經(jīng)是大勢所趨。美光提供全面的解決方案，讓運算更靠近記憶體，甚至在記憶體中運算，以配合現(xiàn)在資料中心的需求。

Eby進(jìn)一步指出，根據(jù)美光委托Forrester訪問建構(gòu)人工智能平臺的工程師和IT專家的結(jié)果顯示，開發(fā)人工智能系統(tǒng)時，首要考量并非運算，而是如何打造記憶體與儲存架構(gòu)以滿足龐大運算需求。報告中有超過九成的受訪者表示，記憶體與儲存架構(gòu)攸關(guān)開發(fā)人工智能系統(tǒng)的成敗，儲存與記憶體吞吐量的重要性更勝于運算，且運算與記憶體間的距離越來越近。

在自駕車的記憶體需求方面，Eby也表示，未來每輛L5級自駕車，將會配置8~12個解析度高達(dá)4K~8K的顯示熒幕，而為了支援V2X連結(jié)，記憶體每秒需處理0.5~1TB的數(shù)據(jù)量，在車內(nèi)娛樂系統(tǒng)方面，記憶體頻寬需求每秒也將達(dá)150~300GB。未來自駕車將會像飛機(jī)一樣有黑盒子，以每30秒持續(xù)錄制片段，紀(jì)錄車內(nèi)外狀況，因此記憶體頻寬需求每秒也達(dá)到1GB。此外，在車輛生命周期中，會重復(fù)寫入的數(shù)據(jù)加起來將有150PB(Petabyte)，所以對記憶體與儲存的效能與耐用性要求會特別高。