【中國傳動網 技術前沿】 QualcommTechnologies正憑借其規模化的技術發明致力于讓數萬億終端支持人工智能(AI)，這將不僅豐富我們的生活，同時也將變革諸多行業。對于運行在聯網終端上的AI，它的處理能效需要不斷提升。高能效是QualcommAIResearch的核心研究領域之一。本篇博客將通過舉例說明Qualcomm在高能效AI算法方面的最新研究，以及它如何與高能效的硬件設計相輔相成。

每焦耳提供多少智能將成為AI的評估基準

深度神經網絡(DNN)的爆發式增長正在推動AI的發展。在深度神經網絡的能耗以指數級增長的同時，其預測的準確性也相應提升，盡管這一提升十分微小但卻至關重要。根據目前的發展趨勢，預計在2025年，神經網絡有望將其規模擴大至100萬億個權重參數(圖1)，這一數據與人類大腦中突觸的數量接近。大腦的能效比目前的數字硬件高100倍，因此它也賦予我們不斷提升的希望和動力。

值得關注的是，很快，AI處理的基準測試將會有所改變，AI算法將以每焦耳可以提供多少智能作為衡量指標。兩個主要原因如下：

o一方面，廣泛的經濟可行性需要高能效AI，這是因為AI所創造的價值必須高于運行該服務的成本。更直觀的說，對于應用AI的每項交易，它的經濟效益可能要求成本低至1微美元(即一美分的萬分之一)，比如利用AI實現個性化廣告和推薦。

o另一方面，將終端側AI處理運行在精致、超薄的移動終端上也要求高能效。一個讓消費者廣泛采用AI的場景是，在功耗和散熱能力有限且要求全天續航的終端設計中，處理始終在線的計算密集型工作負載。此外，一些其他類型的終端也要求同樣的能效特性，例如自動駕駛汽車、無人機和機器人。

更深入地研究深度神經網絡

主要由卷積神經網絡(CNN)組成的深度神經網絡(DNN)正在驅動時下的AI變革。接下來我們將從優點和缺點兩方面來介紹CNN。只有從基本角度了解它的缺點才能幫助我們改進CNN。

在優點方面，CNN可以借助最新研究成果來提取可學習特征、支持編碼位置的不變性(例如上圖中的狗，無論它位于圖片中哪個位置，都可以被歸類)、通過共享參數讓“數據高效”，以及在現代硬件上快速執行及并行處理。在缺點和需要改進的方面，CNN最顯著的問題是消耗了太多內存、計算能力和能源。它不能對額外的對稱性進行編碼，例如旋轉不變性(如果我們把圖2中的狗上下顛倒，它將不能辨認);它也不能可靠地量化預測的置信度，并且易于被輸入側的輕微改變所欺騙，如對抗樣本。我們正在研究各種技術以應對這些挑戰，貝葉斯深度學習就是一項非常有前景的技術成果。

噪聲對AI來說可以是好事

貝葉斯深度學習是隨機的，這意味著在向神經網絡的權重增加噪聲或隨機值的時候，它還會將噪聲傳播到激活節點。這些噪聲可以是好事，并且受到了人類大腦工作方式的啟發。貝葉斯深度學習的一個關鍵優勢是通過壓縮和量化來降低神經網絡模型的復雜度。量化可以減少參數的位寬(例如使用四位而非八位)，而壓縮則可裁剪模型中的激活節點數量，最終提升能效。如果想了解更多細節也可以觀看網絡研討會中更詳細的解讀。

貝葉斯深度學習不僅僅是一種理論——在研究中，我們已經將其應用在實際用例中。舉個例子，在一系列被標記圖像的基準數據點上，我們測量了ResNet-18的規模和精確度。ResNet-18是一種用于圖像分類的神經網絡，且已針對規模而優化。然后，我們比較了先進裁剪方式和貝葉斯裁剪方式的精確度和壓縮比。結果顯示，貝葉斯裁剪裁的效果最好，其壓縮比為基準數據的3倍，同時保持了基本相似的精確度。

AI的整體能效

未來，AI硬件將會如何發展?高效硬件的關鍵在于，它是從系統層面深入地理解真正的AI工作負載——換言之，真實環境中的應用如何運行在真正的終端上。Qualcomm致力于通過硬件、算法和軟件來實現這一點。