【從無形視覺到有形芯片的挑戰】人工智能先驅阿蘭.圖靈曾設想過這樣一個機器，它擁有電子的大腦，以攝像頭為眼睛，以輪為腳，可以在鄉間漫步，這其實是阿蘭.圖靈對人工智能走入生活的一個憧憬。而在很長的時間之內，由于硬件條件的不成熟，智能只能從無形的算法入手，隨著深度學習研究的深入，在很多領域都取得了里程碑式的進展。

然而，要想讓人工智能真正融入人們的生活，則亟需解決算法在端側落地的問題，而芯片，作為銜接算法與場景之間的橋梁，無可避免地成為了一大挑戰。

大規模地應用深度學習還需要解決哪些核心的挑戰呢？總結了三個主要問題。

第一：如果將AI和神經網絡應用到一些行業中去，必須對行業和應用場景有非常深入的理解，這些行業和應用場景有很多痛點，它們描述問題的語言和我們研究AI的語言并不是很兼容的。比如說我們講識別率是99%，大家就會覺得這就很準確了，而我們要表達的是在多數情況下我們的識別率是100%，少數情況的識別率是0%，平均下來才是99%。另一方面，很多行業如果需要AI的話，并不是應用技術，往往需要應用完整的解決方案或者系統，我們需要做進一步深入的工作，才能把技術轉化為系統應用起來，也就是讓算法和行業之間能夠有很好的交流和理解。

第二：目前還沒有低成本、低功耗，成本很經濟的硬件平臺。如果有了這樣很好的硬件平臺，應用范圍和難度也會降低很多。在各種行業中，包括無人車、無人機或者其它設備都具有不同的限制，比如功耗、成本，以及散熱性和可靠性等。因此，缺少低成本、低功耗、高性能的硬件平臺限制了大規模應用AI和神經網絡的解決方案。

第三：近年來，算法發展非常迅速，帶來的問題是人們的期望也不斷提高，算法的發展是不是能夠一直跟上期望值的增加呢？比如說隨便在一個應用場景只要應用神經網絡就能夠達到很好的性能，這是不能保證的。神經網絡存在解釋性的問題，它是一個黑匣子，用對了當然很好，如果性能很差，為什么差呢？這是很難解釋的一個問題。神經網絡是基于統計的，針對很少見的情況，比如說在自動駕駛中出現車禍的情況，訓練集能否覆蓋這種情況呢？在實際應用中很難給應用方解釋我們的方法是非常可靠的。

另外，雖然加大數據量可以解決一些問題，但是能不能夠把所有數據都標注呢？這也是值得思考的問題。AI或者神經網絡距離大規模應用有這樣三個問題，我們今天想談的是第二個問題，能不能先做好硬件平臺準備。

在眾多公司中最近幾年最受益于AI發展的是NVidia。這也說明現階段，有了很好的硬件平臺才能做應用，才能讓各種行業應用AI算法。

為什么神經網絡適合專用芯片或者硬件來加速呢？神經網絡結構這幾年有很大發展，從計算角度給大家帶來了新的挑戰。首先神經網絡運算有大規模的并行性，所有運算都有共同基本單元，就是相乘累加，非常適合硬件實現的運算符方式。神經網絡運算中間會產生很多中間結果，這些中間結果并不會被重用，這與之前的通用計算方式很不同。在神經網絡計算中，無論是網絡的權重還是數據本身，對硬件帶寬的需求都很高。

這些新的挑戰使得原來非常強大的CPU并不能高效計算神經網絡，CPU計算方式還是串行的方式，即使有些指令可以處理多個數據。CPU設計花了很多精力優化多級的緩存，可以方便獲取數據，這對一般運算來說非常好的，但是對于神經網絡不必要。這些CPU的優化，如分支預測，讓一般運算非常高效，對神經網絡來說額外開銷，因此用CPU來訓練神經網絡效率是相對比較低的。因此我們發現近年來提出來很多CPU+X，對神經網絡做專門的運算加速。

AI片基本上等價于神經網絡加速，我們需要AI芯片的原因是，通過硬件工藝的提高已經很難大幅度提升計算性能，而需要專用芯片架構提高計算性能。例如，硬件工藝改進，隨著三極管數量增加，頻率更高，功耗不變，這條規律在2006年的時候已經不成立了；我們所熟知的摩爾定律，在2015、2016年也已經終結，單純通過硬件改善不太可能繼續提高計算性能，所以需要新的專用架構設計來幫助提高對神經網絡計算性能。

神經網絡芯片能采取的針對措施有以下幾點：

1.由于有大量數據吞吐，可試圖降低數據量，讓芯片上保存更多的片上數據，存儲計算中間結果。

2.由于需平行運算很多，盡量用比較簡單的數據類型和數據大小，實現大量基本運算單元，不需要復雜的調度、分支預測、配置的管理，盡量減少管理調度所需芯片面積開銷。

3.神經網絡運算資源調度優化工作讓軟件去做，而不是用硬件實現復雜的調度。那么這個軟件是指哪些層面的軟件呢？后面可以會明確地提到。

下面介紹一下已有的神經網絡加速芯片的類型，我們可以看到在過去幾年中，很多層出不窮的xPU出現。

首先是GPU，具有很強大的并行計算能力，但能耗比較高，也是目前最成熟的一個軟件工具平臺，有很多開源社區軟件的支持；

其次是DSP，利用一些單指令多數據的計算單元，一次性提供超過100個字節的運算，優點是低功耗，并具有硬件支持的低開銷或無開銷循環及跳轉運算。問題在于DSP的指令集取決于其廠商與型號，不同型號的DSP的指令集都是不太一樣的，這樣給學習和編程開發造成了較大的困難。

FPGA是一種半定制化的硬件，采用編程方式，對片內門電路進行編程，配置片內RAM使用，具有一定的靈活性和可修改性。從編程的角度來看，FPGA采用硬件描述語言，調度連接已有的LUT等運算單元，開發難度高一些；從功耗和成本來看，FPGA采用CMOS工藝，功耗低比GPU低，但比DSP之類ASIC高。

設計AI芯片，主要有哪些挑戰呢？

1.設定合理恰如其分的目標。由于資源的限制，對行業理解的限制，設計一個放之四海而皆準、而全的芯片是很難的，如何去設定好支持哪些功能，如何設定好成本、功耗、可靠性的目標，這是最難的一個問題。另外，整個芯片設計流程周期長、成本高，并不能在實施期間隨意更改目標。

2.如何設計系統架構，包括指令集的設計，能夠讓架構盡可能滿足更多需求，實現更多類型的神經網絡，這是一件不容易的事情。

3.為了讓神經網絡芯片能廣泛可用，需要提供全面的工具支持，提高編程開發效率。而工具鏈的支持也是相當復雜的，需要訓練平臺，需要編譯器把神經網絡轉換成可運行模塊下載到芯片中去，需要模擬器在沒有芯片的時候可以模擬開發，并且能夠調試分析性能，能夠設計出參考模型。這一系列軟件工具鏈的支持，對AI芯片能否成功起著關鍵性的作用。

當然由于這是一個非常復雜的過程，而任何人的資源都不是無限的，總是要做一些非常痛苦的抉擇和權衡，在成本、開發時間、各種資源條件限制下做一個權衡。

對于神經網絡加速芯片，又會有哪些具體難題呢？

1.首先要確定支持的網絡子集。神經網絡多種多樣，新的算法層出不窮，到底要支持到什么程度，支持哪些網絡結構激活函數和操作。

2.支持哪些函數和數據類型，同時要考慮是否支持模型壓縮、量化方法，這些都需要在算法層面上對神經網絡目標做很好的設定。

3.設計芯片結構，比如片上內存和片下內存，片上內存當然越多越好，但是成本高，功耗和測試時間都會增加。盡量讓硬件本身簡易化，只完成神經網絡加速，把任務調度、任務優化交給軟件去完成。這些最終都需要對開發者透明，需要由中間件工具鏈來做優化，這也是工作量非常大的一項工作。

4.最后還要提供很多參考模型和設計，完成具體應用場景中的功能示例。

這是一個非常簡化的開發AI芯片的流程，從需求（MRD）開始，首先是算法的研發，要明確哪些神經網絡模型是最重要的，是需要支持的，是否能夠滿足應用場景的要求；之后會生成很多參考模型，實現GoldenC，在設計的時候可以參考C的實現；右邊是芯片設計的過程，實現架構設計，實現核心神經網絡相關的編程，同時芯片需要訪問內存，訪問接口，需要IP集成，集成之后需要進行驗證，并需要實現FPGA平臺去做實際驗證；之后是后端設計，包括邏輯綜合、布局布線等；然后進行流片（Tapeout），這需要之前各種驗證都已經做得很充分之后，流片之后修改的機會就很少了，而且流片經濟成本和時間非常高。最后需要把硬件芯片放在一個硬件平臺上，啟動起來之后能夠開發中間件運行軟件。左邊是軟件相關工作，包括訓練平臺、編譯器、模擬器和調試器，最終做到應用，再測試。可以看出，整個流程的工程量非常巨大。

第一代芯片在2017年流片，目前已經生產出來了，它支持單路高清視頻進行30幀的物體檢測、跟蹤和識別。第二代芯片支持6~8路的物體檢測識別，包括像素級的分割和識別。

這是第二代芯片架構，能達到像素級別的識別，這是今年在拉斯維加斯的車上實測的結果，另外一個是在三藩市實時運行的結果，包括物體分割和檢測。

總結一下，在未來10-20年AI功能將無處不在，AI芯片將是非常必要的基礎設施，只有芯片成功才能讓AI算法真正在生活中得到大規模應用。我們相信我們公司會堅定地致力于“算法+芯片”，把算法和芯片兩者結合，做一些創新的、有趣的工作，把AI算法真正推向大家的生活中去。