為什么我們喜歡大數字?

　　作為一名擁有 40 多年半導體業(yè)務研發(fā)總監(jiān)和CMO管理經驗的工程師，我認為我自己和我的同行都合乎邏輯。然而，我們中有多少人可以誠實地說我們沒有被“我的產品比你的產品快”之類的說法所誘惑?恐怕這只是人性。

　　問題始終是定義之一：我們如何定義“更快”或“更低功率”或“更便宜”?這是基準測試試圖解決的問題——它是關于擁有一致的上下文和外部標準，以確保你在比較的是同類測試。任何使用基準測試的人都非常清楚這一點(比如aiMotive就誕生于一家領先的 GPU 基準測試公司)。

　　在嘗試比較汽車 AI 應用的硬件平臺時，解決這種需求從未像現在這樣緊迫。

　　什么時候 10 TOPS 不是 10 TOPS?

　　無論是否有專用的 NPU，大多數 SoC 都將其執(zhí)行神經網絡工作負載的能力稱為 TOPS：代表每秒 Tera次的操作數。這只是 NPU(或整個 SoC)每秒可以執(zhí)行的算術運算總數，無論是集中在專用 NPU 中還是分布在多個計算引擎(如 GPU、CPU 矢量協處理器、或其他加速器。)

　　但是，沒有任何硬件執(zhí)行引擎可以 100% 的效率執(zhí)行任何工作負載。對于神經網絡推理，某些層(例如池化或激活)在數學上與卷積非常不同。在卷積本身(或池化等其他層)開始之前，數據必須重新排列或從一個地方移動到另一個地方。其他時候，NPU 可能需要等待來自控制它的主機 CPU 的新指令或數據，每個層甚至每個數據塊。這些都會導致進行更少的計算，從而限制了理論上的最大容量。

　　硬件利用率——不是它看起來的樣子

　　許多 NPU 供應商會引用硬件利用率來表明他們的 NPU 執(zhí)行給定神經網絡工作負載的情況。這基本上是說，“這是我的 NPU的理論容量有多少被用于執(zhí)行神經網絡工作負載。”當然，這告訴我我需要知道什么。

　　不幸的是沒有。硬件利用率的問題是定義之一：數量完全取決于 NPU 供應商選擇如何定義它。事實上，硬件利用率和 TOPS 的問題在于它們只告訴你硬件引擎理論上能夠實現什么，而不是它實現的程度。

　　這可能會導致一些誤導性信息。下面的圖 1 顯示了我們在4 TOPS的 aiWare3P NPU 與另一個額定為 8 TOPS 的知名 NPU 之間進行的比較。

圖 1：兩個汽車推理 NPU 的利用率與效率比較（來源：aiMotive 使用公開可用的硬件和軟件工具）

　　對于兩個不同的知名基準，該NPU聲稱與 aiWare3P 的 4 TOPS 相比容量為 8 TOPS，這應該意味著它將提供比 aiWare3P 大約高 2 倍的 fps 性能。然而，實際上，情況正好相反：aiWare3P 提供了 2 到 5 倍的性能，盡管它只是聲稱的 TOPS 的一半!

　　結論是，TOPS 是衡量 AI 硬件能力的一種非常糟糕的方法;硬件利用率幾乎與TOPS一樣具有誤導性。

　　NPU 效率和自治：優(yōu)化 PPA 的關鍵

　　這就是為什么我認為您必須根據執(zhí)行一組有代表性的工作負載時的效率來評估 NPU 能力，而不是原始的理論硬件能力。效率定義為在一幀內執(zhí)行特定 CNN 所需的操作數，占聲稱的 TOPS 的百分比。這個數字是完全根據定義任何 CNN 的底層數學算法計算出來的，而不管 NPU 實際如何評估它。它比較了實際與聲稱的性能，這才是真正重要的。

　　表現出高效率的 NPU 意味著它將充分利用用于實現它的每平方毫米硅片，并轉化為更低的芯片成本和更低的功耗。效率可以為汽車 SoC 或 ASIC 實現最佳的 PPA(性能、功率和面積)。

　　NPU 的自治性是另一個重要因素。 NPU 在主機 CPU 上放置多少 CPU 負載才能達到最高性能?這與內存子系統(tǒng)有什么關系?必須考慮 NPU作為任何 SoC 或 ASIC 中的一個大塊——它對芯片和子系統(tǒng)的其余部分的影響不容忽視。

　　結論

　　在設計任何 SoC 或 ASIC 汽車時，AI 工程師必須專注于構建能夠可靠地執(zhí)行算法的生產平臺，同時實現卓越的PPA：最低功耗、最低成本、更高性能。他們還必須在設計周期的早期就對硬件平臺的選擇做出承諾，通常是在最終算法開發(fā)完成之前。

　　效率是實現這一目標的最佳方式;無論是TOPS還是硬件利用率都不是好的衡量標準。如果要滿足苛刻的生產目標，評估 NPU 的自主性也至關重要。

　　Tony King-Smith 是 aiMotive 的執(zhí)行顧問。他在半導體和電子領域擁有 40 多年的經驗，為松下、瑞薩、英國航空航天和 LSI Logic 等多家跨國公司管理研發(fā)戰(zhàn)略以及硬件和軟件工程團隊。Tony曾經擔任領先的半導體 IP 供應商 Imagination Technologies 的 CMO。