最近，OpenAI推出的聊天機器人ChatGPT真可謂是紅到發紫。無論是做技術的、做投資的，還是普通網友，好像不聊幾句ChatGPT就顯得落伍了。當然，在一片對ChatGPT的追捧當中，也有一些不同的意見。比如，圖靈獎得主、meta的首席AI科學家楊立昆(YannLe-Cun)就在社交媒體上發帖說：從底層技術看，ChatGPT并沒有什么創新。與其說它是一次巨大的技術革新，倒不如說它是一個工程上的杰作。

　　楊立昆的這番言論一出，就遭遇到了網友的一片嘲諷，很多人甚至毫不客氣地說，作為meta的AI掌門人，這完全就是一種“吃不到葡萄說葡萄酸”的狡辯。由于meta先前在同類產品上的失敗經歷，所以面對如此洶洶的輿論，楊立昆也是百口莫辯，只能就此噤聲，不再對ChatGPT進一步發表評論。

　　不過，如果我們認真回味一下楊立昆的話，就會發現他的話其實是非常有道理的：雖然從表現上看，現在的ChatGPT確實非常驚艷，但從根本上講，它依然是深度學習技術的一個小拓展。事實上，與之類似的產品在幾年前已經出現過，所不同的是，ChatGPT在參數數量上要遠遠多于之前的產品，其使用的訓練樣本也要大得多。而它卓越的性能，其實在很大程度上只是這些數量優勢積累到了一定程度之后產生的質變。

　　有意思的是，如果我們回顧一下深度學習的歷史，就會發現這種利用神經網絡進行機器學習的思路其實在上世紀50年代就有了，可以稱得上是人工智能領域最古老的理論之一。早在1958年，羅森布拉特就曾經用這個原理制造了一臺機器來識別字符。然而，在很長的一段時間內，這個理論卻一直無人問津，即使現在被尊為“深度學習之父”的杰弗里·辛頓(GeoffreyHinton)也長期遭受孤立和排擠。究其原因，固然有來自當時在人工智能領域占主導地位的“符號主義”的打壓，但更為重要的是，當時的深度學習模型確實表現不佳。

　　直到本世紀初，這一切才發生了改變。長期蟄伏的深度學習理論終于翻身成為了人工智能的主流，一個個基于這一理論開發的模型如雨后春筍一般出現。從打敗圍棋高手的AlphaGo到識別出幾億種蛋白質結構的AlphaFold，從可以瞬間生成大師畫作的Dall-E、StableDiffusion到當今如日中天的ChatGPT，所有的這些在短短的幾年之間涌現了。

　　那么，到底是什么原因讓深度學習在過去的幾年中扭轉了長期的頹勢，讓它得以完成了從異端到主流的轉換?我想，最為關鍵的一點就是算力的突破。

　　算力及其經濟效應

　　所謂算力，就是設備處理數據、輸出結果的能力，或者簡而言之，就是計算的能力。它的基本單位是用“每秒完成的標準操作數量”(standardizedoperationspersecond，簡稱SOPS)來進行衡量。不過，由于現在的設備性能都非常高，因而在實踐中用SOPS來衡量算力已經變得不那么方便。相比之下，“每秒完成的百萬次操作數”(millionoper-ationspersecond，簡稱MOPS)、“每秒完成的十億次操作數”(gigaoperationspersecond，簡稱GOPS)，以及“每秒完成的萬億次操作數”(teraoperationspersecond，簡稱TOPS)等單位變得更為常用。當然，在一些文獻中，也會使用某些特定性能的設備在某一時間段內完成的計算量來作為算力的單位——其邏輯有點類似于物理學中用到的“馬力”。比如，一個比較常用的單位叫做“算力當量”，它就被定義為一臺每秒運算千萬億次的計算機完整運行一天所實現的算力總量。

　　那么，算力的意義究竟何在呢?關于這個問題，阿格拉沃爾(AjayAgrawal)、甘斯(JoshuaGans)和戈德法布(AviGoldfarb)在他們合著的《預測機器》(PredictionMachines，中文譯名為《AI極簡經濟學》)中，曾經提出過一個有啟發的觀點：算力的成本將關系到AI模型的“價格”。經濟學的原理告訴我們，在給定其他條件的前提下，人們對一種商品的需求量取決于該商品的價格。而對于兩種性能相近，具有替代關系的商品來說，具有更低價格的那種商品會在市場上具有更高的競爭力。將這一點應用到人工智能領域，我們就可以找到深度學習理論為什么在幾十年中都不被待見，卻在最近幾年中實現爆發的原因。

　　雖然深度學習的理論并不算困難，但是為了實現它，要投入的運算量是十分巨大的。在算力低下的時代，算力的單位成本非常高。在羅森布拉特提出深度學習思想雛形的那個年代，一臺計算機的體積幾乎和一間房子那么大，但即便如此，讓它運算一個大一點的矩陣都還需要很長時間。雖然理論上我們也可以用深度學習來訓練大模型并達到比較好的效果，但這樣的成本顯然是沒有人能夠承受的。而相比之下，符號學派的模型對于計算量的要求要小得多，因此這些模型的相對價格也要比深度學習模型來得低。在這種情況下，深度學習理論當然不會在市場上有競爭力。但是，當算力成本大幅度降低之后，深度學習模型的相對價格就降了下來，它的競爭力也就提升了。從這個角度看，深度學習在現階段的勝利其實并不是一個純粹的技術事件，在很大程度上，它還是一個經濟事件。

　　改進算力的方法

　　那么，決定算力的因素有哪些呢?

　　為了直觀起見，我們不妨以計算數學題來對此進行說明：如果我們要提高在單位時間內計算數學題的效率，有哪些方法可以達到這一目的呢?我想，可能有以下幾種方法是可行的：一是找更多人一起來計算。如果一個人一分鐘可以算一個題，那么十個人一分鐘就可以算十個題。這樣，即使每個人的效率沒有提升，隨著人數的增加，單位時間內可以計算的數學題數量也可以成倍增加。二是改進設備。比如，最早時，我們完全是依靠手算的，效率就很低。如果改用計算器，效率會高一點。如果使用了Excel，效率就可能更高。三是將問題轉化，用更好的方法來計算。比如，計算從1加到100，如果按照順序一個個把數字加上去，那么可能要算很久。但是，如果我們像高斯那樣用等差數列求和公式來解這個問題，那么很快就可以計算出結果。

　　將以上三個方案對應到提升算力問題，我們也可以找到類似的三種方法：一是借助高性能計算和分布式計算;二是實現計算模式上的突破;三是改進算法——盡管嚴格地說這并不能讓算力本身得到提升，但是它卻能讓同樣的算力完成更多的計算，從某個角度看，這就好像讓算力增加了一樣。

　　1、高性能計算和分布式計算

　　從根本上講，高性能計算和分布式計算都是通過同時動用更多的計算資源去完成計算任務，就好像我們前面講的，用更多的人手去算數學題一樣。所不同的是，前者聚集的計算資源一般是聚集在本地的，而后者動用的計算資源則可能是分散在網上的。

　　(1)高性能計算

　　先看高性能計算。高性能計算中，最為重要的核心技術是并行計算(ParallelComputing)。所謂并行計算，是相對于串行計算而言的。在串行計算當中，計算任務不會被拆分，一個任務的執行會固定占有一塊計算資源。而在并行計算中，任務則會被分解并交給多個計算資源進行處理。打個比方，串行計算過程就像是讓一個人獨立按照順序完成一張試卷，而并行計算則像是把試卷上的題分配給很多人同時作答。顯然，這種任務的分解和分配可以是多樣的：既可以是把計算任務分給多個設備，讓它們協同求解，也可以是把被求解的問題分解成若干個部分，各部分均由一個獨立的設備來并行計算。并行計算系統既可以是含有多個處理器的超級計算機，也可以是以某種方式互連的若干臺獨立計算機構成的集群。

　　從架構上看，并行計算可以分為同構并行計算(homogeneousparallelcomputing)和異構并行計算(heterogeneousparallelcomputing)。顧名思義，同構并行計算是把計算任務分配給一系列相同的計算單元;異構并行計算則是把計算任務分配給不同制程架構、不同指令集、不同功能的計算單元。比如，多核CPU的并行運算就屬于同構并行，而CPU+GPU的架構就屬于異構并行。

　　對比于同構并行，異構并行具有很多的優勢。用通俗的語言解釋，這種優勢來自于各種計算單元之間的“術業專攻”，在異構架構之下，不同計算單元之間的優勢可以得到更好的互補。正是由于這個原因，異構并行計算正得到越來越多的重視。

　　比如，現在越來越多的設備當中，都采用了將GPU和CPU混搭的架構。為什么要這么做呢?為了說明白這一點，我們需要略微介紹一下CPU和GPU的結構：從總體上看，無論是CPU還是GPU，都包括運算器(ArithmeticandLogicUnit，簡稱ALU)、控制單元(ControlUnit，簡稱CL)、高速緩存器(Cache)和動態隨機存取存儲器(DRAM)。但是，這些成分在兩者中的構成比例卻是不同的。

　　在CPU當中，控制單元和存儲單元占的比例很大，而作為計算單位的ALU比例則很小，數量也不多;而在GPU當中則正好相反，它的ALU比例很大，而控制單元和存儲單元則只占很小的一個比例。這種結構上的差異就決定了CPU和GPU功能上的區別。CPU在控制和存儲的能力上比較強，就能進行比較復雜的計算，不過它可以同時執行的線程很少。而GPU則相反，大量的計算單位讓它可以同時執行多線程的任務，但每一個任務都比較簡單。打個比喻，CPU是一個精通數學的博士，微積分、線性代數樣樣都會，但盡管如此，讓他做一萬道四則運算也很難;而GPU呢，則是一群只會四則運算的小學生，雖然他們不會微積分和線性代數，但人多力量大，如果一起開干，一萬道四則運算分分鐘就能搞定。

　　由于GPU的以上性質，它最初的用途是作為顯卡，因為顯卡負責圖形和色彩的變換，需要的計算量很大，但每一個計算的復雜性都不高。當深度學習興起之后，人工智能專家們發現GPU其實也很適合用來訓練神經網絡模型。因為在深度學習模型中，最主要的運算就是矩陣運算和卷積，而這些運算從根本上都可以分解為簡單的加法和乘法。這樣一來，GPU就找到了新的“就業”空間，開始被廣泛地應用于人工智能。但是，GPU并不能單獨執行任務，所以它必須搭配上一個CPU，這樣的組合就可以完成很多復雜的任務。這就好像讓一個能把握方向的導師帶著很多肯賣力的學生，可以干出很多科研成果一樣。正是在這種情況下，異構并行開始成為了高性能計算的流行架構模式。

　　不過，異構架構也是有代價的。相對于同構架構，它對于應用者的編程要求更高。換言之，只有當使用者可以更好地把握好不同計算單元之間的屬性，并進行有針對性的編程，才可能更好地利用好它們。

　　除此之外，我們還必須認識到，哪怕是借助異構架構，通過并行運算來提升運算效率的可能也是有限的。根據阿姆達爾定律(Amdahl’sLaw)，對于給定的運算量，當并行計算的線程趨向于無窮時，系統的加速比會趨向于一個上限，這個上限將是串行運算在總運算中所占比例的倒數。舉例來說，如果在一個運算中，串行運算的比例是20%，那么無論我們在并行運算部分投入多少處理器，引入多少線程，其加速比也不會突破5。這就好像，如果我要寫一本關于生成式AI的書，可以將一些資料查找的工作交給研究助手。顯然，如果我有更多的研究助手，寫書的進度也會加快。但這種加快不是無限的，因為最終這本書什么時候寫完，還要看我自己“碼字”的速度。

　　(2)分布式計算

　　采用聚集資源的方式來增強算力的另一種思路就是分布式計算。和高性能計算主要聚集本地計算單位不同，分布式計算則是將分散在不同物理區域的計算單位聚集起來，去共同完成某一計算任務。比如，劉慈欣在他的小說《球狀閃電》中就提到過一個叫做SETI@home的科研計劃(注：這個項目是真實存在的)，這個計劃試圖將互聯網上閑置的個人計算機算力集中起來處理天文數據，這就是一個典型的分布式計算用例。

　　分布式計算的一個典型代表就是我們現在經常聽說的云計算。關于云計算的定義，目前的說法并不統一。一個比較有代表性的觀點來自于美國國家標準和技術研究所(NIST)，根據這種觀點，“云計算是一種按使用量付費的模式。這種模式對可配置的IT資源(包括網絡、服務器、存儲、應用軟件、服務)共享池提供了可用的、便捷的、按需供應的網絡訪問。在這些IT資源被提供的過程中，只需要投入很少的管理和交流工作”。

　　這個定義很抽象、很學院派，我們可以用一個通俗的比喻來對其進行理解。在傳統上，用戶主要是通過調用自有的單一IT資源，這就好比每家每戶自己發電供自己用;而云計算則好像是(用大量算力設備)建了一個大型的“發電站”，然后將“電力”(IT資源)輸出給所有用戶來用。

　　根據云服務提供者所提供的IT資源的不同，可以產生不同的“云交付模式”(CloudDeliveryModel)。由于IT資源的種類很多，因此對應的“云交付模式”也就很多。在各類新聞報道中，最常見的“云交付模式”有三種：

　　第一種是IaaS，它的全稱是“基礎設施作為服務”(Infrastructure-as-a-Service)。在這種交付模式下，云服務的提供者供給的主要是存儲、硬件、服務器和網絡等基礎設施。

　　第二種是PaaS，它的全稱是“平臺作為服務”(Platform-as-a-Service)。在這種交付模式下，云服務的提供者需要供應的資源更多，以便為使用者提供一個“就緒可用”(ready-to-use)的計算平臺，以滿足他們設計、開發、測試和部署應用程序的需要。

　　第三種是SaaS，也就是“軟件作為服務”(Software-as-a-Service)。在這種交付模式下，云服務提供者將成品的軟件作為產品來提供給用戶，供其使用。

　　有了以上不同的云交付模式，用戶就可以根據自己的需要來選擇相應的IT資源。比如，如果元宇宙的用戶需要更多的算力或存儲，而本地的機器無法滿足，那么就可以通過從云端來獲取“外援”。一個云端GPU不夠，那就再來幾個，按需取用，豐儉由人，既方便，又不至于產生浪費。

　　需要指出的是，盡管從理論上看云計算可以很好地承擔巨大運算和存儲需求，但其缺陷也是很明顯的。比較重要的一點是，在執行云計算時，有大量的數據要在本地和云端之間進行交換，這可能會造成明顯的延遲。尤其是數據吞吐量過大時，這種延遲就更加嚴重。對于用戶來說，這可能會對其使用體驗產生非常負面的效果。

　　那么怎么才能克服這個問題呢?一個直觀的思路就是，在靠近用戶或設備一側安放一個能夠進行計算、存儲和傳輸的平臺。這個平臺一方面可以在終端和云端之間承擔起一個中介的作用，另一方面則可以對終端的各種要求作出實時的回應。這個思想，就是所謂的邊緣計算。由于邊緣平臺靠近用戶，因而其與用戶的數據交換會更加及時，延遲問題就可以得到比較好的破解。

　　2、超越經典計算——以量子計算為例

　　無論是高性能計算還是分布式計算，其本質都是在運算資源的分配上下功夫。但正如我們前面看到的，通過這種思路來提升算力是有很多障礙的。因此，現在很多人希望從計算方式本身來進行突破，從而實現更高的計算效率。其中，量子計算就是最有代表性的例子。

　　我們知道，經典計算的基本單位是比特，比特的狀態要么是0，要么是1，因此經典計算機中的所有問題都可以分解為對0和1的操作。一個比特的存儲單元只能存儲一個0或者一個1。而量子計算的基本單位則是量子比特，它的狀態則可以是一個多維的向量，向量的每一個維度都可以表示一個狀態。這樣一來，量子存儲器就比經典的存儲器有很大的優勢。

　　考慮一個有N物理比特的存儲器，如果它是經典存儲器，那么它只能存儲2的N次方個可能數據當中的任一個;而如果它是量子存儲器，那么它就可以同時存儲2的N次方個數據。隨著N的增加，量子存儲器相對于經典存儲器的存儲能力就會出現指數級增長。例如，一個250量子比特的存儲器可能存儲的數就可以達到2的250次方個,比現有已知的宇宙中全部原子數目還要多。

　　在進行量子計算時，數學操作可以同時對存儲器中全部的數據進行。這樣一來，量子計算機在實施一次的運算中可以同時對2的N次方個輸入數進行數學運算。其效果相當于經典計算機要重復實施2的N次方次操作，或者采用2的N次方個不同處理器實行并行操作。依靠這樣的設定，就可以大幅度節省計算次數。

　　為了幫助大家理解，我們可以打一個并不是太恰當的比方：玩過動作游戲的朋友大多知道，在游戲中，我們扮演的英雄經常可以使用很多招數，有些招數只能是針對單一對象輸出的;而另一些招數則可以針對全體敵人輸出。這里，前一類的單體輸出招數就相當于經典計算，而后一類的群體輸出招數就相當于量子計算。我們知道，在面對大量小怪圍攻的時候，一次群體輸出產生的效果可以頂得上很多次單體輸出的招數。同樣的道理，在一些特定情況下，量子計算可以比經典計算實現非常大的效率提升。

　　舉例來說，大數因式分解在破解公開密鑰加密的過程中有十分重要的價值。如果用計算機，采用現在常用的Shor算法來對數N進行因式分解，其運算的時間將會隨著N對應的二進制數的長度呈現指數級增長。1994年時，曾有人組織全球的1600個工作站對一個二進制長度為129的數字進行了因式分解。這項工作足足用了8個月才完成。然而，如果同樣的問題換成用量子計算來解決，那么整個問題就可以在1秒之內解決。量子計算的威力由此可見一斑。

　　但是，在看到量子計算威力的同時，我們也必須認識到，至少到目前為止，量子計算的威力還只能體現對少數幾種特殊問題的處理上，其通用性還比較弱。事實上，現在見諸報道的各種量子計算機也都只能執行專門算法，而不能執行通用計算。比如，谷歌和NASA聯合開發的D-Wave就只能執行量子退火(QuantumAnnealing)算法，而我國研發的光量子計算機“九章”則是專門被用來研究“高斯玻色取樣”問題的。盡管它們在各自的專業領域表現十分優異，但都還不能用來解決通用問題。這就好像游戲中的群體攻擊大招，雖然攻擊范圍廣，但是對每個個體的殺傷力都比較弱。因此，如果遇上大群的小怪，群體攻擊固然厲害，但如果遇上防御高、血條厚的Boss，這種攻擊就派不上用處了。

　　從這個角度看，如果我們希望讓量子計算大發神威，就必須先找出適合量子計算應用的問題和場景，然后再找到相應的算法。與此同時，我們也必須認識到，雖然量子計算的研發和探索十分重要，但是它和對其他技術路徑的探索之間更應該是互補，而不是替代的關系。

　　3、通過改進算法節約算力

　　如果說，通過高性能計算、分布式計算，以及量子計算等手段來提升算力是“開源”，那么通過改進算法來節約算力就是“節流”。從提升計算效率、減少因計算而產生的經濟、環境成本而言，開源和節流在某種程度上具有同等重要的價值。

　　在ChatGPT爆火之后，大模型開始越來越受到人們的青睞。由于在同等條件下，模型的參數越多、訓練的數據越大，它的表現就越好，因此為了追求模型的更好表現，現在的模型正在變得越來越大。我們知道，現在的ChatGPT主要是在GPT-3.5的基礎上訓練的。在它出現之前，GPT共經歷了三代。GPT-1的參數大約為1.17億個，預訓練數據為5GB，從現在看來并不算多;到了GPT-2，參數量就增加到了15億個，預訓練數據也達到了40GB;而到了GPT-3，參數量則已經迅速膨脹到了駭人的1750億個，預訓練數據也達到了45TB。為了訓練GPT-3，單次成本就需要140萬美元。盡管OpenAI并沒有公布GPT-3.5的具體情況，但可以想象，它的參數量和預訓練數據上都會比GPT-3更高。為了訓練這個模型，微軟專門組建了一個由1萬個V100GPU組成的高性能網絡集群，總算力消耗達到了3640“算力當量”——也就是說，如果用一臺每秒計算一千萬億次的計算機來訓練這個模型，那么大約需要近十年才能完成這個任務。

　　如果任由這種“一代更比一代大”的趨勢持續下去，那么在未來幾年，對算力的需求將會出現爆炸性的增長。一項最新的研究估計，在5年之后，AI模型需要的算力可能會是現在的100萬倍。很顯然，由此產生的經濟和環境成本將會是十分驚人的。

　　令人欣慰的是，目前已經有不少研究者希望改進算法、優化模型來減少對算力的需求，并且已經取得了一定的成就。比如，就在今年1月3日，來自奧地利科學技術研究所(ISTA)的研究人員埃利亞斯·弗朗塔(EliasFrantar)和丹·阿里斯特爾(DanAlistarh)合作進行了一項研究，首次針對100至1000億參數的模型規模，提出了精確的單次剪枝方法SparseGPT。SparseGPT可以將GPT系列模型單次剪枝到50%的稀疏性，而無需任何重新訓練。以目前最大的公開可用的GPT-175B模型為例，只需要使用單個GPU在幾個小時內就能實現這種剪枝。不僅如此，SparseGPT還很準確，能將精度損失降到最小。在進行了類似的修剪之后，這些大模型在訓練時所需要的計算量就會大幅減少，其對算力的需求也就會相應下降。

　　關于提升算力、

　　支持人工智能發展的政策思考

　　隨著ChatGPT引領了新一輪的人工智能熱潮，市場上對算力的需求也會出現爆炸性的增長。在這種情況下，為了有力支撐人工智能的發展，就必須要通過政策的手段引導算力供給的大幅度增加。而要實現這一點，以下幾方面的工作可能是最為值得重視的。

　　第一，應當加快對算力基礎設施的建設和布局，提升對全社會算力需求的支持。如前所述，從目前看，分布式計算，尤其是其中的云計算是提升算力的一個有效之舉。而要讓云計算的效應充分發揮，就需要大力建設各類算力基礎設施。唯有如此，才可以讓人們隨時隨地都可以直接通過網絡獲得所需的算力資源。

　　這里需要指出的是，在布局算力基礎設施的時候，應當慎重考慮它們的地域和空間分布，盡可能降低算力的成本。我們知道，不同的地區的土地、水、電力等要素的價格是不同的，這決定了在不同地區生產相同的算力所需要的成本也不盡相同。因此，在建設算力基礎設施時，必須統籌全局，盡可能優化成本。需要指出的是，我國正在推進的“東數西算”工程就是這個思路的一個體現。由于我國東部各種資源的使用成本都要高于西部，因此在西部地區建立算力設施，就會大幅降低算力的供給成本，從而在全國范圍內達到更優的配置效率。

　　第二，應當加強與算力相關的硬件技術及其應用的研發，為增加算力供應提供支持。與算力相關的硬件技術既包括基于經典計算的各種硬件，如芯片、高性能計算機等，也包括超越經典計算理論，根據新計算理論開發的硬件，如量子計算機等。從供給的角度看，這些硬件是根本，它們的性能直接關系到算力提供的可能性界限。因此，必須用政策積極促進這些硬件的攻關和研發。尤其是對于一些“卡脖子”的項目，應當首先加以突破。

　　這里需要指出的是，在進行技術研發的同時，也應該積極探索技術的應用。例如，我們現在已經在量子計算領域取得了一些成果，但是由于用例的缺乏，這些成果并沒有能夠轉化為現實的應用。從這個意義上講，我們也需要加強對技術應用的研究。如果可以把一些計算問題轉化成量子計算問題，就可以充分發揮量子計算機的優勢，實現計算效率的大幅提升。

　　第三，應當對算法、架構等軟件層面的要素進行優化，在保證AI產品性能的同時，盡可能減少對算力的依賴。從降低AI計算成本的角度看，降低模型的算力需求和提升算力具有同等重要的意義。因此，在用政策的手段促進算力供給的同時，也應當以同樣的力度對算法、架構和模型的優化予以同等的激勵。

　　考慮到類似的成果具有十分巨大的社會正外部性，因此用專利來保護它們并不是最合適的。因此，可以積極鼓勵對取得類似成功的人員和單位給予直接的獎勵，并同時鼓勵他們將這些成果向全社會開源;也可以考慮由政府出面，對類似的模型產品進行招標采購。如果有個人和單位可以按照要求提供相應的成果，政府就支付相應的費用，并對成果進行開源。通過這些舉措，就可以很好地激勵人們積極投身到改進模型、節約算力的事業中，也可以在有成果產出時，讓全社會及時享受到這些成果。

　　總而言之，在人工智能突飛猛進的時代，算力可能是決定人工智能發展上限的一個關鍵因素。唯有在算力問題上實現突破，人工智能的發展才可能有根本保障。