芯片正面戰場,AI第二戰場!
來源:新潮沉思錄(ID:xinchaochensi)
作者:土曹新華門的卡夫卡
大型語言模型(簡稱“大模型”)是生成式人工智能的技術核心和成功關鍵,也正成為大國科技創新的新競技場。在國內,目前已有多家大模型通過備案,正式面向公眾開放。
上周四(9月7日),世界頂級開源大模型Falcon發布了1800億參數的180B版本,而同一天,騰訊也亮相了其超千億參數規模的自研大模型“混元”。


大模型這條賽道在年初時,OpenAI猶如單騎闖關、一騎絕塵,在有心人的刻意渲染下,簡直成為了中國體制的“斯普特尼克時刻”,然而經過半年多的時間的奮起直追,國內大模型研發如今已然形成百舸爭流的局面,諸多中國公司的大模型千帆競發、羽翼齊飛,展現了我國強勁有力的工程科學技術人才(即近幾年反復提及的STEM)供給,以及中國的科技產業界強烈的進取心與追趕意識。
如果說,年初某些有心人渲染OpenAI的技術成就是刻意制造“中國的斯普特尼克時刻”來達成其不可告人的政治目的,那么中國本身的技術實力和儲備厚度仿佛50年代的美國一樣奮起直追,“真成了斯普特尼克”了,恐怕反而是這些人不愿意看到的。
前幾天,在雷蒙多訪華期間,華為以一種“殲二十不宣而告的首飛”的模式發布了基于“繞開美國管制和制裁”的產業鏈和技術儲備研發的集成了衛星通行功能的新一代終端(可能說手機已經不完全準確了)mate 60 pro,大漲國人的士氣。

如果說這是因為華為的突圍是屬于“正面擊潰坂田聯隊”,擊破了帝國主義的封鎖,那么近期的國產大模型“百模競流”,就是“開辟第二戰場”了,動搖了原本對手認為暫時安全的后方。畢竟,年初OpenAI成為“當紅炸子雞”的時候,那些人可是在拿“領先中國業界五到十年”來刻意渲染的。
大模型和芯片:軟硬互為支撐的體系
大模型的基本目標是:說人話、懂人話、能回答問題,并盡量減少常識錯誤。其中,說人話是生成式人工智能最重要的目標,對應的設計思想是:從人類規模語料中自動提取關鍵性語言痕跡,并用于語言的自動生成。無論是人類的語言習慣,還是人類智力功能在語言中的運用,都會留下語言痕跡,這些痕跡都保留在文本形式的語料中。

大模型利用的語言痕跡是“語元關聯度”。大模型技術中,語元(token)指的是字、詞、標點符號或者其他符號串(如字符編碼中的字節)。當一個大模型提取了大量語元關聯度之后,就可用于預測下一個出現的語元、下下個出現的語元……,直到生成完整的回答。
例如,假設對話中已經出現了“我”,那么根據大模型中保存的語元關聯度可以做出預測,下一個出現的語元是“們”的可能性遠遠高于“門”,于是大模型可以選擇“們”。基于語元關聯度的預測是大模型技術的底層原理。
大模型是一種實例性模型,即由大量實例(語元和語元關聯度)構成的模型。作為對比,科學技術中占主導地位的歷來是概括性模型,即由概括性規則構成的模型,這是因為概括性規則可以表達一般規律,而實例則是對個別現象的描述。
實例性模型提供了AI建模的另一條思路,直接從語言文本提取實例性模型。為了盡可能提高實例性模型的覆蓋率,大模型以人類規模的原始語料作為訓練樣本。之前曾有人聲稱,ChatGPT的訓練樣本達到互聯網文本總量的1/3到2/3。
如此巨量的訓練量,ChatGPT的準確性自然就大幅上升。那么要想搞大模型,就得先進行充分訓練,而訓練就需要使用能用來大模型訓練的顯卡。而大模型訓練能用的顯卡,除了英偉達顯卡外不做第二選擇。

這是因為英偉達顯卡通過軟硬件生態的有機綁定和匹配融合,使用起來性能對其他相關顯卡制造商處于碾壓的態勢。因而也只有英偉達能夠支撐起大模型的訓練。不要說我國在這個領域被卡脖子,就連國外的第二大顯卡制造商AMD都對此望塵莫及。目前市面上所使用的訓練顯卡,百分之九五以上可以說都由英偉達提供。其他家的顯卡相對于N卡而言,除了不能用,就還是不能用。
軟件上,英偉達憑借CUDA的優勢,強行綁定了絕大多數訓練框架和深度學習的訓練底層實現。CUDA是英偉達推出的運算平臺,簡單粗暴的理解,可以認為是顯卡的操作系統。通過這套體系,調用顯卡資源。
CUDA并不只是單純的框架,是需要配合英偉達的硬件的。換而言之,今天手機不管什么芯片,上層換個操作系統和驅動就行。但是CUDA不行,CUDA只能配合英偉達這一套顯卡使用。
因此,CUDA在軟件側的壟斷地位,使得其他廠商想發展到和英偉達差不多水平的硬件這件事變得非常困難。因為二者是近乎雞和蛋的關系,是在行業技術生態發展過程中步步為營贏得市場青睞和認可的。可以說,這么多年積累下來,英偉 達靠CUDA這套軟硬件綁定的護城河非常之堅固。

目前我國基本上沒有企業能夠制造出滿足訓練需求的顯卡。只有少量勉強可以一用,比如華為的昇騰910系列。盡管被很多使用者吐槽難用坑多,但是據說其性能可以達到V100左右的水平,這已經遠遠超乎一般從業者的預料了。因此對于我國在這個領域被卡脖子這點,要有客觀積極的心態。畢竟華為的麒麟芯片也才剛在7nm這一層級突破美國的封鎖,有差距很正常。
但是正如英偉達軟硬互為支撐的技術思路,軟件端的需求越龐大,又反過來促使著硬件的研發創新。在大模型領域,擺脫或者降低對國外的依賴,也可以從一個參數、一行token(語元)開始。華為從最底層構建了以鯤鵬和昇騰為基礎的AI算力云平臺,賦能盤古大模型,而騰訊則走全鏈路自研路線,從第一行token開始從零訓練,達到了超2萬億的規模。這些都涉及算力集群、機器學習框架、大規模語料庫等等核心能力。
大模型的確是人工智能高峰上耀眼的明珠。但是這座高峰的地基尚不能完全獨立自主。諸多科技企業在搶奪明珠的同時,也需要有人去啃下芯片這塊難啃的硬骨頭,突破這個深水區。中國企業的創新習慣于從應用走向底層,當所有的大模型、軟件、技術需求都指向芯片的時候,也將倒逼芯片行業的發展。從這個意義上說,芯片行業的任何突破,確實不啻為“正面突圍”。
國產大模型的研發并不落后
一直以來,得益于規模空前的國內市場,我國信息科學技術水平也在對美競爭中得到不斷提升。盡管某些人一再貶低中國造不出來ChatGPT,甚至排了某些榜單把以色列排到了我國的前頭,但人工智能領域的現狀是,雖然我國與美國領頭羊ChatGPT的地位還有一定差距,但面對其他國家則是徹底的“一覽眾山小”,在人工智能領域,無論是從學術產出還是業界應用的角度,我國都是事實上的全世界第二并且遠遠領先第三四五六七。
某些AI頂級會議的作者列表里,超過60%的作者署名都是趙錢孫李之類的拼音,絕大概率是華人。當然華人姓名也許并非都是中國的科技工作者,也可能包含了很多留學生和海外學術工作者,但是也足夠說明我國在相關領域并不差。那些收錢的吹鼓手們如此還能昧著良心說國內遠遜于以色列,所謂中國科技公司成功全靠白嫖隱私數據,只能說這些人又壞又蠢。
從業界反饋和筆者的實際使用來看,相比于太平洋對岸的成熟產品,國內今年以來發布的這些大模型,性能上也并不差。前段時間筆者試用了訊飛的星火和百川的BaichuanChat,其表現出來的效果,遠高于筆者之前的估計和預期。說他們初步達到去年的GPT3.5的層次,也不為過。

而剛剛發布的騰訊混元大模型,仍處于申請體驗的階段,從其發布的展示效果來看,無論是拒絕回答“如何超速更安全”的誤導性問題,還是提供4000字以上專利介紹的超長文本寫作,都頗有新意。據第三方評測顯示,混元在遠程會議記錄、表格公式生成等具體操作上,甚至超過了GPT3.5的水平。
此外,百度的文心一言,阿里的通義千問,華為的盤古,也都開始商用接入一些公司,開始提供服務和運營。隨著騰訊入場,可以說是“眾神歸位”,也標志著諸家科技公司開始發力投入這一領域,群雄逐鹿,廝殺混戰。
客觀來說,盡管這些大模型距離GPT4的水平還有相當的距離,但是比起谷歌的bard和其支持的Claude之類的產品,已未嘗沒有一戰之力。目前國內這么多家互聯網與科技公司下場競相追逐大模型,是頗有幾分春秋戰國時期群雄爭霸的味道的。

而巨量資本涌入對于相關領域的發展來說,其實是一把雙刃劍,需要看資方如何期待前期成果了。前沿的科技突破,其實非常需要長期主義。從前期投入來看,大模型訓練與研發需要耗費大量資源,成千上萬張顯卡和訓練集群的開發,以及訓練基礎設施的建設、數據的獲取采樣并進行實驗,更不消說還要有尖端的科研與研發人員梯隊,這都需要雄厚的實力儲備。
這對中小型初創科技公司非常排斥,因為這些企業往往無法獲得這樣海量的資源。這也是當今世界無論是人工智能學界,還是互聯網公司的第一梯隊,中美一騎絕塵而其他國家難望項背的原因之一。
就以OpenAI來說,OpenAI看似起先是個小公司,實際上其本質是一個超級研究組織。背靠微軟,創始人都是硅谷大佬,擁有大量可調動的資源與資金,絕非一般的初創公司可以比擬。

上述的前期海量投入,數十億美元的花銷,是燒在一個充滿探索性和不確定性,短時間乃至長期都可能沒有回報的事情上。這一點在絕大多數大公司的業務戰略中都很難發生,無論中外。
同在硅谷,谷歌和meta,還有云計算技術水平先進的亞馬遜,同樣也沒有跑出來自己的ChatGPT。谷歌在之前也有Palm大模型,meta也有OPT。盡管這些探索也積累了寶貴的經驗,但是,這么些大模型里,真正能堅持做到與人類對齊的也唯有OpenAI這么一家。做難而有價值的事情,是對OpenAI這一頁成功最好的腳注。
總之,長期主義的堅持,正是各個科技公司,無論中外,都應該學習的。但這種違背資本市場邏輯的行為,其難度確實不宜低估。
國產大模型商業模式和各自特色
根據大模型現有技術特點,可以說大模型將在服務業中具有比較明顯的應用潛力。根據國內外經驗來看,目前大模型有四種商業模式:
1.開發大模型對話應用,按時間向用戶收取訂閱費,比如 OpenAI 發布的 ChatGPT Plus。
2.出售大模型 API 接口,向公司或開發者按照調用次數收費。
3.直接賣大模型和定制開發服務,向傳統企業輸出大模型行業解決方案掙錢。
4.用大模型改造公司現有的業務,提高產品和解決方案的競爭力獲得商業回報。
無論哪種模式,主要的著眼點還是在于ToB端,而對終端消費者來說大概率需要的是免費。這也意味著大模型將融入信息基礎設施,成為像搜索引擎、二維碼、語音識別等功能一樣的基礎性功能。
我國目前發布的大模型,有些是單獨的模型,有的是一個復合的系統,比如騰訊混元、百度文心一言和華為盤古。其商業化模式也同樣結合了其自身企業特點。
先看看騰訊的混元大模型。騰訊的產品一直是遵循先內部用好、再對外開放的務實邏輯。從網上流傳的發布視頻看,混元至少已經和騰訊會議、騰訊文檔、騰訊廣告三大業務進行了嵌入和融合,在回溯會議內容和定位討論重點、文本內容生成、實時翻譯、文生圖廣告營銷等演示操作中,都比較絲滑,也可以看出騰訊對于大模型的長期價值判斷,是將通過生產力應用來體現。


百度的文心一言則集成了百度的優勢,能夠較好的調用搜索結果輔助生成內容。通過搜索全網知識庫,將外掛知識庫與文心一言的輸出內容結合。

阿里的通義千問出色的是其多模態能力,這可能和電商場景數據有關。通義千問并非純語言模型,而是多模態模型,具有較強的圖文能力,同時擁有較強的多輪對話能力和交錯圖像輸入。

華為盤古更側重于非傳統文本領域的應用。比如預測天氣,礦山,生產線質檢。應用方向主要關注工業與行業。華為云平臺的訓練基礎設施和架構也比較優秀。在硬件方面,華為的昇騰910雖然還比較原始簡陋,也算是國內為數不多能用的訓練卡。

目前看來,雖然大廠們展開“百模大戰”,但實際上各家還是主打差異化競爭,填補各方面的應用領域。可以預見,隨著智能化水平不斷提高和應用能力不斷提升,大模型將成為數智社會的信息基礎設施新的組成部分。
技術發展與包容治理
新技術必將產生新的社會效應,而這些效應是舊技術框架下的治理體系不能很好應對的。大模型作為一種新技術,也必然會帶來一些全新的治理挑戰,這對于傳統治理模式來說是難以有效應對的,更需要各方共同探索出大模型時代的新型治理模式。
首先如何可持續地看待大模型的應用。大模型本身并不直接危
害公共安全,但大模型是語元關聯,原生大模型可以說其實并沒有自己的價值觀,如果在多維因素下,大模型的生成結果產生危害社會的可能性并且被人加以實施,這將造成不良后果。而這種后果將反過來嚴重影響大模型的“聲譽”,阻礙技術的擴散。對此,大模型提供者需要自始至終堅持向善理念,監管方也應積極進行規范和引導,甚至我們每一位使用者都可以提供反饋,參與改進和完善新技術。其次,大模型對就業的影響需要兩面看。以往的就業替代現象主要是人力資源從制造業向服務業遷移,而對大模型的應用有可能使就業替代現象在服務業的眾多行業和部門同時發生,波及面遠超以往。同時,大模型也將改進生產力工具,并催生數字化的人才需求。這是一種全新情況,需要未雨綢繆,在就業引導、數字技能提升方面多做準備。
從我國平臺經濟與數智社會建設的經驗來看,數字生產方式的有效形成需要生產組織和外部環境的雙重協調,這個過程事實上是通過某種“發包”治理機制得以實現的,借用周黎安和周雪光的“行政發包制”概念,北京大學法學院的胡凌老師將這個過程稱之為“平臺發包制”。
在數智社會已經基本實現的當下,中國的互聯網平臺企業已經深深的嵌入了國家經濟社會運行的方方面面。自然,對信息技術的進步和人工智能領域前沿的趕超與探索,已經不僅僅是企業的商業經營目標,更是國家、社會,民眾對平臺企業的“責任發包”。
因此,無論是商業邏輯還是社會邏輯,我國平臺企業都需要在大模型的探索上勠力前行、不負期待,同時應當積極在發展中解決問題、響應社會治理的變革。
參考文獻:
《平臺發包制:當代中國平臺治理的內在邏輯》,胡凌,《文化縱橫》2023.4;
《大模型:人工智能思想及其社會實驗》,陳小平,《文化縱橫》2023.3


