半個月前，AMD的蘇姿豐發布了新款大語言模型GPU MI300X，據說比Nvidia的H100更小更快。

說起來，美國朋友追求又小又快已經很多年了。

最近浙江人民出版社的朋友寄給我一本《芯片戰爭》，說你看看。我說我看過英文版，總是打開又合上，合上又打開。他說你是看不懂英文嗎？看不起誰呢，my English is fine thank you, and you?

中文版的《芯片戰爭》翻譯的不錯，作者用一個個芯片發展史上的歷史故事告訴讀者，為什么靠砸錢和堆人搞不出芯片產業。

因為整個行業的分工極為細密，背后是一個極其復雜的商業生態系統，這個系統不可能源于任何政府扶持，也不可能有任何國家做到全產業鏈獨立自主，它依靠的是企業家們像生物演化一樣的：

自行冒險和優勝劣汰。

中國人是不缺優勝劣汰的，缺不缺冒險精神，網上一直爭論不休。要說不缺吧，考公的人是越來越多，要說缺吧，ChatGPT大火之后的短短幾個月內，國內光是上市公司就有9個老板說自己要搞大模型后隨即離婚的，導致原本就不富裕的存量夫妻數量因此雪上加霜。

最重要的是，你看AI芯片最核心的三個大拿黃仁勛、蘇姿豐和張忠謀都是華裔。再具體一點，他們都是胡建裔。

昨天，字節跳動旗下的火山引擎開了個大模型發布會。國內別的大模型起名都文文靜靜的，什么文心、混元、通義，唯獨火山引擎給自己的大模型平臺起了個去哪個國家都不要簽證的名字：

方舟。

搞AI，果真還是要靠純血胡建朋友。

1

自從幾萬年前人類征服了藍色星球之后，仰望星空后的好奇促使大家做了一個違反祖宗的決定——暴露自己，不顧黑暗森林法則。

至于為什么這么做，千百年來從哲學家到科學家做過很多解釋，主要是因為太過孤獨。

為了對抗集體孤獨感，除了尋找地球之外的智慧生命，還有就是試圖給自己之外的東西注入神性。

從遠古神話里出現的黃金機器人到雪萊的《科學怪人》，從亞里士多德的三段論邏輯到微積分發明人萊布尼茲試圖設計一種普適性語言，經歷了幾千年的探索，即便在計算機技術不斷進步后，人類還經歷了無數次挫敗。

具體到怎么讓機器人和人自然對話甚至完成交辦的任務這方面，直到2017年，谷歌的一篇論文《Attention is all you need》，才算是真正打開了局面。

這篇論文看起來很簡潔，主要就是講Transformer（翻譯器）是怎么工作的，這個Transformer就是ChatGPT里的T。

有了可以驗證的理論，大家就把大語言模型的訓練實現基本簡化為了兩個要素：

語料和算力。

簡單點來說，先要有足夠多的文字內容，然后要規劃學習方法，比如自己學習，工程師監督學習和用戶反饋后的強化學習。看起來和人類學習過程差不多，但機器學習是可以開掛的，想讓它加快學習過程，就要上算力，大幅提升訓練速度。

比如為了訓練ChatGPT-3，微軟給OpenAI配了10000張A100顯卡，單次訓練成本上千萬美元，這個我們中國人理解起來一點也不難。想讓孩子上清北嗎？從小學開始就要擇校，吃好的用好的還要報各種班。

去年底ChatGPT大火之前，連搞AI的人自己都在懷疑自己。阿里云在去年降價了6次，GPU租用價格下降了兩成，騰訊也直接砍掉了對NVIDIA GPU的采購單。

然后，ChatGPT火了，大家紛紛宣布我也行，我也能上。最夸張的是很善于做全家桶的周總，他說：

比爾·蓋茨都沒我看得準。

20多年前，從亞馬遜誕生到阿里巴巴誕生，大概用了5年；從有ICQ到騰訊有OICQ，大概用了兩年；從谷歌誕生到百度誕生，大概用了15個月。

從ChatGPT大火到比爾·蓋茨都沒我看得準用了多久呢？一個季度。

大家樹新風的樣子，像極了在大集上喝早酒的山東朋友。一開始，鏡頭前的本地大哥都是配著羊湯喝瓶啤酒或者二兩白酒。后來，出現了一碗羊湯配一斤散簍子的大媽和兩斤散簍子的大爺。到最后，有個大哥抱了一桶十斤裝的白酒告訴拍攝者：

這是我一天的量。

只有少數還沒上頭的。媒體問字節副總裁楊震原有沒有開發大模型，楊震原會說我們在學習。被問到大模型進展怎么樣，他說很初級、不成熟。

騰訊也是一貫的務實風格。馬化騰說對于工業革命來講，早一個月把電燈泡拿出來，在長的時間跨度上來看是不那么重要的。關鍵還是要把底層的算法、算力和數據扎扎實實做好，而且更關鍵的是場景落地，目前我們還在做一些思考。我感覺現在有很多公司太急了，感覺是為了提振股價。

你直接報周總身份證號得了。

2

今天和一位愛攤煎餅的朋友聊天，問他房地產行業的朋友會不會搞大語言模型。他說放在以前肯定會，那會兒大家連買煎餅都是要雙腸雙蛋，還得多刷甜面醬。

這估計代表了大部分加入大語言模型潮流企業的心態，一開始大家都想自己做，其中有很多原因，除了趕時髦外，比如模型方擔心私有化部署技術泄露，企業擔心自己多年積累的數據泄密。

網絡安全公司Cyberhaven做過調查，至少有 4%的員工將企業敏感數據輸入 ChatGPT，敏感數據占輸入內容的比例高達 11%。2023 年初，三星公司在使用 ChatGPT不到20天時，就發現其半導體設備相關機密數據被泄露，并連續發生3起類似事故。

那怎么辦，難道各行各業都自己做大模型？倒也不是不行。

火山引擎的朋友給科普了一下，5年前，一家企業要搞機器學習產品，是個很復雜的系統工程。現在你從北大招個應屆生，給他兩天時間，他就可以完整地把一些圖像識別、 pipeline能整體搭建出來，不需要給他搞低代碼。而且有些行業的客戶比如自動駕駛，在很多深度領域比很多大模型開發商做得更好。

但什么都自己做會面臨高額的硬件成本和訓練成本。很多行業并不需要非常通用的、巨大的基座模型。比如銀行客服不需要模型會寫代碼，房產中介也不需要模型會做數學題。如果盲目買一堆GPU回來自己搞大模型，收益肯定是小于成本的。

所以在方舟的發布會上，火山引擎總裁譚待強調了大模型要用起來，不能光看參數大、效果強，使用成本一定要降下來。

翻譯成大白話就是，大家沒必要啥都自己從0到1，各自發揮長處就好。比如芯片制造業，從設計到生產全都自己做的英特爾和三星，現在被協同作戰的AMD、高通、NVIDIA、臺積電按著頭打。

這里面的道理，講得最清楚的還要說是胡建裔的黃仁勛。他反復勸說美國政商兩屆不要搞芯片禁令，不要逼中國搞出軟硬一體的獨立系統。

做生意嘛，大家要都有得賺才長久。

在ChatGPT去年底火起來之前，為什么只有字節在逆勢囤GPU，其實是有邏輯脈絡的，而且他們的思考比較超前。

2020年，抖音推薦廣告系統開始技術架構的升級，基于Transformer實現大規模的模型訓練。推薦廣告核心能力必須把模型做得很深，才可以對很多事物之間的關聯有好的理解。無論是技術上、還是算力上，火山引擎都做了比較充分的準備。

別人開發布會說的都是我這個大模型比ChatGPT好在哪里，火山引擎的發布會上，一直強調的卻是性價比，講得是模型精調、算力調度，還有和NVIDIA一起共同合作的 GPU 推理庫 ByteTransformer 在 IEEE 國際并行和分布式處理大會（IPDPS 2023）上獲得最佳論文獎等等。

10年前，各大新聞平臺的銷售來辦公室講的都是用戶量，瀏覽量和投放折扣。只有今日頭條的銷售不一樣，他們會耐心地給你講什么是算法，一個人在頭條為什么總能看到自己感興趣的內容，這對你們公司有什么用。

10年過去了，除了A股，大概沒什么變化的也只有他們了。

3

三天前，鋰電池的發明者古迪納夫去世，享年100歲。3年前，他以97歲高齡成為了諾貝爾獎歷史上最年長的得主。

在看訃告時，讀到了他的一句話——我們有些人就像是烏龜，走得慢，一路掙扎，到了而立之年還找不到出路。

但烏龜知道，他必須走下去。

華人特別喜歡歌頌速度。蘇姿豐30歲時憑借設計銅電路替代鋁電路成為了IBM CEO的技術助理；黃仁勛30歲時和兩位工程師一起創立了NVIDIA。

底層文化里，華人是不可能稱贊烏龜的，大家稱贊的都是高大全快。

相反，德日甚至瑞典的一些企業可能產品看起來一點不起眼，一個軸承，一顆螺絲甚至一個銼刀，一捆絕緣線能鉆研一輩子，但全世界工業企業都離不開他們。

當經濟高速發展時，他們把自己投入大生態順勢而為，當經濟進入下行周期的時候，這些企業靠著專精能力，活得也很舒服。

這種跨越周期的能力，大概就是古迪納夫說的“烏龜”吧。

現在習慣了快的我們也慢下來了，覺得大伙面對大模型這種時代巨浪還是要有些定力，如果搞不起軍備競賽，雇不起大量的北大應屆生，那還是先冷靜冷靜，想想大模型對自己有啥用，算清楚ROI。如果用大模型比雇人干活還要貴，還不如多招些人，也是為就業做貢獻了。

這樣對很多企業來說是最劃算和安全的，風浪越大魚越貴是沒錯，但首先要保證自己一直在船上。