馬斯克開源Grok-1，3140億參數迄今最大
當地時間3月17日，特斯拉首席執行官（CEO）馬斯克的AI創企xAI正式發布3140億參數的混合專家模型Grok-1。xAI官方網站稱，其遵照Apache 2.0協議開放模型權重和架構。
xAI官方網站截圖
據第一財經報道，Grok-1參數量遠超OpenAI GPT-3.5的1750億，是迄今參數量最大的開源大語言模型。
17日，馬斯克還在社交平臺上發文對OpenAI進行了嘲諷：“告訴我們更多關于OpenAI開放部分的信息。”
2023年11月，xAI官網發布文章，公布了Grok的詳細進展。
文章稱，Grok是一款仿照《銀河系漫游指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什么問題。“Grok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。
xAI官方網站截圖
文章介紹說，Grok的一個獨特且基本的優勢是，它可以通過X平臺實時了解世界。它還將回答被其它大多數AI系統拒絕的尖銳問題。
文章指出，Grok仍然是一個非常早期的測試版產品，是“我們在2個月的訓練中所能做到的最好產品，期望在您的幫助下每周都能快速改進”。
文章表示，Grok-1的研發經歷了四個月。期間，Grok-1經歷了多次迭代。“宣布創立xAI后，我們訓練了一個330億參數的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月里，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終于誕生。”
文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。
為了了解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數學和推理能力的標準機器學習基準，對其進行一系列評估。
在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數據和計算資源訓練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓練LLM方面取得的快速進展”。
同時，文章也指出，由于這些基準可以在網上找到，并且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數據集之后，根據去年5月底公布的2023年匈牙利全國高中數學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應對這個考試而特別準備或調整模型。
本文系東方軍事獨家稿件，轉載請注明出處。
相關文章
-
陳都靈一襲綠色抹胸長裙 站在柳樹下宛若自然精靈
近日，陳都靈最新造型美照釋出，她身著一襲綠色抹胸長裙，站在柳樹下宛若自然精靈，神秘而又清新。...
2025-04-24 09:21:51 都靈站在抹胸 -
梁朝偉劉嘉玲周潤發齊聚 為杜琪峰慶生掀起回憶殺
4月22日晚，劉嘉玲于社交賬號上發布了與梁朝偉、周潤發、張叔平等好友為杜琪峰慶生的合影，畫面中眾人笑容滿面，多年情誼盡顯。劉嘉玲周潤發同框合影，劉嘉玲微卷的利落短發造型十分吸睛。...
2025-04-24 09:21:44 劉嘉玲梁朝偉杜琪 -
林心如就黃子佼事件強硬表態：對虐待及影片持有行為零容忍
臺媒消息顯示，林心如于近期就黃子佼藏匿未成年人性影像一事再度發聲。她鄭重表明立場，明確表示對虐待未成年人以及持有相關影像的行為絕無妥協余地。...
2025-04-24 09:21:41 強硬影片行為 -
-
董璇泳池旁喝椰子水好愜意 穿優雅禮裙身姿曼妙
近日，董璇在社交平臺上曬出一組寫真美照，并配文稱：“提前在廣州感受了夏日賽道。”照片中，她身著一襲優雅禮裙在游泳池旁喝椰子水，面露明媚笑容，十分愜意。...
2025-04-24 09:21:14 椰子泳池曼妙 -
-
形勢比人強，特朗普關稅戰打不下去了！
原創： 后沙來源微信公眾號：后沙已獲轉載授權昨天在短短不到6個小時之內，特朗普發動的關稅戰又變調了。北京時間0時左右，美國財政部長貝森特在摩根大通的閉門會議上，放風稱，中美之間的高關稅是不可持續的，預計會降溫。預計什么，預料到中國的態度？自己信嗎？1點左右，白宮發言人萊維特在新聞發布會上也表達了類似的態度。5點左右，特朗普親自確認，針對中國進口商品的關稅稅率不會維持在當前水平（145%），“它會大幅下降，但也不會降至零，中國將對最終的關稅稅率非常滿意”。特朗普還說了些肉麻的話，要和中國幸福地生活在一起（v...
2025-04-24 09:21:03 關稅不下去了形勢 -
-
慫是真認慫，事是真沒完！
作者：碼頭整薯條的海鷗來源：碼薯學人今天我們來聊聊服軟的特朗普。在美國時間4月22號發生了4件事：特朗普公開說開始考慮降低對華關稅稅率（強調不是0）；特朗普放出消息說中美貿易談判進展順利；特朗普表示無意解雇美聯儲主席鮑威爾，但是還是要求美聯儲降息；特朗普的財長貝森特在22號摩根大通的閉門投資會上明確表示中美貿易戰不能長期持續。這4條消息合在一起，我們可以明確一點，特朗普在釋放善意。但是，善意不代表勝利。果然，就在4月23日，美國媒體突然傳出消息說中美芬太尼談判陷入僵局。22號的宣傳口徑表明特朗普確實在認慫...
2025-04-24 09:21:01 慫是真認慫事是真 -
特朗普不想打關稅戰了，想和中國幸福地生活在一起！
原創： 一棵青木來源公眾號：遠方青木已獲轉載授權特朗普發動的關稅戰又進入新階段了，以一種你想都不敢想的方式。4月23日，特朗普公開發言稱對中國的145%關稅太高了，自己很快會大幅度降低，但不會降低到零。特朗普還說，中國將對最終的關稅稅率非常滿意，但他們必須跟美國達成協議。還有更離譜的，特朗普說：“我認為中國會很高興，我們會幸福地生活在一起”。沒錯，真的是這么說的。中文翻譯看起來非常肉麻，但原文其實更肉麻，特朗普使用的英文單詞原文是“very happily”。不僅要在一起（live together），還...
2025-04-24 09:20:59 關稅中國幸福
