2457億，全球最大巨量模型“源”發(fā)布：怎么用，挑戰(zhàn)在哪兒？
圖片來源@視覺中國
浪潮日前發(fā)布的巨量模型源1.0引起了業(yè)界專家的關(guān)注。據(jù)說該模型參數(shù)規(guī)模達(dá)到了2457億，訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB。相比OpenAI?去年推出的GPT-3模型（1750億參數(shù)量，570GB訓(xùn)練數(shù)據(jù)集），源1.0參數(shù)規(guī)模領(lǐng)先40%，訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。因此，浪潮源1.0也被稱為全球最大規(guī)模的人工智能巨量模型。
在源1.0發(fā)布當(dāng)日，浪潮還同步舉行了一個(gè)研討會(huì)，來自國內(nèi)自然語言理解領(lǐng)域的近20位專家、院士參加研討，就巨量模型的應(yīng)用前景與挑戰(zhàn)都發(fā)表了個(gè)人看法。
源1.0是什么？怎么用？
就像上文提到的，源1.0是用5000GB的中文數(shù)據(jù)集訓(xùn)練而來，所以源1.0本質(zhì)上是一個(gè)偏向于中文語言的巨量模型，且其未來應(yīng)用的突破點(diǎn)也主要會(huì)在NLP（自然語言處理）領(lǐng)域進(jìn)行先期切入。
在傳統(tǒng)的人工智能語言模型訓(xùn)練中，由于計(jì)算資源等各種條件限制，業(yè)界的語言模型往往針對(duì)某個(gè)小場(chǎng)景，通用性不強(qiáng)。而由于巨量模型采用的數(shù)據(jù)集夠大、形成的參數(shù)規(guī)模也夠大，最終模型的通用性也會(huì)比較高，是真正的“見多識(shí)廣”。
但由于巨量模型在前期訓(xùn)練的過程中需要消耗的計(jì)算資源太大，所以一般業(yè)界做這種嘗試的并不多。此前，全球已經(jīng)推出千億級(jí)巨量模型比較典型的是OpenAI 的GPT3模型，其參數(shù)模型達(dá)到了1750億。
據(jù)了解，源1.0參數(shù)量高達(dá)2457億，訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB,相比GPT3 1750億參數(shù)集、570GB訓(xùn)練數(shù)據(jù)，參數(shù)集規(guī)模提升了40%，訓(xùn)練數(shù)據(jù)規(guī)模提升近10倍。
巨量模型訓(xùn)練出來了，有什么價(jià)值，亮點(diǎn)在哪兒？我們拿AI作詩舉例。
一般情況下，讓人工智能寫一首詩之前，首先要有一個(gè)學(xué)習(xí)了大量唐詩宋詞的模型出來，人工智能才能自動(dòng)填詞。但是由于這個(gè)小模型只學(xué)習(xí)過唐詩宋詞的語料，如果撰寫文章，這類模型則很難完成。巨量模型就不同了，由于它提前學(xué)習(xí)的海量預(yù)料中包含了唐詩宋詞、各種文體作文、甚至還是有明星八卦，所以無論問它什么，它好像都能從容作答。
現(xiàn)場(chǎng)，浪潮人工智能研究院首席研究員吳韶華展示了它為源1.0的設(shè)置的指代、推理、理解等多方位的問題，比如完形填空，讓AI在空白處填寫正確的成語，它回答的都分毫不差。吳韶華也說，除此之外，巨量模型在寫300-500字的主題創(chuàng)作上，也能夠順利完成。也就是說，有了巨量模型，在不久的將來，讓成熟的文檔自己寫稿的日子或許真的指日可待了。
挑戰(zhàn)在哪兒?
在過去4個(gè)月里，一群浪潮AI專家，把近5年互聯(lián)網(wǎng)內(nèi)容濃縮成2000億詞，讓AI在16天內(nèi)讀完，終于煉成了“源1.0”。源1.0的成果得到了在座專家的一致肯定。不過對(duì)于源1.0的應(yīng)用以及后續(xù)迭代上，大家也都毫不諱言。其中，受到關(guān)注最多的問題是，源1.0這樣的巨量模型怎么能夠跟產(chǎn)業(yè)場(chǎng)景結(jié)合，怎么能夠落地使用。
在場(chǎng)景落地上，巨量模型首要挑戰(zhàn)有兩個(gè)，一是能不能找到殺手級(jí)應(yīng)用；二是，巨量模型中包含的千億參數(shù)怎么在低功耗的情況下落地。
對(duì)于第一個(gè)挑戰(zhàn)，當(dāng)前業(yè)界還沒有最佳實(shí)踐可循，巨量模型的市場(chǎng)化表現(xiàn)還有待觀察。與會(huì)專家拋磚引玉指出，希望可以在中文輸入法、語音翻譯質(zhì)量（特別是方言場(chǎng)景）、謠言識(shí)別、智能客服、客戶端個(gè)性化推薦等場(chǎng)景上看到巨量模型有所作為。
不過也有專家指出，源1.0主要針對(duì)的是語言模型，但當(dāng)前實(shí)際業(yè)務(wù)中，多模態(tài)模型需求是個(gè)趨勢(shì)，他們希望源1.0不僅是針對(duì)中文文本的模型，在視頻、圖片、聲音等多模態(tài)語境甚至是多語種語境中也能有所作為。
對(duì)于巨量模型低功耗落地的問題，浪潮信息副總裁劉軍回應(yīng)稱，人工智能巨量模型在發(fā)展過程中，勢(shì)必會(huì)經(jīng)歷“把一本書讀厚，再把一本書讀薄”的過程。浪潮人工智能研究院正在基于對(duì)巨量模型規(guī)律的了解和掌握，用一些科學(xué)和技術(shù)方法在保證模型效果的情況下，降低參數(shù)，進(jìn)而降低使用功耗和在產(chǎn)業(yè)落地的門檻。“至于能不能降到像大家非常關(guān)心的在手機(jī)上用，我們今天不能保證，但是至少會(huì)朝著這個(gè)方向去做。”劉軍說。
從技術(shù)上來說，專家們也表達(dá)了對(duì)巨量模型的可解釋性和表現(xiàn)穩(wěn)定性上的期待，原因在于，在實(shí)際落地的過程中，巨量模型即使有90%的可靠性，另外10%的風(fēng)險(xiǎn)也會(huì)給實(shí)際應(yīng)用帶來業(yè)務(wù)上的挑戰(zhàn)。
當(dāng)然，源1.0模型的成功也讓學(xué)界和產(chǎn)業(yè)界都看到了巨量模型背后的奇妙之處?！盀槭裁丛趯W(xué)習(xí)了海量數(shù)據(jù)集之后，計(jì)算機(jī)可以自己解釋海量問題？它背后的計(jì)算肌理是否發(fā)生了變化？”這些問題都要留待更深入的研究。
“浪潮今天已經(jīng)把這個(gè)模型訓(xùn)練出來了，證明了效果，下一步會(huì)開放出來，讓學(xué)術(shù)界和產(chǎn)業(yè)界大家都去用。這樣使得我們?cè)谶@方面的巨量人財(cái)物的投入能夠成為學(xué)術(shù)界和產(chǎn)業(yè)界前進(jìn)助推劑。”劉軍總結(jié)。他相信，在學(xué)界和產(chǎn)業(yè)界的深入合作中，領(lǐng)先的智能模型、以及殺手級(jí)應(yīng)用一定能夠成為推進(jìn)社會(huì)智能化的一部分。（本文首發(fā)鈦媒體App，作者 | 秦聰慧）
更多精彩內(nèi)容，關(guān)注鈦媒體微信號(hào)（ID：taimeiti），或者下載鈦媒體App
核心關(guān)鍵字： 人工智能相關(guān)文章
-
從理想照進(jìn)現(xiàn)實(shí)，中國憑什么快速落地人工智能算力網(wǎng)絡(luò)？
圖片來源@視覺中國文丨智能相對(duì)論，作者丨曾響鈴2021年5月底，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局共同印發(fā)了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》，在這個(gè)方案中，關(guān)于算力資源的統(tǒng)籌協(xié)同發(fā)展在宏觀層面定下了調(diào)，一個(gè)未來網(wǎng)絡(luò)新愿景浮現(xiàn)出來；僅僅時(shí)隔四個(gè)月，在剛剛舉辦的華為全聯(lián)接2021上，中國科學(xué)技術(shù)信息研究所、AITISA（新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟）、鵬城...
2021-09-28 09:57:43 人工智能計(jì)算中心網(wǎng)絡(luò) -
2021中關(guān)村論壇首日，世界最大智能模型“悟道”助力冬奧
【獵云網(wǎng)北京】9月27日?qǐng)?bào)道9月24日，由科技部戰(zhàn)略規(guī)劃司、高新技術(shù)司，北京市科委、中關(guān)村管委會(huì)，海淀區(qū)人民政府主辦，北京智源人工智能研究院（以下簡(jiǎn)稱“智源研究院”）承辦的2021中關(guān)村論壇“人工智能與多學(xué)科協(xié)同創(chuàng)新論壇”在京成功舉辦。人工智能與多學(xué)科協(xié)同創(chuàng)新論壇科技部戰(zhàn)略規(guī)劃司副司長張旭、北京市副秘書長劉印春、清華大學(xué)副校長曾嶸、北京大學(xué)科學(xué)研究部部長張寧出席論壇并致辭。論壇由智源研究院院長黃鐵...
2021-09-27 17:51:35 模型人工智能智源 -
知識(shí)產(chǎn)權(quán)強(qiáng)國建設(shè)綱要出臺(tái)，加快大數(shù)據(jù)、人工智能、基因技術(shù)等知識(shí)產(chǎn)權(quán)立法
創(chuàng)頭條9月23日消息??近日，中共中央、國務(wù)院印發(fā)的《知識(shí)產(chǎn)權(quán)強(qiáng)國建設(shè)綱要(2021-2035年)》提出，要加快大數(shù)據(jù)、人工智能、基因技術(shù)等新領(lǐng)域新業(yè)態(tài)知識(shí)產(chǎn)權(quán)立法，建立健全新技術(shù)、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式知識(shí)產(chǎn)權(quán)保護(hù)規(guī)則。綱要明確，建設(shè)面向社會(huì)主義現(xiàn)代化的知識(shí)產(chǎn)權(quán)制度，需要構(gòu)建門類齊全、結(jié)構(gòu)嚴(yán)密、內(nèi)外協(xié)調(diào)的法律體系。同時(shí)，構(gòu)建響應(yīng)及時(shí)、保護(hù)合理的新興領(lǐng)域和特定領(lǐng)域知識(shí)產(chǎn)權(quán)規(guī)則體系。綱要指出，在建立...
2021-09-23 17:55:49 知識(shí)產(chǎn)權(quán)綱要知識(shí)產(chǎn)權(quán)保護(hù) -
人工智能計(jì)算中心，助力數(shù)字經(jīng)濟(jì)發(fā)展的算力“蟲洞”
圖片來源@視覺中國文|腦極體在線教育、遠(yuǎn)程醫(yī)療、居家辦公……種種數(shù)字經(jīng)濟(jì)新應(yīng)用的蓬勃發(fā)展，帶給全社會(huì)的改變超乎想象。因此疫情之后，中國的數(shù)字經(jīng)濟(jì)建設(shè)明顯進(jìn)入了“加速度”。十九屆五中全會(huì)中提出，要加快數(shù)字化發(fā)展，發(fā)展數(shù)字經(jīng)濟(jì)，推進(jìn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化，推動(dòng)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合，打造具有國際競(jìng)爭(zhēng)力的數(shù)字產(chǎn)業(yè)集群。當(dāng)發(fā)展數(shù)字經(jīng)濟(jì)上升為國家戰(zhàn)略，自然需要與之匹配的數(shù)字基礎(chǔ)設(shè)施。在第四次工業(yè)革命的熱...
2021-09-16 11:52:34 人工智能計(jì)算中心城市 -
汽車人工智能與七個(gè)月的孩子誰更聰明？
文丨來咖智庫7個(gè)月大以后，多數(shù)孩子都已經(jīng)學(xué)會(huì)了移出視線的物體仍然存在。把玩具放在毯子下面，孩子會(huì)知道玩具還在那里，并且可以伸手把它從毯子下面取回來。這種對(duì)于“物體永久性”的理解是常見的發(fā)展里程碑，也是基本的現(xiàn)實(shí)原則。但這也是自動(dòng)駕駛汽車所不具備的，這會(huì)是一個(gè)問題。自動(dòng)汽車越來越好，但它們理解世界的方式仍然與人類不同。在自動(dòng)駕駛汽車看來，被經(jīng)過的貨車暫時(shí)擋住的自行車已不再存在。對(duì)于現(xiàn)在廣泛存在的僭取...
2021-09-08 10:59:15 人工智能機(jī)器汽車 -
IDC：2025 年中國人工智能市場(chǎng)總規(guī)模將超 160 億美元
IDC于近日發(fā)布了《2021年V2全球人工智能支出指南》（IDCWorldwideArtificialIntelligenceSpendingGuide），從人工智能（AI）技術(shù)、垂直行業(yè)、應(yīng)用場(chǎng)景、部署類型等多個(gè)維度對(duì)未來五年（2021-2025）全球AI相關(guān)IT投資規(guī)模進(jìn)行預(yù)測(cè)，同時(shí)回顧了2020年的市場(chǎng)發(fā)展情況。以下是詳細(xì)內(nèi)容：人工智能市場(chǎng)概覽IDC預(yù)測(cè)，全球AI市場(chǎng)支出將在2021年達(dá)到8...
2021-09-01 10:13:40 人工智能支出維度 -
人工智能，也應(yīng)該學(xué)會(huì)遺忘
圖片來源@視覺中國文|每日科技前瞻我們的故事還是從AlphaGo這里說起，無他，我實(shí)在是太喜歡這個(gè)小家伙了。在AlphaGo的棋盤招式中，偶有出現(xiàn)之前出現(xiàn)在棋譜里的招式。他通過強(qiáng)化學(xué)習(xí)，“記住”（至少是我們認(rèn)為那個(gè)意義上的記?。┝藝宓木置孑^優(yōu)解。這樣超凡的學(xué)習(xí)能力和“記憶力”（雖然運(yùn)行方式和人類的記憶不同）是AI在這些方面超越人類，出類拔萃的保障之一。如果把我們代入人工智能的視角，有了這樣的記憶...
2021-08-24 17:53:06 人工智能記憶也是 -
圓桌論壇：DAO開放治理模型的社會(huì)化屬性 | 2021賽博北京·數(shù)字藝術(shù)節(jié)
鏈得得、鈦媒體集團(tuán)、CryptoC發(fā)起主辦的第一屆“賽博北京·數(shù)字藝術(shù)節(jié)”于8月7日至8月10日在線上舉辦。在橙皮書創(chuàng)始人李陽的主持下，DAOSquare發(fā)起人Typto、OGLabs創(chuàng)始人&ICPL聯(lián)合創(chuàng)始人Blockpunk、BeepCrypto創(chuàng)始人&WHALEChiefpartner?MiaBao展開了主題為“坐而論DAO”的圓桌討論，針對(duì)“DAO的發(fā)展現(xiàn)狀與問題”“DAO與公司化結(jié)構(gòu)的差...
2021-08-10 16:18:46 的人區(qū)塊項(xiàng)目 -
阿里云發(fā)布數(shù)字化轉(zhuǎn)型成長模型，建立“數(shù)字樣板工程”
創(chuàng)頭條消息，8月3日，阿里云在2021數(shù)字化轉(zhuǎn)型影響力峰會(huì)上發(fā)布數(shù)字化轉(zhuǎn)型成長模型，并宣布啟動(dòng)“2021數(shù)字樣板工程巡禮”活動(dòng)，建立“數(shù)字樣板工程”長效運(yùn)營機(jī)制，服務(wù)行業(yè)及區(qū)域的數(shù)字化轉(zhuǎn)型。據(jù)阿里云智能政策與戰(zhàn)略中心主任李颋介紹，過往幾年，阿里云與眾多客戶在數(shù)字化轉(zhuǎn)型方面做了有益的探索，并歸納出面向未來、立足成長的數(shù)字化轉(zhuǎn)型模型。模型研究顯示，企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵能力包括戰(zhàn)略、素養(yǎng)、組織、業(yè)務(wù)、技...
2021-08-03 15:59:32 阿里數(shù)字樣板 -
技術(shù)革命下新銳品牌的“四力模型”
圖片來源@視覺中國文丨王智遠(yuǎn)零售就像四維空間，在加速構(gòu)建“點(diǎn)線面體”。在《三體》中，外星種族“歌者文明”扔出張名片大小的二向箔，太陽系成為二維化視角呈現(xiàn)。劉慈欣認(rèn)為在四維空間中，三維物體的內(nèi)部結(jié)構(gòu)可以被人透視，人清晰可以看到人體的無限細(xì)節(jié)，骨骼，內(nèi)臟，細(xì)胞，血液和心房間的流動(dòng)。在中國零售40年的變遷中，我們甚至很難找到更為貼切的詞語來表述其履歷的厚重感。若將發(fā)展四維化來看，那早已從原始線下單點(diǎn)交易...
2021-08-02 19:00:32 品牌新銳技術(shù)
| 留言與評(píng)論（共有 0 條評(píng)論） |
