字節跳動開源AI訓練引擎 最快提速3倍以上
6月28日，字節跳動火山翻譯團隊宣布推出LightSeq訓練加速引擎，并向全球開發者開源。這是業界首款完整支持Transformer模型全流程加速的訓練引擎，最快可提速3倍以上，幫助從業者大幅提升模型生產效率。
Transformer是自然語言處理、計算機視覺等AI技術領域最常用的基礎模型，被廣泛應用在機器翻譯、文本生成、文本摘要、圖像處理、時間序列預測等任務中。訓練和推理則是AI技術的兩個主要過程，相當于學習知識和解決問題。
?
受到硬件資源限制，一些高校實驗室和中小公司無法訓練大型模型，降低批處理大小等措施又會導致訓練時間成倍增加。如何利用有限的資源最快訓練出模型，成為計算機科研工作者和開發者們普遍關注的問題。
據悉，LightSeq訓練加速引擎能夠支持Transformer的完整加速，從詞嵌入層、編碼層、解碼層，到最后的損失函數層，業內首次實現了全流程支持。而且LightSeq的訓練速度極快，相比主流的序列生成庫，LightSeq最快只需要三分之一的時間就能完成訓練。
火山翻譯團隊負責人介紹說，LightSeq訓練加速引擎具有功能全面、簡單易用的特點，并提供了豐富的二次開發工具。通過插入自定義層或修改幾個命令行參數等方式，用戶可以在各種流行訓練庫上輕松使用LightSeq。
字節跳動持續投入開源社區的建設，已開源了機器學習平臺Klever、聯邦學習平臺Fedlearner、高性能分布式訓練框架BytePS等重磅項目。2019年底，火山翻譯團隊開源了LightSeq推理加速引擎，此次開源LightSeq訓練加速引擎，完全打通了Transformer模型從訓練到推理部署的整個流程。
“開源是推動科技進步的重要力量，我們受益于開源，更需要為開源社區做出貢獻”，上述負責人表示，字節跳動把LightSeq系列項目開源，與各界共享技術成果，希望能幫助廣大科研人員節約時間成本，為學術界和產業界激發創造力提供有力支持。
LightSeq開源項目地址：https://github.com/bytedance/lightseq
核心關鍵字： 人工智能相關文章
-
首度扭虧之后，阿里影業(1060.HK)“內容+科技”業務模型或迎市場重估
6月9日晚，阿里影業(1060.HK)公布2021財年業績，這是其疫后的首份年度財報，也是戰略迭代后交出的首份答卷。數據顯示，截至2021年3月31日的12個月內，阿里影業收入達28.6億元（人民幣，下同），與去年同期基本持平；期內經調整EBITA約1.2億元，實現首度扭虧為盈，歸母凈虧損同比大幅縮窄約92%。而且經營活動現金流凈額約2.6億元，同比改善顯著。可見，疫后阿里影業的經營總體穩中向好，...
2021-06-14 11:51:32 阿里影業內容 -
快遞內卷時代，菜鳥找到新引擎
從2013年成立至今，菜鳥已經走過8個年頭。8年時間里，快遞行業可謂是風起云涌。一方面，得益于電子商務的迅猛發展和菜鳥的電子面單、驛站和菜鳥裹裹等技術和業務落地，原本低效、雜亂的快遞網絡在服務質量、標準化和運營效率上都有了長足的提升。快遞行業總業務量從2017年的400.6億件，一路飆升到2020年的833.6億件。但另一方面，由于激烈競爭引發的價格戰，快遞公司的單票收入不斷下降，2020年的快遞...
2021-06-11 18:50:19 菜鳥物流供應鏈 -
徐旭初：數字鄉村建設成為鄉村振興新引擎
“數字鄉村建設發展，將會成為引領鄉村振興的實踐熱點，也將是縣域經濟跨越式發展的強大助力。”6月9日，浙江大學中國農民合作組織研究中心主任，杭州電子科技大學法學院教授、博士生導師徐旭初在“2021全國數字生態創新發展峰會”發表主題演講時說。浙江大學中國農民合作組織研究中心主任，杭州電子科技大學法學院教授、博士生導師?徐旭初徐旭初表示，未來需要做的就是數字鄉村，通過數字鄉村促進鄉村經濟，通過數字鄉村推...
2021-06-10 20:50:06 鄉村數字幾個 -
動點汽車：加碼智能網聯生態，實時引擎 Unity 正成為智能汽車行業的新驅動
編者按：伴隨著智能車聯網時代的到來和電動車市場的火熱，如何趁著智能化、數字化之勢而上，打造具有豐富、高端體驗感的次世代汽車產品，已經成為整個汽車行業追求的目標。而在這背后，Unity憑借積累多年的實時3D技術，正成為智能汽車圈的“軟”驅動力和強大的助推新“引擎”。聽說過Unity的人可能多少都知道，這是一家游戲引擎公司。作為驅動全球一半以上游戲、71%以上手游的創作和運營平臺，Unity的野心卻遠...
2021-06-10 19:07:32 汽車智能平臺 -
鴻蒙不再屬于華為？華為最高層發聲：開源基金會主導鴻蒙開源項目，所有友商均可參與
華為鴻蒙操作系統（HarmonyOS）的發布引發國內外空前關注。央視點贊華為，稱鴻蒙有望打破操作系統壟斷；爭議也隨之而來，有消息稱國內幾家知名手機廠商都表示不會使用鴻蒙。6月4日，華為內部發布了一個《關于規范HarmonyOS溝通口徑的通知》（下稱“通知”），對鴻蒙操作系統統一定調。通知表示，內部對“鴻蒙操作系統”缺乏規范的表述和統一口徑，導致理解不一致、說法不一致，且容易引起混淆，為此需要做一個...
2021-06-06 12:49:35 華為鴻蒙操作系統 -
螞蟻集團自研數據庫 OceanBase 宣布正式開源，并成立開源社區
6月1日，螞蟻集團自研數據庫?OceanBase宣布正式開源，并成立OceanBase開源社區，社區官網同步上線。數據庫是基礎軟件皇冠上的明珠，也是每一家公司業務系統的核心。傳統的開源數據庫從性能、可用性、安全性上與實際的企業級業務應用訴求存在不小的差距。據了解，開源已經上升為OceanBase重要的技術戰略。OceanBase數據庫創始人陽振坤表示，螞蟻自研數據庫OceanBase致力于打造企業...
2021-06-01 15:49:37 開源數據庫社區 -
戴禮度簡歷_深度科技開源社區經理戴禮度受邀參會演講_活動家
戴禮度，深度科技開源社區經理，于2015-11-28受邀參加“2015第五屆深度操作系統開發者與用戶大會”會議，并將做精彩演講。活動家是第三方嘉賓邀約平臺。可根據演講議題、會議日期、活動預算等要求，為您提供該領域內專業嘉賓演講邀約服務。您可準備好活動信息后，聯系客服電話：18911802888（工作日9時至18時，僅邀約嘉賓出席活動，其他需求勿擾）戴禮度簡歷_深度科技開源社區經理戴禮度受邀參會演講...
2021-06-01 07:51:26 活動家嘉賓深度 -
哈啰普惠用車獲兩項發明專利授權，哈啰大腦匹配引擎 2.0 更智能
近日，由上海鈞正網絡科技有限公司申請的“一種服務業務的匹配方法、裝置、計算機設備和存儲介質”和“處理方法、裝置、計算機設備、存儲介質及車輛調度系統”兩項發明，雙雙獲得由國家知識產權局頒布的發明專利授權通知。據了解，兩項發明專利分別應用哈啰順風車和哈啰打車業務，將分別提高順風車的司乘匹配效率和網約車的運力調度能力等。哈啰大腦匹配引擎2.0增加“智能推薦助手”共享出行已經深入到人們生活中，順風車平等互...
2021-05-31 16:58:36 供需司乘用戶 -
阿里云宣布開源PolarDB數據庫,與社區共建云原生數據庫生態
5月29日，阿里云開發者大會上，阿里云宣布開源云原生數據庫能力，對外開放關系型數據庫PolarDBforPostgreSQL的源代碼，將阿里內部沉淀多年的技術分享出來，服務百萬開發者。目前，該項目已在阿里云官網及Github上發布，后續將引入分布式事務、單機高性能等能力。“我們希望將阿里云在數據庫技術上積累的豐富經驗，通過標準技術組件和系統的方式開放出來，共建開源數據庫生態。”阿里云數據庫負責人李...
2021-05-29 16:53:26 阿里數據庫開源 -
2021青島新金融高峰論壇大咖云集，打造“雙循環”新引擎，助力RCEP新機遇
5月21日，“打造雙循環新引擎，助力RCEP新金融發展”2021青島新金融高峰論壇在青島市新金融產業園正式舉行。本次論壇由中國中小企業發展促進中心、青島市地方金融監督管理局、青島市市北區人民政府主辦，由青島市市北區地方金融監督管理局、青島市市北區歷史城區管理委員會、青島融匯財富投資控股集團有限公司、青島市北建設投資集團有限公司、青島新金融產業園、英諾創新空間以及英諾天使基金承辦。青島市北區委書...
2021-05-24 15:41:21 金融青島雙循環
| 留言與評論（共有 0 條評論） |
