阿里云數(shù)據(jù)庫李飛飛:云計算推動數(shù)據(jù)庫向云原生快速演進(jìn)
摘要:
12月30日,阿里云云原生數(shù)據(jù)庫PolarDB舉行年度發(fā)布。過去的一年是阿里云數(shù)據(jù)庫碩果累累的一年。11月,Gartner公布阿里云進(jìn)入全球數(shù)據(jù)庫領(lǐng)導(dǎo)者象限,是國產(chǎn)數(shù)據(jù)庫幾十年積累的重大突破;12月,中國電子學(xué)會公布PolarDB獲得科學(xué)技術(shù)獎一等獎。阿里云數(shù)據(jù)庫深耕11年,至今已服務(wù)客戶10萬余。
阿里巴巴集團(tuán)副總裁、阿里云智能數(shù)據(jù)庫事業(yè)部總裁李飛飛表示,云計算正在推動數(shù)據(jù)庫向云原生快速演進(jìn),阿里云數(shù)據(jù)庫已全面布局云原生。
關(guān)鍵詞:深耕11年10萬余客戶
2020年11月,“完美日記“上市了。迅速崛起的“完美日記”,從2017年的全新品牌,到如今的 “國貨之光”,成為今年創(chuàng)投圈的現(xiàn)象級案例。
快速的業(yè)務(wù)發(fā)展背后,是高壓力的系統(tǒng)挑戰(zhàn)。“完美日記”找到了阿里云數(shù)據(jù)庫。阿里云服務(wù)天貓“雙11”多個年頭,已具備豐富的應(yīng)對大流量經(jīng)驗。
2020年4月,“完美日記”三周年大促,最后一天壓測,訂單系統(tǒng)下單速度達(dá)到1萬筆/每秒,對應(yīng)PolarDB數(shù)據(jù)庫的寫入速度10萬TPS,比半年前的系統(tǒng)吞吐提升了50倍。在4月14日活動當(dāng)天,搶購開始瞬間系統(tǒng)涌進(jìn)了幾百萬用戶。每秒成交的訂單數(shù)創(chuàng)歷史新高,訂單峰值比歷史最高峰值再次提高了幾倍,高峰業(yè)務(wù)流量比半年前提高了50倍。
?“完美日記”只是阿里云數(shù)據(jù)庫的一個案例,是阿里云數(shù)據(jù)庫11年以來,服務(wù)的10萬多客戶中的其中一個。
阿里云數(shù)據(jù)庫始于2009年。
2009年,阿里巴巴用開源的MySQL替代了Oracle。
2010年,阿里巴巴又基于MySQL著手打造開源數(shù)據(jù)庫AliSQL,并對淘寶商品庫進(jìn)行改造。
2012年,AliSQL支撐了首個“雙11”。那是“雙11”的第四個年頭,已從2009年銷售額0.52億、27家品牌參與,發(fā)展到了2012年銷售額132億、10000家品牌參與。
2013年,已經(jīng)家喻戶曉的淘寶下線最后一個Oracle數(shù)據(jù)庫,這不僅是中國云計算發(fā)展的歷史性節(jié)點,也是數(shù)據(jù)庫技術(shù)變革的轉(zhuǎn)折點。
就這樣,阿里巴巴完成了從商業(yè)傳統(tǒng)數(shù)據(jù)庫到開源數(shù)據(jù)庫的轉(zhuǎn)變。
2016年,云計算在國內(nèi)風(fēng)起云涌,AlphaGo掀起了人工智能的熱潮,在人工智能的助推下,云計算愈發(fā)火熱。騰訊宣布“未來5年將投入100億發(fā)展騰訊云”;后來成為云計算創(chuàng)業(yè)公司獨角獸們的UCloud、青云、七牛云等紛紛拿到融資,各自以不同的姿勢,嶄露頭角。
同年,”雙11”銷售額已達(dá)1207億、98000家品牌參與。這時,阿里云數(shù)據(jù)庫已支撐雙11四年。
”雙11”的場景對數(shù)據(jù)庫提出了極高的要求。如果繼續(xù)在開源數(shù)據(jù)庫基礎(chǔ)上進(jìn)行改進(jìn)已經(jīng)無法滿足業(yè)務(wù)需求。
于是,阿里巴巴啟動了自研數(shù)據(jù)庫。
2017年,阿里云數(shù)據(jù)庫推出首個云原生關(guān)系型數(shù)據(jù)庫PolarDB,計算能力最高可擴展至1000核以上,性能比MySQL高6倍。
隨后的幾年,阿里云數(shù)據(jù)庫飛速發(fā)展。
2018年,阿里云數(shù)據(jù)庫進(jìn)入Gartner數(shù)據(jù)庫魔力象限,是該榜單首次出現(xiàn)中國公司。
2019年,阿里云數(shù)據(jù)庫再次入選Forrester數(shù)據(jù)庫評估報告,成為國內(nèi)首個獲得兩大頂級機構(gòu)認(rèn)可的科技公司。?
關(guān)鍵詞:進(jìn)入“云原生”時代,全面布局云原生數(shù)據(jù)庫
如今,阿里云數(shù)據(jù)庫經(jīng)歷了傳統(tǒng)商業(yè)數(shù)據(jù)庫,走過了托管數(shù)據(jù)庫,已經(jīng)進(jìn)入了以自研為主的云原生數(shù)據(jù)庫產(chǎn)品階段,并且開啟了全面的云原生布局,進(jìn)入“云原生”時代。
2020年的Gartner的報告中,“阿里云數(shù)據(jù)庫”赫然出現(xiàn)在領(lǐng)導(dǎo)者象限中。
這是中國數(shù)據(jù)庫歷史上重大突破,也是中國基礎(chǔ)軟件行業(yè)首次進(jìn)入Gartner魔力象限的全球領(lǐng)導(dǎo)者。
Gartner用“豐富和深厚的產(chǎn)品“來評價阿里云數(shù)據(jù)庫。
在這次的發(fā)布會上,一張圖詮釋了阿里云數(shù)據(jù)庫的“豐富的種類覆蓋度和完善的產(chǎn)品布局”,這也是阿里云數(shù)據(jù)庫云原生的布局。
?
阿里云數(shù)據(jù)庫的云原生布局,覆蓋了在線交易型數(shù)據(jù)庫、分析型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫。以PolarDB為代表的云原生數(shù)據(jù)庫已經(jīng)在助力客戶從傳統(tǒng)數(shù)據(jù)庫升級到云原生數(shù)據(jù)庫;在OLAP領(lǐng)域,利用云原生數(shù)據(jù)倉庫AnalyticDB(簡稱ADB)、云原生數(shù)據(jù)湖分析DLA幫助客戶實現(xiàn)從傳統(tǒng)數(shù)據(jù)庫倉庫升級云原生數(shù)據(jù)倉庫,實現(xiàn)數(shù)據(jù)庫大數(shù)據(jù)一體化、離在線一體化。阿里云推出的云原生多模數(shù)據(jù)庫Lindorm,以及云原生內(nèi)存數(shù)據(jù)庫Tair是NoSQL方向的代表,幫助客戶在IoT等場景下的數(shù)據(jù)實現(xiàn)高效存儲與處理。
為了簡化用戶使用云端數(shù)據(jù)庫,阿里云構(gòu)建了豐富的云原生數(shù)據(jù)庫生態(tài)工具,包括傳輸、備份到管理,數(shù)據(jù)傳輸可以使用DTS,做端到端數(shù)據(jù)的同步;用DBS數(shù)據(jù)備份做多云多端的邏輯備份、物理備份;用DMS可以做企業(yè)級的開發(fā)建模流程;用ADAM則可以做針對基于傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫開發(fā)的應(yīng)用評估和遷移。
此外,基于智能化的技術(shù),阿里云數(shù)據(jù)庫還構(gòu)建了“自感知、自決策、自優(yōu)化、自恢復(fù)”的云原生數(shù)據(jù)庫管控平臺。?
關(guān)鍵詞:下一代數(shù)據(jù)庫的六大關(guān)鍵技術(shù)
李飛飛認(rèn)為,云計算的本質(zhì)是利用分布式技術(shù)將資源高效池化,云計算推進(jìn)數(shù)據(jù)庫向云原生體系快速演進(jìn)。數(shù)據(jù)庫大數(shù)據(jù)庫一體化、Serverless、彈性已成為今天數(shù)據(jù)庫的主題。
“從傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),到在線數(shù)據(jù)庫的交互式分析,再到今天多元異構(gòu)數(shù)據(jù)處理,我們見證了數(shù)據(jù)庫從關(guān)系型數(shù)據(jù)處理,演進(jìn)到多元異構(gòu)多模數(shù)據(jù)庫等產(chǎn)品形態(tài)。”李飛飛談到。
那么下一代數(shù)據(jù)庫的關(guān)鍵技術(shù)有哪些呢?
第一是“HTAP:大數(shù)據(jù)數(shù)據(jù)庫一體化”,處理分析一體化、離在線一體化。
第二是云原生+分布式,將云原生的資源解耦,資源池化的能力,和Share-nothing的分布式水平拓展能力結(jié)合起來。
第三是智能化,將機器學(xué)習(xí)和AI技術(shù)應(yīng)用到數(shù)據(jù)庫內(nèi)核、管控平臺,使數(shù)據(jù)庫系統(tǒng)做到自感知、自決策、自優(yōu)化、自恢復(fù)。
第四是“多模”,隨著數(shù)據(jù)的多樣性不斷增長,需要多模系統(tǒng)對多元異構(gòu)的數(shù)據(jù)進(jìn)行處理,包括了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)、日志、文檔、K-V數(shù)據(jù)等。
第五是“軟硬件一體化”,需要充分發(fā)揮硬件優(yōu)勢,例如數(shù)據(jù)庫如何發(fā)揮Intel?AEP、RDMA高速網(wǎng)絡(luò)等。
第六是“安全可信”,在傳統(tǒng)可信的基礎(chǔ)上,比如日志審計、訪問控制、落盤加密,我們還提供了全加密鏈路、區(qū)塊鏈技術(shù)來實現(xiàn)不可篡改的日志等。
這些,就是企業(yè)級數(shù)據(jù)庫需要持續(xù)去突破的關(guān)鍵技術(shù)。
阿里云云數(shù)據(jù)庫正以云原生在實踐此。
以PolarDB為例,首先,是“安全增強”。李飛飛表示,從不同的方面,我們將PolarDB的安全推到了新的高度:支持了SSL傳輸、透明數(shù)據(jù)加密(TDE),從而實現(xiàn)全鏈路訪問加密。另外,備份數(shù)據(jù)實現(xiàn)了永久保留,可以滿足各類數(shù)據(jù)合規(guī)保留要求。PolarDB的可用性SLA,也從原來的99.95升級到99.99%。
從引擎支持的角度,阿里云的云原生數(shù)據(jù)庫PolarDB第一個支持MySQL?8.0版本。今年,PolarDB發(fā)布了MySQL?5.7的支持,對所有主流的MySQL版本進(jìn)行全面的覆蓋,包括了5.6、5.7和8.0。另外,PolarDB還可以高度支持兼容Oracle,可以幫助客戶快速、成熟的把傳統(tǒng)數(shù)據(jù)庫遷移到云原生數(shù)據(jù)庫。
今年,PolarDB還發(fā)布了一系列的降本增效能力,例如存儲包、金融云等都做了大幅降價,最高達(dá)降幅達(dá)50%。
隨著數(shù)據(jù)量的爆發(fā)式增長,阿里云的核心產(chǎn)品企業(yè)級云原生分布式數(shù)據(jù)庫PolarDB-X使用Share-Nothing架構(gòu),實現(xiàn)水平擴展,底層則使用Paxos協(xié)議實現(xiàn)三節(jié)點同步,具備金融級高可用、高可靠能力。PolarDB-X結(jié)合了歷經(jīng)多年“雙11”考驗的X-DB和分布式查詢引擎DRDS實現(xiàn)。在今年,PolarDB-X發(fā)布全局二級索引與透明分區(qū)等能力,向用戶提供了透明分布式的能力。具體的:全局二級索引的全新發(fā)布,幫助用戶簡單的實現(xiàn)多個不同維度的查詢,業(yè)務(wù)系統(tǒng)則像使用單機系統(tǒng)一樣,通過編寫簡單的SQL語句就可以實現(xiàn)復(fù)雜的、多維度的業(yè)務(wù)邏輯,而不用關(guān)心數(shù)據(jù)一致性、數(shù)據(jù)分布等復(fù)雜問題。通過基于成本的執(zhí)行路徑選擇與流量轉(zhuǎn)發(fā),PolarDB-X的HTAP(混合事務(wù)與分析處理)能力發(fā)布使得用戶可以更加的簡單支持混合負(fù)載的業(yè)務(wù)。
在剛剛過去的“雙11”,云原生數(shù)據(jù)庫PolarDB和云原生數(shù)據(jù)倉庫AnalyticDB首次在阿里巴巴大規(guī)模應(yīng)用,PolarDB刷新處理峰值新紀(jì)錄,TPS高達(dá)1.4億,比去年提升60%;AnalyticDB處理了7.7萬億行實時數(shù)據(jù),相當(dāng)于5.5個國家圖書館的數(shù)據(jù)總量。
此外,云原生技術(shù)不僅在阿里內(nèi)部大規(guī)模普及,也通過阿里云服務(wù)全社會。以物流行業(yè)為例,中國郵政引入PolarDB-X和AnalyticDB,應(yīng)對“雙11”期間超過上億的訂單業(yè)務(wù)峰值,10萬人可同時查詢包裹實時狀態(tài);申通快遞將核心系統(tǒng)搬到云上,大規(guī)模部署阿里云容器,億級包裹過境,系統(tǒng)穩(wěn)如泰山,IT成本降低了30%。
核心關(guān)鍵字: 大數(shù)據(jù)| 留言與評論(共有 0 條評論) |



