當前位置:首頁 >  科技 >  IT業(yè)界 >  正文

DTCC2024前瞻:天翼云數據庫專家共話TeleDB發(fā)展藍圖

 2024-08-19 15:09  來源: 互聯(lián)網   我來投稿 撤稿糾錯

  域名預訂/競價,好“米”不錯過

數據庫是IT基礎設施領域重要的組成部分,天翼云緊跟數據庫行業(yè)技術方向與創(chuàng)新趨勢,強化核心技術的自研實力,助力企業(yè)釋放數據價值。在8月22日-24日的第15屆中國數據庫技術大會(DTCC2024)上,天翼云數據庫首席技術官李躍森將發(fā)表《天翼云在數據庫領域的探索和實踐》精彩演講,為業(yè)界帶來前沿洞察與寶貴經驗分享。

大會召開前夕,我們特別邀請了三位重量級嘉賓:天翼云數據庫首席技術官李躍森、天翼云數據庫產品線總監(jiān)葉小朋,以及天翼云資深研發(fā)專家魏興國,共同開啟一場深度對話,圍繞天翼云分布式數據庫的發(fā)展歷程、產品布局、探索實踐,以及TeleDB數據庫的未來展望等內容進行深入探討。

以下內容根據對話整理,篇幅有刪減:

ITPUB:您在DTCC的演講主題是“天翼云在數據庫領域的探索和實踐”,為什么選擇這個主題?該演講能夠為聽會者帶來哪些收益?

李躍森: 天翼云數據庫自2012年啟動研發(fā),到目前經過了12年的發(fā)展。在這個過程中,我們實現了電信集團核心業(yè)務系統(tǒng)數據庫的全量替換,也助力中國電信成為了全球 第一家實現數據庫自主可控的運營商。

在穩(wěn)健前行的同時,天翼云TeleDB也在積極拓寬視野,深耕外部市場,現已覆蓋到政務、央企、國企、互聯(lián)網等千余家外部行業(yè)客戶。這些領域對數據庫的穩(wěn)定性和性能有著近乎苛刻的標準,而正是這樣的挑戰(zhàn),鑄就了我們堅實的技術壁壘與豐富的實戰(zhàn)經驗。

我們希望在DTCC的分享中,可以讓更多的從業(yè)者了解到天翼云數據庫在自主研發(fā)方面的最新成果和進展,以及我們團隊在面對自主研發(fā)道路上重重挑戰(zhàn)時,如何憑借核心技術的自主研發(fā)能力去面對和克服挑戰(zhàn),從而實現技術引領與產業(yè)升級的雙重飛躍。

ITPUB:有哪些行業(yè)洞察或技術挑戰(zhàn)促使了天翼云TeleDB的誕生?TeleDB最初的設計理念和目標是什么?

魏興國: 傳統(tǒng)小型機+集中式數據庫的軟硬件模式,是一個封閉的技術體系,難以水平擴展?;诖?,天翼云在2012年正式啟動了TeleDB數據庫的自研項目,將其應用于中國電信集團內部,解決集團業(yè)務快速發(fā)展的需求。

在中國電信和天翼云各級領導的支持和帶領下,我們通過自研以TeleDB為代表的PaaS組件和PaaS云平臺,使得中國電信實現了核心IT系統(tǒng)從傳統(tǒng)的煙囪式架構向分布式云化架構的跨越式轉型,還確保了核心架構與關鍵組件的自主可控,關鍵技術實現了從依賴外部到自主創(chuàng)新的重大突破。

同時,也構建了一個集一體化管理、全網覆蓋、高度集約化的運營體系,有效提升了整體運營效率與服務質量。

ITPUB:從誕生至今,十年時間里,天翼云TeleDB經歷了哪些關鍵的發(fā)展階段或轉折點?每一個階段中,有哪些技術或市場的變化對其產生了重要影響?

魏興國: 概括來講,TeleDB產品的發(fā)展歷程大致可以分為下述三個階段:

1、初始研發(fā)和內部試用階段

第一階段聚焦于TeleDB的初始研發(fā)與內部上云試驗,主要是產品選型、技術研發(fā),以及在核心系統(tǒng)試點過程中,解決產品的穩(wěn)定性與可靠性問題。在這個階段中,我們在架構上研發(fā)了一主多從以及強同步模式,來實現數據庫系統(tǒng)的高可用和高可靠。通過高可用數據庫結合中間件的模式,支撐中國電信的海量數據處理需求,并實現了系統(tǒng)的水平擴展。

2、全面推廣與能力提升階段

第二個階段是TeleDB在內部上云的全面落地,以及在外部推廣中的初試鋒芒。緊隨內部驗證成功后,TeleDB開始在中國電信內部上云中全面的推廣落地。在這個過程中,團隊重點優(yōu)化了系統(tǒng)的安全防護、運維效率及靈活擴展能力,實現了大規(guī)模部署、運維、安全認證、流量控制、數據加密及彈性擴縮容等關鍵技術突破。同時,TeleDB在天翼云公有云平臺正式上線,并成功打入政務、物聯(lián)網、新能源、醫(yī)療等多個行業(yè)領域,取得顯著市場成效。

3、技術探索與市場拓展階段

第三階段著眼于數據庫新興技術的深度探索與市場的全面拓展。TeleDB以打造多云環(huán)境下的一站式智能化云原生數據服務為愿景,團隊在云原生分布式、存算分離、混合負載等前沿技術領域持續(xù)發(fā)力,不斷完善產品矩陣。市場拓展方面,TeleDB持續(xù)深耕,成果豐碩,進一步鞏固和擴大了市場份額。

ITPUB:在TeleDB的發(fā)展過程中,天翼云曾遇到過哪些挑戰(zhàn)?又是如何克服這些挑戰(zhàn)的?

李躍森: 天翼云TeleDB歷經十多年的發(fā)展,面對多樣化的技術環(huán)境和挑戰(zhàn),我們始終勇往直前。我將從三大維度來剖析天翼云如何克服挑戰(zhàn),并推動TeleDB不斷前行。

一、技術架構與核心能力的革新

從數據庫技術架構上來講,傳統(tǒng)集中式數據庫難以承載國內海量數據的管理需求。在此背景下,我們在2012年前后,選擇基于分布式中間件加分庫分表的方式,來滿足快速增長的業(yè)務和數據。

然而,隨著業(yè)務規(guī)模的擴大,中間件架構的局限性逐漸顯現,如業(yè)務改造量大、集群可靠性及事務處理能力不足、多表關聯(lián)查詢、還有備份恢復一致性等問題。為此,我們創(chuàng)新性地提出了基于原生分布式架構的新一代數據庫方案,在滿足了自身業(yè)務需求的同時,也走在了行業(yè)的前列。

二、多平臺適應性的突破

TeleDB的數據庫團隊需要同時服務于集團內部和外部客戶,滿足公有云、私有云及專有云等多種部署需求。在底層平臺的適應性方面,TeleDB就需要同時支持多種不同的底層的基礎設施。

然而,多樣化的底層基礎設施無疑為上層業(yè)務增加非常大的復雜度。一方面,會增加我們團隊的研發(fā)的工作量。另一方面,對我們的技術架構提出了前所未有的挑戰(zhàn)。這些問題曾一度對我們的研發(fā)進度造成不小的困擾。

為了解決這些問題,我們規(guī)劃并研發(fā)了天翼云數據庫生命周期管理平臺(DCP),構建了一個跨云的多平臺的數據庫全生命周期管理能力,確保了服務的一致性和高效性,極大地降低了技術復雜度,提升了團隊研發(fā)效率,為客戶提供了更加靈活、可靠的服務體驗。

三、商業(yè)化路徑的探索

在商業(yè)化進程中,我們深刻感受到“酒香也怕巷子深”的道理。盡管TeleDB已在運營商、政務等領域深耕多年,但如何進一步擴大市場影響力,服務更廣泛的客戶群體,成為我們面臨的新挑戰(zhàn)。

因此,我們加大產品宣傳力度,通過多渠道講述TeleDB的產品故事,提升品牌知名度與行業(yè)影響力。同時,持續(xù)優(yōu)化產品功能,確保TeleDB在激烈的市場競爭中保持領先地位。

綜上所述,天翼云數據庫的投入是堅決而巨大的,我們團隊里面既有電信領域的資深專家,也有來自行業(yè)的新鮮血液。天翼云TeleDB在技術創(chuàng)新、平臺適應性和商業(yè)化探索方面均取得了顯著成就。

ITPUB:本次演講您將揭秘TeleDB的最新突破,能否提前透露一兩項技術創(chuàng)新點?這些創(chuàng)新將如何改變數據庫行業(yè)的格局或提升用戶體驗?

李躍森: 天翼云TeleDB持續(xù)深耕數據庫核心技術,自主創(chuàng)新能力顯著,并已廣泛部署于集團內部的核心系統(tǒng),有效應對了海量數據挑戰(zhàn)。以某省級電信公司為例,其月數據處理量超1000億條,規(guī)??氨戎行豌y行及大型互聯(lián)網APP。面對如此規(guī)模的數據和并發(fā)需求,TeleDB首要任務是解決海量并發(fā)場景下的技術難題。下面,我將通過幾個關鍵技術突破,分享TeleDB的應對策略。

1、TeleDB RDA:解決重分布場景的進程數暴增

TeleDB引入了革命性的遠程數據訪問技術RDA(Remote Data Access),專為解決分布式關聯(lián)查詢中資源占用過高問題而設計。在典型的匯聚庫場景中,本質是一個HTTP負載的系統(tǒng),里面混合了70%的OLTP與30%的OLAP負載,處理復雜的關聯(lián)查詢成為一大挑戰(zhàn)。

傳統(tǒng)解決辦法是通過疊加進程和資源的方式,來實現多節(jié)點數據的并行計算,但效率低下,資源消耗巨大。引入了RDA技術之后,通過高效的網絡與計算資源復用,可以顯著降低資源占用,將連接數從萬級降至百級,極大提升了系統(tǒng)可靠性和穩(wěn)定性。

2、TeleDB DDS:實時分布式死鎖處理

死鎖檢測是數據庫核心能力的關鍵一環(huán),檢測的效率和資源占用直接影響業(yè)務穩(wěn)定性。尤其在一些核心系統(tǒng)里,死鎖檢測對于系統(tǒng)的平穩(wěn)運行起到至關重要的作用。在分布式系統(tǒng)中,事務跨節(jié)點運行涉及多個節(jié)點的協(xié)調運行,加劇了死鎖檢測的復雜性。傳統(tǒng)體外檢測方式不僅資源占用高,且檢測周期長、效率低。

為此,TeleDB開發(fā)了死鎖檢測算法DDS(Distribute Dependency Spread),實現了實時死鎖檢測與快速解鎖。DDS能在集群運行態(tài)下秒級響應,檢測效率與資源利用率均大幅提升,CPU占用率降至傳統(tǒng)方法的四分之一,為分布式事務處理帶來了革命性變化。

3、TeleDB Global Cache:最大化內存資源利用率

針對高負載系統(tǒng),TeleDB引入了全局緩存技術,對執(zhí)行計劃緩存和元數據緩存實施統(tǒng)一管理。在大型系統(tǒng)中,單個節(jié)點緩存可達50GB以上,占用大量內存資源。通過全局緩存優(yōu)化,系統(tǒng)整體內存使用率降低了53%,不僅提升了系統(tǒng)的利用率,還顯著增強了穩(wěn)定性。

當然,上述三個技術僅是TeleDB在數據庫自主研發(fā)領域眾多研發(fā)技術中的一部分。我們致力于通過持續(xù)的技術創(chuàng)新,推動國產數據庫的國產化和自主可控進程,期待與業(yè)界同仁攜手共進,共創(chuàng)輝煌。

ITPUB:在追求最新技術的同時,TeleDB在性能優(yōu)化和穩(wěn)定性保障方面有哪些具體措施和成果?能否舉例說明這些改進在實際應用中的效果?

魏興國: 在數據庫領域,性能與穩(wěn)定性是奠定卓越服務基石的關鍵要素。TeleDB在這兩方面展現出了卓越的實力,通過一系列精心設計的策略與措施,確保了產品的行業(yè)領先地位。

性能方面,TeleDB產品通過了中國信息通信研究院(信通院)的可信數據庫系列測試,特別是在分布式事務型數據庫的基礎性能上,其各項指標均處于行業(yè)內的優(yōu)秀水平。這一成就不僅彰顯了TeleDB在處理復雜業(yè)務場景時的高效能力,也進一步鞏固了其在市場中的競爭力。

穩(wěn)定性方面,TeleDB通過了工信部電子一所的嚴苛測試,涵蓋穩(wěn)定運行、故障切換、容災能力、容錯性等多個維度,覆蓋了數十個相關用例及數百個考察點。值得一提的是,TeleDB在極高TPC壓力環(huán)境下連續(xù)穩(wěn)定運行超過七天,全程無異常發(fā)生。

在實際應用中,TeleDB在中國電信全網系統(tǒng)的廣泛應用,是其實力與價值的最 佳體現。通過持續(xù)的迭代優(yōu)化,TeleDB助力中國電信核心IT系統(tǒng)實現了全面上云,不僅承載了核心系統(tǒng)業(yè)務,還廣泛應用于超過3000個應用系統(tǒng),累計服務用戶超七億,承載的收入超過4000億元。

此外,TeleDB的應用還帶來了顯著的經濟效益,綜合成本降低了30%,效率最高提升了十倍,實現了降本增效的顯著成果。

綜上所述,TeleDB通過全方位的性能優(yōu)化與穩(wěn)定性保障措施,為用戶提供了高效、安全、可靠的數據庫服務。其卓越的性能表現與長期穩(wěn)定的運行能力,贏得了市場的廣泛認可與高度評價。

ITPUB:隨著國家對信息技術應用創(chuàng)新的重視,天翼云TeleDB在國產化能力建設方面有哪些具體布局和成果?這對于保障國家信息安全有何重要意義?

葉小朋: 歷經十年磨煉,天翼云自研TeleDB數據庫沉淀了種類齊全的系列產品,形成了一個安全可靠、極致彈性、金融級高可用、AP/TP混合負載四大核心能力,沉淀了上云、用云、管云等一站式國產化數據庫替代的解決方案。

在“上云”與“管云”方面,我們推出了數據庫全生命周期管理服務DCP、數據傳輸服務DTS及數據庫管理服務DMS,徹底消除了客戶在上云與管云資源過程中的煩惱。

而在“用云”方面,我們則推出了企業(yè)級集中式與分布式關系型數據庫,完美兼容MySQL與PostgreSQL等主流開源協(xié)議,同時推出原生分析型數據庫,輕松應對海量數據的復雜關聯(lián)查詢挑戰(zhàn)。

整體而言,TeleDB已具備全面替代大型商用數據庫軟件的能力,且在國產化適配方面走在了行業(yè)前列。我們廣泛兼容國產熱門芯片、操作系統(tǒng)及中間件,構建了從底層到上層的全棧國產化解決方案。

鑒于數據安全在國家信息安全中的核心地位,TeleDB憑借其全站國產化適配能力,率先助力中國電信等關鍵領域實現核心IT系統(tǒng)數據庫的國產化替代,并廣泛賦能各行各業(yè),提供既經濟高效又保障數據安全的國產化替代方案。

此舉不僅有效降低了對國外數據庫的依賴,減少了供應鏈中斷風險,還確保了數據在本土的存儲與處理,有力維護了國家數據主權,降低了數據泄露的風險。

ITPUB:生態(tài)層面,天翼云TeleDB如何與上下游產業(yè)鏈伙伴合作,共同構建完善的國產化生態(tài)體系?

葉小朋: 在生態(tài)層面,TeleDB正積極引領并深化國產化生態(tài)體系的全方位建設,具體體現在四大核心策略上:國產化與生態(tài)適配、開源合作與社區(qū)共建、人才培養(yǎng)與交流深化,以及技術創(chuàng)新與前沿突破。

一、國產化與生態(tài)適配

天翼云創(chuàng)立了聯(lián)合創(chuàng)新實驗室,旨在促進國產芯片、操作系統(tǒng)、中間件及應用廠商等全產業(yè)鏈伙伴的深度融合。通過高效適配工作,已實現與超過300家廠商的互認證適配,不僅榮獲了上海軟協(xié)信創(chuàng)工委會的信創(chuàng)產品權威認證,更有兩款明星產品入選國家信創(chuàng)圖譜,彰顯了TeleDB在國產化生態(tài)中的堅實地位。

二、開源合作與社區(qū)繁榮

TeleDB積極擁抱開源文化,與PostgreSQL(PG)、OpenTenBase、TiDB等開源社區(qū)緊密合作,共享技術成果,共同推動數據庫技術的創(chuàng)新發(fā)展。近期,我們榮獲了PG社區(qū)頒發(fā)的“數據庫最 佳產品獎”,并順利通過了中國信通院關于分布式事務型數據庫的嚴格測試,包括基礎測試能力與性能測試的雙項認證。

此外,天翼云還榮幸地成為數據庫應用創(chuàng)新實驗室金融行業(yè)工作組的首批共建單位,進一步拓寬了技術合作與交流的邊界。

三、人才培養(yǎng)與知識交流

為構建可持續(xù)發(fā)展的技術生態(tài),天翼云建立了系統(tǒng)化的人才培養(yǎng)體系,為合作伙伴及行業(yè)內外人士提供專業(yè)培訓與技術支持。截至目前,已為數據庫運維與開發(fā)領域的專業(yè)人才頒發(fā)了涵蓋天翼云數據庫及TeleDB數據庫的系列認證證書,覆蓋4家服務商與200位工程師,遍布全國31個省市,有效提升了區(qū)域化運維交付能力。

四、技術創(chuàng)新與前沿突破

TeleDB持續(xù)加速關鍵技術自主攻關,在自研數據庫領域實現了包括云原生架構、分布式事務處理、AP/TP混合負載在內的多項技術飛躍。這些成就不僅斬獲了國內外多項權威認證,還累計獲得了151項核心技術專利,彰顯了TeleDB在技術創(chuàng)新方面的強勁實力與前瞻視野。

ITPUB:展望未來,天翼云對于TeleDB及整個自研數據庫產品線有哪些長遠的發(fā)展規(guī)劃?

葉小朋: 過去一年中,人工智能技術與相關產業(yè)呈現井噴式發(fā)展。面向未來,天翼云TeleDB數據庫的技術與產品將緊密圍繞三大趨勢進行演進:融合化、云原生、智能化。

一、融合化

走向融合,主要指的是建設單機分布式一體化,打造AP/TP級向量搜索的超融合解決方案,為用戶提供一站式、無縫切換的數據庫體驗。

二、云原生

在云原生領域,TeleDB將持續(xù)深化Service Mesh無服務化架構的應用,實現計算與內存資源的按需、無縫擴縮容。用戶可根據實際業(yè)務負載,輕松啟動、關閉或動態(tài)調整資源,享受前所未有的靈活性與便捷性。

三、智能化

面向AI時代,TeleDB將構建多引擎的數據庫自動駕駛平臺,利用先進的AI技術賦能數據庫運維與管理,開啟數據庫智能時代的新質生產力。它將作為PaaS基礎設施的關鍵組成部分,不僅提供強大的向量搜索引擎支持,還深度融入AI產業(yè)鏈,推動AI技術的廣泛應用與普及。

ITPUB:您怎樣看待DTCC大會?對于DTCC您有哪些想說的?

葉小朋: 首先,感謝DTCC為數據庫技術從業(yè)者搭建了一個高質量的交流平臺,促進了知識的深度分享與技術的廣泛傳播。去年,我有幸以演講嘉賓及觀眾的雙重身份全程參與了DTCC大會,不僅分享了天翼云作為云服務國家隊在數據庫領域的探索成果與突破性進展,還深入學習了眾多數據庫領域大咖的前沿技術分享,收獲頗豐。

其次,我衷心希望DTCC能夠持續(xù)聚焦并大力支持國產數據庫的發(fā)展,不斷將這一平臺做大做強,成為連接國產數據庫廠商、上下游產業(yè)鏈伙伴及廣大技術愛好者的堅實橋梁。

最后,我想借助DTCC平臺,向所有關注和支持DTCC技術大會的同仁們說一句:天翼云TeleDB正處于高速發(fā)展中,未來將不斷加速關鍵核心技術攻關,持續(xù)深耕數據庫領域,致力于以業(yè)界領先的數據庫產品及解決方案,為企業(yè)上云、用數賦智提供強有力的支撐。同時,我們也熱切期待行業(yè)內的優(yōu)秀人才的加盟,與天翼云攜手并進、科技報國、共鑄國云。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關文章

熱門排行

信息推薦