如今,隨著數(shù)據(jù)量的快速增長、數(shù)據(jù)類型及來源不斷變化,越來越多的企業(yè)組織對于數(shù)據(jù)的采集、管理、應(yīng)用的訴求也越來越多樣化。在業(yè)務(wù)應(yīng)用要求數(shù)據(jù)更具實時性、移動性和安全性的同時,也使得傳統(tǒng)、單一、陳舊的數(shù)據(jù)管理方式在容量、性能需求瓶頸、信息孤島、一次性建設(shè)成本高等方面的弊端逐漸暴露出來。
青云科技(qingcloud.com,股票代碼:688316)存儲產(chǎn)品總監(jiān)馮相東表示,青云科技將場景和算力的變化視為推動存儲產(chǎn)業(yè)向前發(fā)展的兩個最主要因素。在不斷適配多元場景和算力的基礎(chǔ)上,青云科技還持續(xù)探索如何讓數(shù)據(jù)更好地流動起來。馮相東提到,海量數(shù)據(jù)的涌現(xiàn)使得越來越多的人意識到只是將數(shù)據(jù)簡單的存儲起來,并不能發(fā)揮數(shù)據(jù)的真正價值,只有讓數(shù)據(jù)流動起來,讓其完整地經(jīng)歷全生命周期的不同階段,才能充分挖掘數(shù)據(jù)的潛在價值,從而推動數(shù)字化業(yè)務(wù)的不斷變革。
“在數(shù)據(jù)流動的完整鏈條里,從最初的采集、處理到后面的歸檔、再利用、銷毀,都需要存儲與大數(shù)據(jù)技術(shù)、存儲與 AI 技術(shù)的融合創(chuàng)新,這能讓數(shù)據(jù)更高效地被捕獲、被索引、被分析和被加工,從而實現(xiàn)數(shù)據(jù)層面的點石成金。這也是青云科技一直努力研究的重要方向。”馮相東如此說道。
專業(yè)+自研 青云存儲不走尋常路
在數(shù)字經(jīng)濟時代,數(shù)據(jù)在經(jīng)濟活動中的作用變得越來越重要,不僅能夠幫助人們更好地組織和規(guī)劃生產(chǎn)經(jīng)營,更能有效地進行判斷和預(yù)測。在這種背景下,數(shù)據(jù)毋庸置疑的就成為了新的生產(chǎn)要素。
既然數(shù)據(jù)是一種重要的生產(chǎn)要素,那么讓其得到更為有效的配置和利用,就成為企業(yè)在激烈的市場競爭中形成核心競爭力的關(guān)鍵所在。“無論是從宏觀的國家政策和市場層面,還是具體到科技企業(yè)本身,都在積極擁抱數(shù)字化,加快推動數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化進程。身處其中,青云存儲通過專業(yè)和自研的產(chǎn)品創(chuàng)新,能夠幫助企業(yè)更好地管理和洞察數(shù)據(jù),從而推動企業(yè)業(yè)務(wù)轉(zhuǎn)型。”馮相東如是說。
目前,青云科技經(jīng)過存儲產(chǎn)品的迭代和演進,QingStor 產(chǎn)品線主要有兩款核心產(chǎn)品構(gòu)成:一是 QingStorNeonSAN,二是 QingStor U10000。QingStorNeonSAN,主要面向的是云盤、數(shù)據(jù)庫,以及虛擬化存儲資源池等結(jié)構(gòu)化數(shù)據(jù)場景的應(yīng)用。相比NeonSAN,U10000 通過提供對象、文件、大數(shù)據(jù)接口,以及不同協(xié)議之間數(shù)據(jù)無損訪問互通等技術(shù)支持,能夠在影像、音視頻、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網(wǎng)等眾多非結(jié)構(gòu)化數(shù)據(jù)場景中,幫助客戶更高效地實現(xiàn)海量數(shù)據(jù)的價值挖掘。
馮相東表示,青云存儲主要是通過這兩款獨立的產(chǎn)品、獨立的軟件架構(gòu)分別支撐兩大類場景。QingStorNeonSAN面向的是結(jié)構(gòu)化數(shù)據(jù)的高性能業(yè)務(wù)場景需求,而QingStor U10000是面向非結(jié)構(gòu)化海量數(shù)據(jù)存取和利用的業(yè)務(wù)場景需求。“兩款產(chǎn)品有各自面向的專業(yè)場景,有各自專業(yè)的分工,青云希望通過專業(yè)的存儲分工能更好地服務(wù)專業(yè)的場景。因為從專業(yè)技術(shù)的視角來看,存儲架構(gòu)是沒有銀彈的,沒有哪一種架構(gòu)能同時做到既能滿足極致的性能設(shè)計要求,也能滿足海量數(shù)據(jù)吞吐、計算、并發(fā)利用的需求。”馮相東進一步解釋道。
在專業(yè)存儲服務(wù)專業(yè)場景的同時,青云科技還致力于打造真正自研的中國存儲。從產(chǎn)品上來看,QingStorNeonSAN 和 QingStor U10000 都是自主設(shè)計,沒有繼承任何開源架構(gòu),因此不存在任何知識產(chǎn)權(quán)風(fēng)險。馮相東表示,青云存儲堅持自研,一方面來自于青云科技對技術(shù)的追求。因為經(jīng)過嚴(yán)謹(jǐn)?shù)募夹g(shù)評測,青云科技認(rèn)為沒有一款開源存儲方案,能夠滿足通用大規(guī)模云計算平臺的需求。另一方面青云科技作為中國云計算公司,希望通過自身努力消除企業(yè)對數(shù)據(jù)安全的顧慮,以真正自研的中國存儲服務(wù)于數(shù)字中國建設(shè)。
存、算、管三位一體 非結(jié)構(gòu)化數(shù)據(jù)存儲的必備能力
時至今日,非結(jié)構(gòu)化數(shù)據(jù)在各行各業(yè)中占比越來越多。例如,醫(yī)療行業(yè)的影像資料、教育行業(yè)的教學(xué)教研文檔、傳媒行業(yè)的音視頻素材、公安執(zhí)法的視頻存檔等。IDC預(yù)測,到2025年,全球的數(shù)據(jù)總量將達到175ZB,而80%的數(shù)據(jù)都將是非結(jié)構(gòu)化的。
隨著數(shù)據(jù)的巨量增長,非結(jié)構(gòu)化數(shù)據(jù)需要應(yīng)用于自動駕駛、基因測試、生命科學(xué)、人工智能等現(xiàn)代化應(yīng)用中,這需要非結(jié)構(gòu)化的數(shù)據(jù)存儲產(chǎn)品應(yīng)該具備哪些特征,以滿足不同的應(yīng)用需求?對此,馮相東表示,在這些場景下,存儲需要具備存、算、管三方面的能力。不僅如此,這其中還要求存儲產(chǎn)品支持多場景的數(shù)據(jù)流通、多種應(yīng)用實現(xiàn)無縫對接,以及復(fù)雜存儲架構(gòu)的承載能力。
由此來看,QingStor U10000能夠滿足客戶對于非結(jié)構(gòu)化數(shù)據(jù)存儲產(chǎn)品的所有想象。它的定位是面向海量非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲平臺,幫助客戶把數(shù)據(jù)存得穩(wěn)、算得快、管得好。具體來看,U10000繼承了原來青云對象存儲、文件存儲的所有能力,并且在多個維度上實現(xiàn)了產(chǎn)品的增強和迭代。因此,U10000不是一款全新的產(chǎn)品,而是青云科技存儲產(chǎn)品線在非結(jié)構(gòu)化數(shù)據(jù)產(chǎn)品上的一次全面升級。
“U10000主要面向私有云場景,產(chǎn)品的形態(tài)可以是軟硬一體機,也可以只購買U10000的軟件授權(quán)。如果涉及到云服務(wù),青云科技會在公有云上提供對象存儲服務(wù)和文件存儲服務(wù)。如果只采用 U10000產(chǎn)品,作為一款面向私有云領(lǐng)域推出的非結(jié)構(gòu)化數(shù)據(jù)存儲產(chǎn)品,它能夠全方位滿足客戶對于數(shù)據(jù)存儲、管理、應(yīng)用,以及安全防護等方面的需求。”馮相東說道。
四大核心能力 讓U10000實時就緒
U10000的核心架構(gòu)由接口層、存儲服務(wù)層、統(tǒng)一運維平臺三部分構(gòu)成 。在接口層,U10000 提供一系列供業(yè)務(wù)調(diào)用的存儲接口,包括標(biāo)準(zhǔn)的SMB接口、NFS接口。同時,還兼容標(biāo)準(zhǔn)的 POSIX 語義,并能自定義文件訪問的接口。此外,還提供標(biāo)準(zhǔn)的對象存儲 S3 和大數(shù)據(jù)訪問的 HDFS 接口;在存儲服務(wù)層,作為整個核心的存儲引擎,存儲服務(wù)層提供豐富的高級功能特性、多維度資源管理功能,以及核心機制,比如糾刪碼、多副本數(shù)據(jù)安全的機制等;統(tǒng)一運維管理平臺,為運維或者使用者提供友好的可視化管理界面,實現(xiàn)對存儲集群的各種配置、操作和監(jiān)控。
在核心架構(gòu)之下,U10000 具備支撐海量數(shù)據(jù)存儲的能力 :一是線性擴展。U10000的元數(shù)據(jù)和數(shù)據(jù)存儲服務(wù)都采用全分布式的架構(gòu),可以橫向擴展大規(guī)模數(shù)據(jù)存儲集群,并且在所有節(jié)點規(guī)模增長時均可以保證性能和容量的線性增長;二是EB 級集群/高得盤率。U10000 提供非常靈活的EC配比(即EC糾刪碼),用戶可以根據(jù)業(yè)務(wù)的實際情況選擇合適配比,U10000提供的最高EC配比可以保證整個集群物理磁盤的得盤率或者可用空間率達到90%以上;三是卓越性能。U10000 在保證線性擴展和高性價比EC集群的基礎(chǔ)上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。
具備多協(xié)議無損互通的能力 :一是統(tǒng)一索引架構(gòu),提供多種存儲能力。U10000在技術(shù)層面提供了統(tǒng)一的索引架構(gòu),并且基于統(tǒng)一的索引架構(gòu)提供多種層次的能力。例如,基于對象接口、NFS/SMB、HDFS等協(xié)議存進來的數(shù)據(jù),U10000都能通過統(tǒng)一的索引架構(gòu)提供元數(shù)據(jù)的管理能力;二是多協(xié)議存儲接口靈活選擇。U10000在文件、對象、HDFS等多種存儲形態(tài)和語義中,都提供了多種存儲接口,例如,POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種接口的支持,滿足常見應(yīng)用;三是協(xié)議互通讓數(shù)據(jù)分析更高效。每一個協(xié)議存進來或者寫入的數(shù)據(jù),都可以通過其他協(xié)議進行讀取,從而在完整的業(yè)務(wù)場景下滿足數(shù)據(jù)在多個環(huán)節(jié)中處理的需求,真正讓數(shù)據(jù)暢通的流動起來。
具備算力的無縫對接的能力 。U10000能夠提供一系列完善的API、SDK,可以輕松對接大數(shù)據(jù)平臺、數(shù)據(jù)處理的框架和服務(wù),實現(xiàn)數(shù)據(jù)和算力的高效結(jié)合,最終讓數(shù)據(jù)實現(xiàn)點石成金。
具備完善的數(shù)據(jù)安全機制 :一是元數(shù)據(jù)和存儲數(shù)據(jù)的分層設(shè)計。元數(shù)據(jù)方面,U10000采用在元數(shù)據(jù)副本之間做數(shù)據(jù)強一致性的處理,在數(shù)據(jù)層面提供了副本和多副本的策略,并且有自校驗機制和增量修復(fù)機制;二是多重訪問安全機制。多重數(shù)據(jù)訪問安全主要包括多租戶訪問隔離,包括基于用戶、資源、訪問行為或者訪問IP的安全訪問機制;三是智能預(yù)警機制?？梢灾С謱λ匈Y源做智能監(jiān)控,并對關(guān)鍵資源做出提前預(yù)警,比如硬盤、網(wǎng)卡、存儲節(jié)點等;四是運維監(jiān)控平臺。在運維監(jiān)控平臺里,U10000 可以提供資源管理、配置管理、告警、日志、監(jiān)控等一系列運維管理服務(wù)。
青云科技產(chǎn)品技術(shù)解決方案總監(jiān)張忠華表示,U10000 是以業(yè)務(wù)場景為驅(qū)動,依托將SDS平臺作為算力核心的設(shè)計思想進行全面升級的。從客戶的實際反饋來看,客戶越來越傾向于一個整體的方案,而不是組裝的方案。也就是說,客戶更關(guān)注的是整體算力平臺能帶來什么價值。其中,存儲是構(gòu)成算力的重要部分,因此,青云科技對軟件定義存儲的思考一定不是孤立的,而是會把核心聚焦在如何滿足算力對存儲需求這個維度上,讓存儲更好地為算力賦能。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
