大數(shù)據(jù)分析手段的廣泛應(yīng)用,助推數(shù)據(jù)快速增長,存儲形態(tài)相繼經(jīng)歷了從傳統(tǒng)存儲到大數(shù)據(jù)存儲1.0再到大數(shù)據(jù)存儲2.0的變遷,以應(yīng)對海量數(shù)據(jù)的挑戰(zhàn)。1.0時代解決了海量存儲的問題,通過分布式架構(gòu)和軟件定義,讓數(shù)據(jù)能夠存得下。2.0時代解決了便捷管理的問題,通過多協(xié)議訪問、生命周期管理、異構(gòu)存儲管理、混合云管理,讓企業(yè)管好數(shù)據(jù)。
存儲引擎 + 智能引擎:更強大的MOS對象存儲
企業(yè)耗費資本存儲數(shù)據(jù),最終是為了利用數(shù)據(jù)價值創(chuàng)造經(jīng)濟效益。存儲倘若仍是一個“傻盒子”,只能存儲卻不能感知數(shù)據(jù),是無法滿足企業(yè)真正需要的。企業(yè)對數(shù)據(jù)價值利用的強烈訴求,驅(qū)動大數(shù)據(jù)存儲步入3.0時代。這要求存儲足夠智能,可基于數(shù)據(jù)感知實現(xiàn)數(shù)據(jù)處理和智能調(diào)度,基于應(yīng)用感知實現(xiàn)訪問加速,通過存儲自身的智能運維減少人力依賴。如此,才能幫助企業(yè)用好數(shù)據(jù),以智能存儲為數(shù)字底座,構(gòu)建面向未來的IT基礎(chǔ)架構(gòu)。而杉巖MOS海量對象存儲的智能數(shù)據(jù)處理引擎,正是承載了這一使命。
圖1.海量數(shù)據(jù)增長催生存儲形態(tài)變遷
從杉巖的產(chǎn)品戰(zhàn)略來看,海量存儲核心引擎和智能數(shù)據(jù)處理引擎,支撐起了更為強大的MOS對象存儲。前者依托分布式架構(gòu)、多樣化管理策略以及全面的企業(yè)級特性,滿足企業(yè)存儲和管理海量數(shù)據(jù)的需求;后者依托開放式平臺和強大的數(shù)據(jù)處理能力,并基于數(shù)據(jù)感知實現(xiàn)智能調(diào)度,滿足智能處理數(shù)據(jù)、挖掘數(shù)據(jù)價值的需求。雙引擎驅(qū)動,讓MOS對象存儲集海量數(shù)據(jù)存儲、管理、價值挖掘于一體,無疑是企業(yè)應(yīng)對大數(shù)據(jù)挑戰(zhàn)的極佳選擇。
圖2:MOS雙引擎驅(qū)動智能應(yīng)用
智能數(shù)據(jù)處理引擎:加速智能應(yīng)用,釋放數(shù)據(jù)價值
數(shù)字化浪潮來襲,大數(shù)據(jù)、人工智能的發(fā)展超出預期,在各行業(yè)的落地應(yīng)用也逐漸鋪開,企業(yè)利用AI挖掘數(shù)據(jù)價值的需求是不言而喻的。在傳統(tǒng)模式下,對數(shù)據(jù)庫文件等結(jié)構(gòu)化數(shù)據(jù)進行價值挖掘相對容易,但是對于圖像、影音等非結(jié)構(gòu)化數(shù)據(jù)的價值挖掘是比較困難的。
MOS的智能數(shù)據(jù)處理引擎,正是為此而生。通過對非結(jié)構(gòu)化數(shù)據(jù)的多維度標簽化和結(jié)構(gòu)化處理,讓有價值的數(shù)據(jù)更容易被發(fā)現(xiàn),實現(xiàn)更高效的價值挖掘。有了智能數(shù)據(jù)處理引擎,數(shù)據(jù)處理能力下沉到存儲內(nèi)部,通過與海量存儲核心引擎高效聯(lián)動,并基于數(shù)據(jù)感知實現(xiàn)智能調(diào)度,極大地簡化業(yè)務(wù)流程,提升業(yè)務(wù)效率。
圖3.智能數(shù)據(jù)處理引擎工作流程
目前,智能數(shù)據(jù)處理引擎幫助許多行業(yè)客戶實現(xiàn)了數(shù)據(jù)的高效價值挖掘,提升收益。
智能管理10億文件,幫助廣發(fā)證券打造內(nèi)容管理平臺
廣發(fā)證券原來的檔案管理往往需要業(yè)務(wù)員人眼篩查,耗時長、易出錯,檔案查詢不夠精準。采用智能數(shù)據(jù)處理引擎后,當客戶電子檔案存入時,通過身份證識別插件,將客戶的姓名、出生年月、身份證號等信息提取出來并打上標簽,后續(xù)營業(yè)廳工作人員可直接通過檔案檢索界面,根據(jù)標簽信息進行檔案的精細化檢索,也可以自定義檢索模板,方便高效。此外,為滿足合規(guī)要求,需將合同文件(Word文檔)轉(zhuǎn)為PDF文檔并添加水印后再存檔。該項目中對相關(guān)文件設(shè)定生命周期策略,自動調(diào)用智能數(shù)據(jù)處理引擎的文檔格式轉(zhuǎn)換(Word轉(zhuǎn)PDF)和添加水印功能,處理后的文件自動轉(zhuǎn)存至目標桶,整個過程基于生命周期策略自動觸發(fā),無需人工介入,極大提升了業(yè)務(wù)效率。
圖4.智能數(shù)據(jù)處理引擎對證件照片和文檔的加工處理
智能存儲助力質(zhì)檢效率提升,幫助UTAC節(jié)省20%存儲空間
UTAC是全球十大芯片封測廠商之一。在其芯片封測產(chǎn)線上,通過工業(yè)攝像機拍攝芯片的高清圖像(BMP格式,單張30MB以上)進行智能質(zhì)檢,每天數(shù)據(jù)增量80TB,每月文件增量1.3億個,存儲3-4個月,預計需要PB級存儲空間。進一步交流得知,部分圖片僅前三天需要高清格式,以便于人工復核,三天之后僅作歸檔和檢索,或者直接刪除。利用智能數(shù)據(jù)處理引擎將BMP圖片轉(zhuǎn)為JPG圖片(單張10MB以內(nèi)),并基于圖片標簽實現(xiàn)生命周期自動化管理(如圖片到期自動刪除,轉(zhuǎn)碼后歸檔到冷池)。該方案幫助用戶節(jié)省20%存儲空間,且數(shù)據(jù)處理效率相比傳統(tǒng)方案提升了30%,總體成本降低了60%以上。
圖5.智能數(shù)據(jù)處理引擎對圖像文件的自動化處理
智能數(shù)據(jù)處理引擎在機器學習場景的應(yīng)用
機器學習場景下,訓練素材以圖片為主。如果原始素材是視頻文件,可以通過MOS智能數(shù)據(jù)處理引擎,在存儲內(nèi)部對視頻進行抽幀,抽幀后產(chǎn)生的圖片用于訓練推理。如果有特殊需要,可以對抽幀圖片進行二次處理或自定義標簽,再用于推理訓練,顯著提升訓練效率。
開放生態(tài),打造強大的智能處理平臺
杉巖MOS智能數(shù)據(jù)處理引擎就像應(yīng)用市場一樣,是一個開放式平臺,可以集成豐富的第三方插件,比如合合信息的身份證識別、票據(jù)識別等插件,微模式公司的人臉識別、車輛識別等插件,用戶可以按需添加插件,擴展數(shù)據(jù)處理能力。
目前,MOS智能數(shù)據(jù)處理引擎支持圖片轉(zhuǎn)碼、圖片裁剪、添加水印、身份證識別、人臉識別、車牌識別、票據(jù)識別、文檔識別、語音識別、內(nèi)容提取、文件格式轉(zhuǎn)換等20余項處理功能,為用戶提供更強大的智能處理平臺,滿足不同場景的數(shù)據(jù)處理需求。
智能數(shù)據(jù)處理引擎的使用有多簡單?請戳視頻,一睹為快
智能數(shù)據(jù)處理引擎是杉巖數(shù)據(jù)面對大數(shù)據(jù)存儲發(fā)展趨勢的應(yīng)對方案,在海量存儲和便捷管理的基礎(chǔ)上,讓存儲“理解”數(shù)據(jù),基于數(shù)據(jù)感知實現(xiàn)數(shù)據(jù)預處理和智能調(diào)度,簡化業(yè)務(wù)流程;基于應(yīng)用感知實現(xiàn)訪問加速,快速響應(yīng)業(yè)務(wù)需求;依托智能運維減少人力依賴,打造更強大的智能數(shù)字底座,構(gòu)建面向未來的智能IT基礎(chǔ)架構(gòu)。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
日前,北京佳格天地科技有限公司與農(nóng)業(yè)農(nóng)村部大數(shù)據(jù)發(fā)展中心簽訂聯(lián)合實驗室協(xié)議。雙方將充分利用遙感、AI等技術(shù),以及人才隊伍、技術(shù)產(chǎn)品等優(yōu)質(zhì)資源,開展農(nóng)業(yè)農(nóng)村領(lǐng)域相關(guān)基礎(chǔ)模型、作物農(nóng)情遙感監(jiān)測產(chǎn)品及農(nóng)業(yè)氣象服務(wù)等方面的合作研究。
日前,2022世界數(shù)字農(nóng)業(yè)大會舉行。大會以“種鑄強芯,數(shù)領(lǐng)未來”為主題,開設(shè)多場數(shù)字農(nóng)業(yè)云端專題論壇,北京佳格天地科技有限公司受邀出席”農(nóng)業(yè)農(nóng)村大數(shù)據(jù)應(yīng)用論壇“,同與會嘉賓分享了農(nóng)業(yè)大數(shù)據(jù)的創(chuàng)新應(yīng)用。
毫無疑問,隨著以Kubernetes為代表的云原生技術(shù)得到廣泛應(yīng)用和普及,云原生數(shù)據(jù)量和重要性不斷提高,使得企業(yè)對云原生數(shù)據(jù)庫服務(wù)的需求日漸增長。
近期,由中國工業(yè)設(shè)計協(xié)會、中國技術(shù)交易所雙重指導,UXPA中國主辦的2022年第六屆GXA好體驗獎評選結(jié)果揭曉,元年科技憑借元年數(shù)據(jù)智能管理平臺榮獲“最佳企業(yè)賦能獎”,該獎項旨在挖掘當代杰出用戶體驗作品,表彰利用創(chuàng)新思維、堅持以用戶體驗為中心的企業(yè),填補了國內(nèi)專業(yè)級別用戶體驗社會化獎項的空白。
近日,秦淮數(shù)據(jù)集團位于馬來西亞柔佛州的秦淮數(shù)據(jù)馬來柔佛超大規(guī)模數(shù)據(jù)中心(以下簡稱“MY06”)一期盛大開園。從規(guī)劃、設(shè)計到建造,秦淮數(shù)據(jù)集團中國、新加坡、馬來西亞三地團隊緊密合作,共同完成馬來西亞最大的國際超大規(guī)模數(shù)據(jù)中心交付
把脈中國數(shù)據(jù)智能化
2023年,幾乎可以被定義為中國互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內(nèi)的大模型賽道,曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領(lǐng)袖們親自下場,接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了,沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時,大模型的快速發(fā)展也改變了云市場的現(xiàn)狀,企業(yè)對
近日,數(shù)字化市場研究咨詢機構(gòu)愛分析發(fā)布了《2022愛分析·數(shù)據(jù)智能廠商全景報告》,愛分析從技術(shù)研發(fā)能力、服務(wù)客戶數(shù)量、收入規(guī)模等維度對廠商進行了全面專業(yè)的評估
2022年11月18日,首個國家級大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟推進處處長張建倫,中國電子技術(shù)標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業(yè)和信息化局的指導下,以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題,由廈門市互聯(lián)網(wǎng)域名應(yīng)用服務(wù)產(chǎn)業(yè)協(xié)會和構(gòu)信網(wǎng)(公信.中國)聯(lián)合主辦
近日,國內(nèi)知名數(shù)字化市場研究咨詢機構(gòu)愛分析正式發(fā)布《2022愛分析·信創(chuàng)廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業(yè)關(guān)注度、行業(yè)落地進展等因素,遴選出在信創(chuàng)市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會執(zhí)委會主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會“實踐先行觀公共數(shù)據(jù)價值與應(yīng)用”活動成功舉辦。
近日,由中國國際數(shù)字經(jīng)濟博覽會組委會主辦,中國電子技術(shù)標準化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國大數(shù)據(jù)大賽”(簡稱大數(shù)據(jù)大賽)正式啟動。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺