1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 大數(shù)據(jù)
  4. 正文

易觀發(fā)布新一代IOTA架構(gòu)去ETL化 引領(lǐng)大數(shù)據(jù)3.0時(shí)代

 2018-04-27 12:14  來(lái)源:互聯(lián)網(wǎng)  我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

大數(shù)據(jù)浪潮推動(dòng)科技發(fā)展,從大數(shù)據(jù)1.0的BI/Datawarehouse時(shí)代,經(jīng)歷過(guò)大數(shù)據(jù)2.0的Web/APP時(shí)代,屬于IOT的大數(shù)據(jù)3.0時(shí)代已然來(lái)臨。近日,Analysys易觀發(fā)布IOTA整體技術(shù)架構(gòu),為企業(yè)進(jìn)行數(shù)字用戶分析和營(yíng)銷貢獻(xiàn)了新工具。

早期大數(shù)據(jù)平臺(tái)利用Lambda數(shù)據(jù)架構(gòu),將收集來(lái)的數(shù)據(jù)在流式計(jì)算平臺(tái)和批量數(shù)據(jù)處理離線平臺(tái)進(jìn)行計(jì)算,主要解決實(shí)時(shí)數(shù)據(jù)處理需求和批量離線處理需求。穩(wěn)定性高、成本可控且便于晚間閑時(shí)錯(cuò)峰計(jì)算的Lambda架構(gòu)支撐了起步時(shí)期的數(shù)據(jù)行業(yè),但由于實(shí)時(shí)與批量計(jì)算結(jié)果不一致引起的數(shù)據(jù)口徑問(wèn)題、ETL批量計(jì)算在計(jì)算窗口內(nèi)無(wú)法完成、數(shù)據(jù)源變化后修改開(kāi)發(fā)周期長(zhǎng)、服務(wù)器存儲(chǔ)大等缺陷,后期的Lambda數(shù)據(jù)架構(gòu)越來(lái)越無(wú)法適應(yīng)飛速擴(kuò)增的數(shù)據(jù)處理需求。

Lambda典型架構(gòu)

在Lambda之后,Kappa架構(gòu)成為主流,核心思想是通過(guò)改進(jìn)流計(jì)算系統(tǒng)來(lái)解決數(shù)據(jù)全量處理的問(wèn)題,使得實(shí)時(shí)計(jì)算和批處理過(guò)程使用同一套代碼,并且只有在必要的時(shí)候才會(huì)對(duì)歷史數(shù)據(jù)進(jìn)行重復(fù)計(jì)算。雖然比起Lambda,Kappa結(jié)構(gòu)能夠?qū)?shí)時(shí)和離線代碼統(tǒng)一起來(lái),既方便維護(hù)又解決了數(shù)據(jù)口徑不一致問(wèn)題,但其缺點(diǎn)也很明顯:流式處理對(duì)于歷史數(shù)據(jù)的高吞吐量力不從心,開(kāi)發(fā)周期長(zhǎng),服務(wù)器成本浪費(fèi)嚴(yán)重。

而在IOT大潮下,智能手機(jī)、PC、智能硬件設(shè)備的計(jì)算能力越來(lái)越強(qiáng),而業(yè)務(wù)需求要求數(shù)據(jù)實(shí)時(shí)響應(yīng)需求能力也越來(lái)越強(qiáng),過(guò)去傳統(tǒng)的中心化、非實(shí)時(shí)化數(shù)據(jù)處理的思路已經(jīng)不適應(yīng)現(xiàn)在的大數(shù)據(jù)分析需求,Analysys易觀提出新一代的大數(shù)據(jù)IOTA架構(gòu)來(lái)解決上述問(wèn)題,整體思路是設(shè)定標(biāo)準(zhǔn)數(shù)據(jù)模型,通過(guò)邊緣計(jì)算技術(shù)把所有的計(jì)算過(guò)程分散在數(shù)據(jù)產(chǎn)生、“去ETL化”、計(jì)算和查詢過(guò)程當(dāng)中,以統(tǒng)一的數(shù)據(jù)模型貫穿始終,從而提高整體的預(yù)算效率,同時(shí)滿足即時(shí)計(jì)算的需要,可以使用各種Ad-hoc Query來(lái)查詢底層數(shù)據(jù):

凝聚了Analysys易觀團(tuán)隊(duì)多年心血的IOTA架構(gòu),解決了傳統(tǒng)技術(shù)中ETL和相關(guān)開(kāi)發(fā)的痛點(diǎn),提高了整體數(shù)據(jù)分析效率;Ad-hoc即時(shí)查詢功能使用戶無(wú)需多等就能直接查詢到前幾秒發(fā)生的事件;邊緣計(jì)算技術(shù)解除了中央端集中處理的限制,將計(jì)算過(guò)程分散到數(shù)據(jù)產(chǎn)生、存儲(chǔ)和查詢端,同時(shí)確??蛻舳藗魉蛿?shù)據(jù)時(shí)能馬上進(jìn)行反饋。

為了驗(yàn)證IOTA架構(gòu),Analysys易觀也自主設(shè)計(jì)并實(shí)現(xiàn)了“秒算”引擎,目前支持易觀內(nèi)部月活5.5億設(shè)備端同時(shí)進(jìn)行計(jì)算。此外基于“秒算”引擎,Analysys易觀研發(fā)出了可以獨(dú)立部署在企業(yè)客戶內(nèi)、進(jìn)行數(shù)字用戶分析和營(yíng)銷的“易觀方舟”精細(xì)化運(yùn)營(yíng)產(chǎn)品。

Analysys易觀認(rèn)為,在大數(shù)據(jù)3.0時(shí)代,Lambda大數(shù)據(jù)架構(gòu)已經(jīng)無(wú)法滿足企業(yè)用戶日常大數(shù)據(jù)分析和精益運(yùn)營(yíng)的需要,去ETL化的IOTA大數(shù)據(jù)架構(gòu)才是未來(lái)。Lambda大數(shù)據(jù)架構(gòu)為大數(shù)據(jù)分析行業(yè)提供了創(chuàng)新思維和技術(shù)基礎(chǔ),Analysys易觀以此為基礎(chǔ),將繼續(xù)致力于互聯(lián)網(wǎng)企業(yè)的用戶與產(chǎn)品運(yùn)營(yíng)。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
大數(shù)據(jù)應(yīng)用

相關(guān)文章

編輯推薦