當(dāng)前位置:首頁(yè) >  系統(tǒng) >  正文

搜狗搜索助力世界最快計(jì)算機(jī) 推出超算圖計(jì)算系統(tǒng)

 2018-04-03 11:34  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

2018年3月,搜狗搜索聯(lián)合清華大學(xué)計(jì)算機(jī)系、國(guó)家超級(jí)計(jì)算無(wú)錫中心、數(shù)學(xué)工程與先進(jìn)計(jì)算國(guó)家重點(diǎn)實(shí)驗(yàn)室、卡塔爾計(jì)算研究所、國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心等國(guó)家級(jí)科研單位,共同研發(fā)推出了世界上首個(gè)基于超級(jí)計(jì)算機(jī)的超大規(guī)模圖計(jì)算系統(tǒng)——神圖。神圖系統(tǒng)大幅提升了圖計(jì)算系統(tǒng)所能夠支持的最大數(shù)據(jù)量和計(jì)算復(fù)雜度,這標(biāo)志著超大規(guī)模圖數(shù)據(jù)的計(jì)算能力實(shí)現(xiàn)了巨大的飛躍,同時(shí),也為搜索領(lǐng)域的用戶體驗(yàn)開創(chuàng)了新的篇章。

神圖系統(tǒng)的運(yùn)行環(huán)境是神威·太湖之光國(guó)產(chǎn)超級(jí)計(jì)算機(jī),2016年6月至今,神威·太湖之光已連續(xù)4次獲得世界高性能計(jì)算機(jī)排行榜第一名,是目前世界上最快的計(jì)算機(jī)。基于神威·太湖之光超級(jí)計(jì)算機(jī)的先進(jìn)架構(gòu),神圖攻克了大規(guī)模圖計(jì)算系統(tǒng)面臨的多項(xiàng)核心技術(shù)難題,針對(duì)超級(jí)計(jì)算機(jī)的運(yùn)行特點(diǎn)進(jìn)行了深度優(yōu)化,充分挖掘了神威·太湖之光的超寬并行架構(gòu)的計(jì)算能力,將真實(shí)任務(wù)的應(yīng)用性能提升了兩個(gè)數(shù)量級(jí)。

搜狗搜索始終著力于對(duì)前沿技術(shù)成果的推動(dòng)、創(chuàng)新,致力于為用戶帶來(lái)便捷、豐富的個(gè)性化搜索體驗(yàn),滿足用戶的多元化搜索需求。搜狗搜索智能的用戶分析系統(tǒng)為神圖系統(tǒng)的研發(fā)提供了不可或缺的、全方位多角度的用戶實(shí)用場(chǎng)景。

過(guò)去,超級(jí)計(jì)算機(jī)主要用于科學(xué)與工程計(jì)算,還比較缺乏面向超大規(guī)模數(shù)據(jù)分析的非數(shù)值計(jì)算應(yīng)用。圖(Graph)能夠表達(dá)豐富關(guān)聯(lián)的關(guān)系,是搜索和人工智能領(lǐng)域中常用的數(shù)據(jù)結(jié)構(gòu)之一?;趫D的數(shù)據(jù)挖掘算法已經(jīng)廣泛應(yīng)用于搜索系統(tǒng)的網(wǎng)頁(yè)鏈接關(guān)系分析、文檔主題建模、用戶點(diǎn)擊行為分析、實(shí)體與關(guān)系挖掘、搜索意圖理解等任務(wù)中?;ヂ?lián)網(wǎng)應(yīng)用的數(shù)據(jù)規(guī)模和用戶使用頻度均在持續(xù)快速增長(zhǎng),這對(duì)圖計(jì)算系統(tǒng)的橫向擴(kuò)展能力提出了全新挑戰(zhàn)?,F(xiàn)有分布式圖計(jì)算系統(tǒng)普遍采用按點(diǎn)劃分或按邊劃分的分布計(jì)算模式,但由于互聯(lián)網(wǎng)環(huán)境下數(shù)據(jù)分布遵從冪律分布,頂點(diǎn)度數(shù)存在極大的不平衡性,兩種方式都面臨嚴(yán)重的性能問題。超級(jí)計(jì)算機(jī)先進(jìn)的體系架構(gòu)和超高的計(jì)算能力為超大規(guī)模圖計(jì)算任務(wù)既帶來(lái)了機(jī)遇,也提出了挑戰(zhàn)。

從2017年開始,搜狗搜索聯(lián)合清華大學(xué)計(jì)算機(jī)系等單位,共同研發(fā)了面向超大規(guī)模圖計(jì)算的神圖系統(tǒng)。研發(fā)團(tuán)隊(duì)通過(guò)深入分析神威·太湖之光的系統(tǒng)大容量的內(nèi)存、領(lǐng)先的通信能力、以及大容量且能快速訪問的外存系統(tǒng)的優(yōu)勢(shì),并同時(shí)充分結(jié)合超大規(guī)模圖算法的實(shí)際需要,創(chuàng)新性地提出分化的消息傳播技術(shù)、基于分組的消息分發(fā)技術(shù)、無(wú)鎖數(shù)據(jù)分發(fā)技術(shù)、基于內(nèi)存檢查點(diǎn)的高可用系統(tǒng)等多項(xiàng)新技術(shù),成功研發(fā)出可支持BFS/WCC/PageRank等核心圖計(jì)算算法的神圖系統(tǒng),計(jì)算規(guī)??梢詳U(kuò)展到神威·太湖之光全部4萬(wàn)個(gè)節(jié)點(diǎn)。在實(shí)際應(yīng)用中,神圖能夠充分利用上千萬(wàn)核的運(yùn)算能力和各節(jié)點(diǎn)之間通信網(wǎng)絡(luò),在12萬(wàn)億條邊的真實(shí)中文網(wǎng)頁(yè)圖上完成PageRank算法的一輪計(jì)算迭代僅需21秒,與文獻(xiàn)中報(bào)道的業(yè)界最先進(jìn)水平系統(tǒng)相比,(如微軟的GraM系統(tǒng)處理1.2萬(wàn)億條邊的合成圖每輪PageRank迭代需要140秒),所處理圖數(shù)據(jù)規(guī)模增加了一個(gè)數(shù)量級(jí),計(jì)算耗時(shí)反而縮短了一個(gè)數(shù)量級(jí),綜合性能提升超過(guò)百倍,實(shí)現(xiàn)了圖計(jì)算節(jié)點(diǎn)規(guī)模、圖數(shù)據(jù)規(guī)模以及運(yùn)行速度上的巨大突破。

神圖系統(tǒng)的研發(fā)成功,在擴(kuò)展了國(guó)產(chǎn)超級(jí)計(jì)算機(jī)在大數(shù)據(jù)分析領(lǐng)域的應(yīng)用能力的同時(shí),提供了更加迅捷的實(shí)驗(yàn)、優(yōu)化超大規(guī)模圖算法的運(yùn)算環(huán)境。神圖系統(tǒng)更加強(qiáng)大的計(jì)算能力給人工智能等相關(guān)領(lǐng)域提供了更廣闊的探索空間。

搜狗搜索研發(fā)團(tuán)隊(duì)已經(jīng)將神圖系統(tǒng)集成、滲透到搜索大數(shù)據(jù)平臺(tái)中,新系統(tǒng)將為搜狗搜索持續(xù)優(yōu)化提供強(qiáng)有力的技術(shù)支撐和系統(tǒng)保障,為用戶實(shí)現(xiàn)更精準(zhǔn)便捷的搜索體驗(yàn)。同時(shí),搜狗搜索作為人工智能領(lǐng)域的領(lǐng)跑者,將繼續(xù)致力于推進(jìn)國(guó)產(chǎn)超級(jí)計(jì)算機(jī)和國(guó)產(chǎn)處理器產(chǎn)業(yè),加速扭轉(zhuǎn)我國(guó)計(jì)算機(jī)領(lǐng)域核心技術(shù)和信息安全上受制于人的局面。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

  • 搜狗搜索推廣平臺(tái)下線

    搜狗搜索推廣平臺(tái)將于2023年2月28日正式停止服務(wù),搜狗搜索內(nèi)容生態(tài)推廣平臺(tái)、銀河推廣系統(tǒng)也一并停止??磥?lái),搜狗要逐漸退出歷史舞臺(tái)了。

    標(biāo)簽:
    搜狗搜索
  • 搜狗搜索App停止服務(wù)

    3個(gè)月之前,搜狗地圖正式下線。3個(gè)月之后,搜狗搜索App停服?,F(xiàn)在的搜狗除了輸入法能拿得上臺(tái)面,其他業(yè)務(wù)好像都沒什么聲音。搜狗發(fā)布公告:搜狗搜索獨(dú)立的App于8月8日下線了

    標(biāo)簽:
    搜狗搜索
  • 榮聯(lián)科技集團(tuán)中標(biāo)上海有機(jī)所冷凍電鏡大數(shù)據(jù)平臺(tái)項(xiàng)目

    近日,榮聯(lián)科技集團(tuán)成功中標(biāo)中國(guó)科學(xué)院上海有機(jī)化學(xué)研究所(簡(jiǎn)稱“上海有機(jī)所”)冷凍電鏡大數(shù)據(jù)平臺(tái)采購(gòu)項(xiàng)目。這是繼2020年8月中標(biāo)上海有機(jī)化所大數(shù)據(jù)計(jì)算系統(tǒng)(一期)項(xiàng)目后

  • “值錢”的搜狗輸入法未來(lái)不值錢?

    9月24日,搜狗正式宣布完成退市,與騰訊合并,將成為騰訊控股間接子公司。曾經(jīng)的搜狗風(fēng)光無(wú)限,是國(guó)內(nèi)PC裝機(jī)率最高的中文輸入法廠商。在移動(dòng)互聯(lián)網(wǎng)時(shí)代、所有企業(yè)都在打造自己的App生態(tài)的時(shí)候,搜狗卻沒有跟上節(jié)奏

    標(biāo)簽:
    搜狗輸入法
    搜狗
  • 推薦一款好用的搜狗收錄批量查詢工具

    搜狗搜索是國(guó)內(nèi)僅次于百度的搜索引擎,特別是搜狗被騰訊收購(gòu)后,擁有了更大的流量扶持,因此做好搜狗搜索的SEO優(yōu)化工作對(duì)于站長(zhǎng)來(lái)說(shuō)具有重大意義。

    標(biāo)簽:
    搜狗搜索

熱門排行

信息推薦