當(dāng)前位置:首頁 >  站長(zhǎng) >  搜索優(yōu)化 >  正文

人工智能在搜索算法中的應(yīng)用

 2017-11-02 13:33  來源: SEO每天一貼   我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過

2016 年以來,IT行業(yè)最大的技術(shù)突破應(yīng)該是人工智能了,不僅在一年左右時(shí)間,在最后一個(gè)人類曾經(jīng)自以為機(jī)器很難戰(zhàn)勝人類的游戲項(xiàng)目上完勝人類,前幾天更是出現(xiàn)了逆天的AlphaGo Zero,完全不用借鑒人類知識(shí),自學(xué) 3 天就超越了人類。

人工智能領(lǐng)域最牛X的公司,國外是Google,國內(nèi)是百度。都是搜索引擎。這恐怕也不是什么巧合,而是因?yàn)樗阉饕媸亲钸m合開發(fā)人工智能的公司,他們擁有最大量的數(shù)據(jù),包括文字、圖片、視頻,還有地圖、路況、用戶使用數(shù)據(jù)等等。

搜索引擎公司的AI成果在多大程度上運(yùn)用到了他們的核心業(yè)務(wù)-搜索中?他們都沒有明確地對(duì)外說明,從搜索工程師的零碎發(fā)言中猜測(cè),至少目前還沒有大規(guī)模使用,并沒有改變搜索算法的基礎(chǔ)。畢竟人工智能雖然概念存在了幾十年,但效果突飛猛進(jìn)只是近幾年的事,還沒有出現(xiàn)通用人工智能,在圍棋這種規(guī)則簡(jiǎn)單明確的領(lǐng)域中牛X,遷移到規(guī)則模糊的系統(tǒng)中,比如搜索,還需要一些時(shí)間。

但我想,人工智能大規(guī)模應(yīng)用于搜索算法是早晚的事。據(jù)說以前百度大搜索部門和人工智能/深度學(xué)習(xí)部門之間是有些矛盾的,現(xiàn)在吳恩達(dá)離開了百度,陸奇對(duì)百度又進(jìn)行了很多人事調(diào)整,搜索部門對(duì)人工智能的排斥也許就大大降低了。

其實(shí)人工智能已經(jīng)在搜索算法中有所運(yùn)用。舉兩個(gè)例子。

百度DNN模型

前幾個(gè)月看到了百度朱凱華的一篇《AI賦能的搜索和對(duì)話交互》演講報(bào)道。數(shù)年前和朱凱華還做過一次訪談,那時(shí)候他還是Google的主任架構(gòu)師,是著名的熊貓算法的主要參與者之一,現(xiàn)在他是百度的首席架構(gòu)師了。演講內(nèi)容很多,感興趣的搜索標(biāo)題就能找到全文,很值得深入讀一下。這么長(zhǎng)時(shí)間SEO行業(yè)很少人注意到這篇這么有價(jià)值的關(guān)于搜索算法的公開信息,還是挺意外的。

演講里提到了百度 2013 年上線的DNN模型,極大提高了語義相關(guān)性的判斷范圍和準(zhǔn)確性, 2013 年百度相關(guān)性提高的34%來自于DNN模型, 2014 年全年相關(guān)性提升的25%來自DNN模型。DNN模型使用的就是深度學(xué)習(xí)方法,通過 100 億的用戶點(diǎn)擊數(shù)據(jù)訓(xùn)練模型,有超過 1 億個(gè)參數(shù)。下面介紹的Google RankBrain是 2015 年上線的,所以百度是世界上第一個(gè)將人工智能應(yīng)用到實(shí)際搜索算法中的公司。

下圖是DNN訓(xùn)練的示意圖:

簡(jiǎn)單說,就是對(duì)同一個(gè)查詢?cè)~,模型分析了真實(shí)用戶點(diǎn)擊了的頁面的標(biāo)題,和沒有點(diǎn)擊的頁面標(biāo)題,從而更深入理解哪些標(biāo)題是滿足了用戶需求的。經(jīng)常出現(xiàn)的情況是,頁面標(biāo)題并不包含查詢?cè)~,用戶卻更愿意點(diǎn)擊這些頁面,說明這些頁面滿足了用戶需求,這些頁面的標(biāo)題,即使不包含查詢?cè)~,也是與查詢?cè)~語義相關(guān)的。這是經(jīng)典的頁面-關(guān)鍵詞相關(guān)性算法無法計(jì)算出來的。

演講中提到的例子:

在DNN上線之前,用戶搜索“ghibli車頭任何放置車牌“時(shí),由于相關(guān)信息很少,沒有什么頁面是以這個(gè)查詢?cè)~為標(biāo)題或者頁面出現(xiàn)這些關(guān)鍵詞的,所以搜索結(jié)果質(zhì)量不高,傳統(tǒng)搜索算法只能按關(guān)鍵詞匹配返回一些ghibli相關(guān)信息,卻沒幾乎有“車頭任何放置車牌”的信息。

DNN上線之后的搜索結(jié)果是這樣的:

可以看到,搜索結(jié)果中還是沒有以“ghibli車頭任何放置車牌“為標(biāo)題的頁面,但解決了用戶的需要,算法理解了“前”、“前面”和“車頭”是一個(gè)意思,“放哪里啊”、“怎么裝”、“咋掛”和“任何放置“是一個(gè)意思,所以”ghibli車牌咋掛“這種頁面回答了“ghibli車頭任何放置車牌“這個(gè)查詢,雖然他們包含的關(guān)鍵詞是不一樣的。

這種對(duì)相關(guān)性的理解不是傳統(tǒng)以關(guān)鍵詞匹配為基礎(chǔ)的搜索算法能算出來的,而是真實(shí)用戶的點(diǎn)擊數(shù)據(jù)告訴搜索算法的。用戶搜索“ghibli車頭任何放置車牌“時(shí),經(jīng)常點(diǎn)擊”ghibli車牌咋掛“、”ghibli前面車牌照怎么裝“這些頁面,DNN模型被訓(xùn)練后知道,這些詞之間是語義相關(guān)的。

Google RankBrain

2015 年上線的Google RankBrain解決的也是對(duì)查詢?cè)~的深入理解問題,尤其是比較長(zhǎng)尾的詞,找到與用戶查詢?cè)~不完全匹配、但其實(shí)很好回答了用戶查詢的那些頁面。和百度DNN是非常類似的。Google沒有具體說明RankBrain的訓(xùn)練方法,估計(jì)和百度DNN也是類似的。

2015 年RankBrain上線時(shí),15%的查詢?cè)~經(jīng)過RankBrain處理, 2016 年所有查詢?cè)~都要結(jié)果RankBrain處理。

Google自己經(jīng)常舉的RankBrain例子是這個(gè)查詢:

What’s the title of the consumer at the highest level of a food chain

這個(gè)查詢?cè)~相當(dāng)長(zhǎng)尾,完全匹配的結(jié)果比較少,而且查詢中的幾個(gè)詞容易有歧義,比如consumer通常是消費(fèi)者的意思,food chain也可以理解為餐飲連鎖,但這個(gè)完整的查詢和商場(chǎng)、消費(fèi)者、飯館之類的意思沒有任何關(guān)系,RankBrain能理解其實(shí)用戶問的是食物鏈頂端的物種是什么名字。同樣,搜索結(jié)果不能按照傳統(tǒng)的關(guān)鍵詞匹配來處理。

這種長(zhǎng)尾查詢數(shù)量很大,每天Google收到的查詢里有15%是以前都沒出現(xiàn)過的。這種查詢要靠關(guān)鍵詞匹配就比較難以找到高質(zhì)量頁面,數(shù)量太少,甚至沒有,但理解了查詢的語義和意圖,就能找到滿足用戶需求的、關(guān)鍵詞并不完全匹配的頁面。

對(duì)SEO的影響以后再詳細(xì)寫,這里只是先簡(jiǎn)單提示一下:頁面要包含關(guān)鍵詞,這在目前的關(guān)鍵詞優(yōu)化過程中是必然的,現(xiàn)在搜索引擎能理解兩句不同的話意思是一樣的了,以后創(chuàng)作或編輯頁面內(nèi)容時(shí),是不是還一定要包含關(guān)鍵詞呢?

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
搜索算法

相關(guān)文章

  • 揚(yáng)塵治理有方!考拉悠然入選全球算法最佳實(shí)踐典范大賽(BPAA)TOP100

    8月13日,全球算法最佳實(shí)踐典范大賽(BPAA)第二屆應(yīng)用算法實(shí)踐典范TOP100榜單公布,考拉悠然科技(下文簡(jiǎn)稱考拉悠然)憑借“AI揚(yáng)塵治理解決方案”成功入選。

    標(biāo)簽:
    搜索算法
    排名算法
  • 網(wǎng)信辦:3月1日起不得利用算法影響網(wǎng)絡(luò)輿論

    《規(guī)定》要求算法推薦服務(wù)提供者應(yīng)當(dāng)堅(jiān)持主流價(jià)值導(dǎo)向,積極傳播正能量,建立完善人工干預(yù)和用戶自主選擇機(jī)制,不得利用算法實(shí)施影響網(wǎng)絡(luò)輿論、規(guī)避監(jiān)督管理以及壟斷和不正當(dāng)競(jìng)爭(zhēng)行為。要求保障用戶的算法知情權(quán)和算法選擇權(quán),應(yīng)當(dāng)向用戶提供不針對(duì)其個(gè)人特征的選項(xiàng),或者便捷的關(guān)閉算法推薦服務(wù)的選項(xiàng)。

    標(biāo)簽:
    網(wǎng)信辦
    搜索算法
  • 搜索算法變化宗旨仍離不開用戶體驗(yàn)

    搜索引擎一直在更新算法,用心做站的站長(zhǎng)可參考更新算法的內(nèi)容,進(jìn)一步做好網(wǎng)站內(nèi)容優(yōu)化和用戶體驗(yàn),為用戶提供有價(jià)值的網(wǎng)頁內(nèi)容,做對(duì)用戶有價(jià)值的站點(diǎn),搜索引擎算法天天變,用新做站永不變。

    標(biāo)簽:
    搜索算法
  • 搜索常見的算法以及模型思考

    在大規(guī)模的數(shù)據(jù)前提下,其實(shí)很多復(fù)雜的算法過程,反而效果沒有這么好,或者說,我們會(huì)想方設(shè)法去簡(jiǎn)化其過程。

    標(biāo)簽:
    搜索算法
  • 2013-2020年百度搜索算法大盤點(diǎn)

    為了給搜索用戶提供更加優(yōu)質(zhì)便捷的搜索體驗(yàn),百度搜索始終不忘初心,致力與內(nèi)容生產(chǎn)者、資源提供者攜手共建和諧健康的搜索生態(tài)。

熱門排行

信息推薦