Oxylabs 首席執(zhí)行官：了解靜態(tài)和動態(tài)數(shù)據(jù)

　 域名預(yù)訂/競價，好“米”不錯過

數(shù)據(jù)收集的操作行為受到越來越多的關(guān)注,也變得越來越復(fù)雜。網(wǎng)絡(luò)抓取以及自動獲取過程總體來說極大地改變了數(shù)據(jù)收集的性質(zhì),舊的挑戰(zhàn)得到解決,而新的問題也隨之浮現(xiàn)出來。

其中一個問題就是關(guān)于動態(tài)性的數(shù)據(jù)選擇。由于現(xiàn)在我們能夠在幾秒內(nèi)收集難以想象的巨量信息,進(jìn)行特定采樣不再是問題。此外,在業(yè)務(wù)上,我們常常會反復(fù)搜尋相同來源,以監(jiān)控友商、品牌以及對于行業(yè)相關(guān)的其他任何內(nèi)容。

因此,數(shù)據(jù)動態(tài)性就是一個優(yōu)化問題。在一些情況下,特定字段可能不會頻繁更新,或者對于用例來說這些更改并不重要,因此可能不需要每次刷新數(shù)據(jù)。

靜態(tài)與動態(tài)數(shù)據(jù)

靜態(tài)數(shù)據(jù)可以通過兩個方面來定義。作為信息對象,靜態(tài)數(shù)據(jù)是不會(頻繁)變化的對象。這種來源的例子可能包括社論文章、國家/地區(qū)或城市名稱、活動和場所說明,等等。事實新聞報道一經(jīng)發(fā)表,就不大可能在未來發(fā)生改動。

另一方面,動態(tài)數(shù)據(jù)是不斷變動中的對象,常常是由于外部因素而發(fā)生變化。經(jīng)常遇到的動態(tài)數(shù)據(jù)類型可能是產(chǎn)品定價、庫存數(shù)量、預(yù)訂數(shù)量,等等。

它們中間存在兩大定義的模糊地帶,正如企圖將一切東西都放入整整齊齊的小盒子那樣。產(chǎn)品說明、文章元標(biāo)題和內(nèi)容商業(yè)片段等信息對象有一定的變化頻率。

這些到底屬于靜態(tài)還是動態(tài)數(shù)據(jù),取決于預(yù)期用途。無論數(shù)據(jù)類型如何,項目或多或少會利用具體的參考來源。例如,SEO 工具可能發(fā)現(xiàn)定價數(shù)據(jù)的價值較低,但會希望更新元標(biāo)題、描述和其他許多功能。

另一方面,定價模型則很少用到頻繁更新的產(chǎn)品描述。它們可能需要抓取該信息一次,以進(jìn)行產(chǎn)品匹配。如果將來出于 SEO 目的對其進(jìn)行更新,那么仍然沒有理由再次訪問描述。

規(guī)劃數(shù)據(jù)

每個數(shù)據(jù)分析和收集項目都有其必要性。回到前面的定價模型例子,這需要兩個技術(shù)功能:產(chǎn)品比對和定價數(shù)據(jù)。

產(chǎn)品需要進(jìn)行比對,因為任何自動定價實施都需要準(zhǔn)確性。錯配的產(chǎn)品和變化的定價可能會對營收造成巨大損失,尤其是如果這些變化得不到解決的情況下。

大部分比對工作是通過產(chǎn)品標(biāo)題、描述和規(guī)格進(jìn)行的。前兩者會經(jīng)常變化,尤其是在電商平臺中,其中關(guān)鍵詞優(yōu)化是一項重要的排名因素。不過,它們不會影響比對產(chǎn)品編號的能力,因為基礎(chǔ)功能不會變化(例如,iPhone 始終是 iPhone)。

因此,描述和標(biāo)題可以視為靜態(tài)數(shù)據(jù),即使它們有一點動態(tài)性質(zhì)。就項目用途而言,變化的影響力不夠大,不值得繼續(xù)監(jiān)控。

可能顯而易見的是,定價數(shù)據(jù)不僅自然而然地在不斷變化,而且捕捉發(fā)生的任何變化對于項目也十分重要。因此,它當(dāng)然應(yīng)該視為動態(tài)數(shù)據(jù)。

通過規(guī)劃降低成本

無論采用的是內(nèi)部還是外部集成方法,數(shù)據(jù)收集和存儲實踐的成本都非常高。此外,大部分公司將使用基于云的存儲解決方案,其中可能會將所有寫入操作包括到總體成本中,這意味著更新數(shù)據(jù)將會削減預(yù)算。

規(guī)劃數(shù)據(jù)類型(即靜態(tài)還是動態(tài))可以通過多個途徑優(yōu)化數(shù)據(jù)收集過程。首先,頁面可以分為靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)或混合數(shù)據(jù)。雖然第一個類別可能有點膚淺,但它仍表示不需要頻繁再訪問這些頁面。

利用混合頁面可能也更容易降低寫入操作和存儲成本。降低從一個地方傳輸?shù)搅硪粋€地方的數(shù)據(jù)量,這本身就是一種優(yōu)化形式,但這些在考慮到帶寬、讀寫和存儲成本時會變得更加有意義。

不過,由于爬蟲通常會下載整個 HTML,對 URL 的任何訪問都會將整個對象存儲在內(nèi)存中。使用外部提供商時,通常會針對每個請求分配成本,因此更新所有數(shù)據(jù)字段與僅更新動態(tài)字段之間沒有區(qū)別。

然而,在一些應(yīng)用場景中,歷史數(shù)據(jù)可能是必要的。每個時間段下載并更新含有相同數(shù)據(jù)的相同字段會無緣無故地增加寫入操作和存儲成本?？梢詫崿F(xiàn)一個簡單的比較函數(shù)來檢查是否有任何更改,并僅在更改時執(zhí)行寫入操作。

最后,使用內(nèi)部抓取系統(tǒng)時,上述全部情況仍然適用,但程度要大得多。想要優(yōu)化成本,可以減少不必要的抓取,限制寫入操作數(shù)量,并僅解析 HTML 的必要部分。

最后,開發(fā)框架是實現(xiàn)真正優(yōu)化的第一步措施。它們可能一開始過于理論化,就像這個框架那樣,但框架讓我們能夠更好地解讀已經(jīng)實施到位的過程。

作者:Julius Cerniauskas,Oxylabs 首席執(zhí)行官

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！