域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

蜘蛛、機(jī)器人和爬蟲是你的朋友。如果要進(jìn)行SEO，你不只需要喜歡它們，同時(shí)你真的需要特意地把它們吸引到你的網(wǎng)站上來(lái)。

在SEO中，蜘蛛、機(jī)器人和爬蟲大體上講的是同一種東西，但是別過(guò)分擔(dān)憂—它們都沒有腿和觸角。所以，讓我們統(tǒng)一用“爬蟲(crawler)”這個(gè)詞來(lái)稱呼它們。請(qǐng)牢記，有時(shí)你需要吸引這些機(jī)器人，或者把你的網(wǎng)站偽裝成“蜘蛛誘餌”。這都屬于同一個(gè)原則。 那么，什是爬蟲，為什么我們要把它請(qǐng)到我的網(wǎng)站上來(lái)呢。 爬蟲是一種程序，或者是一段自動(dòng)化的腳本(經(jīng)常被稱為 bot，即 robot的縮寫)，它在網(wǎng)上不停辛勤奔跑到各個(gè)URL上去。爬蟲通過(guò)它們所瀏覽的網(wǎng)頁(yè)上面的鏈接從一個(gè)URL爬到另一個(gè)URL。

主流搜索引擎接連不斷地將它們的爬蟲派出去瀏覽廣闊的互聯(lián)網(wǎng)。爬蟲首先找到各個(gè)頁(yè)面，然后把頁(yè)面上的文本和代碼復(fù)制并儲(chǔ)存在它們巨大的索引服務(wù)器上，這個(gè)過(guò)程叫做爬行(spidering)。這個(gè)巨大的索引，實(shí)際上就是一個(gè)包含搜索引擎爬蟲可以成功訪問(wèn)到的所有網(wǎng)站頁(yè)面的數(shù)據(jù)庫(kù)。該索引被用來(lái)作為當(dāng)你搜索時(shí)，可以非?？焖俚氐玫揭粋€(gè)結(jié)果的倉(cāng)庫(kù)。當(dāng)你在一個(gè)例如Google的搜索引擎上輸入一個(gè)搜索詞并提交，你 實(shí)際搜索的是搜索引擎所索引的全部?jī)?nèi)容，而不是當(dāng)時(shí)互聯(lián)網(wǎng)的實(shí)際內(nèi)容。 當(dāng)然，網(wǎng)頁(yè)會(huì)變化。有時(shí)，網(wǎng)頁(yè)和網(wǎng)站的變化周期非常短。除此以外，新的網(wǎng)站和網(wǎng)頁(yè)隨時(shí)都在快速出現(xiàn)。這也是為什么爬蟲始終都在那里不停地爬行，一遍又一遍地瀏覽網(wǎng)頁(yè)，并且建立和更新搜索引擎的索引信息。 搜索引擎索引庫(kù)里面的內(nèi)容是爬蟲瀏覽網(wǎng)頁(yè)時(shí)看到的內(nèi)容。爬蟲所看到的內(nèi)容可能和一般的訪問(wèn)者看到的大相徑庭。如果你想查看爬蟲看到的某個(gè)網(wǎng)頁(yè)的內(nèi)容是什么，你可以使用 IE瀏覽器來(lái)訪問(wèn)它，然后按下Ctrl-A組合鍵，并瀏覽復(fù)制下來(lái)的內(nèi)容(如果是Mac系統(tǒng)，則可以使用Apple-U組合鍵)。或者，你可以借助 Google，點(diǎn)擊搜索結(jié)果下面的“網(wǎng)頁(yè)快照”鏈接，就可以看到爬蟲最近對(duì)這個(gè)頁(yè)面做的快照了。首先也是最重要的一點(diǎn)是，爬蟲將它們爬過(guò)的每個(gè)頁(yè)面的字和詞組合起來(lái)。它們索引文本和鏈接。當(dāng)你在搜索框中輸入一個(gè)搜索詞時(shí)，搜索引擎盡量精確地找出和搜索詞組最匹配的網(wǎng)頁(yè)。 不同的搜索引擎有它們獨(dú)具特色的爬蟲，和你所期料的一樣，它們并不是都以完全一樣的方式來(lái)運(yùn)行。有些爬蟲獲取頁(yè)面上全部的內(nèi)容，而有些可能只是對(duì)其中的某些部分感興趣。大部分爬蟲都認(rèn)為，頁(yè)面的標(biāo)題以及靠近頁(yè)面頂部的內(nèi)容，比遠(yuǎn)在頁(yè)面下面的內(nèi)容更重要。爬蟲在爬行網(wǎng)站時(shí)經(jīng)常遇到障礙并越過(guò)這些障礙，比如說(shuō)，在網(wǎng)站上，沒有讓它們繼續(xù)爬行的鏈接，或者它們遇到了由怪異技術(shù)或代碼造成的問(wèn)題。爬蟲還可能由于遇到技術(shù)阻礙，而進(jìn)入陷阱，從而使它們不能輕易完成工作。 所以，任何SEO工作的第一步的重要部分都是讓爬蟲更容易發(fā)現(xiàn)和爬行你的網(wǎng)站。如果你的網(wǎng)站沒有被爬蟲爬過(guò)，它們也就不會(huì)建立關(guān)于你網(wǎng)站的搜索引擎索引。如果網(wǎng)頁(yè)沒有在索引當(dāng)中，搜索者也不會(huì)在搜索引擎中找到它，因?yàn)樗阉饕嬲J(rèn)為那個(gè)頁(yè)面根本就不存在。與此同時(shí)，搜索者可能找到其他網(wǎng)頁(yè)，并且很有可能是你的競(jìng)爭(zhēng)對(duì)手的網(wǎng)頁(yè)。 鏈接和精心設(shè)計(jì)的站點(diǎn)結(jié)構(gòu)是建立個(gè)體網(wǎng)頁(yè)、網(wǎng)站欄目與其他站內(nèi)網(wǎng)頁(yè)和欄目之間關(guān)系的橋梁。這將給爬蟲提供清晰的爬行道路。

創(chuàng)建sitemap

建立 sitemap 是幫助搜索引擎爬蟲抓取網(wǎng)站的最簡(jiǎn)單的方法之一。sitemap是一個(gè)給爬蟲提供網(wǎng)站內(nèi)容 URL清單—至少是網(wǎng)站擁有者希望爬蟲看到的地址清單的文件(通常是 XML 格式)。 sitemap 中還可以包括針對(duì)每個(gè)URL的附加信息，例如指定頁(yè)面的最近更新時(shí)間、更新頻率，以及相對(duì)于網(wǎng)站上其他內(nèi)容的重要度(舉例來(lái)說(shuō)，首頁(yè)比“聯(lián)系我們”頁(yè)面更為重要)。sitemap 所提供的信息可以幫助搜索引擎爬蟲更智能地抓取網(wǎng)站。Google、MSN、Yahoo!以及 Ask 都接受網(wǎng)站擁有者提交 sitemap 的請(qǐng)求。然而需要注意的是，沒有任何一家公司保證sitemap所提交的URL都會(huì)被抓取或者被索引。 sitemap 對(duì)于那些提供不容易被直接瀏覽到的信息的網(wǎng)站來(lái)說(shuō)十分有用，例如有些站點(diǎn)存儲(chǔ)了大量的檔案或者信息數(shù)據(jù)庫(kù)，這些信息是通過(guò)用戶檢索才能看到的。請(qǐng)記住，爬蟲只是根據(jù)鏈接來(lái)抓取信息，而通常情況下，這樣的信息是缺乏鏈接指向的。

文章來(lái)源： 轉(zhuǎn)載請(qǐng)注明地址

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！