當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  網(wǎng)站運(yùn)營(yíng) >  正文

分析網(wǎng)站日志中百度蜘蛛返回304狀態(tài)碼的情況

 2012-08-21 16:50  來(lái)源: 肖俊博客   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

最近遇到一個(gè)網(wǎng)站被百度蜘蛛抓取首頁(yè)后大量返回304狀態(tài)碼的問(wèn)題,以前遇到過(guò)301和302,就是沒(méi)了解過(guò)304,剛好可以對(duì)這個(gè)情況進(jìn)行一下分析和觀察,以便比較深入的了解該問(wèn)題的出現(xiàn)以及應(yīng)對(duì)之策。

 

百度百科對(duì)304狀態(tài)碼是這么解釋的:如果客戶端發(fā)送了一個(gè)帶條件的 GET 請(qǐng)求且該請(qǐng)求已被允許,而文檔的內(nèi)容(自上次訪問(wèn)以來(lái)或者根據(jù)請(qǐng)求的條件)并沒(méi)有改變,則服務(wù)器應(yīng)當(dāng)返回這個(gè)304狀態(tài)碼。簡(jiǎn)單的表達(dá)就是:客戶端已經(jīng)執(zhí) 行了GET,但文件未變化,也就是我們所理解的頁(yè)面沒(méi)更新。

GET /index.html - 80 - 220.181.135.120 Sosospider+(+) 304 0 0

GET /index.html - 80 - 123.129.209.113 Mozilla/5.0+(compatible;+Baiduspider/2.0;++) 304 0 0

但網(wǎng)站每天都有較多內(nèi)容的更新,怎么會(huì)返回未更新的狀態(tài)碼呢,查看了網(wǎng)站進(jìn)幾天的網(wǎng)站IIS日志,發(fā)現(xiàn)這幾天對(duì)首頁(yè)的抓取都是返回的304狀態(tài)碼,一般情況下大概會(huì)是一下幾種可能:

1、服務(wù)器緩存緣故

設(shè)置緩存的作用一般都是為了加速網(wǎng)站的提前加載,就像我們?cè)跒g覽器*問(wèn)網(wǎng)站的時(shí)候也比較容易出現(xiàn)緩存問(wèn)題,當(dāng)你打開一個(gè)網(wǎng)站之后,如果該網(wǎng)站有更 新或者有 變化,直接點(diǎn)擊首頁(yè)會(huì)發(fā)現(xiàn)還是之前訪問(wèn)的頁(yè)面,而ctrl+F5重新加載后才會(huì)顯示新的頁(yè)面,這其實(shí)就是緩存的緣故。另外,有的時(shí)候和一些較大的網(wǎng)站換友 情鏈接也會(huì)遇到,對(duì)方加了友鏈之后首頁(yè)不會(huì)馬上顯示,會(huì)因?yàn)榫彺娑枰^(guò)一段時(shí)間才能顯示。

2、網(wǎng)站結(jié)構(gòu)問(wèn)題

如果網(wǎng)站結(jié)構(gòu)不能有效的讓蜘蛛順利爬行,也就是說(shuō)雖然蜘蛛有抓取,但由于網(wǎng)站結(jié)構(gòu)問(wèn)題導(dǎo)致蜘蛛前后兩次抓取內(nèi)容相同,或者說(shuō)蜘蛛每次抓取首頁(yè)都只抓了那塊固定的內(nèi)容,那么就勢(shì)必導(dǎo)致蜘蛛對(duì)首頁(yè)的抓取返回304狀態(tài)碼。

3、網(wǎng)站速度問(wèn)題

谷歌就針對(duì)網(wǎng)站的加載時(shí)間更 新過(guò)算法,把網(wǎng)站加載時(shí)間納入了排名因素,就算搜索引擎排名不重視這點(diǎn),對(duì)于用戶體驗(yàn)也是有很大影響,誰(shuí)也不會(huì)愿意多花時(shí)間在一個(gè)需要加載幾十秒甚至幾分 鐘的網(wǎng)站上面。而對(duì)于搜索蜘蛛也是如此,網(wǎng)站的加載速度也會(huì)影響蜘蛛的正常抓取,一般情況下網(wǎng)站都是從上往下的加載,而有的時(shí)候由于速度因素導(dǎo)致網(wǎng)站只加 載了頭部,后面部分而沒(méi)有及時(shí)顯示出來(lái),也可能導(dǎo)致蜘蛛只抓取了頭部部分內(nèi)容,而由于一般網(wǎng)站的頭部都是相同的,也就容易出現(xiàn)了抓取返回沒(méi)更新的狀態(tài)碼。

另外,網(wǎng)絡(luò)線路的互通也是一個(gè)因素。

4、網(wǎng)站內(nèi)容問(wèn)題

網(wǎng)上查找了下關(guān)于304狀態(tài)碼的一些內(nèi)容,不少人都認(rèn)為是網(wǎng)站內(nèi)容長(zhǎng)期采集或是偽原創(chuàng)也能導(dǎo)致蜘蛛返回該狀態(tài)碼,因?yàn)榫W(wǎng)站內(nèi)容采集或偽原創(chuàng)的確會(huì)降 低網(wǎng)站質(zhì)量,導(dǎo)致百度不收錄等情況,搜索蜘蛛也會(huì)認(rèn)為網(wǎng)站內(nèi)容不具備收錄的意義,那么也就不會(huì)抓取新的內(nèi)容而返回沒(méi)有更新的狀態(tài)。

5、重視該狀態(tài)碼

既然304狀態(tài)碼是表示未更新的情況,那么經(jīng)常出現(xiàn)就需要引起重視,同時(shí)也需要觀察出現(xiàn)該狀態(tài)碼的同時(shí)網(wǎng)站各方面數(shù)據(jù)的變化和趨勢(shì),以便對(duì)該狀態(tài)碼的影響有較好的了解。

暫時(shí)網(wǎng)站出現(xiàn)304狀態(tài)碼之后經(jīng)過(guò)百度更新收錄有所減少,前幾天有過(guò)斷斷續(xù)續(xù)的網(wǎng)站無(wú)法訪問(wèn)的情況,第二天網(wǎng)站首頁(yè)就被K掉,在更換服務(wù)器之后恢復(fù)網(wǎng)站正常訪問(wèn),次日首頁(yè)再次恢復(fù),目前仍需要觀察和分析,才能更好掌握該狀態(tài)碼。

文章為肖俊博客原創(chuàng),原文地址: (轉(zhuǎn)載請(qǐng)以鏈接形式注明出處,謝謝)

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

熱門排行

信息推薦