域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)
相信大家在分析百度蜘蛛日志的時(shí)候經(jīng)常會(huì)發(fā)現(xiàn)一個(gè)問(wèn)題，就是百度蜘蛛經(jīng)常會(huì)抓取一些不存在的目錄，比如：我網(wǎng)站沒(méi)有這些目錄，但是百度蜘蛛一直在抓取，或者你會(huì)發(fā)現(xiàn)百度蜘蛛在抓取自己的隱私目錄，或者說(shuō)php文件，這個(gè)是為什么哪？今天就為大家進(jìn)行詳細(xì)解析，講解對(duì)應(yīng)的解決辦法，本篇文章干貨較多，建議仔細(xì)閱讀。
1，如果蜘蛛只抓取首頁(yè)，打死不抓取內(nèi)頁(yè)，是什么情況！很簡(jiǎn)單，域名有問(wèn)題，一般來(lái)講，如果遇到這種情況，域名目前可能在審核期，也就是說(shuō)，做過(guò)違規(guī)行業(yè)，或者你的程序有作弊的嫌疑，但是域名的占比較大，如果程序有問(wèn)題，開(kāi)始百度蜘蛛也會(huì)抓取一些的。
2，如果百度蜘蛛抓取一些隱私文件，例如php、zip、rar什么情況！對(duì)于這種情況，你要去判斷當(dāng)前這個(gè)IP是不是假蜘蛛文件，因?yàn)楝F(xiàn)在很多IP會(huì)自動(dòng)更改自己的UA，跟百度蜘蛛一樣，你無(wú)法從蜘蛛日志中分辨，你可以去識(shí)別下IP，通過(guò)ip138看看是不是蜘蛛IP，如果不是，果斷屏蔽掉，如果太多，按照IP段進(jìn)行屏蔽。
3，如果百度蜘蛛抓取一些隱私目錄，真蜘蛛的情況下，怎么處理。如果你確認(rèn)是真的百度蜘蛛，百度可能是在抓取你的頁(yè)面內(nèi)部程序，考察你用的程序的版本，等，這些百度都會(huì)有分辨策略的，一般來(lái)講，自己編寫(xiě)的程序，百度都會(huì)優(yōu)先給予高評(píng)分，是這樣的。我們?yōu)榱朔乐怪┲胱ト∥覀兊碾[私目錄，我們一般都會(huì)用robots.txt進(jìn)行屏蔽，記住：生效時(shí)間24小時(shí)左右。
4，如果蜘蛛抓取一些不存在的目錄，一些不存在的文件，怎么辦？
首先依然是判斷是否是真蜘蛛，如果是真蜘蛛，百度抓取一些不存在的目錄，是因?yàn)?，你這個(gè)域名之前做過(guò)一些站點(diǎn)，現(xiàn)在又開(kāi)始做，百度會(huì)根據(jù)之前的評(píng)分、URL進(jìn)行抓取，看看是不是之前的站點(diǎn)又恢復(fù)了，一般來(lái)講，這種抓取會(huì)在30天內(nèi)自動(dòng)消失的，如果30天后一直存在，你就要屏蔽這類(lèi)鏈接了，總之：這種抓取對(duì)于你的站點(diǎn)，沒(méi)有太大的傷害，只是排查而已。
另外還有一種情況，如果你把其他的站點(diǎn)301到你當(dāng)前的域名上，蜘蛛就會(huì)按照其他站點(diǎn)的URL來(lái)抓取你的網(wǎng)站，這個(gè)時(shí)候你也會(huì)發(fā)現(xiàn)百度在抓取一些不存在的目錄，不過(guò)不用怕，這種對(duì)于你的站點(diǎn)沒(méi)有傷害的。
5，蜘蛛抓取，301、304,、200、403、404、444狀態(tài)碼怎么辦？
首先我們要明白，301狀態(tài)碼，就是重定向，如果你的頂級(jí)域名，例如daidaiseo.com-》www.daidaiseo.com當(dāng)百度抓取daidaiseo.com上面的資源時(shí)，就會(huì)出現(xiàn)301重定向的代碼，如果抓取www.daidaiseo.com上面的資源，就會(huì)是200狀態(tài)碼，意思是抓取成功。
而抓取304狀態(tài)碼是為什么那？如果你在日志上看到了304狀態(tài)碼，則表示，你的資源一直都沒(méi)有變化，屬于靜態(tài)頁(yè)面資源，304狀態(tài)碼，對(duì)于網(wǎng)站的影響比較小，一般來(lái)講是做了百度cdn，有緩存，就容易出現(xiàn)304狀態(tài)碼，但只要你每天給百度提交資源，時(shí)時(shí)保持更新，就沒(méi)事。
403是權(quán)限問(wèn)題，禁止訪(fǎng)問(wèn)，是你服務(wù)器進(jìn)行了設(shè)置，而444則是未找到服務(wù)器，404則是空頁(yè)面，這個(gè)頁(yè)面丟失，這三個(gè)狀態(tài)碼，則表示網(wǎng)站出現(xiàn)問(wèn)題，記?。翰灰尵W(wǎng)站出現(xiàn)大量404，你可以讓狀態(tài)碼變成403只是限制訪(fǎng)問(wèn)，如果都是404，則表明網(wǎng)站大量頁(yè)面不可用，百度評(píng)分就會(huì)降低，好了，今天就講解到這么多，后面會(huì)陸續(xù)分享這方面的知識(shí)點(diǎn)。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
