曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復雜?
曾慶平SEO的robots.txt：http://www.***seo.com/robots.txt 這樣做的目的是，讓搜索引擎看來網(wǎng)站更規(guī)范和權威。
1、用robots.txt屏蔽相似的頁面或沒內(nèi)容的頁面。
我們知道，搜索引擎收錄網(wǎng)頁后，會對網(wǎng)頁進行“審核”，當網(wǎng)頁的相似度很高時2個頁面，搜索引擎會刪除其中一個。
假如以下這兩個鏈接，內(nèi)容其實差不多，所以第一個鏈接應該屏蔽。 http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastposthttp://www.xxx.com/bbs/thread-5167-1-1.html
第一個的鏈接非常多，屏蔽時，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代碼如：Disallow: /bbs/redirect.php?
類似這樣的頁面，沒有內(nèi)容，也應該屏蔽：http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 這樣的鏈接也很多，屏蔽時，只要屏蔽/index.php?sid= 就屏蔽了所有的。
代碼如：Disallow: /index.php?sid=
2、用robots.txt屏蔽多余的鏈接，當動態(tài)和靜態(tài)共存時，一般去掉動態(tài)的。
網(wǎng)站中經(jīng)常會存在多個鏈接指向同一個頁面，這種情況普遍存在時，會讓搜索引擎對網(wǎng)站的權威性產(chǎn)生懷疑。通過robots.txt把非主要的鏈接去掉。
假如以下兩個鏈接指向同樣的頁面，去掉次要的第一個。
http://www.xxx.com/space.php?username=曾慶平seo
http://www.xxx.com/space-uid-15.html
代碼如：Disallow: /space.php?username=
特別需要注意的是，首頁一般有這么幾個鏈接：www.yongfengseo.com www.yongfengseo.com/index.html 等，這個時候，不要屏蔽 index.html。因為如index.html index.php 等是默認首頁，屏蔽可能導致蜘蛛爬取錯亂。
咱們需要做的是，在給首頁做站內(nèi)外鏈接時，統(tǒng)一用不帶index.html 的http://www.yongfengseo.com/ 即可。這是URL標準化的概念。
3、用robots.txt屏蔽死鏈接。
死鏈接就是原來存在，后來因為改版或更新等緣故刪除了的鏈接和網(wǎng)頁。比如，原來在某個目錄(假設目錄為/tempweb/)下的所有鏈接，因為改版現(xiàn)在都變?yōu)樗梨溄恿?，可以用robots.txt屏蔽。
代碼如：Disallow: /tempweb/
4、用robots.txt屏蔽可能存在的“被K”外部鏈接。
很多網(wǎng)站允許用戶放自己的網(wǎng)站鏈接，但因為過多的“被K”外部鏈接可能連累自己。所以，很多把所有外部鏈接放入一個鏈接目錄下，然后通過robots.txt統(tǒng)一屏蔽。
如果你對Disallow:的具體操作辦法不是很清楚，你可以從這里了解我之前發(fā)布的robots文章。
本文來自微信公眾號：平哥SEO優(yōu)化(qingpingseo) 原文鏈接：http://www.yongfengseo.com
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
