在SEO優(yōu)化網(wǎng)站當中，做好robots.txt至關(guān)重要因為每個搜索引擎抓取網(wǎng)站信息第一步就是爬去robots.txt文件來引導搜索引擎爬取;合理的使用robots文件能夠更好的集中網(wǎng)站的權(quán)重，避免一些不想被搜索引擎查看的文件抓取，是非常必要的一種SEO手段，但是好多做seo的朋友對于robots的文件使用不是特別了解，僅僅知道Disallow是禁止，allow是允許，以及一些常用的搜索引擎的訪問禁止寫法，對于在復雜的一些不知道如何去寫，其實本人開始也對于robots不知道如何著手去寫，但是隨著做seo時間推移，以及經(jīng)驗的豐富，筆者總結(jié)出了一套自己設(shè)置robots的方法，首先為大家介紹在robots設(shè)置當中需要注意的一些事項：
1、作為搜索引擎最先訪問的目錄，過長的robots文件也會影響蜘蛛的爬取速度，所以對于禁止搜索引擎的網(wǎng)頁，可以適度的去使用noffollow標記，使其不對該網(wǎng)站傳遞權(quán)重。
2、對于Disallow和Allow的設(shè)置是有先后順序之分的，搜索引擎會根據(jù)第一個匹配成功的Allow與Disallow來確定首先訪問那個url地址。
3、在robots設(shè)置當中關(guān)于Disallow當中/和//的區(qū)別。在robots文件設(shè)置當中，Disallow：/abc是禁止訪問abc.html和/abc/123.html等文件，而對于disallow:/abc/來說，是允許對于/abc.html進行訪問，但是對于/abc/123.html是進行禁止的。
4、在robots設(shè)置當中“*”和“$”的設(shè)置，其中”$” 匹配行結(jié)束符。”*” 匹配0或多個任意字符。
好了掌握了這些知識，你可能會說我還是不知道如何去設(shè)置robots文件，那么該怎么辦呢?
首先，確定你需要禁止的內(nèi)容，然后注冊谷歌管理員工具，通過搜索引擎查找你想禁止內(nèi)容的寫法，然后登陸百度管理員工具，選擇網(wǎng)站配置>抓取工具的權(quán)限>測試robots.txt把你想要禁止內(nèi)容的語法填入文本框當中，然后點擊下面進行測試，會出現(xiàn)測試的結(jié)果，如果有錯誤，根據(jù)錯誤提示在進行相應的修改就可以了。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
