當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  搜索優(yōu)化 >  正文

解除網(wǎng)站Robots封禁全過(guò)程

 2018-11-14 21:11  來(lái)源: 用戶投稿   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

robots協(xié)議或者說(shuō)robots文件對(duì)搜索引擎優(yōu)化中非常重要,但設(shè)置出錯(cuò)可能會(huì)導(dǎo)致收錄下降或不能正常收錄。今天,小小課堂SEO自學(xué)網(wǎng)帶來(lái)的是《【robots文件協(xié)議】解除Robots封禁全過(guò)程》。希望本次的百度SEO優(yōu)化培訓(xùn)對(duì)大家有所幫助。

一、robots被封禁的問(wèn)題來(lái)源

小小課堂SEO自學(xué)網(wǎng)為WordPress博客,前幾天弄了個(gè)“SEO問(wèn)答”的欄目,是由一個(gè)新的CMS系統(tǒng)創(chuàng)建而成的,而這個(gè)系統(tǒng)是動(dòng)態(tài)URL,未做偽靜態(tài)處理。

SEO問(wèn)答首頁(yè)的URL:https://www.***.org/ask/

SEO問(wèn)答欄目的URL:https://www.***.org/ask/?expert/default.html

SEO問(wèn)答文章列表的URL:https://www.***.org/ask/?c-1.html

SEO問(wèn)答文章的URL:https://www.***.org/ask/?q-176.html

從上可以看出除了SEO問(wèn)答首頁(yè),其余的都是帶問(wèn)號(hào)的,然而,WordPress根目錄的robots.txt中包含了以下一條:

Disallow: /*?*

因?yàn)檫@一條的意思是禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào)(?) 的網(wǎng)址,所以上面的那些帶問(wèn)號(hào)的URL就被禁止搜索引擎抓取了。

二、解除Robots封禁全過(guò)程

小小課堂SEO自學(xué)網(wǎng)解除robots文件協(xié)議的全過(guò)程如下:

① 去掉robots禁止抓取的規(guī)則

也就是去掉Disallow: /*?* 。

② 抓取失敗

進(jìn)入百度站長(zhǎng)后臺(tái)后,點(diǎn)擊“數(shù)據(jù)監(jiān)控”>“抓取診斷”>輸入網(wǎng)址后面的部分,最后點(diǎn)擊抓取。

③ 點(diǎn)擊“抓取失敗”

通過(guò)下圖可以看出“抓取異常信息:Robots封禁”,點(diǎn)擊“網(wǎng)站IP:106.***.***.217”后面的“報(bào)錯(cuò)”。略等一會(huì)即可。

④ Robots檢測(cè)并更新

點(diǎn)擊檢測(cè)并更新robots。

以上就是小小課堂SEO自學(xué)網(wǎng)帶來(lái)的是《【robots文件協(xié)議】解除Robots封禁全過(guò)程》。感謝您的觀看。網(wǎng)絡(luò)營(yíng)銷培訓(xùn)認(rèn)準(zhǔn)小小課堂!SEO培訓(xùn)認(rèn)準(zhǔn)小小課堂!更多seo教程搜索小小課堂。原創(chuàng)文章歡迎轉(zhuǎn)載并保留版權(quán):https://www.xxkt.org/

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
robots標(biāo)簽
robots.txt技巧
robots

相關(guān)文章

  • robots協(xié)議怎么寫 作用是什么?

    robots協(xié)議也叫robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的,哪些是可以被漫游器獲取的。

    標(biāo)簽:
    robots
  • robots具體應(yīng)該禁止些什么文件

    今天大概總結(jié)一下:首先說(shuō)明一點(diǎn):每天百度派出的蜘蛛是有限的,robots寫出來(lái)是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進(jìn)行有效爬取和收錄!

  • robots文件編寫秘籍 新手必看

    當(dāng)我們的網(wǎng)站上線之后,一定會(huì)有一些不想讓百度抓取的頁(yè)面、文件,針對(duì)這種問(wèn)題,我們就要使用協(xié)議去屏蔽。那么這個(gè)協(xié)議是什么?究竟怎么寫這個(gè)協(xié)議呢?

    標(biāo)簽:
    robots文件
    robots
  • robots.txt文件怎么寫才正確呢?

    曾慶平SEO在前面的文章中講過(guò)robots.txt概念的時(shí)候,留下一個(gè)問(wèn)題:為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?曾慶平SEO的robots.txt:http://www.xxx.com/robots.txt這樣做的目的是,讓搜索引擎看來(lái)網(wǎng)站更規(guī)范和權(quán)威。

  • 百度站長(zhǎng)平臺(tái)檢測(cè)robots.txt 提示301錯(cuò)誤代碼 怎么解決

    如果以上都沒(méi)有錯(cuò)誤,那么你就要檢查你的CDN了,很可能是因?yàn)镃DN緩存而造成的,或者是你配置了https,而站長(zhǎng)平臺(tái)卻綁定的http,無(wú)法訪問(wèn),這兩點(diǎn)自己排查,如果以上都做到,那么是不會(huì)提示這類錯(cuò)誤的,當(dāng)然也不排查百度站長(zhǎng)平臺(tái)本身的問(wèn)題,不過(guò)這種機(jī)率性很小。

熱門排行

信息推薦