在我看來robots協(xié)議就是站長行使網(wǎng)站支配權(quán)的執(zhí)行文件，這是我們作為站長最基本的權(quán)利。它是搜索引擎蜘蛛爬取網(wǎng)站之前要面對(duì)的第一道關(guān)口，所以robots協(xié)議的重要性也是可想而知了。都說細(xì)節(jié)決定成敗，那么越重要的東西細(xì)節(jié)就顯得尤為重要，往往自己一不小心忽略的一個(gè)細(xì)節(jié)到最后就可能會(huì)成為你的致命一擊。本人之所以會(huì)這么說，是因?yàn)槲也铧c(diǎn)就成了這個(gè)問題的反面教材了，還好發(fā)現(xiàn)的及時(shí)也算是亡羊補(bǔ)牢吧！之所以想立即分享給大家，就是希望大家以后自己做站的時(shí)候要避免犯類似的錯(cuò)誤。

事情其實(shí)就發(fā)生在今天，經(jīng)過是這樣的：因?yàn)镾EO博客也剛做好不久，前幾天網(wǎng)站上線之后發(fā)現(xiàn)還有很多小問題需要處理，為了避免網(wǎng)站還在調(diào)整的過程中就被搜索引擎抓取到，所以我在robots協(xié)議里面寫了禁止所有搜索引擎爬取網(wǎng)站任何部分的指令，網(wǎng)站的調(diào)整一直持續(xù)了幾天（之所以會(huì)弄這么長時(shí)間是因?yàn)槲沂且粋€(gè)不能容忍瑕疵的人，不知道這算不算強(qiáng)迫癥的一種），直到昨天也就是2月3號(hào)才全面竣工，但是這期間我每天都在堅(jiān)持添加原創(chuàng)文章。昨天網(wǎng)站檢查完畢，全部問題都解決好以后，我就把robots協(xié)議重新更換了過來，并且發(fā)了一篇帖子引了蜘蛛希望爬蟲能快點(diǎn)過來爬我的網(wǎng)站。就這樣，到了今天早上發(fā)現(xiàn)網(wǎng)站還是沒有被收錄，于是我就去百度站長工具平臺(tái)看一下我的網(wǎng)站到底是個(gè)什么情況，進(jìn)去一看嚇我一跳，因?yàn)槲铱吹搅讼旅嬉粍t（如圖所示）信息：

我的網(wǎng)站竟然對(duì)百度進(jìn)行了全面封禁，檢測時(shí)間是在今天（2月4號(hào)）早上凌晨5點(diǎn)整的時(shí)候，這讓我像丈二的和尚摸不著頭腦了，太不科學(xué)了，因?yàn)槲以谧蛱?月3號(hào)上午已經(jīng)把網(wǎng)站的robots協(xié)議更改過來了，真的是太奇怪了。就在我百思不得其解的時(shí)候總算是通過站長平臺(tái)工具的“robots檢測”找到了答案，看下圖：

原來百度蜘蛛早就在我網(wǎng)站蜘蛛上線后的第三天抓取了我網(wǎng)站的robots協(xié)議，所以當(dāng)前生效的協(xié)議也就是當(dāng)時(shí)它抓取到的我把蜘蛛全部屏蔽時(shí)的那個(gè)，而本站最新的robot協(xié)議還沒有生效。這下我總算是明白了過來了，既然弄清楚了原因那事情就好辦了。于是我立即把協(xié)議提交更新了一下，如下圖：

更新以后一分鐘內(nèi)協(xié)議就更新過來了，如下圖：

可以看到，當(dāng)前本站最新的robots已經(jīng)開始生效了，就這樣到了下午，當(dāng)我再次進(jìn)入百度站長平臺(tái)就收到了新消息，如下圖所示：

至此網(wǎng)站已經(jīng)解除了robots協(xié)議對(duì)百度的全面封禁，檢測時(shí)間顯示的是今天下午兩點(diǎn)整。到了晚上也差不多就是在三個(gè)多小時(shí)以前，當(dāng)我再次檢查網(wǎng)站收錄情況的時(shí)候，網(wǎng)站首頁已經(jīng)被收錄了。如下圖：

網(wǎng)站終于被收錄了，但讓我最開心的還是我通過自己的努力找到問題并解決了問題，這才是我今天最大的收獲。當(dāng)然了如果這個(gè)問題我發(fā)現(xiàn)不了，可能網(wǎng)站再過十天半個(gè)月也會(huì)毫無起色，所以我要提醒大家的就是關(guān)于robots協(xié)議在封禁蜘蛛之后到后期在解封的時(shí)候一定要記得及時(shí)更新robots協(xié)議，這是一個(gè)不容被忽視的小細(xì)節(jié)。也許按照自己的一貫常識(shí)覺得只要通過輸入“http:\域名 obots.txt看一下網(wǎng)站的協(xié)議改過來了沒有就可以了，但是通過實(shí)踐證明這種方式也不是完全可靠的，所以一定要記住我這次的經(jīng)驗(yàn)教訓(xùn)，robots一旦進(jìn)行調(diào)整就一定要記得及時(shí)提交更新，不然被蜘蛛抓取了不該抓的或者一直把蜘蛛拒之門外耽誤了自己的時(shí)間那就真的是后悔莫及了。

溫馨小提示：剛才看了一下時(shí)間，已經(jīng)轉(zhuǎn)鐘到了第二天了，寫這篇文章的時(shí)候是在2月4號(hào)，但是現(xiàn)在發(fā)布的時(shí)間已經(jīng)轉(zhuǎn)點(diǎn)到2月5號(hào)了，所以文章提到的“今天”也就是2月4號(hào)，希望大家不要看糊涂了。