網(wǎng)站建設(shè)★網(wǎng)站設(shè)計★網(wǎng)站制作★網(wǎng)頁設(shè)計-599元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司?13172194676,　SEO優(yōu)化中經(jīng)常會用到robots文件，很多新手SEO對robots文件理解不深，甚至覺得這個文件不重要，其實robots文件是對SEO優(yōu)化非常重要，通過本文來說一下robots文件的作用及重要性。

 

robots文件的概念

 

robots是網(wǎng)站跟爬蟲間的協(xié)議，所有正規(guī)的搜索引擎蜘蛛，進(jìn)入網(wǎng)站后首先就會訪問這個文件，網(wǎng)站的站長會通過這個文件告知蜘蛛哪些頁面是可以被抓取的，哪些頁面是不想被抓取的，搜索引擎蜘蛛也會遵循這個文件協(xié)議。

 

robots文件應(yīng)該怎么寫

 

User-agent： 定義本文件對哪些搜索引擎有效；

 

Disallow：定義禁止搜索引擎收錄的頁面；

 

Allow： 定義允許搜索引擎收錄的頁面；

 

本站文件內(nèi)容說明：所有搜索引擎蜘蛛均有效，禁止抓取URL地址以wp、article開頭的頁面，禁止抓取URL地址中包含feed的所有頁面。

 

robots文件的應(yīng)用

 

1、搜索引擎喜歡原創(chuàng)內(nèi)容，這是眾所周知的事情，而這一方面并不是單單是指網(wǎng)站文章的原創(chuàng)度，另一方面網(wǎng)站模板的原創(chuàng)度也是非常重要的評分點，所以如果自己網(wǎng)站的模板不是原創(chuàng)，最好要屏蔽css目錄和模板目錄。

 

2、網(wǎng)站優(yōu)化切忌的就是重復(fù)或者相似的頁面，而搜索引擎瀏覽一個網(wǎng)站不是像人那樣的，靠的還是蜘蛛的抓取。但是不少人沒有重視的是，現(xiàn)在的主流網(wǎng)站程序都很容易自動產(chǎn)生一些沒用的頁面，比如緩存頁面，搜索頁面，feed頁面等等，這些頁面內(nèi)容往往和主體內(nèi)容相重復(fù)，而且沒有什么用，如果不小心被蜘蛛抓到，那么對網(wǎng)站排名會有非常嚴(yán)重的負(fù)面影響，很多網(wǎng)站之所以沒有排名，就是因為搜索引擎發(fā)現(xiàn)了網(wǎng)站存在大量的重復(fù)或者相似的頁面。

 

3、可以大大的增強蜘蛛網(wǎng)站的爬取效率，與網(wǎng)站的內(nèi)鏈有異曲同工之用，幫助搜索引擎理解哪些才是網(wǎng)站最重要的內(nèi)容，不再浪費到其它的那些無用的頁面上。

 

4、利用robots文件可以用來屏蔽一些沒有用的頁面，比如隱私頁面，后臺登陸頁面，圖片目錄等內(nèi)容，或者屏蔽其他的一些網(wǎng)站關(guān)鍵詞無關(guān)的頁面。

 

綜上所述，robots文件是網(wǎng)站非常重要的一個優(yōu)化部分，也是是網(wǎng)站優(yōu)化非常細(xì)節(jié)的一個方面，運用的好可以讓SEO優(yōu)化工作進(jìn)行的更加順利，robots文件一定要創(chuàng)建，哪怕是允許蜘蛛抓取所有頁面，也要保持文件訪問狀態(tài)為200，不要報404，這樣對SEO非常不友好。