robots檔案是網站非常重要的一個優化部分，這個方面往往制約著網站的成敗，這當然是網站優化非常細節的一個方面，不過往往細節決定成敗，很多人卻沒有意識到這一點，希望通過下面的介紹，大家都會明白這方面的重要性。
一、robots檔案是用來幹什麼的?
其實這個檔案是一種協議,所有的搜尋引擎蜘蛛進入網站的時候第一個訪問的就是這個檔案，具體的作用就是用來我們站長自由設定哪些檔案可以抓取，哪些不能抓取。
二、robots檔案設定的格式：
User-agent： 定義搜尋引擎的型別;
Crawl-delay： 定義抓取延遲
Disallow：定義禁止搜尋引擎收錄的地址
Allow： 定義允許搜尋引擎收錄的地址
三、為什麼說robots檔案對SEO非常重要?
1.網站優化切忌的.就是重複或者相似的頁面，而搜尋引擎瀏覽一個網站不是像人那樣的，靠的還是蜘蛛的抓取。但是不少人沒有重視的是，現在的主流網站程式都很容易自動產生一些沒用的頁面，比如快取頁面，搜尋頁面，feed頁面等等，這些頁面內容往往和主體內容相重複，而且沒有什麼用，如果不小心被蜘蛛抓到，那麼對網站排名會有非常嚴重的負面影響，很多網站之所以沒有排名，就是因為搜尋引擎發現了網站存在大量的重複或者相似的頁面。
2.搜尋引擎喜歡原創內容，這是眾所周知的事情，而這一方面並不是單單是指網站文章的原創度，另一方面網站模板的原創度也是非常重要的評分點，所以如果自己網站的模板不是原創，最好要遮蔽css目錄和模板目錄。
3.利用robots檔案可以用來遮蔽一些沒有用的頁面，比如隱私頁面，後臺登陸頁面，圖片目錄等內容，或者遮蔽其他的一些網站關鍵詞無關的頁面。
4.可以大大的增強蜘蛛網站的爬取效率，與網站的內鏈有異曲同工之用，幫助搜尋引擎理解哪些才是網站最重要的內容，不再浪費到其它的那些無用的頁面上。
