眾所周知robots檔案是網站中必不可少的檔案，但是依然會有一些網站沒有這個檔案，那麼我們就來探討下robots檔案對網站的重要性。
第一：站在搜尋引擎角度
網站中有檔案不想被搜尋引擎抓取時，那麼就需要些robots檔案，以此來告誡蜘蛛這個檔案不能抓取，而有的企業則認為網站上沒有要遮蔽的.內容，所以就不需要robots檔案，其實這種想法是不正確的。
隨著搜尋引擎發展的越來越好，在訪問新站時會先看網站的robots檔案，這是他們的習慣，如果這時你網站中沒有robots檔案時，可能會造成搜尋引擎對網站頁面不能正常抓取，所以即使網站全部都允許蜘蛛抓取，也是需要建立robots檔案的這是對蜘蛛友好的表現。
第二：經常檢測robots檔案
在維護網站的過程中一直都是圍繞網站內容和外鏈，當網站出現問題時首先做的就是一一排查，對於robots檔案同樣也是如此。
如果有黑客攻擊網站時，他們不需要在我們網站上掛黑鏈或者是在內容頁隱藏連結，只需要修改robots檔案就可以了，我們經常會看到站長在搜尋引擎中查詢自己網站有很多異常，但是外鏈和內鏈都是正常的，其實大家都忽略的對robots檔案的檢查。
第三：robots檔案要全面
robots檔案書寫時要規範，如網站上頁面動態化地址，而這些動態化地址蜘蛛是不能很好的抓取，那麼可以在robots檔案中註明。動態化網址結尾處會有很多引數，當我們不需要蜘蛛抓取動態網址頁面時，就需要在robots檔案中註明網站動態話網址出現的所有引數，不然蜘蛛還是可以抓取的。
