搜尋引擎的工作就是在網路上進行資料採集，這也是搜尋引擎最基礎的工作，其中搜索引擎的內容是來自URL列表中，我們可以通過這些列表不斷的收錄，儲存以及維護，學習搜尋引擎的收錄流程、原理、收錄方式是可以幫助我們提高搜尋引擎對網站的收錄數量。
第一點：收錄流程
在網站中URL是頁面的入口地址，蜘蛛程式是通過這些來抓取頁面的。蜘蛛不斷的從頁面中獲取資源及儲存頁面，然後加入到URL列表中，然後再不斷的迴圈，搜尋引擎就能在網路中獲取很多頁面。
URL被稱為頁面的入口，而域名被稱為網站的入口，當搜尋引擎進入網站抓取網站中的'頁面時，首先就是要加入搜尋引擎的域名列表中，我們常見的搜尋引擎列有兩種方式，第一種是搜尋引擎給我們提供登入資訊，然後向搜尋引擎提交網站域名，用這種方法只能定期抓取且比較被動，花費的時間也比較長。第二種是通過高質量的連結讓搜尋引擎在抓取別人網站的同時看到我們，從而實現對網站的收錄，使用這種方法的主動權在我們這邊，且速度會比較快一些，如果連結的數量質量比較好，一般在一週內會被搜尋引擎收錄。
第二點：收錄原理
如果我們把網站的頁面看成是一個有向圖，我們從指定的頁面出發，按照某種特定的策略對網站中的頁面進行編輯，然後不斷的從URL列表中拿出訪問的URL，在儲存頁面同時提取資訊，URL可以分為兩類一是域名，二是內部URL，如果是判斷URL是否被訪問過，把URL加入URL列表中就知道了，經過這些工作，搜尋引擎可以建立列表、頁面URL以及儲存頁面。
第三點：收錄方式
頁面收錄方式是指搜尋引擎抓取頁面時所使用的策略，其目的就是為了能在網路中選出較重要的資訊，頁面收錄方式的制定取決於搜尋引擎對網路結構的理解，如果是使用相同的抓取策略，搜尋引擎在同樣的時間會抓取更多的資源，在網站停留的時間更長，被收錄的頁面也就會越多。
