通過幾期前面內(nèi)容的介紹，大家應(yīng)該大致了解了搜索引擎的工作方式，下面我們來介紹頁面收錄的原理。頁面收錄原理經(jīng)過修改“頁面收錄流程”能夠把握放慢網(wǎng)站被收錄的辦法，從而改善搜索引擎收錄的數(shù)目。假設(shè)把一個(gè)網(wǎng)站頁面組成的頁面看作是一個(gè)有向圖，沿著頁面中的鏈接，依照某種特定的戰(zhàn)略對網(wǎng)站中的頁面停止遍歷。

      不停地從URL列表中移出曾經(jīng)拜訪的URL，同時(shí)提取原始頁面中的URL的消息，再將URL分為域名及外部URL兩大類，同時(shí)判定URL能否被拜訪過，遞歸地掃描URL列表，直至耗盡一切URL資源為止，如圖所示。

搜索引擎收錄頁面的工作原理

      在搜索引擎中要獲取相對重要的頁面，就涉及到了搜索引擎的頁面收錄方式。頁面收錄方式是指搜索引擎抓取頁面時(shí)所使用的戰(zhàn)略，目的是為了能在互聯(lián)網(wǎng)中挑選出絕對主要的消息。假設(shè)使用相同的抓取戰(zhàn)略，搜索引擎在異樣的工夫內(nèi)能夠在某一網(wǎng)站中抓取到更多的頁面資源，則會(huì)在該網(wǎng)站停止更長的工夫，收錄的頁面數(shù)自然也就多了。因而，加強(qiáng)對搜索引擎頁面收錄方式的熟悉，有益于為網(wǎng)站樹立敵對的構(gòu)造，進(jìn)步被收錄的數(shù)目。搜索引擎收錄頁面的方式主要有“廣度優(yōu)先”、“深度優(yōu)先”及“用戶提交”（用戶提交暫時(shí)不講）三種。

      1．廣度優(yōu)先如果把整個(gè)網(wǎng)站看做一棵樹，首頁就是根，每個(gè)頁面就是葉子。廣度優(yōu)先是一種橫向的頁面抓取方式，先從樹的較淺層開始抓取頁面，直接抓完同層次的所有頁面后才進(jìn)入下一層。因此，在對網(wǎng)站進(jìn)行優(yōu)化時(shí)，應(yīng)該把網(wǎng)站相對重要的信息展示在層次比較淺的頁面上（如在首頁推薦一些熱門的內(nèi)容）。反過來，通過廣度優(yōu)先的抓取方式，搜索引擎就可以首先抓取到網(wǎng)站中相對重要的頁面。首先，蜘蛛從網(wǎng)站的首頁出發(fā)，抓取首頁上所有連接指向的頁面，形成頁面集合A，并分析出A中所有頁面中的鏈接，再跟蹤這些鏈接抓取下一層的頁面，形成頁面集合B。就這樣遞歸地從淺層頁面中解析出鏈接，再延伸到深層頁面，直到滿足某個(gè)設(shè)定的條件才停止抓取進(jìn)程，如圖所示。

廣度優(yōu)先抓取流程

2．深度優(yōu)先與廣度優(yōu)先的抓取方式相反，深度優(yōu)先首先跟蹤淺層頁面中的某一連接后逐步抓取深層頁面，直到抓完最深層的頁面才返回淺層頁面再跟蹤另一鏈接，繼續(xù)向深層頁面抓取，這是一種縱向的頁面抓取方式。使用深度優(yōu)先的抓取方式，搜索引擎可以抓取到網(wǎng)站中較為隱蔽、冷門的頁面，這樣就能滿足更多用戶的需求。首先，搜索引擎會(huì)抓取網(wǎng)站的首頁，并提取首頁中的鏈接，再沿著其中的一個(gè)連接抓取到頁面A-1，同時(shí)獲取A-1中的鏈接并抓取頁面B-1，獲取B-1中的來鏈接并抓取頁面C-1，如此不斷地重復(fù)，滿足到某個(gè)條件后，再從A-2抓取頁面及鏈接，如圖所示。

深度優(yōu)先抓取流程