搜索引擎蜘蛛并不是真正意義上的蜘蛛，它只是搜索引擎指派出的一個(gè)有調(diào)度機(jī)制的抓取程序，用于抓取互聯(lián)網(wǎng)中的網(wǎng)頁，根據(jù)搜索引擎的不同，spider也會(huì)有不同的分類，但是大部分的蜘蛛都是解決相同的問題，有著相同的工作原理。

批量型蜘蛛，此類型的蜘蛛具有明確的抓取范圍和目標(biāo)，抓取時(shí)間、抓取數(shù)量限制，或抓取固定范圍頁面的限制，當(dāng)蜘蛛的工作達(dá)到預(yù)先設(shè)置的目標(biāo)就會(huì)停止，我們一般自己用工具或程序采集的工具，所派出的spider一般就屬于批量型的蜘蛛,只抓取固定網(wǎng)站的固定內(nèi)容，或者對某一資源設(shè)置固定的目標(biāo)抓取數(shù)量限制。

垂直型蜘蛛，垂直蜘蛛也可以稱為聚焦爬蟲，只對特定主題、特定內(nèi)容或特定行業(yè)的網(wǎng)頁進(jìn)行抓取，一般都會(huì)聚焦在某一個(gè)限制范圍內(nèi)進(jìn)行增量的抓取，此類型的spider不像增量型spider一樣追求大而廣的覆蓋面，而是在增量型spider上增加一個(gè)抓取網(wǎng)頁的限制，根據(jù)需求抓取含有目標(biāo)內(nèi)容的網(wǎng)頁。

增量型蜘蛛是一種比較通用的爬蟲，這類爬蟲的目標(biāo)和批量型spider的目標(biāo)不同，它們不需要盡可能的抓取更多的網(wǎng)頁，增量型spider主要工作是對已經(jīng)抓取到的頁面進(jìn)行再次的抓取和更新，因?yàn)榛ヂ?lián)網(wǎng)中的網(wǎng)頁是不斷變化的，網(wǎng)頁上的內(nèi)容可能會(huì)隨著時(shí)間發(fā)生隨時(shí)發(fā)生改變，增量型蜘蛛就負(fù)責(zé)抓取不斷被更改更新的網(wǎng)頁，抓取后并返回給搜索引擎的預(yù)處理系統(tǒng)進(jìn)行處理，重新計(jì)算該頁面的權(quán)值。

搜索引擎把蜘蛛分為這么多的類型，每個(gè)類型的spider都有它們各自的作用，如何協(xié)調(diào)這些蜘蛛進(jìn)行協(xié)同工作，就需要搜索引擎有強(qiáng)大的spider抓取策略，因?yàn)榛ヂ?lián)網(wǎng)中的網(wǎng)頁是無窮無盡的，每天都會(huì)產(chǎn)生數(shù)以百萬的網(wǎng)頁，優(yōu)秀搜索引擎的抓取策略也決定了它是否能為用戶提供高效的查詢服務(wù)。

首先搜索引擎會(huì)把網(wǎng)頁進(jìn)行分類抓取，分為已抓取頁面、待抓取頁面、可抓取頁面、暗網(wǎng)頁面、這些頁面是搜索引擎抓取網(wǎng)頁和存儲(chǔ)的基本方式。

搜索引擎在面對不同類型網(wǎng)站的時(shí)候，會(huì)使用不同的抓取策略機(jī)制，常見的深度優(yōu)先策略、廣度優(yōu)先策略，這些策略的實(shí)施和抓取都是通過搜索引擎的調(diào)度機(jī)制來控制的。

深度優(yōu)先即沿著當(dāng)前網(wǎng)頁被優(yōu)先發(fā)現(xiàn)的鏈接一直順著抓取下去，直到該鏈接頁面沒有其它頁面的鏈接，spider才會(huì)再次返回來抓取原來第一批發(fā)現(xiàn)頁面上的另外一個(gè)鏈接，依次這樣抓取循環(huán)下去。

廣度優(yōu)先的策略一般在新站上的體現(xiàn)比較明顯，spider在一個(gè)頁面上發(fā)現(xiàn)多個(gè)鏈接時(shí)，會(huì)先把該頁面抓取一遍，然后再抓從這些頁面上提取下來的鏈接，把鏈接放入到待抓取URL列表，在返回抓取原頁面上的其它鏈接頁面，重復(fù)上述步驟先抓取當(dāng)前頁面的全部鏈接，放入到待抓取URL列表，依次這樣持續(xù)循環(huán)抓取下去。