爬行策略有如下幾種:深度優(yōu)先爬行策略是爬蟲沿著發(fā)現(xiàn)的鏈接先爬取一個網(wǎng)頁,然后一直往前爬行,爬行到前面再也沒有其他鏈接為止,然后在返回到第一個頁面,沿著另一個鏈接再一直往前爬行。如圖1所示,爬取的順序是A→D→E→B→C→F→G;廣度優(yōu)先爬行策略:是指爬蟲在一個頁面上發(fā)現(xiàn)多個網(wǎng)絡(luò)鏈接時,不是沿著一個網(wǎng)絡(luò)鏈接一直向前爬行,而是先把頁面上同一層次鏈接都爬一遍,然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
爬取的順序是A→B→C→D→E→F→G;大站優(yōu)先爬行策略是對于準備抓取地址隊列中的所有網(wǎng)頁,把其根據(jù)所屬的網(wǎng)站進行分類,優(yōu)先爬取網(wǎng)站的網(wǎng)頁數(shù)量比其他多的網(wǎng)站。反鏈爬行策略是指的是一個網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量,當某個網(wǎng)頁的內(nèi)容受到其他人的推薦的程度高,這種網(wǎng)頁被優(yōu)先爬取。
本文地址:http://m.cdrpkj.cn//article/28159.html