網(wǎng)絡(luò)爬蟲(chóng)是怎樣抓取網(wǎng)頁(yè)的？【爬蟲(chóng)流程】

通用網(wǎng)絡(luò)爬蟲(chóng)和聚焦網(wǎng)絡(luò)爬蟲(chóng)盡管工作原理有一些差別，但它們抓取網(wǎng)頁(yè)的流程是類(lèi)似的。圖1展示了網(wǎng)絡(luò)爬蟲(chóng)抓取網(wǎng)頁(yè)的詳細(xì)流程，可以幫助大家更好地理解網(wǎng)絡(luò)爬蟲(chóng)抓取網(wǎng)頁(yè)的詳細(xì)過(guò)程。

圖1 網(wǎng)絡(luò)爬蟲(chóng)抓取網(wǎng)頁(yè)詳細(xì)流程

關(guān)于圖1中抓取網(wǎng)頁(yè)流程的詳細(xì)介紹如下。

(1)選擇一些網(wǎng)頁(yè)，將這些網(wǎng)頁(yè)的鏈接作為種子URL放入待抓取URL隊(duì)列中。

(2)從待抓取URL隊(duì)列中依次讀取URL。

(3)通過(guò)DNS解析URL，把URL地址轉(zhuǎn)換為網(wǎng)站服務(wù)器所對(duì)應(yīng)的IP地址。

(4)將IP地址和網(wǎng)頁(yè)相對(duì)路徑名稱(chēng)交給網(wǎng)頁(yè)下載器，網(wǎng)頁(yè)下載器負(fù)責(zé)網(wǎng)頁(yè)內(nèi)容的下載。

(5)網(wǎng)頁(yè)下載器將相應(yīng)網(wǎng)頁(yè)的內(nèi)容下載到本地。

(6)將下載到本地的網(wǎng)頁(yè)存儲(chǔ)到頁(yè)面庫(kù)中，等待建立索引等后續(xù)處理;與此同時(shí)，將下載過(guò)網(wǎng)頁(yè)的URL放入已抓取URL隊(duì)列中。這個(gè)隊(duì)列記載了網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)下載過(guò)的網(wǎng)頁(yè)URL，以避免網(wǎng)頁(yè)重復(fù)抓取。

(7)從剛下載的網(wǎng)頁(yè)中抽取出所包含的URL信息。

(8)在已抓取URL隊(duì)列中檢查抽取的URL是否被下載過(guò)。如果它還未被下載過(guò)，則將這個(gè)URL放入待抓取URL隊(duì)列中。

如此重復(fù)步驟(2)~步驟(8)，直到待抓取URL隊(duì)列為空時(shí)停止抓取。