網絡爬蟲原理

網絡爬蟲指按照一定的規則（模擬人工登錄網頁的方式），自動抓取網絡上的程序。簡單的說，就是講你上網所看到頁面上的內容獲取下來，并進行存儲。網絡爬蟲的爬行策略分為深度優先和廣度優先。如下圖是深度優先的一種遍歷方式是A到B到D到E到C到F（ABDECF）而寬度優先的遍歷方式ABCDEF。

網絡爬蟲實現原理

1、獲取初始URL。初始URL地址可以有用戶人為指定，也可以由用戶指定的某個或某幾個初始爬取網頁決定。

2、根據初始的URL爬取頁面并獲得新的URL。獲得初始的URL地址之后，首先需要爬取對應URL地址中的網頁，爬取了對應的URL地址中的網頁后，將網頁存儲到原始數據庫中，并且在爬取網頁的同時，發現新的URL地址，同時將已爬取的URL地址存放到一個URL列表中，用于去重及判斷爬取的進程。

3、將新的URL放到URL隊列中，在第二步中，獲取下一個新的URL地址之后，會將新的URL地址放到URL隊列中。

4、從URL隊列中讀取新的URL，并依據新的URL爬取網頁，同時從新的網頁中獲取新的URL并重復上述的爬取過程。

5、滿足爬蟲系統設置的停止條件時，停止爬取。在編寫爬蟲的時候，一般會設置相應的停止條件。如果沒有設置停止條件，爬蟲會一直爬取下去，一直到無法獲取新的URL地址為止，若設置了停止條件，爬蟲則會在停止條件滿足時停止爬取。