網(wǎng)絡(luò)爬蟲(chóng)(Web Spider)又稱(chēng)網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。

網(wǎng)絡(luò)爬蟲(chóng)按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)，大致可分為一下幾種類(lèi)型：

通用網(wǎng)絡(luò)爬蟲(chóng)：就是盡可能大的網(wǎng)絡(luò)覆蓋率，如 搜索引擎(百度、雅虎和谷歌等…)。

聚焦網(wǎng)絡(luò)爬蟲(chóng)：有目標(biāo)性，選擇性地訪問(wèn)萬(wàn)維網(wǎng)來(lái)爬取信息。

增量式網(wǎng)絡(luò)爬蟲(chóng)：只爬取新產(chǎn)生的或者已經(jīng)更新的頁(yè)面信息。特點(diǎn)：耗費(fèi)少，難度大

深層網(wǎng)絡(luò)爬蟲(chóng)：通過(guò)提交一些關(guān)鍵字才能獲取的Web頁(yè)面，如登錄或注冊(cè)后訪問(wèn)的頁(yè)面。

應(yīng)用場(chǎng)景

爬蟲(chóng)技術(shù)在科學(xué)研究、Web安全、產(chǎn)品研發(fā)、輿情監(jiān)控等領(lǐng)域可以做很多事情。

在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、圖像處理等科學(xué)研究領(lǐng)域，如果沒(méi)有數(shù)據(jù)，則可以通過(guò)爬蟲(chóng)從網(wǎng)上抓取；

在Web安全方面，使用爬蟲(chóng)可以對(duì)網(wǎng)站是否存在某一漏洞進(jìn)行批量驗(yàn)證、利用；

在產(chǎn)品研發(fā)方面，可以采集各個(gè)商城物品價(jià)格，為用戶(hù)提供市場(chǎng)最低價(jià)；

在輿情監(jiān)控方面，可以抓取、分析新浪微博的數(shù)據(jù)，從而識(shí)別出某用戶(hù)是否為水軍

學(xué)習(xí)爬蟲(chóng)前的技術(shù)準(zhǔn)備

(1). Python基礎(chǔ)語(yǔ)言： 基礎(chǔ)語(yǔ)法、運(yùn)算符、數(shù)據(jù)類(lèi)型、流程控制、函數(shù)、對(duì)象 模塊、文件操作、多線(xiàn)程、網(wǎng)絡(luò)編程 … 等

(2). W3C標(biāo)準(zhǔn)： HTML、CSS、JavaScript、Xpath、JSON

(3). HTTP標(biāo)準(zhǔn)： HTTP的請(qǐng)求過(guò)程、請(qǐng)求方式、狀態(tài)碼含義，頭部信息以及Cookie狀態(tài)管理

(4). 數(shù)據(jù)庫(kù)： SQLite、MySQL、MongoDB、Redis …

關(guān)于爬蟲(chóng)的合法性

幾乎每個(gè)網(wǎng)站都有一個(gè)名為robots.txt的文檔，當(dāng)然也有有些網(wǎng)站沒(méi)有設(shè)定。對(duì)于沒(méi)有設(shè)定robots.txt的網(wǎng)站可以通過(guò)網(wǎng)絡(luò)爬蟲(chóng)獲取沒(méi)有口令加密的數(shù)據(jù)，也就是該網(wǎng)站所有頁(yè)面的數(shù)據(jù)都可以爬取。如果網(wǎng)站有文件robots.txt文檔，就要判斷是否有禁止訪客獲取數(shù)據(jù) 如：https://www.baidu.com/robots.txt