網絡爬蟲是否合法

網絡爬蟲在大多數情況中都不違法，其實我們生活中幾乎每天都在爬蟲應用，如百度，你在百度中搜索到的內容幾乎都是爬蟲采集下來的（百度自營的產品除外，如百度知道、百科等），所以網絡爬蟲作為一門技術，技術本身是不違法的，且在大多數情況下你都可以放心大膽的使用爬蟲技術。

爬蟲作為一種計算機技術就決定了它的中立性，因此爬蟲本身在法律上并不被禁止，但是利用爬蟲技術獲取數據這一行為是具有違法甚至是犯罪的風險的。所謂具體問題具體分析，正如水果刀本身在法律上并不被禁止使用，但是用來捅人，就不被法律所容忍了。

或者我們可以這么理解：爬蟲是用來批量獲得網頁上的公開信息的，也就是前端顯示的數據信息。因此，既然本身就是公開信息，其實就像瀏覽器一樣，瀏覽器解析并顯示了頁面內容，爬蟲也是一樣，只不過爬蟲會批量下載而已，所以是合法的。不合法的情況就是配合爬蟲，利用黑客技術攻擊網站后臺，竊取后臺數據（比如用戶數據等）。

舉個例子：像谷歌這樣的搜索引擎爬蟲，每隔幾天對全網的網頁掃一遍，供大家查閱，各個被掃的網站大都很開心。這種就被定義為“善意爬蟲”。但是像搶票軟件這樣的爬蟲，對著12306每秒鐘恨不得擼幾萬次，鐵總并不覺得很開心，這種就被定義為“惡意爬蟲”。

如何在使用爬蟲時避免違法犯罪

1、嚴格遵守網站設置的robots協議；

2、在規避反爬蟲措施的同時，需要優化自己的代碼，避免干擾被訪問網站的正常運行；

3、在設置抓取策略時，應注意編碼抓取視頻、音樂等可能構成作品的數據，或者針對某些特定網站批量抓取其中的用戶生成內容；

4、在使用、傳播抓取到的信息時，應審查所抓取的內容，如發現屬于用戶的個人信息、隱私或者他人的商業秘密的，應及時停止并刪除。