當興趣變成職業時，你對它的愛恨只會越來越鮮明。

我愛爬蟲，因為是它使我進入了互聯網行業，讓我在上海立足。我恨爬蟲，它的天花板太低了，后期非常乏力。

做了大半年的爬蟲工程師，給大家總結總結爬蟲工程師的四種死法。

一、學習能力不強

爬蟲的入門基礎很簡單，首先學習 Python 的基礎語法，然后掌握 request、xpath、bs4 等常用的爬蟲庫。通過簡單的網站爬取，快速掌握大致的爬蟲流程：分析網站請求、發生請求、解析數據、存儲數據。

再進階一點，學一些簡單的反爬措施，例如添加請求頭、添加 ip 代理、建立 cookie 池等，或者學習下 scrapy 框架。用 scrapy 框架寫個完整的爬蟲項目，基本上就可以找到一份滿意的工作了。

基本上現在大部分的培訓機構采用的都像我上面所說的方法，但這樣培訓出來的人基本上對于爬蟲的學習能力都不太強。

每個公司根據自身業務的不同，所使用的框架都會有所調整。比如使用 Kafaka 中間件來發生消息、用 Mongodb 來存儲數據、用 Redis 來緩存一些消息、用 Fildder 來抓包等等。在實際的業務過程中，會遭遇很多沒有學過的東西。

這時候，你的技能樹就不太夠用了，如果學習能力不強，在工作過程只會越來越吃力，從而被辭退。

趕不上技術的迭代，一卒。

二、花樣繁多的驗證碼

判斷一個爬蟲工程師的能力，要看他的反爬能力。爬蟲工作最難的部分就是在破解反爬上，而現在主流的反爬手段就是驗證碼。

但現在的驗證碼越來越變態，什么樣的形式都有。比如漢字點擊，再難點就是滑塊驗證碼，最變態就是 12306 的驗證碼，人工手點還不一定正常。甚至有些網站還玩雙重驗證，你好容易過了圖形驗證碼，它還有一個短信驗證。

防不勝防的驗證碼，二卒。

三、 js知識缺乏

如果你沒有學過js，那么爬蟲就會有新的挑戰。

高端的爬蟲大神，一般都是js大神。所以如果你真的想在爬蟲上有所發展，那么我建議你可以去深入學習js。

不懂 js，三卒。

四、網站改版

上面四步你都弄明白了，但沒過一陣你發現對方網站改版了，本來正常的代碼，也全部完了。

好不容易你把網站的請求邏輯給整明白，該破解的 js 代碼也破解了，該寫的解析函數也寫了，爬蟲也正常的運行起來了。但沒過幾天你發現對方的網站改版了！原本所有可以正常運行的代碼，全部出錯了。。。

網站改版，四卒。