為了不被踢出AI的隊伍，視覺深度模型都開始接私活了？

只要是成熟且完成度較高的技術，慢慢就不會被大家當做智能來看待了。

比如我問身邊的老母親老父親老阿姨們，手機指紋解鎖、手寫輸入、地圖導航、游戲NPC、美顏相機等等是不是人工智能，他們紛紛流露出了質疑的小眼神兒：

這么常見樸素不做作，怎么能是AI呢，最起碼也得挑戰一下那些看起來不可能完成的任務吧，比如能撒嬌的智能客服，360度旋轉跳躍閉著眼的機器人，掃一眼就能看病的大白，動不動就血虐人類的智能體什么的。

行……吧……如此看來，最“危險”的要數計算機視覺了。

估計再過不久，人臉識別、看圖識物、假臉生成，就要被“開除”出AI的隊伍了。

近年來，深度神經網絡徹底升級了計算機視覺模型的表現。在很多領域，比如視覺對象的分類、目標檢測、圖像識別等任務上，深度神經網絡（Deep Neural Network，DNN）完成的比人類還要出色，相關技術解決方案也開始頻繁出現在普通人的生活細節之中。

這就夠了嘛？并沒有！視覺模型表示自己除了在圖像任務里很好用，非圖像任務也是一把好手。

前不久，深度學習開發者，Medium知名博主 Max Pechyonkin在其博客中，介紹了將視覺深度學習模型應用于非視覺領域的一些創造性應用。

咱們就通過一篇文章，來了解一下求生欲極強的視覺模型是如何在其他領域發光發熱的吧。

生活不易，DNN賣藝

由于有遷移學習和優秀的學習資源，DNN在計算機視覺領域的應用落地遠超于其他任務類型。

加上各種開放平臺和公開的預訓練模型加持，任何人都可以在數天甚至數小時內，將視覺深度學習模型應用于其他領域。

兩年前，就有外國農民開發出了自動檢測黃瓜的智能程序，北京平谷的桃農也用上了自動檢桃機。

背后的技術邏輯也很容易理解：先選用一個簡單的卷積神經網絡（CNN）模型（可以在開放平臺上輕松地找到），將各種帶有標簽的圖片扔進去，跑出一個baseline，主要是為了確定數據集是否合適，圖像質量和標簽是否正確，需不需要調試等等。

OK以后，就可以投喂處理過的圖像數據集了，一般圖像越多、標注質量越高，模型的性能和準確率就越好。

聽起來是不是學過高中數學就能搞定？

既然技術門檻并不高，其應用范圍自然也就被無限延伸。面對很多非視覺類的原始訓練數據，視覺模型也表示“不慫”。

其中有幾個比較有意思的應用案例：

1.幫石油工業提高生產效率

石油工業往往依賴于一種名叫“磕頭機”的設備開采石油和天然氣，通過游梁活動讓抽油桿像泵一樣將油從地下輸送到表面。高強度的活動也使抽油機極容易發生故障。

傳統的故障檢測方式是，邀請非常專業的技術人員檢查抽油機上的測功計，上面記錄了發動機旋轉周期各部分的負載。通過卡片上的圖像，判斷出哪個部位出現故障以及需要采取什么措施來修復它。

這個過程不僅耗時，而且只能“亡羊補牢”，無法預先排除風險。

而石油公司正在試驗，將視覺深度學習應用到故障檢測中。

貝克休斯（Baker Hughes）公司就將測功計轉換成圖像，然后作為數據集傳給ImageNet預訓練好的模型中。結果顯示，只需采用預訓練好的模型并用新數據對其進行微調，機器自動檢測故障的準確率就達到了93%，進一步優化則接近97%！

（左側是輸入圖像，右側是故障模式的實時分類。系統在便攜設備上運行，分類時間顯示在右下角）

應用了視覺算法訓練出來的新模型，不需要等待專業人員的排期和診斷，就可以自行判斷絕大多數故障并立即開始修復。聽起來是不是很棒很奈斯？

2.幫金融網站進行在線風控

金融網站與欺詐團伙的斗智斗勇，往往是一場“道高一尺魔高一丈”的技術軍備競賽。想要區分訪問者是普通客戶還是潛在風險客戶，僅僅依靠IP過濾、驗證碼等互聯網技術顯然不夠了。

但如果金融網站的系統能夠根據鼠標使用模式來識別用戶行為，就能夠預先規避欺詐交易的發生。要知道，欺詐者使用電腦鼠標的方式是獨一無二而且非常異常的。

但如何得到一個深度學習鑒別模型呢？Splunk就將每個用戶在每個網頁上的鼠標活動轉換為單個圖像。用不同的顏色編碼代表鼠標移動的速度，紅點和綠點則代表使用了鼠標鍵。這樣，就得到了大小相同、且能夠應用圖像模型的原始數據了。

Splunk用了一個由2000張圖片組成的訓練集，進行了2分鐘的訓練后，系統就能識別出普通客戶和非客戶，準確率達到80%以上。

對于某個特定用戶，系統還能夠判斷出哪些是用戶自己發出的，哪些是模仿的。這次只用了360張圖片就訓練出了78%左右的準確率。麻麻再也不用擔心我的理財賬戶被盜了。

3.通過聲音檢測進行動物研究

2018年10月，谷歌的研究人員使用視覺CNN模型對一段錄音進行了分析，檢測到了其中座頭鯨的聲音。

他們將音頻數據轉換成了視頻譜，一種表示音頻頻率特征的圖像。

然后使用了Resnet-50架構來訓練這個模型。有90%的鯨魚歌聲音頻被系統正確歸類。而如果一首錄音是鯨魚的，也有90%的幾率它會被貼上正確的標簽。

這項研究成果可以用來跟蹤單個鯨魚的運動、歌曲的特性、鯨魚的數量等。

同樣的實驗也適用于人類語音、工業設備錄音等等。使用類似librosa這樣的音頻分析軟件，就可以用CPU生成時頻譜。

至此，可以總結一下視覺深度學習模型“跨次元”應用的基本操作了：

1.將原始數據轉換成圖像；

2.使用預訓練的CNN模型或從頭訓練一個新模型進行訓練。

由此得到一個能夠解決非視覺問題的新模型。

開腦洞才是最難的

當然，上述都是作者分享的一些已經在實踐中取得成效的應用，我們還可以將其應用于很多有趣、有意義的場景之中。前提是，能夠找到一種將非視覺數據轉換成圖像的方法。

比如兒童餐食的健康問題，僅靠學校食堂和家長自學營養學顯然不是一個足夠效率、且能大規模推廣的辦法。

利用視覺模型，可以對餐盤的自動掃描與檢測，對圖像中的餐食特征和瑕疵點進行提取，以此推測出餐盤和飲食的潔凈度是否合格，營養搭配是否符合基本要求。

再比如，通過智能攝像頭將零售商超中的人群分布和動線轉化為圖像，進行分析和檢測，可以判斷出不同社區的需求和消費特征，從而有針對性地進行選品和陳設，進一步提升坪效。或者是通過汽車行駛軌跡來預測和優化不同時段的路況及定價。

總而言之，目前計算機視覺模型早已從實驗室和科學家案頭，幫助越來越多的現實問題尋找解決方案。

由此也可以看出，在AI落地中并不缺成熟、可落地的算法，大開腦洞的創造力才是最難的。

當然也有隱患

作為一個負責任的“AI吹”，故事顯然不能在“AI好AI妙AI呱呱叫”中戛然而止。

雖然計算機視覺表現出了極大的適應性，但在實際應用時，有一些缺點是其本身也沒有解決的， 這也導致很長一段時間內，圖像識別、生成等應用還能被當做展示人工智能的神奇能力而被夸耀著。

首先，是視覺神經網絡對于圖像變化和背景過于敏感。無論是轉換非視數據，還是直接訓練原始圖片，機器視覺的處理邏輯都是將圖像轉換為系統可理解的“數字”，再進行對比和識別。因此，將背景和變化等噪音識別成其他物體也就不足為奇了。

（在照片中增加不同的物體，會影響照片中原有的猴子的識別結果）

既然是通過視覺模型進行訓練，那就需要大量有標注的高質量數據，而在現實應用中，一些非圖像的原始數據，比如用戶鼠標習慣、零售店動向等等，包含了多個維度、不同數量的數據點，不僅標記數據集的工作耗時耗力，而且訓練這些龐大的數據也需要大量的GPU資源。

但遺憾的是，受標注質量、模型準確率、專業領域知識等影響，最終的成果在真實世界中的體驗也可能非常糟糕。想要讓商業機構冒著投資打水漂的風險進行嘗試，恐怕還有很多工作要做。

更何況，視覺深度模型并不是一種放之四海而皆準的解決方案，有些任務是難以進行視覺化標注，或者實現成本很高的，短時期內也只能望AI興嘆了。

總而言之，視覺深度學習模型的成熟和非視覺場景的試探，給AI開發帶來了新的故事和想象力，比起千箱一面的智能語音、人手一個的人臉識別，更令人驚喜，實用性也值得期待。

不過本質上講，一切技術問題最后都是經濟學問題。只要不計成本，總能搞得出來。《三體》中，秦始皇不也用三千萬大軍搞出了能計算太陽運行軌道的人形計算機隊列嗎？

這也和如今的人工智能產業現狀悄然重合，技術不是關鍵性問題，沒錢又不會搞工程的項目，就別讓AI背鍋了吧……