01

簡介

開發智能機器的歷程使我們踏上了一條充滿發現、驚奇、敬畏和關注的道路。即使還有如此多尚未發現的東西，我們仍然知道對安全AI的追求將改變我們設計、開發智能產品并將其推向市場的方式。安全的AI不僅需要我們像保護網絡安全那樣防御外部黑客的入侵，還必須確保AI的行為是安全的。未來的AI開發將注重開發過程每個環節的安全和風險管理。

02

AI標準和指南中的安全問題

AI安全工程的一項需求是擁有可廣泛獲取的人工智能開發實用指南和標準。盡管諸多標準組織和協會正為建立這些資源而努力，但距離達成共識還很遙遠（這里又涉及價值觀一致性問題），更不要說具體的技術指導。 同時，航空航天和醫療制造業等極度重視安全的行業提供了或可借用的風險管理模型，可滿足短期AI安全需求，并為最終的標準和框架奠定基礎。特別是可通過Delphi方法將專家的集體智慧和判斷、不同AI系統類型的風險評估以及軟硬起飛場景的結果組織起來。

03

設計創意和流程中的安全考慮

從設計創意開始，一直到將產品推向市場的流程中，一個相關的需求就是在整個過程中都主動將安全性納入工程設計的所有領域。 對于許多開發團隊來說，這將意味著改變，而我們必須直面這種改變。看看互聯網。看看嵌入式系統。現實情況是，大多數行業都是直到產品開始取得成功后才將大量資源投入安全領域。在智能系統中放任安全性問題不管可能會有巨大的隱患，因為可能不會有亡羊補牢的機會。

04

用戶需求中的安全問題

工程安全AI將需要工程師透過用例表面，真正了解用戶的價值觀和偏好。我們習慣于蜻蜓點水地對待用例和用戶反饋；但是，第2部分中討論的價值觀一致性問題告訴我們，我們需要更深入地了解實際需求。 例如，如果我們問一個學生為什么要上學，她可能會告訴您她想獲得知識，希望學習感興趣的領域。可是研究表明，真正的原因或其他原因還包括：取得文憑、獲得同齡人認可或者長大以后能多賺錢等。作為工程師，如果我們在開發智能產品時僅關注表面上的用戶需求和反饋，就有可能會開發出實際上無法滿足用戶需求的產品……無用的智能。

05

漏洞評估中的安全問題

在流程的每個環節，都必須考慮并解決產品的安全性及智能（記憶、處理速度等）問題。黑客只需要在這種無限的可能性中找到一個弱點即可，但是AI可能會以我們無法預測甚至無法想象的方式運用智能：

有哪些潛在的產品漏洞？

有哪些潛在的濫用行為？

各項功能可能會遭到怎樣的濫用？

每種情況下會如何發生事與愿違的事情？

數據安全是否有保障？

我們如何知道？

產品包含的智能是否超出了必要？

這可能會遭到怎樣的濫用？

如何保障安全？

06

結論

工程安全AI將改變我們的流程、思維方式和優先考慮事項。要擁有AI開發框架和標準，工程安全AI還有很長的路要走。同時，借鑒航空航天和醫療器械行業的做法將非常有用，在產品開發流程的所有方面納入安全考量同樣也有幫助。

原文標題：AI安全工程將如何讓工程學改頭換面

文章出處：【微信公眾號：貿澤電子】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq