介紹

開發(fā)智能機器的旅程使我們走上了發(fā)現(xiàn)、驚喜、敬畏和關注的道路。盡管還有很多東西有待發(fā)現(xiàn)，但我們知道，對安全人工智能的追求將改變我們設計、開發(fā)智能產(chǎn)品并將其推向市場的方式。安全的人工智能不僅需要像我們處理網(wǎng)絡安全那樣抵御外部攻擊者；我們必須確保人工智能的行為是安全的。未來的人工智能開發(fā)將側(cè)重于安全和風險管理貫穿開發(fā)過程的每個部分。

人工智能標準和指南中的安全性

AI 安全工程的需求之一是擁有可廣泛訪問的 AI 開發(fā)實用指南和標準。盡管許多標準組織和聯(lián)盟正在努力建立這些資源，但它們?nèi)赃h未達成共識（再次出現(xiàn)價值一致性問題），甚至還遠未提供具體的技術指導。與此同時，航空航天和醫(yī)療制造等安全密集型行業(yè)提供了潛在有用的風險管理模型，可以滿足短期人工智能安全需求，并作為最終標準和框架的基礎。特別是，可以使用德爾菲法來組織專家的集體智慧和判斷，不同人工智能系統(tǒng)類型的風險評估，以及硬起飛和軟起飛場景的結果。

設計思想和過程中的安全

一個相關的需求是主動將安全納入工程設計的所有領域，從設計思維開始一直到將產(chǎn)品推向市場的過程。讓我們面對現(xiàn)實：這將意味著許多開發(fā)團隊的改變?？纯椿ヂ?lián)網(wǎng)?？纯?a href="http://www.3532n.com/v/tag/2447/" target="_blank">嵌入式系統(tǒng)?，F(xiàn)實情況是，在產(chǎn)品開始取得成功之前，大多數(shù)行業(yè)都不會在安全上投入大量資源。在智能系統(tǒng)中不檢查安全性的潛在后果是重大的，因為事后可能無法納入安全性。

用戶需求安全

工程安全人工智能將要求工程師超越表面用例，真正了解用戶的價值觀和偏好。我們習慣于從表面上看用例和用戶反饋；然而，第 2 部分中討論的價值對齊問題告訴我們需要深入挖掘才能了解實際需求。例如，如果我們問一個學生她為什么上學，她可能會告訴你她想獲得知識并研究一個感興趣的領域。不過，研究表明，真正的或額外的原因存在于其他地方：例如，獲得證書、獲得同行認可和增加收入潛力。如果作為工程師，我們在開發(fā)智能產(chǎn)品時只看表面的用戶需求和反饋，很可能會開發(fā)出不能真正滿足用戶需求的產(chǎn)品……導致智能失敗。

漏洞評估中的安全性

在流程的每個階段，都必須考慮和解決產(chǎn)品及其智能（內(nèi)存、處理速度等）的安全性。黑客需要在這個無限的可能性空間中找到一個弱點，但人工智能可以以我們無法預測甚至無法想象的方式利用情報。潛在的產(chǎn)品漏洞是什么？什么是潛在的濫用？個別功能如何被濫用？每種情況如何適得其反？數(shù)據(jù)安全可靠嗎？我們怎么知道？產(chǎn)品是否包含了不必要的智能？這怎么可能被濫用？怎么能保證呢？

結論

工程安全人工智能將改變我們的流程、思維方式和優(yōu)先事項。擁有 AI 開發(fā)框架和標準將大大有助于設計安全 AI。與此同時，借鑒航空航天和醫(yī)療設備行業(yè)的做法會很有用，并能在產(chǎn)品開發(fā)過程的各個方面增加安全性。在接下來的第 6 部分中，我們將研究一種用于開發(fā)安全人工智能的新興技術，稱為人工愚蠢。

審核編輯hhy