3月24日，由CCF主辦，微眾銀行及深圳大學微眾金融科技研究院協辦的“CCFTF14期研討會”在深圳大學舉辦，此次會議的主題為“聯邦學習技術及數據隱私保護”，億歐受邀參與報道。

隨著國際國內數據隱私保護成為新趨勢，數據共享變得更加困難，如何在保護數據隱私前提下開展AI大數據研究？“聯邦學習”可以打破“數據孤島”具體應用在AI領域。聚焦“聯邦學習技術及數據隱私保護”，CCFTF 14期研討會邀請國際人工智能學會理事長、微眾銀行首席人工智能官楊強、南洋理工大學于涵教授、微眾銀行人工智能部高級研究員劉洋、京東城市計算事業部AI平臺部負責人張鈞波、北京觀韜中茂（上海）律師事務所合伙人王渝偉、第四范式聯合創始人、首席研究科學家陳雨強、微眾銀行人工智能部副總經理陳天健與大家現場互動交流。

AI大數據面臨挑戰，技術向善與遷移學習

我們知道，AI與各行業緊密結合，必將顯著改善社會生活，這是一種比較理想的狀態，然而現實是AI系統仍有許多不盡如人意的地方。另外，社會對隱私保護和數據安全提出了更高的要求，這也給大數據研究及共享提出了新的挑戰。

競爭、安全及數據壁壘等因素造成所謂的“數據孤島”問題。在此背景下，遷移學習幫助更多領域建模，就像在數據集之間建立朋友圈，數據孤島問題得到有效解決。

AI向善與系統短板

AI向善，它能在普惠金融、普惠教育、普惠醫療、智慧城市、災難營救、扶貧及農業等領域發揮重要作用。

楊強教授表示：“AI向善（AI for good），這在國外很早就被提出來的概念。這個概念不僅僅是計算機領域的發展，也是社會的需求，最近大家比較關心的一個議題就是AI和社會的結合。AI作為一種工具，就像以前互聯網作為一種工具，加上一些傳統的只能少數人享受的領域，然后通過AI的手段對廣大的社會傳播，能夠讓普通人也能享受過去VIP享受的那一些特殊服務，包括金融，所以這樣就產生了AI和普惠金融；AI和普惠教育，例如大學的高等教育，能不能讓所有人都能享受到。另外還有AI和普惠醫療、智慧城市、災難營救，AI扶貧和農業等方面?！?/p>

AI若能與各行業緊密結合，必將顯著改善社會生活，這是一種比較理想的狀態，然而現實是AI系統仍有許多不盡如人意的地方，例如AI系統的有偏性和AI系統與人類合作方面的問題。

“AI系統有偏性，根據我們交給AI系統的數據，AI系統可以建立模型，但如果這個數據是有偏的，那么這個模型就會有偏性。另一個是AI系統和人類合作的問題，最近一個很大的事情是波音飛機自動駕駛系統和人類飛行員搶奪控制權，不幸的是系統贏了，導致飛機墜毀，現在波音飛機停飛。這給我們一個很大的啟示，自動系統如果不能和人類有一個很好的交互，沒有以人為中心的設計，這個系統會是一個災難?！睏顝娊淌诒硎尽?/p>

遷移學習解決“數據孤島”問題

目前，除AI系統自身的一些問題外，重視隱私保護和數據安全的新趨勢也給數據研究及共享帶來新的挑戰。

近年來，國際國內對于隱私保護和數據安全的重視已成為重要趨勢。歐盟去年5月通過最新法案《通用數據保護條例》（General Data Protection Regulation， GDPR），對數據保護采取更嚴格的態度。同時，我國也在緊跟這些領域的法律和規范，自2017年《網絡安全法》通過以后，目前我國個人信息保護法已納入立法規劃，有望在2020年通過，這些都反映出數據保護與隱私安全越來越受到重視。

隨著隱私保護和重視數據安全成為新趨勢，數據研究及共享面臨更多問題。首先，由于競爭關系、安全問題、審批流程等因素，數據共享難度高。其次，數據在不同擁有方、云和端以及物聯網節點之間的流通存在著難以打破的壁壘，形成所謂的“數據孤島”問題。此外，即便不同行業之間有意愿交換數據，也可能遭遇政策問責和競爭保護，AI的大數據面臨重重挑戰。

雖然AI的大數據面臨重重挑戰，但數據孤島并非不可解決?！斑w移學習就是很好的解決方案。遷移學習是用一個成熟領域的數據和模型，通過知識遷移，幫助完成一個小數據建模。這樣通過關聯領域間的相似性，幫助更多領域建模，這就像在數據集之間建立朋友圈，數據孤島也能得到有效解決?！睏顝娊淌诒硎?。

數據共享與安全，聯邦學習的優越性

此外，解決數據壁壘、“數據孤島”等問題的方法除遷移學習外，還有一個重要方法——“聯邦學習”。

谷歌公司率先提出了基于個人終端設備的“聯邦學習” （Federated Learning）算法框架。“聯邦機器學習”（Federated Machine Learning）實際上是一種加密的分布式機器學習技術，參與各方可以在不披露底層數據和底層數據的加密（混淆）形態的前提下共建模型。它可以實現各個企業的自有數據不出本地，通過加密機制下的參數交換方式，就能在不違反數據隱私法規情況下，建立一個虛擬的共有模型。在這樣一個機制下，參與各方的身份和地位相同，成功實現了打通“數據孤島”走向“共同發展”的目標。

聯邦學習分為橫向聯邦和縱向聯邦，橫向聯邦數據方特征維度相同，縱向聯邦數據方樣本ID相同?？v向聯邦學習的目標是A方與B方聯合建立模型，并且假設只有一方有標簽Y，兩方均不暴露數據，但可能遇到的挑戰是只有X的一方沒有辦法建立模型，雙方不能交換共享數據，最終要達到的預期為雙方俊獲得數據保護且模型無損失。

“通過縱向聯邦學習，各方在隱私保護下進行樣本ID匹配，每個參與方并不知道另一方的數據和特征，每個參與方只得到自己的自己側的模型參數（半參數），即滿足隱私保護的要求，又滿足數據遷移學習的目標。聯邦學習希望在安全合規的基礎上達到防御攻擊、提高算法效率的目標?！眲⒀蟛┦勘硎?。

基于此，微眾銀行AI團隊提出了基于“聯邦學習”的系統性的通用解決方案，可以解決個人（to C）和公司間（to B）聯合建模的問題。此前，微眾銀行在城市管理的視覺應用方面，與極視角聯合推出了聯邦視覺項目。

“傳統城市管理面臨標簽數量少、數據分散，集中管理成本很高且模型更新和反饋存在離線延遲情況，聯邦視覺項目通過聯邦學習對模型提升率為15%，且模型效果無損失，這是聯邦學習應用在物聯網領域的一大優勢?！?劉洋表示。

物聯網（IoT）是基于互聯網、傳統電信網等信息傳輸渠道，讓所有具備通信功能的獨立物體實現互聯互通的網絡。物聯網的應用之一，是透過收集多個節點的小數據，聚集成大數據來建立應用模型。

而邊緣計算（Edge Computing）則致力于通過依靠集網絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務，從而產生更快的網絡服務響應，滿足不同行業的實時業務需求。

物聯網、邊緣計算和與人工智能 （AI） 的有機結合離不開分布式大數據的安全、合法的管理，聯邦學習助力IoT，實現大規模用戶在保護數據隱私下的協同學習。

多方如何實現“共同富?！保摪顚W習的收益分配

聯邦學習助力物聯網發展，那么，多個數據方是如何打破“數據孤島”，實現 “共同富裕呢？聯邦學習的收益分配是怎樣的呢？

于涵教授表示。“在聯邦學習機制下，參與各方的身份和地位相同，各參與方把加密后的數據貢獻給聯邦，然后數據聯盟訓練一個聯邦模型，這個模型再開放給各數據使用方，達到數據的有效整合及使用，能夠實現打通“數據孤島?！?/p>

然而，在帶來效益的同時，聯邦學習也可能給企業帶來額外成本。具體來說，參與者加入聯邦需要對聯邦做出貢獻，把加密后的數據貢獻給聯邦，會產生數據成本和資金成本，且不同質量的數據方加入聯邦、不同給時間節點加入聯盟的成本和效益可能不完全相同。

“一個數據聯盟的可持續發展取決于其能否持續吸引高質量的個人機構數據持有人的參與”于涵教授強調。

如何吸引高質量的個人機構數據參與進來？在解答這個問題之前，了解收益分配博弈是很有必要的。三類利潤分配博弈中的分配方案包括平均主義、邊際收益和邊際損失。假設按照平均主義，數據聯盟產生的收益在參與者中平均分配，邊際收益則按照某個參與者加入聯盟時帶來的邊際收益確定他所應得的收益，邊際損失則按照某個參與者退出聯盟帶來的邊際損失確定他所應得的收益；從系統角度考慮，總體目標是最大化集體效用。

這些分配方案都有各自的優劣，如何尋找一種適合聯邦學習的分配方案？答案是聯邦學習激勵機制。數據聯盟參與者模型中核心問題是如何公平地對待參與者，通過綜合考量數據方對聯盟的貢獻以及參與聯盟的代價，評估收益分配能否補齊成本，即評估公平度目標。

因此，聯邦學習的解決方案是基于排隊系統為公平度目標建模，通過保證排隊系統穩定，保證參與者等候全額補償的時間有限。另外，模型的公平性維度有三個，一是一個參與者所貢獻的數據為聯邦模型帶來的邊際效益越高，他所應得得補償也越高；二是“遺憾”度及等待時長應在所有參與者間盡量均勻分布；公平性緯度三即在不同時間點之間，“遺憾”度及等待時長的變化盡量不要太劇烈最后在優化目標函數。通過優化目標函數，實現最大化公平度。

基于此，聯邦學習激勵機制的利益分配方案是最大化數據聯盟的整體效用，同時最小化參與者之間在“遺憾”和等待時長兩個維度的不均衡。

聯邦學習，機遇與挑戰并存

聯邦學習解決了在保證數據安全的前提下解決了“數據孤島”問題，同時聯邦學習通過聯邦激勵機制實現參與方的收益分配盡可能公平。在未來，聯邦學習還將帶給我們更多驚喜，尤其在生態建設方面，主要包括開源、技術標準和商業賦能等領域。

在開源方面，微眾銀行基于“聯邦學習”開發了聯盟AI系統并開源聯盟AI解決方案FATE（Federated AI Technology Enabler）。作為聯邦學習領域第一個商用級開源項目，FATE為開發者提供所必須的多方協同建模工作流管理、加密機器學習工具庫和并行計算基礎設施抽象三層能力，同時提供了很多開箱即用的聯邦學習算法和聯邦遷移學習算法供開發者參考，極大簡化了聯盟AI開發的流程并降低了部署難度。這項開源技術的產生極大降低了企業加入聯盟AI生態，拓展合作協同式AI技術的門檻，為企業技術合作，協同建模，共建生態奠定了技術基礎。

在技術標準方面，2018年12月4日，電氣和電子工程師協會標準委員會（IEEE Standard Association）批準由微眾銀行發起的關于聯邦學習架構和應用規范的標準P3652.1（Guide for Architectural Framework and Application of Federated Machine Learning）立項。此次會議上，微眾銀行宣布面向社會征稿，接收的優秀論文將受邀在IEEE Intelligent System 特刊發表。

除了開源、技術標準外，商業賦能更是另一重要方面，尤其是新型智慧城市建設。京東智能城市事業部AI平臺部負責人張鈞波向大家介紹了城市計算與跨越學習聯合建模，城市計算（Urban Computing）通過城市數據的采集、管理、分析挖掘和服務提供，解決交通、規劃、環境等問題。針對城市大數據具有時空動態、異構、多源等特性，京東城市通過打造城市計算平臺和數字網關技術，實現跨域學習聯合建模，并提出聯邦隨機森林等模型，打通數據壁壘，解決數據孤島問題。

除了聯邦學習技術應用等主要議題之外，本次研討會還針對聯邦學習的學術研究以及基于數據隱私等現實案例問題邀請了第四范式的陳雨強博士和北京觀韜中茂（上海）律師事務所合伙人王渝偉律師做內容分享，讓在場的聯邦學習愛好者們更深入地了解了聯邦學習技術。

聯邦學習帶給我們更多驚喜的同時，也面臨諸多挑戰，如何避免模型攻擊和數據攻擊，如何讓聯邦學習在安全合規前提下提高算法效率，這需要學界與業界更多參與者共同探索！

中國計算機學會（ China Computer Federation， CCF ），是一個計算領域開放的、專業的學術社團，堅持會員為本的宗旨，致力于推動計算技術的發展和應用，致力于服務專業人士的職業發展。

微眾銀行是國內首家開業的民營銀行，由騰訊、百業源和立業等多家知名企業發起設立；于2014年12月獲得由深圳銀監局頒發的金融許可證。微眾銀行嚴格遵守國家金融法律法規和監管政策，以合規經營和穩健發展為基礎，致力于普羅大眾、微小企業提供差異化、有特色、優質便捷的金融服務。