在最近于梵蒂岡城舉行的“數字時代科技公益大會”上，教皇敦促Facebook高管、風險投資人和政府監管機構警惕人工智能和其他技術的影響。他說：“如果人類所謂的技術進步成為共同利益的敵人，這將導致一種不幸的回歸，人類將回到一種由最強者法則支配的野蠻狀態?！?/p>

今年夏天，Joy Buolamwini與民主黨眾議員Alexandria Ocasio－Cortez一起在國會作證，多次審計發現面部識別技術對白人男性效果最好，對有色人種女性效果最差。

這兩個事件的共同點是它們都討論了AI倫理中的權力動態的關系。

關于人工智能倫理的爭論可以在不提及“權力”一詞的情況下展開，但“權力”往往隱藏在議題之下。事實上，它很少是直接的焦點，但它必須是。人工智能中的權力就像地心引力一樣，有一種無形的力量，它影響著人工智能中所有對倫理的思考。

權力影響了那些用例相關的方法、需要優先考慮的問題，以及工具、產品和服務的服務對象。

它是關于公司和國家如何制定政策管理技術使用的辯論的基礎。

它存在于有關民主化、公平和負責任的人工智能的對話中——谷歌CEO桑達爾·皮查伊將人工智能研究人員請進了他的辦公室；頂級機器學習實踐者被視為現代哲學家之王；埃隆·馬斯克等人講述著人工智能技術可能在未來幾十年對人類造成的恐怖影響……

消費者或許會覺得數據保護毫無希望，或者工程師知道某些事情在道德上有問題，但卻找不到追索權。

一般來說，初創公司可能會把道德標準當作一個不錯的附加條件，但不是必須具備的。想要第一個進入市場，并在最后期限前完成產品發布的工程師可能會嘲笑把寶貴的時間放在考慮道德規范上的想法。首席執行官和政客們可能只會嘴上說道德，但最終只會發出同情的信號，或進行道德清洗。

人工智能被稱為21世紀最大的人權挑戰之一。這不僅僅是做正確的事情或盡可能制造最好的人工智能系統，這是關于誰掌握權力以及人工智能如何影響它所涉及的一切力量的平衡。

這些權力動態將定義商業、社會、政府、世界各地個人的生活、隱私的未來，甚至我們未來的權利。幾乎每個人工智能產品經理都喜歡說，事情才剛剛開始，但在人工智能時代，如果不能解決不平衡的權力動態，可能會產生危險的后果。

勞動力市場和新鍍金時代

深度學習、云計算、像GPU這樣的處理器，以及更快地訓練神經網絡所需的計算能力——這些技術已經成為大型科技公司的基石——推動了今天的復興。

第四次工業革命與歷史性的收入不平等和新鍍金時代同時到來。就像19世紀鐵路大亨利用農民急于將作物推向市場的心態一樣，擁有專有數據集的科技公司利用人工智能進一步鞏固自己的市場地位和壟斷地位。

當數據比石油更有價值時，擁有有價值數據的公司則具有巨大優勢，最有可能鞏固財富或行業領導者的地位。這當然適用于像蘋果、Facebook、谷歌、IBM和微軟這樣的大牌公司，但也適用于傳統企業。

與此同時，科技巨頭并購速度加快，并進一步鞏固實力，進而鞏固了其他趨勢，因為研發幾乎完全屬于大型企業。

根據斯坦福大學人類中心人工智能研究所（HAI）最近的一份報告，人工智能的不斷增長可能會導致社會的巨大失衡。

“人工智能的潛在金融優勢非常大，和AI貧富之間的鴻溝太深了，就我們所知，全球經濟平衡可以通過一系列災難性的構造發生變化，”HAI的一個提案呼吁美國政府在未來10年投資1200億美元在教育、研究和創業領域。

該提案的共同作者是前谷歌云首席人工智能科學家李飛飛博士。她說：“如果指導得當，人工智能時代可能會為所有人帶來一個繁榮的時代?！?/p>

普華永道估計，到2030年，人工智能將為全球經濟貢獻15．7萬億美元。然而，如果我們不負責任地利用它，將導致財富和權力更集中在少數迎接這個新時代的精英人士身上，而全球大多數人將陷入貧困，喪失使命感?！?/p>

麻省理工學院（MIT）數字經濟項目（Initiative on the Digital Economy）主任Erik Brynjolfsson研究了人工智能對未來工作的影響，Brynjolfsson在談到未來幾年可能被取代的適合機器學習的工作數量時表示：“如果你從整體經濟的角度看，就會發現一個潮流即將到來。機器智能可以用來重新設計和增加工作場所的任務，但它最常被用來取代工作。”

布魯金斯學會（Brookings Institution）的分析以及卡耐基梅隆大學的Brynjolfsson和Tom Mitchell的研究顯示，自動化對失業的影響預計會因城市和州而異，此外就業不穩定或失業預計將對低收入家庭和有色人種造成不成比例的影響。麥肯錫最近的一份報告稱，自動化將導致非洲裔美國男性的失業人數最多。

此前，美國的收入中位數自2000年以來一直停滯不前。Brynjolfsson將中位數收入增長與生產率增長的關系稱為“大脫鉤”。

他說：“在20世紀的大部分時間里，這些角色是相互關聯的——更多的生產、更多的財富、更高的生產率——與普通人的富裕程度密切相關，但最近這些角色出現了分歧。蛋糕越來越大，我們創造了更多的財富，但這些財富聚集在少數人手中。＂

Brynjolfsson認為，人工智能社區的挑戰已經使美國國防部高級研究計劃局（DARPA）的自動駕駛汽車挑戰賽（autonomous vehicle challenge）和計算機視覺的ImageNet等最先進的人工智能領域實現了飛躍，但企業和人工智能社區應該開始將注意力轉向共享繁榮。

“很多人可能會被甩在后面，事實上，很多人已經被甩了。這就是為什么我認為現在最緊迫的挑戰不僅僅是更好的技術，盡管我完全支持，而是創造共同繁榮?！?/p>

科技巨頭和權力之路

隨著人工智能的普及，另一個主要的趨勢是，在美國歷史上第一次，大部分的勞動力是有色人種。根據美國人口普查局的預測，到2030年，美國大多數城市，乃至整個國家，將不再擁有占人口多數的種族。

這些人口結構的變化使得人工智能公司內部缺乏多樣性的問題更加突出。至關重要的是，在決策系統的創建中缺乏種族和性別多樣性——AI Now研究所所長Kate Crawford稱其為“白人問題”。

谷歌2019多樣性報告－技術勞動力代表的性別和種族統計

據《連線》和Element AI在2018年的一項分析顯示，在大型人工智能會議上發表的研究中，女性只占18％，而Facebook和谷歌的研究人員中，女性只占15％和10％。兩家公司的發言人表示，谷歌和Facebook不提供人工智能研究多樣性數據。

AI Now研究所今年4月發布的一份報告詳細描述了“負責技術研究的工程專業人群與部署人工智能系統的極為多樣化的人群之間的鮮明文化差異”。該組織將其稱為“人工智能問責差距”。

該報告還承認了人工智能系統中隱藏的人力資源，比如Facebook或YouTube內容所需的數萬名版主，或者哥倫比亞的Kiwibot司機，他們正在舊金山灣區加州大學伯克利分校附近遠程駕駛Kiwibot送貨機器人。

Facebook 2019多樣性數據－按種族劃分的Facebook技術勞動力

報告稱：“那些開發人工智能并從中獲利的企業，與那些最有可能受到其負面影響的企業之間的差距正在拉大，而不是縮小。”報告指出，人工智能行業缺乏政府監管，權力集中在少數幾家企業手中。

Safiya Noble博士和Sarah Roberts在今年8月加州大學洛杉磯分校發表的一篇論文中，記錄了科技行業缺乏多樣性的影響。他們認為，我們現在正在見證“數字技術統治的崛起”，實際上是一個儲存資源的權力系統，它可能會根據種族身份、性別或階級來判斷一個人的價值。

“即使在聯邦法律下，美國公司也無法‘自我調節’和‘創新’來結束種族歧視。在現代數字技術精英中，精英主義和智力優勢的神話被用作種族和性別的象征，不成比例地從有色人種、尤其是非洲裔美國人、拉丁裔和印第安人那里整合資源，”報告寫道?！皩⑸裨挼耐顿Y壓制了對種族主義和歧視的質疑，即使數字精英的產品中充滿了種族、階級和性別標記。”

盡管人們都在談論如何解決科技行業的多元化問題，但科技行業的很多方面都只取得了漸進式的進展，對拉丁裔或黑人創業者的資助仍然落后于白人創業者。為了解決科技行業在多樣性和包容性倡議方面普遍缺乏進展的問題，一對數據與社會研究員建議科技公司和人工智能公司采用種族掃盲。

其中之一，Mutale Nkonde，是《算法問責法》的合著者，該法案于今年早些時候在國會兩院提出，要求聯邦貿易委員會（FTC）對算法偏見進行評估，并允許該機構根據公司規模開出罰單。

她也是人工智能的執行董事，也是哈佛大學伯克曼·克萊因互聯網和社會中心研究員。她現在正在評估人工智能和錯誤信息在2020年大選中如何被用來針對非洲裔美國人。參議院情報委員會（Senate Intelligence committee）去年10月發布的一項調查發現，干預2016年大選的舉措只針對Facebook、Twitter和Instagram上的非裔美國人。

在此之前，她和一個小團隊致力于推進種族掃盲的理念。

Nkonde和她的合著者認為，隱性偏見培訓和多元化舉措——由發布年度多元化報告的科技巨頭們倡導的——并沒有在創造一個看起來像用戶的科技勞動力方面起到什么作用。為了取得有意義的進展，企業應該把模糊的愿望放在一邊，開始采取切實的步驟，對人們進行種族掃盲教育。

一篇解釋種族掃盲框架的論文寫道：“在科技領域建立種族掃盲能力的真正目標，是想象一個不同的世界，一個我們可以打破舊模式的世界。如果不刻意解決技術領域的種族問題，新技術將不可避免地重現舊的分歧。但事實并非如此?！?/p>

合著者希望種族素養成為計算機科學學生課程和科技公司員工培訓的一部分。他們的方法借鑒了霍華德·史蒂文森（Howard Stevenson）為學校提供的種族掃盲培訓，并包括內隱聯想測試，以確定人們持有的刻板印象。

種族掃盲旨在為人們提供培訓，提升情商，以解決工作場所的種族壓力狀況。這可能包括計算機科學家和設計師，以及機器學習工程師，允許他們公開談論一個產品或服務如何能使結構性種族主義永久化，或為不同的用戶群體帶來不利影響。

這樣做的目的是讓人們以一種開放和非對抗性的方式討論產品或服務可能出現的問題。在對大中型科技公司員工的采訪中，研究人員發現，在許多科技公司，與種族相關的問題是禁忌。

“人們想假裝這無關緊要，而這實際上強化了種族主義模式和行為，”Nkonde說?！斑@將意味著，企業必須明確自己的價值觀，而不是試圖通過避免明確表達自己的價值觀來迎合所有人?！?/p>

Nkonde認為，隨著Alphabet等公司開發出對人們生活至關重要的產品，如醫療服務或出售給政府的面部識別軟件，種族掃盲將變得越來越重要。

種族掃盲培訓的另一個預期結果是，在公司內部創造一種文化，這種文化能在多元化的員工隊伍中看到價值。波士頓咨詢集團（Boston Consulting Group）去年發布的一份研究報告發現，多元化程度更高的組織擁有更高的收入和創新能力。但如果招聘和留任數據能說明什么問題的話，那就是硅谷的科技巨頭們似乎還沒有意識到這一點。

領英的高級軟件工程師Guillaume Saint－Jacques認為AI倫理不僅僅是正確的事情，并且其在商業上是合理的。他認為，偏見會妨礙利潤。

“如果你有很大的偏見，你可能只會迎合一個群體，最終這會限制你的用戶群的增長，所以從商業角度來看，你希望所有人都參與進來……從長遠來看，這實際上是一個不錯的商業決策。”

個人自主和自動化

實力強大的公司可能會以不同的方式展示自己的實力，但它們的商業計劃會對個人產生影響。

關于這種新的權力格局，或許最好的總結來自于哈佛商學院退休教授Shoshana Zuboff的《監控資本主義時代（Age of Surveillance Capitalism）》一書。該書詳細介紹了一種新的資本主義形式的創造，該資本主義結合了諸如攝像頭、智能家居設備和智能手機之類的傳感器，以收集輸入到AI系統中的數據，從而對我們的生活做出預測（例如我們將如何表現為消費者），以便“ 大規模了解并塑造我們的行為?！?/p>

“監視資本主義單方面宣稱人類經驗是一種免費的原始資源，可以轉化為行為數據。盡管其中一些數據（洞見）被應用于產品或服務的改進，但其余的被宣布為一種專有的行為盈余，被輸入稱為‘機器智能’的先進制造過程，并被制造成預測產品，預測你現在、不久和以后會做什么，”Zuboff寫道。

她認為，這種經濟秩序是谷歌在硅谷創造的，但后來被亞馬遜、Facebook和微軟，以及百度和騰訊等中國同行采用。

Zuboff將監控資本主義描述為一種前所未有的權力形式，幾乎沒有人完全了解它，她還表示，目前沒有有效的集體或政治行動手段來對抗它。

她質疑，當市場“轉變為一個完全確定的項目”時，監管資本主義可能會對人性造成嚴重破壞。Zuboff說，如果不加以控制，這種相對較新的市場力量可以推翻人民的主權，成為對西方自由民主國家和“想象、意愿、承諾和建設未來”這一概念的威脅。

這些大公司“從我們這里積累了大量新知識，但不是為我們積累的。他們預測我們的未來是為了別人的利益。只要監管資本主義及其行為期貨市場得以蓬勃發展，對新行為修正手段的所有權，就會使對生產手段的所有權黯然失色，成為21世紀資本主義財富和權力的源泉?！?/p>

Zuboff認為，監控資本主義的一個主要副產品是一種壓倒性的無助感。這就是你看到的人們聳聳肩，說沒有什么能阻止擁有大量資源和財富的大型科技公司。

泄密者愛德華·斯諾登似乎同意Zuboff的判斷。

企業和政府越來越多地使用元數據收集來進行影響人類生活的決策，從使用移動設備跟蹤用戶的活動到中國的“社會信用評分”。斯諾登最近在接受美國全國廣播公司（NBC）采訪時被問及為何不犯罪的人應該關注監控技術，他說，這些數據的目的總的來說是為了消除個人的監控。

“這些活動記錄被公司和政府不斷地創建、共享、收集和攔截。最終，這意味著當他們出售這些，當他們交易這些，當他們在這些記錄的基礎上做生意，他們出售的不是信息。他們賣的是我們。他們在出賣我們的未來。他們在出賣我們的過去。他們出賣我們的歷史，我們的身份，最終，他們偷走了我們的權力，讓我們的故事為他們服務?！?/p>

普林斯頓大學副教授、《科技之后的賽跑（Race After Technology）》一書的作者Ruha Benjamin也關注代理問題，因為無論人們支持人工智能帶來世界末日或烏托邦的愿景，他們都在談論把權力讓給機器。

Benjamin在肯尼亞內羅畢肯雅塔大學舉行的深度學習會議上表示：“無論是技術將拯救我們還是殺死我們，它們都在放棄權力?！?/p>

在大公司內部出現了一個非常不同的個人權力的體現。例如，大約一年前，全球逾2萬名谷歌員工因多種道德問題舉行了罷工。據活動組織者介紹，其中包括Android創始人安迪·魯賓在性騷擾指控后獲得的9000萬美元賠償，強制仲裁的終結，以及谷歌參與五角大樓的Maven項目。

幾個月前，數千名谷歌的員工簽署了一封公開信，抗議該公司參與無人機目標探測的人工智能項目。幾個月后，谷歌承諾在2019年終止其Maven合同，并發布了一套人工智能原則，其中包括不制造自動化武器的承諾。

同樣，Facebook的員工呼吁首席執行官馬克·扎克伯格核實事實，或禁止政治廣告，而微軟和GitHub的員工則呼吁終止與ICE的合同。

挑戰大型科技公司需要勇氣和組織——尤其是對那些受雇于這些公司的人來說——但這些抗議表明，個人可以重新獲得一些權力，即使面對龐然大物也是如此。

政府和社會

隨著人工智能在當今的復興，埃隆·馬斯克已經成為了當代的保羅·里維爾（Paul Revere），他發出了關于殺手機器人和人工一般智能（AGI）的警報。當俄羅斯總統弗拉基米爾·普京（Vladimir Putin）說控制人工智能的國家將控制世界時，馬斯克回應稱，他認為人工智能軍備競賽將導致第三次世界大戰。

馬斯克加入了4500多名人工智能和機器人研究人員的行列，并簽署了一份為未來而戰的公開信，反對無人干預的自動化武器。如果或當國家引進自主殺手機器人，擁有選擇人類生死的權力，那可能確實會成為權力的最終表達。

然而，盡管像馬斯克這樣的人物把大量注意力放在了假設上，面部識別已經在某些城市得到應用，例如底特律警察局已經在測試實時面部識別。與此同時，算法返回的結果被認為對數百萬非洲裔美國人的生活產生了負面影響，非二元性別和有色人種的表現很差。

像《終結者：天網》這樣的AGI場景可能還沒有出現，但軍方已經在考慮人工智能的倫理應用。

人工智能、權力和公民社會

雖然圍繞使用人工智能來控制網上政治言論的斗爭仍在繼續，但新問題仍在不斷涌現，比如導致中介機構和倡導組織要求科技巨頭禁止使用算法代替法官進行審前保釋評估的偏見。

由蘋果、Facebook和谷歌等公司的人工智能研究人員創建的人工智能伙伴關系，將大赦國際（Amnesty International）和人權觀察（Human Rights Watch）等組織與世界上最大的人工智能公司聯系在一起。執行董事Terah Lyons表示，在非政府組織和科技巨頭就人工智能將如何影響社會展開的人工智能倫理辯論中，權力是核心。

她認為，人工智能行業缺乏多樣性，對系統和工具的構建和部署方式也缺乏相應的影響力，以及科技公司和機構內部個人的權力和影響力，這些都是權力在起作用。

“與這些大型且資源豐富的科技公司相比，擁有少量資源的民間社會和非營利性機構的力量和資源配置存在許多差異，因此，更有效地賦予他們權力，我認為這是你開始為有效合作而公平競爭的重要因素?！彼f。

同樣的旅行限制也會影響有興趣參加國際會議的人工智能研究人員。去年，在加拿大蒙特利爾的NeurIPS舉辦的人工智能研討會上，大約有一半的與會者被移民局官員拒簽，今年，申請者再次報告了同樣的情況。

此類事件促使人工智能領域的合作伙伴敦促各國為人工智能研究會議的旅行提供特殊簽證，就像在世界某些地區為醫療專業人士、運動員和企業家提供的簽證一樣。

國家與科技巨頭之間的權力關系

Casper Klynge是丹麥駐硅谷大使。一些國家在舊金山灣區設有商業和創新中心，但Klynge是第一位被派往硅谷專門代表一個國家外交利益的大使。

丹麥政府已經派他作為全球超級大國與蘋果、亞馬遜、谷歌和Facebook等公司打交道，這些公司聚集了世界上大量的人工智能人才。Klynge認為，更多的小國也應該這樣做，這樣它們才能為共同的目標而共同努力。Klynge說，在他擔任北約秘書長的兩年中，他了解到與其他小國建立多邊聯盟是他工作的一部分。

壟斷企業對政府來說并不新鮮，但Klynge表示，像自動駕駛和搜索這樣的人工智能已經改變了游戲規則，使這類科技公司對國家利益的重要性超過許多其他國家，并引發了對丹麥所稱的技術外交的需求。

Klynge指出，科技巨頭正在扭曲國際關系的本質，并在創造一個新的現實，即各國必須像對待全球超級大國那樣對待科技巨頭。

“我們不能再把它們看作是中立的平臺，它們只是人們想做的事情的中立提供者。我認為，我們必須以更成熟和負責任的方式對待他們，這也意味著我們不再幼稚，我們更加平衡，我們也提出要求，讓他們負起責任。”他說，“我的工作只是一個癥狀，我們正努力做一些更系統化的事情，以對科技公司和科技本身有一個更平衡、更現實的看法。”

未來又是如何？

在有關人工智能倫理的辯論中，權力無處不在，但這并不意味著我們必須保持無作為。正如種族掃盲項目所表明的那樣，還有另一種方式。

當Ruha Benjamin說科技需要的是“社會上的想象力”時，她就呼吁這樣做。Cathy O ＇Neil在她的著作《數學毀滅的武器（Weapons of Math Destruction）》中也提到了這一點。

“大數據流程編纂了過去。他們沒有創造未來。這樣做需要道德想象力，而這是只有人類才能提供的東西，”她寫道。

一種扭曲的權力格局使得“民主化”之類的詞匯實際上毫無意義，但將人工智能交到解決重大問題的更多人手中，可能會顯著改變人們對人工智能的看法，并在人類生活中產生積極影響。

當然，已經有很多人工智能被用來改善人類生活的例子。麻省理工學院的研究人員發明了一種讓孩子們更快上學的算法，每年為波士頓學區節省了500萬美元的交通費用。紐約消防局和紐約大學正在利用人工智能，通過了解最有效的現場路徑來提高應急響應時間——這是Google．org上幾十個項目之一，它們采用數據驅動的方法來創建人工智能，造福人類。人類正在利用人工智能建造更高效的溫室，提高農作物產量，這些進步可能有助于在未來幾十年避免饑餓，并在全球人口膨脹至100億之際養活世界。這樣的例子不勝枚舉。

但是，能夠預測未來、顛覆經濟和社會秩序、把人關進監獄、或者對我們的健康做出決定的技術，總是意味著，在令人印象深刻的技術進步的表面之下，是一場權力斗爭。

在人工智能系統中存在一種權力動態，它會讓有色人種在保釋評估、影響數百萬人的醫療保健、無家可歸者服務和面部識別方面的表現更差。

當歐盟的人工智能專家敦促各國避免大規模監控，而是使用人工智能來增強人們的能力時，也會出現這種情況。三星和聯合國都提出了利用人工智能實現可持續發展目標的倡議。

正如數字中心丹麥的首席執行官Camilla Rygaard－Hjalsted所說的那樣，積極的氣候變化目標有助于招募人工智能人才，或者機器學習應用于氣候變化可能是人工智能的偉大登月計劃。

它存在于剛剛起步的人工智能對話項目中，以保護軍人的孩子，探測何時可能發生團伙槍擊，或者為巴基斯坦的少女提供性健康咨詢服務。

它存在于開源項目中，比如Masakhane，它致力于為2000多種非洲語言創建機器翻譯。該項目目前有來自非洲大陸各個角落的60名貢獻者，他們致力于開發能夠保存和翻譯這些語言的人工智能。據聯合國估計，非洲擁有地球上最年輕的人口，從現在到2050年，非洲將占全球人口增長的一半以上。非洲的機器翻譯對于推動人工智能對話、交流以及在線和現實世界中的商務可能很重要。

在過去的三年中，Kathleen Siminyu一直在肯尼亞內羅畢的機器學習和數據科學女性分部工作。她說：“我認為語言是一個障礙，如果消除了這個障礙，很多非洲人就能夠參與數字經濟，并最終進入人工智能經濟。所以，是的，作為坐在這里為本地語言做貢獻的人，我覺得我們有責任把那些不在數字時代的人帶入人工智能時代?！?/p>

如果你只關注人工智能倫理辯論的一部分，很容易得出這樣的結論：讓人工智能倫理成為工程和設計過程的一部分，在政治上是正確的，是企業社會責任的要求，可能會阻礙真正的進步。

其實不是。人工智能倫理意味著盡可能以最好的方式建立模型，把人類考慮在內，讓模型處于循環之中，這對于未來的技術和人們選擇的管理世界的系統來說是不可或缺的。

當我們對未來沒有其他的愿景，除了一個處于全球監視狀態、走向第三次世界大戰的失業星球之外，沒有其他的可能性時，這些權力動態似乎最令人生畏。

在描繪通往更美好世界的道路時，必須認識到其中的權力動態，因為就像人工智能本身可以是工具或武器一樣，它可以使個人和整個社會處于有利或不利的地位。創業公司、科技巨頭和希望有一個更美好世界的社區有責任夢想并分享這些愿望。

人工智能正在改變社會，它不可能只是少數有特權的人來決定這將如何發生或構建這個世界的樣子。