根據普林斯頓信息技術和政策中心（Center for Information Technology and Policy，CITP）的一項研究，雖然人工智能系統鼓勵我們洞察我們所依賴的互聯網大數據時代，然而這卻容易對女性以及宗教種族群體產生一些偏見。

　　現在是機器學習和 AI 算法的黃金時代，智能算法的應用無處不在。根據計算機科學副教授 Arvind Narayanan 的研究，這種現象卻會不經意強化和擴大了社會上流傳的或者用戶潛意識中的既定偏見。其文章已經提前發表在 2016 年 8 月的 arXiv 數據庫中。

　　Arvind Narayanan 團隊發現那些有意將女性更多地和家庭言辭結合的算法，同時有的算法的結果還會對老年人或者特定種族信仰人群掛上負面影響。“對于每一種記錄在人群中的偏差，包括對性別的刻板印象和宗族歧視，在今天的機器學習模型中，我們已經能夠復制出來，”Narayanan 說道，這項研究是她在博士后研究期間和英國巴斯大學計算機科學系的 Aylin Caliskan-Islam，以及 CITP 的訪問學者 oanna Bryson 一起完成的。

　　研究通過探索詞組在文本中的使用規律，并用機器學習算法構建語言模型，比如，通過關聯所有維基百科或者新聞節選報道的十億數量級的字節。語言模型每次只學習一個單詞，研究員通過單詞的幾何坐標，對其在一個多維空間中的位置進行定位。如果這些單詞經常挨著某些特定的單詞，那么表明這兩者間具有關聯性，并且其所處的位置也能反映這些單詞的含義。

　　通過這些單詞在坐標系中的位置關系，研究人員發現了字里行間的偏見印象。

　　如果用這些文本訓練模型，那么不難發現，互聯網算法加劇了刻板偏見的擴大，比如男性經常會和“醫生”聯系在一起，這樣的詞還包括“雄心壯志”及“藥物”。然而“護士”這個詞更多的和女性關聯在一起，這樣的字眼還有“護理”及“藥物”。這個模型將會默認“護士”是女性的，即使譯文中的護士是男性的。

　　為了檢測算法結果的偏差，研究人員努力建立一種針對人類對象的長期使用的測試工具，來揭露語言模型中潛在的偏差，即內隱聯想測驗（Implicit Association Test）。以人類為主要目標的檢測譯文來檢測一些與名字、膚色等人口這類詞匯相連接的，比如“邪惡”或者“美好”等帶有主觀情感的詞語。通過機器學習算法所使用語言的幾何化模型，可以更直接的通過測算褒義、貶義、中性的詞匯之間的間隔來鎖定學習結果中出現的偏差。

　　諸如此類的偏見足以對現實世界產生巨大的影響。比如，在 2013 年哈佛大學 Latanya Sweeney 帶領的研究團隊發現非裔美國人的名字更容易和通緝令形成配對。這樣的結果無意地引起了種族歧視，比如當一個非裔美國人投遞他的簡歷時，如果雇員在網上搜索他的名字，那么歧視很容易發生，因為他的名字更多的和犯罪這樣的字眼掛鉤。

　　“人工智能的力量其實和人類旗鼓相當，并不存在碾壓或完爆的現象，”Bryson 是這樣理解人工智能與人類的關系的，“我們人類可以不斷地學習。只要我們拔掉電源，AI 程序的發展就會停滯在某個階段。”

　　Narayanan 認為，如果我們可以處理這種偏見，人類可以采取一些措施從而使這種情況得以減輕緩解。也就是說，人類可以從數學意義上更正一個語言模型的偏差，并對算法出現類似的錯誤結果之時提高警覺。但更重要的是，我們還應該注意自身的用語習慣。