關于AI威脅論，《降臨》的作者Ted Chiang認為，硅谷的巨頭公司試圖想象超級智能時，所提出的是沒有限制的資本主義。“顛覆”是積極正面的，而不是消極的，但谷歌、Facebook這些巨頭需要表現得比他們所擔心的人工智能更好，并展現洞察力。

　　今年夏天，伊隆·馬斯克發表了演講，說“人工智能是人類文明存在的根本風險。” 馬斯克舉了一個人工智能摘草莓的例子。這個AI的使命就是采摘草莓。這看起來似乎是無害的，但隨著AI重新設計自己，把自己變得更加高效，它可能會決定提高產出的最佳方法便是摧毀文明，并將整個地球的表面變成草莓田。因此，在追求一個看似無害的目標時，AI可能會在無意間導致人類滅絕。

　　當硅谷試圖想象超級智能的時候，它所提出的是沒有限制的資本主義

　　對大多數人來說這很荒謬，然而卻有很多技術人員認為這揭示了真正的危險。為什么？也許是因為他們已經習慣了以這種方式運作的實體：硅谷科技公司。

　　考慮一下：誰追求目標卻不注重潛在的消極后果？誰采取焦土政策（軍隊撤退時銷毀一切敵軍可利用之物）來增加市場份額？每個科技創業公司都希望能像這個假設的草莓采摘AI一樣：以指數速度增長，并摧毀其競爭對手，直到獲得絕對壟斷。超級智能的概念定義并不明確，人們可以隨心所欲地設想。但是，當硅谷試圖想象超級智能的時候，它所提出的就是沒有限制的資本主義。

　　在心理學方面，“洞察力”一詞用來表示對自我狀態的認識，例如一位精神病患者意識到自己患有疾病。更廣泛地說，它描述了在自己的行為中識別模式的能力。這是元認知的一個例子，或者說思考自己的思想，大多數人都能做到這一點，但動物卻不行。我相信，測試AI是否真正達到人類水平的認知能力，最好的方法就是看AI是否具有這種洞察力。

　　而洞察力正是馬斯克舉例中的摘草莓AI所缺乏的，就像所有其他在類似的世界末日場景中摧毀人類的AI一樣。我曾經覺得奇怪的是，這些想象出來的AI應該十分聰明，可以解決人類無法解決的問題，但是它們卻無法做到絕大多數成年人都能做的事情——退后一步看，想想自己這樣做是不是真的好。然后我意識到，我們早已被缺乏洞察力的機器所包圍，我們只是將這些機器稱之為“公司”（Corporation）。當然，公司并不是自主運作的，掌管這些公司的人大多是有洞察力的，但是資本主義并不鼓勵這種洞察力。資本主義主動削弱了人們的這種能力，要求他們用“市場決定的”來代替自己對什么是“好”的判斷。

　　監管AI的問題不是“誰允許我”，而是“誰來阻止我”

　　由于企業缺乏洞察力，我們期望政府出來監管，但互聯網幾乎完全不受監管。早在1996年，John Perry Barlow就發表了一個宣言，聲明政府對網絡空間沒有管轄權，在20年的時間里，這個概念已經成為了科技工作者的公理。這導致了毀滅人類文明的AI和硅谷科技公司之間的又一個相似之處：缺乏外部控制。如果你向一個AI預言者建議，人類永遠不會授予AI那么多的自主權，那么你從根本上誤解了這種情況。人們認為監管AI的問題不是“誰允許我”，而是“誰來阻止我”——硅谷甚囂塵上的自由主義。

　　創業文化的精神可以作為毀滅性AI的發展藍圖。“快速行動，打破事情”曾經是Facebook的座右銘；他們后來把這句話改為“穩定的基礎設施，快速行動”，但Facebook說的是保留他們自己建造的東西，而不是其他人的東西。這種將世界的其他地方視為自己顛覆目標的態度，或許會為AI毀滅世界埋下伏筆。當Uber希望擁有更多新車的司機時，解決辦法是說服信用不良的人去購買汽車貸款，然后直接從收入中扣除款項。他們認為這是破壞汽車貸款行業，但其他人都認為這是掠奪性貸款。

　　科技企業家認為，“顛覆”是積極正面的，而不是消極的。如果一個超級智能人工智能向天使投資者提供資金，將地球表面轉換成草莓田，不過是對全球土地使用政策的長期拖延而已。

　　有業界觀察人士談及AI需要有道德，有人建議我們要確保任何超級智能都是對人類“友善的”，這意味著他們的目標是符合全人類發展的。我卻認為這些建議具有諷刺意味，因為我們作為一個社會，并沒有教導企業擁有道德，我們沒有做任何事情來確保Facebook和亞馬遜的目標與公共利益相一致。但我對此并不應該感到驚訝。如何創建友好的人工智能這個問題，比考慮行業監管問題更有意思，就像想象在僵尸大戰世界末日，比思考如何緩解全球變暖更有趣一樣。

　　最近人工智能已經有了一些令人印象深刻的進步，比如AlphaGo Zero，它在幾天內就成為了世界上最厲害的圍棋玩家。但是這并沒有讓我擔心超級智能AI“覺醒”的可能性（一方面，AlphaGo Zero的技術對于物理世界中的任務是沒有用的；我們距離實現一個能夠走進你的廚房，幫你做一份炒雞蛋的機器人，還有很長的路要走）。我更關心的是谷歌、Facebook和亞馬遜的權力集中。他們已經到達一種非常反競爭的市場支配地位，但是由于它們的運作方式并沒有提高消費者的價格，所以不符合傳統的壟斷標準，因而避開了政府的反托拉斯監督。我們不必擔心谷歌的DeepMind研究部門，我們需要擔心的是，如果不使用Google的服務，幾乎不可能運行一個在線業務。

　　甚至可以說，對超級智能AI的恐懼是谷歌、Facebook這些高科技巨頭的故意策略，它們將我們的注意力從它們自己正在做的事情中分散出去，這些公司正在向廣告商銷售他們的用戶數據。如果你懷疑這是他們的目標，問問自己，為什么Facebook不提供一個付費的沒有廣告、并且不收集私人信息的版本？ 智能手機上的大多數APP都提供了刪除廣告的高級版本; 如果這些開發者都可以實現，為什么Facebook不能呢？因為Facebook不想這樣做。它作為一個公司的目標不是把你和你的朋友聯系起來，而是讓你看到廣告，同時讓你相信這是為了你的利益，因為這些廣告是有針對性的。

　　所以如果馬克·扎克伯格對有關AI威脅的警告是為了分散注意力而提出的不相干論點，那么這種警告是有意義的。但他不是; 他其實對AI非常自滿。對超級智能AI的恐懼可能是末日審判者那樣的情況。這并不意味著它們反映了真正的威脅; 它們反映的是技術人員無法把適度作為一種美德。像比爾·蓋茨和伊隆·馬斯克這樣的億萬富豪們認為，超級智能AI將會不擇手段地實現其目標，因為這是他們的態度。（當然，他們已經參與其中，他們看到這個策略是沒有錯的；只是別人有可能比他們做得更好，這讓他們擔心。）

　　硅谷已經不自覺地將自己的形象塑造成一個魔鬼

　　有一種說法是由弗雷德里克·詹姆森（Fredric Jameson）推廣的，想象世界末日比想象資本主義的終結更容易。硅谷資本家不想去思考資本主義的結局也就不足為奇了。令人意想不到的是，他們設想世界末日的方式是通過一種不加控制的資本主義形式，偽裝成超級智慧的人工智能。他們不自覺地以自己的形象創造了一個魔鬼，一個超自然的妄自尊大的人。

　　這使我們再次認識洞察力的重要性。有時洞察力會自發地產生，但很多時候卻不會。人們常常為了追求某個目標而被帶跑偏，在被朋友和家人或治療師指出之前，他們可能不會意識到這一點。聽這種喚醒電話被認為是心理健康的一個標志。

　　我們需要機器喚醒，不是說要讓電腦擁有自我意識，而是要讓企業認識到自己行為的后果。硅谷的公司應該認識到，增加市場份額并不是忽視所有其他考慮的好理由。 個人在經歷了一個喚醒電話之后經常重新評估他們的優先級。我們需要的是公司也要這樣做：不要完全放棄資本主義，而是要重新思考它們的實踐方式。我們希望他們表現得比他們所擔心的人工智能更好，并展現洞察力。

　　作者簡介：

　　Ted Chiang 是一名暢銷科幻小說作家。在25年的寫作生涯里，他創作了15部小說，贏得了許多獎項，包括四個星云獎，四個雨果獎，四個軌跡獎，以及約翰·坎貝爾最佳新人獎。他的作品“Stories of Your Life and Others”被改編成電影《降臨》，由艾米·亞當斯（Amy Adams）主演，丹尼斯·維倫紐夫（Denis Villeneuve）執導。他也是一名技術作家，現在居住在華盛頓州的貝爾維尤。