數字獨裁崛起

一旦人失去了經濟價值，他們可能也都失去政治權力。令數十億人在經濟上無關緊要的新技術，也使他們更容易被監控。

想一想關于監視的問題。世界上許多國家（包括一些民主國家）正忙于建立前所未有的監視系統。以色列是監視技術領域的領導者，并在被占領的西岸地區創建了一個全面監視制度：今天，每當巴勒斯坦人打電話，在Facebook上發布內容或從一個城市到另一個城市旅行時，他們很可能會受到以色列麥克風，相機，無人機或間諜軟件的監控。算法分析收集的數據，幫助以色列安全部隊查明并消除他們認為是潛在威脅的內容。巴勒斯坦人可以管理西岸的一些城鎮和村莊，但以色列人掌控著天空，電視廣播和網絡空間。有效地控制居住在約旦河西岸的大約250萬巴勒斯坦人，只需要很少以色列士兵。

2017年10月，一名巴勒斯坦勞工在他的私人Facebook賬戶上張貼了自己在工作場所的照片，以及推土機。并在上面寫了一句“早上好！”Facebook翻譯算法在翻譯時出現了錯誤。算法將這些字母識別為Ydbachhum（意思是“傷害他們”），而不是Ysabechhum（意思是“早上好”）。以色列安全部隊懷疑這名男子可能是一名恐怖分子，于是迅速逮捕了他。在他們意識到算法出錯之后釋放了這名巴勒斯坦人，而“違規”的Facebook帖子也被刪除了。巴勒斯坦人今天在西岸的經歷，可能只是全球數十億人終將經歷的未來預覽。

假如，朝鮮目前的政權在未來獲得了這種技術的更高級版本。朝鮮人可能需要佩戴生物識別手鐲，監測他們所做和所說的一切，以及他們的血壓和大腦活動。利用對人類大腦日益增長的理解并利用機器學習的巨大力量，朝鮮政府最終可能能夠衡量每個公民每時每刻都在想什么。如果一個朝鮮人看著領袖的照片，生物識別傳感器發現了憤怒的跡象（血壓升高，激素水平增加），那個人第二天就可能被捕。

其實很多時候根本無需使用這種“硬控制”技術。盡管一些國家對公眾的實際控制越來越少，但卻可以左右其投票的立場，操縱選民感情的嘗試不是什么新鮮事，而一旦某人（無論是在舊金山，北京還是莫斯科）獲得了有效的，低成本的大規模心理操縱技術，民主政治終將淪為一場木偶劇。

未來幾十年，我們不太可能遭遇具備了感情的機器人，但是可能不得不面對那些比你媽更善于控制你情感的機器人，而它們會非常熟練的使用這種不可思議的能力。人類的精英在忙于向我們推銷一些東西，無論是汽車，政治家還是整個意識形態；而機器人則直接識別我們內心深處的恐懼，仇恨和渴望，并利用它來對付我們。

其實人工智能革命的最大、最可怕的后果，是影響民主國家和獨裁政權的相對效率。歷史上的獨裁政權在創新和經濟增長方面面臨著嚴峻的障礙。在20世紀后期，民主國家通常勝過獨裁統治，因為他們在處理信息方面要好得多。我們常將民主與獨裁之間的沖突視為兩種不同道德體系之間的沖突，但它實際上是兩種不同數據處理系統之間的沖突。民主分配權力來處理信息并在許多人和機構中做出決定，而獨裁統治將信息和權力集中在一個地方。鑒于20世紀的技術，在一個地方集中太多的信息和權力是低效的。沒有人能夠足夠快地處理所有可用信息并做出正確的決定。這是蘇聯做出比美國更糟糕的決定的原因之一，以及為什么蘇聯經濟遠遠落后于美國經濟。

但人工智能可能很快將鐘擺向相反方向擺動。AI可以集中處理大量信息。實際上，它可能使集中式系統比分散系統更有效，因為對機器學習而言信息越多效果越好。如果您忽略所有隱私問題并將所有與十億人相關的信息集中在一個數據庫中，那么您將獲得比尊重個人隱私更好的算法，命令其所有公民進行DNA測序并與某些中央機構分享醫療數據的政府，將比那些在醫學數據嚴格尊重隱私的政府和機構獲得巨大的優勢。20世紀的主要障礙（將所有信息和權力集中在一個地方）可能成為21世紀的決定性優勢。

當然新技術將繼續出現，其中一些技術可能會鼓勵分配而不是集中信息和權力。如區塊鏈技術以及由其啟用的加密貨幣的使用，但區塊鏈技術仍處于萌芽階段，我們還不知道它是否會真正抵消人工智能的集中化趨勢。請記住，互聯網在早期被宣傳為一種自由主義的靈丹妙藥，可以讓人們從所有集中系統中解放出來，但現在它已經準備讓集中系統比以往更加強大。

把權力交給機器

即便一些社會能夠努力保持表面上的民主，算法對效率的影響仍會改變我們，人類個體越來越多的把權力交給聯網的機器，因為我們將從生活經驗中逐步變得越來越信任算法，心甘情愿地放棄對我們生活的更多權力，最終失去了為自己做出決定的能力。

短短二十年時間，數十億人就已經向Google的搜索算法委托給每個人最重要的任務之一：找到相關且值得信賴的信息。我們更多地依靠Google來尋求答案，我們獨立處理信息的能力減弱了。今天的“真相”是由Google搜索的最佳結果定義的。這個過程同樣影響了我們的身體能力，例如導航，人們要求Google不僅要查找信息，還要引導他們。自動駕駛汽車和AI醫生同樣如此：雖然這些創新將使卡車司機和人類醫生失業，但最重要的是加劇了人類的權力和責任向機器轉移的過程。

人類習慣于將生活視為由一系列決策組成的戲劇。自由民主和自由市場將個人視為一個不斷對世界作出選擇的自主的理性人。藝術作品（無論是莎士比亞戲劇，簡奧斯汀小說，還是好萊塢喜劇）通常圍繞著英雄做出一些關鍵決定。生存還是毀滅？聽我妻子的話并殺死鄧肯國王，或按照我的良心饒恕他？嫁給柯林斯先生或達西先生？基督徒和穆斯林同樣關注決策的戲劇性，認為永恒的救贖取決于做出正確的選擇。

當人類依靠AI為我們做出決定時，這種生活觀會發生什么？現在我們相信Netflix會推薦電影，Spotify會選擇我們喜歡的音樂。你覺得AI幫助我們做出選擇的進程會裹足不前？

每年都有數百萬大學生需要決定學習什么，這是一個非常重要和困難的決定，是在父母，朋友和教授的壓力下做出的，他們有不同的興趣和意見。它也受到學生自身個人恐懼和幻想的影響，這些恐懼和幻想本身就是由電影，小說和廣告活動所塑造的。使問題復雜化的是，一個特定的學生并不真正知道在一個特定的職業中取得成功需要什么，并且不一定對他或她自己的優缺點有現實的認識。

人工智能有朝一日可以做出比職業生涯規劃更好的決策，甚至替你決策人際關系也不在話下。一旦我們開始依靠AI決定學習什么，在哪里工作，與誰約會甚至與誰結婚，人類生活將不再是決策的戲劇，我們的生活觀念將需要改變。不但民主選舉和自由市場不再有意義，大多數宗教和藝術品也是如此。想象一下安娜·卡列尼娜拿出她的智能手機并詢問Siri是否應該與卡列寧結婚還是與瀟灑的伯朗斯伯爵私奔。想象一下你最喜歡的莎士比亞通過Google算法做出所有重要決定，哈姆雷特和麥克白的生活會更加舒適，但這些生活會是什么樣的生活？我們是否有能夠理解這種生活的模型？

議會和政黨是否克服了這些挑戰并阻止了黑暗的情景？目前這似乎不太可能。技術破壞甚至沒有出現在政治議程表上。在2016年美國總統競選期間，技術的破壞性主要內容涉及希拉里克林頓的電子郵件崩潰，盡管兩位候選人都在談論失業，但都沒有直接解決自動化的潛在影響。特朗普警告選民墨西哥人會接受他們的工作，因此美國應該在其南部邊境修建一堵墻。他從未向選民發出警告說算法會占用他們的工作，他也沒有建議在加利福尼亞周圍建立防火墻。

人類何去何從？

首先，我們需要更加重視人類思維的運作方式，特別是如何培養自己的智慧和同情心。如果我們在人工智能上投入太多而在開發人類思維方面投入太少，那么愈加復雜的人工智能可能只會加劇人類的愚蠢化，并培養我們最糟糕的（也可能是最強大的）沖動，其中有貪婪和仇恨。為了避免這樣的結果，我們應在投資于改善人工智能的同時，對探索和發展人類意識投入同等力度。

更實際而直接的是，如果我們想要防止所有財富和權力集中在一小撮精英手中，我們必須規范數據所有權。在古代，土地是最重要的資產，因此政治是控制土地的斗爭。在現代，機器和工廠變得比土地更重要，因此政治斗爭的重點是控制這些重要的生產方式。在21世紀，數據將使土地和機械都成為最重要的資產，因此政治將是控制數據流動的斗爭。

不幸的是，我們在管理數據所有權方面沒有太多經驗，這本身就是一項比管理土地或機器更困難的任務。數據無處不在，無時不在，它們可以以光速移動，您可以根據需要創建任意數量的副本。收集的關于我的DNA，我的大腦和生命的數據是屬于我，還是屬于政府，公司或人類集體？

積累數據的競爭已經開始，目前由谷歌和Facebook以及中國百度和騰訊等巨頭領導。到目前為止，這些公司中的許多公司都充當了“關注商家” – 他們通過向我們提供免費信息，服務和娛樂來吸引我們的注意力，然后他們將我們的注意力轉移給廣告商。然而，他們真正的業務不僅僅是銷售廣告。相反，通過吸引我們的注意力，他們設法積累了大量關于我們的數據，這些數據比任何廣告收入都更有價值。我們不是他們的客戶，我們是他們的產品。

普通人會發現很難抵制這個過程。目前我們許多人都樂于贈送我們最寶貴的資產（我們的個人數據）以換取免費電子郵件服務和有趣的視頻。但如果某一天，普通人決定試圖阻止數據流，他們可能會遇到麻煩，特別是因為他們可能已經開始依賴網絡幫助他們做出決策，甚至他們的身體健康和生活。

政府將數據國有化固然是一種辦法，它肯定會遏制大公司的權力。但歷史表明，把財富交給政府并不一定是最好的辦法。我們的科學家，我們的哲學家，律師，甚至我們的詩人把他們的注意力轉向這個大問題：如何規范數據的所有權？

人類有可能變得與家養動物相似。我們培育了生產大量牛奶的溫順奶牛，但遠遠不如其野生祖先。他們不那么敏捷，不那么好奇，而且資源不足。我們現在正在創造馴服的人類，他們在巨大的數據處理機制中產生大量數據并作為高效芯片發揮作用，但他們卻沒有在發展人類自身潛力方面有所進展。如果我們不小心翼翼，我們最終會讓人類退化，并讓進化的計算機日益泛濫，對自己和世界造成嚴重破壞。

原載于《大西洋》雜志2018年10月號，https://www.theatlantic.com/magazine/archive/2018/10/yuval-noah-harari-technology-tyranny/568330/

來源：人定湖學者

轉載請注明：北緯40° » 科技緣何成為暴政的幫兇？