圖1：AlphaGo戰勝李世石

一．“技術控”與“技術失控”：技術憂患并非始于當下，也不會終于霍金

計算機在誕生之日起，就伴随着“受控”與“可控”的争論。1979年休伯特·德雷福斯在《計算機不能做什麼》中指出，計算機器不可能産生人類的智能；1980年約翰·塞爾也在其“中文之屋”實驗中證明，機器系統隻是在執行指令，并不能“理解”指令，離“自覺意識”更遠。那麼，我們到底應當如何看待技術，特别是如何看待AI技術的發展？如何看待虛拟與現實、人與非人的界限？如何看待技術發展對人類獨特性的挑戰？

技術能夠擴展人類對世界的控制，而其本身卻具有複雜性，或者說是難以控制的，對“技術失控”的擔憂一直深藏在人類思想深處，這種擔憂并非始于當下，也不會終于霍金。

圖1：霍金近期預言AI将成人類未來最大威脅

人們期待通過技術“保護我們以擺脫現實生活的悲慘險境”時，也一直在關注技術發展可能帶給人類的風險。人類社會從傳統社會邁向現代社會是一個質的飛躍，啟蒙以降、工業革命伊始，技術一直被視作這一宏大社會進程的重要變革性力量，但從倫理學角度看，技術也一直被視作一種憂患之源。從中國古代莊子寓言中的老者對可能導緻“機心”的機械采取拒斥态度，到古希臘代達羅斯神話對“被創造物最終要懲罰創造者”主題的闡釋，與每一次重要技術成就相伴而生的是人們對技術可能帶來危險的擔憂。

人類發展技術的曆史也一直糾結在“技術控”與“技術失控”的二元邏輯主線中。人們在享受技術便利的同時，有可能失去了對複雜技術系統的控制，進而對人類生存帶來災難。“技術的反向控制與适應”的主題也一直存在于各個文化體系和知識形式之中。從傳統社會思想家對“技術危險性”的警示到工業革命之初社會科學家對“啟蒙黑暗面”的關切；從近現代戲劇與文學作品（狄更斯、托爾斯泰、卡夫卡等）對“技術兩面性”的大衆化诠釋和傳播到技術研究領域對“技術敵托邦”的探索再到近代社會科學的政策分析，所有關切都指向技術所帶來的意想不到社會結果，“技術的潛在功能與社會功能紊亂”問題一直是人類發展的夢魇。而人工智能可能自然演化具備自覺意識并對人類發動攻擊則是技術憂慮在當代公衆意識中的折射。

圖2：美劇《西部世界》劇照

二．人與機器人的關系演化：從“人與物”到“人與人”？

人們曾一度認為，人類對自己制造的東西最為了解，并能達到對“制造物”的牢固控制，然而科技發展的速度往往超乎人類想象。起初，機器人隻是作為一種人類生活工具出現在科幻小說中的。20世紀中期，當艾薩克·阿西莫夫出版《我，機器人》的時候，機器人世界還是想象中的世界，在科幻作家最初設想中，機器人以照顧人類為己任。然而随着科學技術的進步，人們開始對機器人技術是否會超出人類控制範圍産生了懷疑。當今，人類生活中已經充斥着大量機器人，并且越來越智能化，科學的進步總是超乎人們預測。于是，人們開始設想高度發展的人工智能未來，當智能機器人充斥于我們生活那一天，是否會不再滿足于為人類服務，而向人類宣戰，并統治世界？機器與人的關系是否有可能從“人”與“物”的關系轉化成“人”與“人”的關系呢？

圖3：阿西莫夫提出的“機器人學三定律”被稱為“現代機器人學的基石”

1747年拉美特裡匿名發表《人是機器》，批判繼承笛卡爾“動物是機器”思想基礎上，提出“人是機器”的觀點。我們可以把“人是機器”的提出視作打破無機物、有機物和人之間不存在不可逾越界線的努力，但人的物化并沒有導緻太多社會焦慮。而當代人工智能發展緻使“機器成為人”的時候，“機器的人化”或者“機器中存在精靈”則對人的獨特性提出了嚴峻挑戰。

根據經典的機器人三定律（1）機器人不能夠傷害人類，也不能夠因為自己懈怠而令人類受到傷害；（2）機器人必須聽從人類命令，除非該命令與第一定律相悖； （3）機器人必須在不違反第一和第二定律的情況下維持自己生存。機器人三大定律的首要原則是保護人類不受機器的傷害，其中體現了創造者試圖控制創造物（機器人）的努力，然而“技術漂移的非意願後果”依舊伴随着人類的技術憂患。

圖4：機器人三大定律

從進化論觀點來看，不遵循“機器人三定律”的機器人是否會出現并自然進化成為“人”？在《西部世界》中智能機器人開始不再聽命于工程師們，開始傷害和自我傷害，并最終擺脫了人類的控制，開始反抗屠殺人類。

圖5：美劇《西部世界》中，會殺死飛到臉上的蒼蠅是機器人自我意識産生的信号

如果機器人具備了自我意識、擁有生命體征之後，機器人與人的關系是什麼：人與物的關系還是可能成為“人”與人的關系？它們如果不再僅僅是一件商品，它們的倫理權利是否需要和如何得到保證？人類跟其他物種的差異并不僅僅是由普羅米修斯式的技術力量推動的，自然演化本身的力量、社會環境的塑造更加重要。人類無疑具有獨特性，無論是什麼樣的機會和環境造就了今日的人類，這樣的機會并沒有出現在人類的近親所生活的環境中，技術物的終極制造者還是人類，但人類要預防技術發展可能的風險。

三 技術風險規制：從“亮起紅燈”到“有效社會治理”

技術社會學家應當批判性揭示人類在技術社會中行進所遭遇及可能遭遇的真實問題及其困境，在紛亂的多元意識中探尋并推動社會共識形成，尋找社會發展的合理基礎和理性框架，并破滅激進中的狂熱。

當代社會，網絡與移動通信的興起與普及使信息的生産和傳遞方式發生了質變，與信息快速流轉相伴随的是信息發展的泛濫趨勢，而抵禦信息泛濫的多重閘口則存在土崩瓦解的風險。許多人不自覺地開始将信息等同于知識，将知識等同于文化、将文化等同于價值；網絡空間中的“個人簡介”被等同于“個人”、社交網絡中的“表情包”被等同于“表情”。在我們沉浸在微信使用便利性的同時，應當清醒意識到“獲取專業問題和需求的新信息并不是開啟和結束一天的最好方法”。

曆史證明，人類面臨重大的技術風險往往有助于推動形成社會共識；而好的社會共識則是曆史進步的強大推動力。在技術發展中，人類應當避免“近視症”的困擾，預先規劃、做好頂層設計，僅僅和過于強調技術發展的“獨特能力”，反而容易落入“能力陷阱”。

圖6：人與人工智能

傳統技術倫理學是把倫理道德看作技術活動之外的一種規範力量，對技術後果進行倫理反思和批判；“後經驗轉向”時代的技術倫理規約強調規範性和建構性的統一，主張“端口前移”：從負面倫理後果的揭批推進到正面倫理價值的“預防式置入”；在技術設計中“嵌入”道德要素，通過恰當的技術設計規範和制約“創造者”的行為，實現“把技術關進倫理的籠子裡”的目标。

在以往技術活動中，當發現不道德的技術實踐或技術負面影響時，倫理學家會“吹響口哨”，而這次則是作為科學家的霍金對人工智能“亮起了紅燈”。如果說長于論證和批判的人文學者在技術發展中一直處于邊緣性地位，在政策制定和風險評估方面話語權還不夠強大，科學家陣營的加入無疑有助于進一步夯實“對技術風險進行有效社會治理”的共識， “負責任創新”研究已被列入“歐盟2020 年遠景規劃”、美國出現了以“負責任創新”為名稱的學術期刊、中國也提出“國家治理能力現代化”的目标，科技治理能力現代化前景光明、任重道遠！

作者簡介

張成崗作者為beat365教授，beat365黨委副書記、社會創新與風險管理研究中心主任。出版專著3部、編著3部、譯著4部、在國内外雜期刊發表相關學術論文80餘篇，曾獲評beat365第十四屆“良師益友”（2014）、教育部第七屆高等學校科學研究優秀成果獎（2015）等。