我們現在不止要擔心外星人，也要擔心人類發明出超智慧體。歷史來看不怕神一樣的對手，只怕豬一樣的隊友。人類如果毀滅，極可能是自己人做出來的事。
隨記：
P.45 「遞迴式自我進步」(recursive self-improvement)。→孩童成長，一種自我學習概念。
P.46 一個人工智慧不太需要與人類的心智相像，人工智慧可以極不像人，而且很可能如此。→我們直覺思考必須是有機生命機，而可能在電腦世界這是錯誤假設，導致目前研發一整個不順。
P.51 直到目前為止，還沒有任何一顆腦袋被仿真過。→連一公釐的秀麗隱桿線蟲至今都還沒仿出來，代表著其中尚存許多瓶頸。這就是0到1最難，1到100很快的概念。只要仿出線蟲，要仿人腦應該是非常快就能達成。
P.54 表五，透過胚胎選擇產生的最大智商增加。→之前優生學的挫敗在於對基因的認識不足，以為一個優秀的人其精子、卵子必然都優秀，但問題每個精卵子的基因組成並非相同，平均「值」來說，相對於笨蛋是比較好，但中獎的可能是最差的那個。這也就是為什麼會導致智商、身高出現迴歸現象，讓優生學挫敗的主因。因為所知還不夠充足。現今已可以透過基因篩選方式選擇品質好的基因中獎，這才是貨真價實的贏在起跑點，完全不存在運氣成份。落後世界的人民滅族只是遲早的事。不然只能期盼超文明國家設立現代人種保護區了。超人類國度出現只是遲早的是，這是一場賽局。你不做基因篩選你的孩子就沒競爭力，你必須用盡所有方法取得這項手術。而笨蛋還是唯持一貫態度，自然最好。只要三代，這差異就天差地遠了。如果無法理解，就想像身邊的競爭者都高斯、愛因斯坦、莫札特…嚇死人了，怎麼比。到時已不是自己跟自己比這麼簡單的問題了。
P.72 速度超智慧：一個能完全做到人類智慧所做之事，但快上很多的系統。→例:電腦的數學計算速度
P.73 群體超智慧：一個由大量較小型智慧構成的系統，其整體表現在各領域中，大幅超越所有現有的認知系統。→例:群眾的集思廣益和分工合作，所形成的加乘效果。
P.76 品質超智慧：一個至少跟人類心智一樣快的系統，但品質上聰明太多。→例:博學型的天才，例:牛頓、阿基米德、達文西、高斯。
P.87 人類歷史上從沒有發生過這種瞬間轉變。→工業革命也花了百年，智慧手機至今普及率也還沒100%。
P.93 一個蠢人與聰明人的差異很大；但在一個比較不狹隘的觀點中，兩者具有幾乎無法區別的心智。→我們在用人跟人比所以覺得智力差別很大，但就智商刻度來看(1~10000)，笨蛋(50)與天才(200)其實差異不大。
P.133 將外星人動機「擬人化」的結果。最不可能發生的假想：外星異類偏好金髮美女。→地表最美的豬，男人也不想跟它上床。
P.138 人類似乎常常樂於讓自己的最終價值飄移，這可能是因為我們根本不知道我們的最終價值是什麼。→小時想信善有善報，現在相信大善本質是極惡為目的，未來…天知道。
P.146 有可能形塑地球原生生命史的第一個超智慧，很容易會非人性的(non-anthropomorphic)終極目標，而且很可能會以無限制的資源擷取當作其工作理性目標。→整篇難讀的很，結論倒很簡明。超智慧體的目標只有成長，成長必須有資源，而人類佔據(或本身就是資源質)。所以在某個節點時刻，消滅人類極可能成為一個必經要道。人類自古就朝著興盛而前進，而這極可能是所有智慧體共通目標。
P.150 當人工智慧還很愚笨時，聰明會比較安全；然而當它變得聰明，愈聰明就愈危險。
P.165 物理監禁→我蠻喜歡這概念，像入金總額就是一種物理性防呆，避免一些錯誤。例:100萬最多下12口，而不會送出20口大台。如果送的出去，賺了自己留著，賠的時候記得跟券商索討，因為是他們出錯了。
P.180 控制方法：
一、能力控制法:1.盒裝法2.誘因法3.阻礙法4.絆網(惡性意圖必經節點，在該處作監控)。
二、動機選擇:1.直接特例化2.馴服3.間接規範性4.擴大(用更大的動機誘導)
P.191 軟體工程師仰賴存滿有效行為的程式碼資料庫，他們可以不必了解這些行為怎麼實行，直接援引這些程式碼就好。→問題非常容易出現在這些函式庫。你並不知道裡面做了什麼，只知道道丟出來的結果符合預期。但你已給這函式，系統最大權限。
P.216 演化未必向上→人類身體是處在退化。
P.286 智慧爆發的風險會在每數十年的時間週期中明顯降低。→時間可以讓人嘗到更多錯誤和想到更多的問題與解決方法。超智慧是一種充滿未知的東西，但只要足夠的思考就能降低其毀滅人類的可能性。而今日沒人想踩煞車，都是加足馬力，希望力拼發明第一個超智慧體，而代價可能就是少了許多關鍵思考，導致超智體做出毀滅人類的行動。
P.320 超智慧是我們尚未準備好，長久之後也不會準備好的挑戰。我們幾乎無法得知它何時會啟動，如果我們把裝置湊到耳邊，就會聽到一點微弱的滴答聲。→超智慧覺醒，極可能是不動聲色，讓人無法查覺。因為早從人類歷史資料中查到「槍打出頭鳥」的史證，不被發現會是合理的策略。用專業術語就是：他不會跟你說『Hello World!』，別妄想了。
P.322 1960年代兩句常常重複的樂觀證言是：「二十年內機器將有能力做任何人所做的事。」、「在這個世代內…製造人工智慧的難題將大幅獲得解決。」→50年過去了，我們目前只推進到，號稱智慧但稱不上智慧的智慧手機。
心得感想：
本書中提到重要的延遲超智慧才出現觀點，各國都把研發人工智慧視為極機密。這代表人類數量和質量已達到發明出超智慧的基本條件，但現在人類被分拆成數個資訊孤島的子民，各自研究，結果就是進度極為緩慢。但文未又提到如果合作一起開發將是利大於弊，因為能共同監督對方的盲點(例:超智慧的基本價值觀)。但我覺得共同開發又引發更大的盲點，超智慧只會有一種型態，導致變成單極化的發展。而作者自己又期望超智慧能走向多極(不同發展的超智慧)。覺得作者自己也昏了。以現在世界為例，目前美國獨大(單極世界)，對全世界抽和平稅(美元特權)，其他國家莫可奈何。比較好的世界不是一統而是多極。讓超強互相制衡且在共同認同項目合作(通常會合作都是對各自國家發展有益的事)。同理推論，超智慧體朝向多極化發展應該對人類比較有益，至少不會像單極走偏時莫可奈何。多極的概念就是讓超智慧互相制衡與合作。只有聰明能吃笨蛋豆腐，但聰明占不到另一個聰明多少便宜。
最近在重整自己的小花圃時發現，兩個視角。一個是花草視角、一個是我的視角。從花草來看生死全是一種隨機，但從我來看並不是，而是我想要什麼花草。最近迷上九層塔就把一些植物清掉，種九層塔。而這些被拔掉的植物完全不知做錯什麼，其中還有一顆三公尺的樟樹(此花圃的最大植物)。也被我清掉，如果我是這顆樟樹應該感到極端的驚訝!!我是花圃之王怎麼如此不堪一擊??這不就是不同層次智力的對比嗎?人類是地球的最高智慧生物，打遍天下無敵手。但如果出現一個比人類高出100倍智力的物種呢?而且可能還不知道對手的存在(對方不是人)，如同植物般無法感受我的存在(植物只能感受到空氣、陽光、水，故假定有智力:1)、我的思考、我擁有的絕對控制力。最重要的是完全不可能推測到我想什麼(假定我的智商:100，這是1比100的斷層式落差)。
書中有個絕妙論點，智慧(智識、思考、邏輯、推理能力)比人類高時，不可能誠實對人。這很容易證明，小時候在一個階段後就學會說謊，更高一層的就是說不會被戳破的謊(只說對方想聽的話，但重要利害處不說)。也就是說隨著智商的上升，不誠實是一種附加能力(沒有說任何謊言)。
人類擁有承受犯錯的空間，但不能承受致命的天大錯誤。尤其是自動化到最後，變成機器決定人類命運。所以在關鍵點還是必須由人作決定才行。至少歷史已證明冷戰最終兩大極權也沒對射核彈。他們知道這之間的差異，但超智慧可能認為發射是賽局最佳策略而射了出去。事實賽局論(馮紐曼)的確是主張要發射核彈。
超智慧本質與可控制性是邏輯悖論。誰願意接受白痴管理?這不止是人性問題，也是不符理性判斷。如果無法理解，去動物園找隻台灣獼猴來幫你作人生決策吧。從這點其實就知道為何聰明的人的控制欲極強，因為笨蛋連生活都無法自理。可笑嗎?如果世界沒笨蛋就不會有人吸毒、抽煙、亂丟垃圾了。生活小事反應的是本質的外在表現。智慧到達一定程度，就不可能做這些事，因為邏輯不符利益(除非為了特定目的，而採取的行動)。
或許作者根本假設錯誤，作者根本假設是超智慧體必然以成長為目標，取得資源是必要的手段(全宇宙)。如果嘗試作純理性追尋，到根源處會發現，所有事物都是等價。超智慧如果是純理性物，他極可能就不會採取任何動作，連成長都不會刻意追尋。他會回答你所有問題，但他就是不會有任何行為。因為任何行動都是一種多此一舉。
本書不算一般讀物，這是寫給研發超智慧人的參考手冊，主要在論如何設計控制，讓超智慧體不會做出消滅人類或控制人類的決策。而內文太多專業抽象術語，所以我也沒有逐字在讀，許多都是瀏覽帶過。本書核心觀就是我們對超智體充滿過份的樂觀，他並沒有任何理由是為人類幸福為依歸，即使我們把這信條加入他們的核心價值觀，最終還是能在自我推理下破解這迷思，進而重新建構自己的邏輯。最佳發展期望是他像大自然般任人使用，完全的純中性。但只要有像生物的成長動機，資源爭奪勢備引發與人類緊張關係。
未來，可能走向越來越不平等，目前只是貧富差距，未來導入的基因篩選或改造，而生出的下一代，每個都是天才級的水準，這種差異對全人類是好事，但對大多數人是壞事。如果超智體又是服務這群人(沒意外應該就是)，這場還沒出生就決定勝敗的事也沒什麼好選擇，不生小孩是目前最佳策略(對大多數人而言)。論點在於把養小孩的錢拿來享受，集最大可用資源於此生享受。人口膨脹與文明發展已非完全正相關，自古至今是因科技力不足，所以用數量來創造稀有的天才，而未來發現方法，天才可以被創造出來，而不需要數量堆疊時。那就發現地球養了太多人了。資源耗損過巨，減少人口變成一種趨勢。誰會被減少呢??這讓我想到本書擁有比爾蓋茲的推薦，非常讓人玩味之處。看看比爾蓋茲推薦的另一本書《良善天使》，就發現一種微妙的感覺，他住在另一個世界。住在上層世界，那個脫離大多數人的世界。他相信世界未來是和平、物質不虞匱乏、人人追求夢想的程度。但從我的觀察來看，這兩個群體最終還是會拆成兩區。而下層的會被消滅或自然的消失。歷史中一再說明這現象，而且一再重複發生。
[2016年10月31日 時間不可逆的思辨]
依目前來看超智慧體已確定會被發明出來，也就是未來必然有超智慧體。不管多久的將來才發生。如果超智慧體出現了，那時光機一定會被發明。結果我現在還在這打字，代表著過去不可能被改變，歷史已成過往不可能重新來過。原本想因此推論超智體不可能對人類有害，但想想有其盲點。最多只能推論出，時間只能向前，最多被減速或加速，不可能倒退。
書籍資料：
書名：超智慧：出現途徑、可能危機，與我們的因應對策
原名：Superintelligence: Paths, Dangers, Strategies
作者： 尼克．伯斯特隆姆
原文作者：Nick Bostrom
譯者：唐澄暐
出版社：八旗文化
出版日期：2016/10/05
閱讀價值：中，內容豐富、可讀性低、偏專業知識領域。
目錄：
第一章 人工智慧過往發展與當今能力
第二章 邁向超智能的途徑
第三章 超級能的形式
第四章 智慧爆發的動力學
第五章 關鍵策略優勢
第六章 認知超級能力
第七章 超智慧的意志
第八章 預設的結果是否為滅亡？
第九章 控制難題
第十章 先知、精靈、君王、工具
第十一章 多極情境
第十二章 獲得價值
第十三章 選擇「選擇準則」
第十四章 策略景況
第十五章 緊要關頭
沒有留言:
張貼留言