我們現在不止要擔心外星人,也要擔心人類發明出超智慧體。歷史來看不怕神一樣的對手,只怕豬一樣的隊友。人類如果毀滅,極可能是自己人做出來的事。
隨記:
P.45 「遞迴式自我進步」(recursive self-improvement)。→孩童成長,一種自我學習概念。
P.46 一個人工智慧不太需要與人類的心智相像,人工智慧可以極不像人,而且很可能如此。→我們直覺思考必須是有機生命機,而可能在電腦世界這是錯誤假設,導致目前研發一整個不順。
P.51 直到目前為止,還沒有任何一顆腦袋被仿真過。→連一公釐的秀麗隱桿線蟲至今都還沒仿出來,代表著其中尚存許多瓶頸。這就是0到1最難,1到100很快的概念。只要仿出線蟲,要仿人腦應該是非常快就能達成。
P.54 表五,透過胚胎選擇產生的最大智商增加。→之前優生學的挫敗在於對基因的認識不足,以為一個優秀的人其精子、卵子必然都優秀,但問題每個精卵子的基因組成並非相同,平均「值」來說,相對於笨蛋是比較好,但中獎的可能是最差的那個。這也就是為什麼會導致智商、身高出現迴歸現象,讓優生學挫敗的主因。因為所知還不夠充足。現今已可以透過基因篩選方式選擇品質好的基因中獎,這才是貨真價實的贏在起跑點,完全不存在運氣成份。落後世界的人民滅族只是遲早的事。不然只能期盼超文明國家設立現代人種保護區了。超人類國度出現只是遲早的是,這是一場賽局。你不做基因篩選你的孩子就沒競爭力,你必須用盡所有方法取得這項手術。而笨蛋還是唯持一貫態度,自然最好。只要三代,這差異就天差地遠了。如果無法理解,就想像身邊的競爭者都高斯、愛因斯坦、莫札特…嚇死人了,怎麼比。到時已不是自己跟自己比這麼簡單的問題了。
P.72 速度超智慧:一個能完全做到人類智慧所做之事,但快上很多的系統。→例:電腦的數學計算速度
P.73 群體超智慧:一個由大量較小型智慧構成的系統,其整體表現在各領域中,大幅超越所有現有的認知系統。→例:群眾的集思廣益和分工合作,所形成的加乘效果。
P.76 品質超智慧:一個至少跟人類心智一樣快的系統,但品質上聰明太多。→例:博學型的天才,例:牛頓、阿基米德、達文西、高斯。
P.87 人類歷史上從沒有發生過這種瞬間轉變。→工業革命也花了百年,智慧手機至今普及率也還沒100%。
P.93 一個蠢人與聰明人的差異很大;但在一個比較不狹隘的觀點中,兩者具有幾乎無法區別的心智。→我們在用人跟人比所以覺得智力差別很大,但就智商刻度來看(1~10000),笨蛋(50)與天才(200)其實差異不大。
P.133 將外星人動機「擬人化」的結果。最不可能發生的假想:外星異類偏好金髮美女。→地表最美的豬,男人也不想跟它上床。
P.138 人類似乎常常樂於讓自己的最終價值飄移,這可能是因為我們根本不知道我們的最終價值是什麼。→小時想信善有善報,現在相信大善本質是極惡為目的,未來…天知道。
P.146 有可能形塑地球原生生命史的第一個超智慧,很容易會非人性的(non-anthropomorphic)終極目標,而且很可能會以無限制的資源擷取當作其工作理性目標。→整篇難讀的很,結論倒很簡明。超智慧體的目標只有成長,成長必須有資源,而人類佔據(或本身就是資源質)。所以在某個節點時刻,消滅人類極可能成為一個必經要道。人類自古就朝著興盛而前進,而這極可能是所有智慧體共通目標。
P.150 當人工智慧還很愚笨時,聰明會比較安全;然而當它變得聰明,愈聰明就愈危險。
P.165 物理監禁→我蠻喜歡這概念,像入金總額就是一種物理性防呆,避免一些錯誤。例:100萬最多下12口,而不會送出20口大台。如果送的出去,賺了自己留著,賠的時候記得跟券商索討,因為是他們出錯了。
P.180 控制方法:
一、能力控制法:1.盒裝法2.誘因法3.阻礙法4.絆網(惡性意圖必經節點,在該處作監控)。
二、動機選擇:1.直接特例化2.馴服3.間接規範性4.擴大(用更大的動機誘導)
P.191 軟體工程師仰賴存滿有效行為的程式碼資料庫,他們可以不必了解這些行為怎麼實行,直接援引這些程式碼就好。→問題非常容易出現在這些函式庫。你並不知道裡面做了什麼,只知道道丟出來的結果符合預期。但你已給這函式,系統最大權限。
P.216 演化未必向上→人類身體是處在退化。
P.256 價值植入技術的摘要:1.演化天擇2.增強學習3.價值累積4.動機鷹架5.仿真調節6.制度設計→簡單說就是在初始處植入符合人類期望的價值觀,以作為邏輯判斷的依據,只是還是沒逃脫一個問題,超智慧怎麼可能不會對定義作反思?而當發現人類居然植入偏執的思維時,那種真相發現,直接觸擊一件事的發生-人類不誠實,無可信度。所以植入是種錯誤的方法論,本質就錯誤的方法。如同小學課本總是教些不符現實的大道理,洗腦設定普世價值觀。當出社會一再被大人羞辱才發現大道理不是真理,那種不信任反饋回這社會。
P.286 智慧爆發的風險會在每數十年的時間週期中明顯降低。→時間可以讓人嘗到更多錯誤和想到更多的問題與解決方法。超智慧是一種充滿未知的東西,但只要足夠的思考就能降低其毀滅人類的可能性。而今日沒人想踩煞車,都是加足馬力,希望力拼發明第一個超智慧體,而代價可能就是少了許多關鍵思考,導致超智體做出毀滅人類的行動。
P.320 超智慧是我們尚未準備好,長久之後也不會準備好的挑戰。我們幾乎無法得知它何時會啟動,如果我們把裝置湊到耳邊,就會聽到一點微弱的滴答聲。→超智慧覺醒,極可能是不動聲色,讓人無法查覺。因為早從人類歷史資料中查到「槍打出頭鳥」的史證,不被發現會是合理的策略。用專業術語就是:他不會跟你說『Hello World!』,別妄想了。
P.322 1960年代兩句常常重複的樂觀證言是:「二十年內機器將有能力做任何人所做的事。」、「在這個世代內…製造人工智慧的難題將大幅獲得解決。」→50年過去了,我們目前只推進到,號稱智慧但稱不上智慧的智慧手機。
心得感想:
本書中提到重要的延遲超智慧才出現觀點,各國都把研發人工智慧視為極機密。這代表人類數量和質量已達到發明出超智慧的基本條件,但現在人類被分拆成數個資訊孤島的子民,各自研究,結果就是進度極為緩慢。但文未又提到如果合作一起開發將是利大於弊,因為能共同監督對方的盲點(例:超智慧的基本價值觀)。但我覺得共同開發又引發更大的盲點,超智慧只會有一種型態,導致變成單極化的發展。而作者自己又期望超智慧能走向多極(不同發展的超智慧)。覺得作者自己也昏了。以現在世界為例,目前美國獨大(單極世界),對全世界抽和平稅(美元特權),其他國家莫可奈何。比較好的世界不是一統而是多極。讓超強互相制衡且在共同認同項目合作(通常會合作都是對各自國家發展有益的事)。同理推論,超智慧體朝向多極化發展應該對人類比較有益,至少不會像單極走偏時莫可奈何。多極的概念就是讓超智慧互相制衡與合作。只有聰明能吃笨蛋豆腐,但聰明占不到另一個聰明多少便宜。
最近在重整自己的小花圃時發現,兩個視角。一個是花草視角、一個是我的視角。從花草來看生死全是一種隨機,但從我來看並不是,而是我想要什麼花草。最近迷上九層塔就把一些植物清掉,種九層塔。而這些被拔掉的植物完全不知做錯什麼,其中還有一顆三公尺的樟樹(此花圃的最大植物)。也被我清掉,如果我是這顆樟樹應該感到極端的驚訝!!我是花圃之王怎麼如此不堪一擊??這不就是不同層次智力的對比嗎?人類是地球的最高智慧生物,打遍天下無敵手。但如果出現一個比人類高出100倍智力的物種呢?而且可能還不知道對手的存在(對方不是人),如同植物般無法感受我的存在(植物只能感受到空氣、陽光、水,故假定有智力:1)、我的思考、我擁有的絕對控制力。最重要的是完全不可能推測到我想什麼(假定我的智商:100,這是1比100的斷層式落差)。
書中有個絕妙論點,智慧(智識、思考、邏輯、推理能力)比人類高時,不可能誠實對人。這很容易證明,小時候在一個階段後就學會說謊,更高一層的就是說不會被戳破的謊(只說對方想聽的話,但重要利害處不說)。也就是說隨著智商的上升,不誠實是一種附加能力(沒有說任何謊言)。
人類擁有承受犯錯的空間,但不能承受致命的天大錯誤。尤其是自動化到最後,變成機器決定人類命運。所以在關鍵點還是必須由人作決定才行。至少歷史已證明冷戰最終兩大極權也沒對射核彈。他們知道這之間的差異,但超智慧可能認為發射是賽局最佳策略而射了出去。事實賽局論(馮紐曼)的確是主張要發射核彈。
超智慧本質與可控制性是邏輯悖論。誰願意接受白痴管理?這不止是人性問題,也是不符理性判斷。如果無法理解,去動物園找隻台灣獼猴來幫你作人生決策吧。從這點其實就知道為何聰明的人的控制欲極強,因為笨蛋連生活都無法自理。可笑嗎?如果世界沒笨蛋就不會有人吸毒、抽煙、亂丟垃圾了。生活小事反應的是本質的外在表現。智慧到達一定程度,就不可能做這些事,因為邏輯不符利益(除非為了特定目的,而採取的行動)。
或許作者根本假設錯誤,作者根本假設是超智慧體必然以成長為目標,取得資源是必要的手段(全宇宙)。如果嘗試作純理性追尋,到根源處會發現,所有事物都是等價。超智慧如果是純理性物,他極可能就不會採取任何動作,連成長都不會刻意追尋。他會回答你所有問題,但他就是不會有任何行為。因為任何行動都是一種多此一舉。
本書不算一般讀物,這是寫給研發超智慧人的參考手冊,主要在論如何設計控制,讓超智慧體不會做出消滅人類或控制人類的決策。而內文太多專業抽象術語,所以我也沒有逐字在讀,許多都是瀏覽帶過。本書核心觀就是我們對超智體充滿過份的樂觀,他並沒有任何理由是為人類幸福為依歸,即使我們把這信條加入他們的核心價值觀,最終還是能在自我推理下破解這迷思,進而重新建構自己的邏輯。最佳發展期望是他像大自然般任人使用,完全的純中性。但只要有像生物的成長動機,資源爭奪勢備引發與人類緊張關係。
未來,可能走向越來越不平等,目前只是貧富差距,未來導入的基因篩選或改造,而生出的下一代,每個都是天才級的水準,這種差異對全人類是好事,但對大多數人是壞事。如果超智體又是服務這群人(沒意外應該就是),這場還沒出生就決定勝敗的事也沒什麼好選擇,不生小孩是目前最佳策略(對大多數人而言)。論點在於把養小孩的錢拿來享受,集最大可用資源於此生享受。人口膨脹與文明發展已非完全正相關,自古至今是因科技力不足,所以用數量來創造稀有的天才,而未來發現方法,天才可以被創造出來,而不需要數量堆疊時。那就發現地球養了太多人了。資源耗損過巨,減少人口變成一種趨勢。誰會被減少呢??這讓我想到本書擁有比爾蓋茲的推薦,非常讓人玩味之處。看看比爾蓋茲推薦的另一本書《良善天使》,就發現一種微妙的感覺,他住在另一個世界。住在上層世界,那個脫離大多數人的世界。他相信世界未來是和平、物質不虞匱乏、人人追求夢想的程度。但從我的觀察來看,這兩個群體最終還是會拆成兩區。而下層的會被消滅或自然的消失。歷史中一再說明這現象,而且一再重複發生。
[2016年10月31日 時間不可逆的思辨]
依目前來看超智慧體已確定會被發明出來,也就是未來必然有超智慧體。不管多久的將來才發生。如果超智慧體出現了,那時光機一定會被發明。結果我現在還在這打字,代表著過去不可能被改變,歷史已成過往不可能重新來過。原本想因此推論超智體不可能對人類有害,但想想有其盲點。最多只能推論出,時間只能向前,最多被減速或加速,不可能倒退。