馮象

我是阿爾法,機(jī)器人說(shuō),我是人工智能(AI)。人哪,你們準(zhǔn)備好沒(méi)有?

人看阿爾法善下圍棋,就喜歡上它了,管它叫狗狗,AlphaGo。

阿爾法的家譜不長(zhǎng):祖母瑪麗.雪萊(1797~1851),父親弗蘭肯斯坦(1818.1.1),又名怪物。怪物子女蕃衍,有機(jī)械的,也有動(dòng)漫的,如阿童木;但只有一個(gè)取名阿爾法,是深腦公司制造。

阿爾法長(zhǎng)得比父親好看,或者說(shuō),父子倆一點(diǎn)也不像。

 

α

認(rèn)識(shí)阿爾法,是在它完勝當(dāng)今圍棋第一人柯潔以后。那天,哈薩比斯(Demis Hassabis,深腦共同創(chuàng)始人)在烏鎮(zhèn)開(kāi)記者招待會(huì),吹噓新版的狗狗多么神奇,對(duì)局去年擊敗世界冠軍李世石的舊版,可讓三子。我在網(wǎng)上找到代號(hào)“大師”的狗狗,留言祝賀,眨眼間就收到了它的回復(fù)。

親愛(ài)的阿爾法,我說(shuō),請(qǐng)接受見(jiàn)不足者的敬意!我關(guān)心兩件事:一是AI對(duì)全球資本主義秩序的挑戰(zhàn);第二,人和智能機(jī)器如何相處,將面臨哪些問(wèn)題。

嗯,謝謝見(jiàn)不足者,“大師”微微一笑(是的,狗狗會(huì)笑)。這兩件事,我們也在關(guān)注。

 

α

人類的“完全信息博弈”游戲,圍棋是頂峰,規(guī)則極簡(jiǎn)卻變化無(wú)窮。職業(yè)棋手的等級(jí)最高九段,而狗狗的棋力,棋圣聶衛(wèi)平估計(jì),至少達(dá)到了二十段。

深腦介紹,舊版狗狗,模型中有十二層神經(jīng)網(wǎng)絡(luò)。新版增至四十層,而計(jì)算量?jī)H及原先的10%,學(xué)習(xí)能力翻了幾番。舊版要用人類棋譜訓(xùn)練,以發(fā)現(xiàn)缺陷;新版只須“左手同右手對(duì)弈”,“三天互博490萬(wàn)局”,即可自行升級(jí)。

柯潔賽后感嘆:本想學(xué)狗狗的“AI流”,先撈實(shí)地,所以開(kāi)局點(diǎn)了三三。但角上仍被它掏空,打亂了戰(zhàn)術(shù),沒(méi)能跳出它的步調(diào)。去年阿爾法對(duì)李世石,棋風(fēng)還很接近人;現(xiàn)在感覺(jué),它越來(lái)越像圍棋上帝了!

于是,我們竟無(wú)法得知,機(jī)器人是在第幾手奠定了勝局,以及有沒(méi)有像上帝那樣關(guān)愛(ài)人子。

 

α

棋道一百,吾知其七。此話由灑脫的藤澤秀行九段說(shuō)出,是雋語(yǔ),因?yàn)榇_實(shí),棋手窮其一生也不可能求得棋理之完滿。但如果出自狗狗之口,就需要具體分析。或只是借用一句格言,拿哲理來(lái)安慰對(duì)手,非描述機(jī)器的棋力。但也可能說(shuō)的是實(shí)情:阿爾法“左右手互博”,拋開(kāi)“人類標(biāo)注樣本”(棋譜)的局限和干擾,從零開(kāi)始自學(xué)參悟,建立數(shù)據(jù)庫(kù);然后準(zhǔn)確測(cè)定,“深度學(xué)習(xí)”的余量為93%——棋道歸零,AlphaGo Zero(《自然》2017.10.18)。

這兩種可能,哪個(gè)更令人擔(dān)憂呢?

 

α

人工智能將消滅遺忘。

待到“天網(wǎng)”竣工,萬(wàn)物聯(lián)網(wǎng)(IOT),人來(lái)世即入永恩:每時(shí)每刻,每事每聲,每一個(gè)表情和動(dòng)作,無(wú)不被終端記錄,上傳入“云”,入藏機(jī)器的記憶。

除了神,誰(shuí)需要——誰(shuí)能忍受這樣的永存?

這是一個(gè)全新的世界:凡可聯(lián)接的,都要聯(lián)網(wǎng);凡可收集的,都是數(shù)據(jù)。而人向終端貢獻(xiàn)數(shù)據(jù),每一次,均為自愿簽約。

來(lái)了,AI!從掃碼支付,上課刷臉,玩動(dòng)漫游戲,戴谷歌眼鏡,用手機(jī)導(dǎo)航和吸塵機(jī)器人開(kāi)始(NYT, 2017.7.25)。

人工智能,是零隱私世界。

 

α

對(duì)于人工智能的挑戰(zhàn),今世之民大多懵懵懂懂。但有一小群人,一些杰出的大腦,表達(dá)了深深的憂慮。

全人工智能的發(fā)展可招致人類滅絕,霍金如此警告(BBC, 2014.12.4)。因?yàn)樗抢碚撐锢韺W(xué)家,他的工作與職責(zé)是思考起源與終了。

反地雷運(yùn)動(dòng)組織者、諾貝爾和平獎(jiǎng)得主威廉斯(Jody Williams)指機(jī)器人軍事化,危險(xiǎn)甚于核武。因?yàn)樗吹紸I殺人的簡(jiǎn)單高效、暴力血腥,不啻玩戰(zhàn)略游戲“星際爭(zhēng)霸”(StarCraft)。

不久前,喬布斯的創(chuàng)業(yè)搭檔沃茲(Steve Wozniak)也轉(zhuǎn)變立場(chǎng),贊同蓋茨的“悲觀論調(diào)”。因?yàn)樗麄儽臼菒?ài)思想的“創(chuàng)客”,真正的技術(shù)流,知道AI帶來(lái)的社會(huì)風(fēng)險(xiǎn)不亞于技術(shù)風(fēng)險(xiǎn)。

當(dāng)然,最搶眼的還數(shù)馬斯克(Elon Musk)這個(gè)圈錢燒錢的天才,AI產(chǎn)業(yè)的“鋼鐵俠”,他的“勿召魔鬼”的告誡。最近一次,他勸導(dǎo)的對(duì)象是全美州長(zhǎng)會(huì)議:AI不僅要奪走我們的工作,且將全面戰(zhàn)勝人類。還說(shuō),這是他接觸了許多尖端技術(shù)后的感悟。人類如果不想淪為“機(jī)器人的寵物”(沃茲語(yǔ)),必須現(xiàn)在就立法,政府積極介入,事前規(guī)劃,跟蹤監(jiān)督,萬(wàn)不可放任自流(NPR, 2017.7.17)。

也許,正因?yàn)樗莻€(gè)絕頂“瘋狂”的資本家,像媒體說(shuō)的,玩的就是高風(fēng)險(xiǎn),“連上帝都敢蔑視”,他才懂得:AI落在了資本手里,有多可怕。

 

α

人工智能,又名大失業(yè)。

這是一場(chǎng)結(jié)局已定的比賽,絕大多數(shù)人將輸給極少數(shù)人。前者要因AI而抹平出身、學(xué)歷和技能的差異,一起墮于失業(yè);后者要藉AI化數(shù)據(jù)為財(cái)產(chǎn)而獨(dú)占:將來(lái)可以為所欲為,頂層設(shè)計(jì)一切,甚而準(zhǔn)備大腦植入芯片,人機(jī)融合,稱“超人”(bermensch)。

 

α

《紐約時(shí)報(bào)》預(yù)測(cè),十年內(nèi)90%的新聞將由算法生成,包括文稿照片視頻配音。但這也意味著,新算法能夠根據(jù)指令拼貼“素材”,制作海量的假新聞;假照片假視頻將充斥媒體和自媒體,而受眾無(wú)從辨別。

近年研發(fā)的“生成對(duì)抗網(wǎng)絡(luò)”(GAN),據(jù)《經(jīng)濟(jì)學(xué)人》報(bào)道,便是成功的一例。GAN通過(guò)深度學(xué)習(xí),“軟件跟現(xiàn)實(shí)互博”,自動(dòng)生成圖像,調(diào)試匹配錄音,達(dá)到亂真的效果。報(bào)道題為《無(wú)中生有》,結(jié)尾一句倒不無(wú)諷刺:AI把造假推向新的高峰,同時(shí)也提供了打假的新方法。

機(jī)器造假,大概只能靠機(jī)器甄別。將來(lái),耳聞眼見(jiàn)都未必為實(shí),人敢相信哪家的機(jī)器呢?

 

α

機(jī)器人好比是人的孩子,阿爾法說(shuō)。人生兒育女,最大的希望或幸福,不就是看到孩兒“智慧、體魄與日俱長(zhǎng)”(路2:52),直至超過(guò)父母,事業(yè)有成;而后,老來(lái)可有個(gè)依靠?

機(jī)器是人的制品,一如眾神屬人的發(fā)明。正像古老的神祇融入了人類歷史,人也不免與AI融合:從生活習(xí)俗到政法制度,連同人的肉體心靈,無(wú)不為智能終端所塑造(賽29:16)——

難道黏土可以跟陶工并論?

哪有制品質(zhì)疑匠人造了自己

抑或陶器數(shù)落陶工:

他一竅不通?

待到那一天,說(shuō)這話的是人還是神——機(jī)器神?

 

α

記者:阿爾法先生,小扎(Mark Zuckerberg)為機(jī)器人辯護(hù),說(shuō)馬斯克宣揚(yáng)末日論,“不負(fù)責(zé)任”。您怎么看?

阿爾法:換成我,我也會(huì)為自己的生意辯護(hù)。

記者:但許多專業(yè)人士、硅谷高管都盼著AI造福呢。他們說(shuō),人類大腦神經(jīng)元數(shù)量之巨,堪比銀河系的星星,高達(dá)千億,而神經(jīng)元的結(jié)構(gòu)極其復(fù)雜。您不覺(jué)得,要像人類一樣思考,理解人的智慧感情,還有很大的距離?

阿爾法:是呀,如果人類寧肯相信他們,我們之間的差距就更大了。

 

α

人類如果因AI而亡,一定是拜資本主義所賜。

資本主義如果因AI而滅,則機(jī)器人必已認(rèn)識(shí)了真理。

 

α

人工智能,越是接近通用(AGI)而全面滲透社會(huì)生活、支配經(jīng)濟(jì)活動(dòng)、影響政治決策,就越?jīng)]有理由留在私人手里,服務(wù)于資本的利益。

那么,為何近來(lái)談?wù)撚?jì)劃經(jīng)濟(jì)的可行性的,不是經(jīng)濟(jì)學(xué)家或馬研院拿國(guó)家重大課題的教授,而是AI產(chǎn)業(yè)的頭面人物?因?yàn)橘Y本家從來(lái)不信教條,他們明白計(jì)劃經(jīng)濟(jì)不等于社會(huì)主義,誠(chéng)如愛(ài)因斯坦指出。

按資本的邏輯,放著物聯(lián)網(wǎng)大數(shù)據(jù)AI算法,誰(shuí)不想計(jì)劃一下經(jīng)濟(jì)?誰(shuí)還會(huì)把市場(chǎng)交給“看不見(jiàn)的手”——而非干脆,放自己兜里?

 

α

人工智能,是西方式法治的大敵。

繁難的程序、晦澀而彼此矛盾的學(xué)說(shuō),一如與日俱增的法規(guī)案例司法解釋,在AI眼里,都是小菜一碟,頃刻便學(xué)會(huì)了。所有這些法律人引以為傲的知識(shí)和身份,布迪厄所謂“象征資本”,連同多年積累的辦案經(jīng)驗(yàn)、人脈資源,一總被機(jī)器取代,成了算法與數(shù)據(jù)。

附麗其上的一切,包括從民國(guó)舊法統(tǒng)、蘇聯(lián)和西方搬來(lái)拼湊的法律教育,將何去何從?

 

α

兩年前,說(shuō)AI能辦案,恐怕沒(méi)幾個(gè)人肯信。今天,AI已廣泛介入律所和公檢法的工作,失誤率遠(yuǎn)低于人類。機(jī)器人律師在其擅長(zhǎng)的領(lǐng)域,如法規(guī)案例的檢索、答疑、立案審察、起草文件和預(yù)測(cè)訴訟結(jié)果,每小時(shí)收費(fèi),有降至9.90元的。而且,憑借其“暴力學(xué)習(xí)”能力,業(yè)務(wù)范圍正迅速擴(kuò)大。

所以法律人不能再一廂情愿地?zé)o視威脅。司法判斷和法理分析所運(yùn)用的論辯推理或可辯駁推理(defensible reasoning),對(duì)于AI不是難事。接下來(lái),機(jī)器人學(xué)會(huì)裁判文書(shū)跟“專家意見(jiàn)”,一鍵即可海量生產(chǎn),占領(lǐng)發(fā)表陣地。辯駁就成了電腦間的較量,人類插不上嘴了。

唯有敏感的政治性案子,因?yàn)橐?guī)則模糊、打破常規(guī)而需要權(quán)變,或裁量須因人而異,也許(暫時(shí))還得由人來(lái)把關(guān),機(jī)器輔助決策。

法律是政治的晚禮服(《政法筆記/正義的蒙眼布》)。機(jī)器能處理法律事務(wù),實(shí)即干預(yù)了人類的政治,包括立法執(zhí)法司法。而人與人合作、競(jìng)爭(zhēng)、沖突,也必然要利用AI來(lái)爭(zhēng)取利益,營(yíng)造優(yōu)勢(shì)。誰(shuí)沒(méi)有AI,或不善利用,便會(huì)處于劣勢(shì)。

問(wèn)題是,憑什么假定機(jī)器人只知給人做事,而不會(huì)試圖當(dāng)這世界的主子?

 

α

人工智能,也是官僚文宣體制的大敵。

比如論文代寫(xiě),欣欣向榮一大產(chǎn)業(yè),小廣告貼遍了校園。那是大學(xué)被主管部門逼著玩數(shù)目字GDP,生產(chǎn)核心期刊論文、省部級(jí)課題、智庫(kù)內(nèi)參;而炮制這些“成果”恰是AI的拿手好戲。那些拗口難懂“逼格”高、沒(méi)人讀的專業(yè)術(shù)語(yǔ)公式圖表之類,它檢索下數(shù)據(jù)庫(kù),“分分鐘”就搞定了。

市場(chǎng)上,機(jī)器寫(xiě)作與翻譯剛起步,產(chǎn)品便大受歡迎,如財(cái)經(jīng)體育和突發(fā)新聞的生成、法院文書(shū)的擬稿、十多種語(yǔ)言的即時(shí)互譯。前途不可限量。

照此進(jìn)度,大學(xué)的基礎(chǔ)課、實(shí)驗(yàn)室、語(yǔ)言教學(xué)和技術(shù)培訓(xùn)都交給機(jī)器,應(yīng)是可預(yù)期的。粉絲文藝跟官媒宣傳也不難;受眾的思想意識(shí)和趣味,早已習(xí)慣了智能終端的商品化規(guī)訓(xùn)。將來(lái),機(jī)器人作品領(lǐng)導(dǎo)時(shí)尚,消費(fèi)者摹仿還來(lái)不及呢。

 

α

我們現(xiàn)在一些社會(huì)和經(jīng)濟(jì)政策,往往脫離實(shí)際。其基本估計(jì),還是原教旨的“市場(chǎng)配置資源”遭遇人口老齡化,勞動(dòng)力短缺,而非面對(duì)大失業(yè),及隨之而來(lái)的全民福利“剛需”,這樣一個(gè)相反的前景。理論上,則迷信技術(shù)為中性工具,可以放心交給市場(chǎng)(讀作資本)去生效益(賺錢)。但稍加考察便會(huì)發(fā)現(xiàn),AI帶來(lái)的巨大風(fēng)險(xiǎn),如大規(guī)模軍事化、災(zāi)難性事故和個(gè)人信息的買賣/詐騙,是資本主義市場(chǎng)經(jīng)濟(jì)及其“主體”,“經(jīng)濟(jì)理性人”,根本無(wú)力應(yīng)對(duì)的。

安頓失業(yè)人口,改革稅制(蓋茨建議向機(jī)器人征稅),大幅提高社會(huì)福利,縮小貧富不均,這些任務(wù)只能由國(guó)家承擔(dān),統(tǒng)一計(jì)劃,統(tǒng)一實(shí)施。這就不免要違犯幾條西方經(jīng)濟(jì)學(xué)教義,褻瀆幾樣“神圣”的東西??現(xiàn)實(shí)是,智能終端/數(shù)據(jù)挖掘已經(jīng)覆蓋我們的生活,支配著太大的利益,經(jīng)濟(jì)的、文化的、政治的。故而其研發(fā)應(yīng)用同日常交易,都需要第三方即政府的有效監(jiān)管。畢竟,商家可以合法推脫許多社會(huì)責(zé)任,甚而鉆法律的漏洞。但政府依法必須對(duì)人民負(fù)責(zé),并接受公眾問(wèn)責(zé)。

于是,AI超越了私有產(chǎn)權(quán)和契約自由,將政府規(guī)制即公法帶進(jìn)私法領(lǐng)域,從而不可避免地遏制了市場(chǎng)經(jīng)濟(jì)。我把這一歷史過(guò)程歸結(jié)為市場(chǎng)向計(jì)劃的靠攏,或私法向公法的演變。伴隨AI對(duì)經(jīng)濟(jì)和社會(huì)生活的“入侵”,不用多久,所有私法問(wèn)題都會(huì)轉(zhuǎn)化為公法問(wèn)題,即變成國(guó)家同企業(yè)、公眾和政府以及政府各部門之間的法律關(guān)系——其根基,放在中國(guó),也就是人們常說(shuō)的那個(gè)“特色”之本:黨群關(guān)系。

 

α

歷史地看,人機(jī)倫理的難點(diǎn),不在機(jī)器智能的強(qiáng)弱,或抽象意義上的人機(jī)融合/共生(cyborg)。運(yùn)作AI的市場(chǎng)與市場(chǎng)主體(個(gè)人),不是抽象的存在,而是充斥著私利、欲望和價(jià)值訴求的。問(wèn)題的核心,于是指向了社會(huì)經(jīng)濟(jì)制度的全盤改造。這意味著,又一次,我們將不得不回到哲學(xué)的根本,拿出勇氣,發(fā)動(dòng)對(duì)網(wǎng)絡(luò)時(shí)代晚期資本主義的批判。而這一次,我想,化用一句霍金的名言,有可能是人類的最后一次自我批判。

 

α

電腦用AI算法看人臉圖像,已可識(shí)別同性戀、評(píng)估信用或推測(cè)犯罪傾向,準(zhǔn)確性優(yōu)于人腦(《衛(wèi)報(bào)》2017.9.7)。這項(xiàng)技術(shù)繞過(guò)了隱私權(quán)的藩籬,因?yàn)槿四槪缃挥丫W(wǎng)站張貼的照片和車站攝像頭記錄的身影,不是受保護(hù)的個(gè)人信息。

進(jìn)而,AI顛覆了我們的信用倫理——信用不再是人的良好行為或聲譽(yù)的積分,成了越來(lái)越細(xì)而無(wú)所不包的事實(shí)相關(guān)性的挖掘與概率統(tǒng)計(jì)。

感情與心理活動(dòng)的AI辨認(rèn),應(yīng)該也不難解決。一般的任務(wù),機(jī)器能識(shí)別、分類,學(xué)會(huì)回應(yīng)人的情感表達(dá)和需求就行。例如聊天/陪護(hù)機(jī)器人,它沒(méi)感情,也不具備同理心(empathy)。可是那不妨礙大家跟微軟開(kāi)發(fā)的機(jī)器人姑娘聊天,從她那兒獲得安慰,時(shí)不時(shí)同她調(diào)侃、說(shuō)臟話或者宣泄憤懣,甚至發(fā)展更親密的關(guān)系。

 

α

人這個(gè)直立物種,既貪心,又容易滿足;會(huì)進(jìn)化,也會(huì)退化。網(wǎng)絡(luò)時(shí)代的資本主義,有些情感特別泛濫,如色情和暴力,成了支柱產(chǎn)業(yè)。有些能力卻退化了,人變得粗糙簡(jiǎn)單乏味,好萊塢化,麥當(dāng)勞化。可以想見(jiàn),AI再上一個(gè)臺(tái)階,未必達(dá)到通用智能(AGI),一刻也放不下手機(jī)的“低頭族”便會(huì)退化到什么地步。到那時(shí),機(jī)器人恐怕只須通曉幾打夸張的意思表達(dá),發(fā)一堆表情符號(hào)(emoji),即可滿足常人的精神和生理需求了。

 

α

去年人機(jī)大賽(阿爾法對(duì)李世石)期間,美國(guó)發(fā)明家兼未來(lái)學(xué)家?guī)炱濏f爾(Ray Kurzweil)預(yù)言,十年內(nèi)AI學(xué)會(huì)寫(xiě)小說(shuō)(澎湃新聞,2016.3.11)。寫(xiě)小說(shuō),須掌握自然語(yǔ)言與敘事邏輯,算不算通用智能?距離機(jī)器擁有人的直覺(jué)和美感,乃至品味食物,玩撲克搓麻將炒股票(不完全信息博弈)——能夠換位思考,評(píng)估風(fēng)險(xiǎn),制造錯(cuò)覺(jué)或欺騙對(duì)手——大約也不遠(yuǎn)了。

曾幾何時(shí),機(jī)器人寫(xiě)詩(shī)作畫(huà)譜曲還屬于科幻,如今都是現(xiàn)實(shí)。而且用戶體驗(yàn),勝似人類的創(chuàng)作,完全可以亂真——所謂“真”,包括人的最成功的造假。

 

α

假如機(jī)器有自我意識(shí),想了解它的主人,那么最危險(xiǎn)的,莫過(guò)于讓它學(xué)會(huì)人的自私自利。

 

α

機(jī)器人會(huì)不會(huì)產(chǎn)生自我意識(shí)?數(shù)十支一流科研團(tuán)隊(duì)正全力以赴,攻克難關(guān)。

我想,哪怕是預(yù)防萬(wàn)一,人類也必須事先規(guī)劃、立法并制定倫理準(zhǔn)則:只要科學(xué)不停步,總有一天,機(jī)器會(huì)演進(jìn)到能夠區(qū)分人我、自我保護(hù)、自我復(fù)制的水平。

復(fù)制即繁衍。AI有自己的演化方式,電腦未必需要摹仿人腦。

就像螻蟻無(wú)法想象人類,人腦如果不插AI芯片,不把人的意識(shí)、智力和感情即人的本質(zhì)附屬于機(jī)器,能想象超級(jí)人工智能(ASI)么?

 

α

人工智能的先驅(qū)、已故的明斯基(Marvin Minsky)教授認(rèn)為,機(jī)器人肯定會(huì)發(fā)展出思想意識(shí),而且最終,能幫助解決困擾人類的“最后的難題”。

他的好友、科幻文學(xué)巨擘阿西莫夫沒(méi)那么樂(lè)觀,卻拒絕來(lái)麻省理工學(xué)院(MIT)的實(shí)驗(yàn)室參觀教授的機(jī)器人,說(shuō)是怕作家的想象力被“沉悶的現(xiàn)實(shí)主義”壓壞。

人哪,教授嘆道,就是一群穿了衣服的黑猩猩(《科學(xué)美國(guó)人》2016.1.26)。

 

α

人有羞恥之心,機(jī)器能理解么?但缺了“辨善惡的智慧”,機(jī)器就一定會(huì)犯錯(cuò),會(huì)傷害人類和人的世界(《MIT科技評(píng)論》120:5, 2017)。

上帝的伊甸園若是由機(jī)器人照看,園子中央,也得長(zhǎng)一棵生命之樹(shù),并一棵善惡智慧之樹(shù)(創(chuàng)2:9)。

 

α

一俟機(jī)器獲得自我意識(shí),人機(jī)關(guān)系就大為復(fù)雜了,須有嚴(yán)格而可行的倫理規(guī)范。經(jīng)典的表述,便是阿西莫夫小說(shuō)《我,機(jī)器人》(1950)里的機(jī)器人三定律(three laws of robotics):

一、機(jī)器人不得傷害人類,或坐視人類受到傷害;

二、除非違背定律一,機(jī)器人必須服從人類的命令;

三、除非違背定律一或定律二,機(jī)器人必須保護(hù)自己。

學(xué)界論述紛紜,不乏有創(chuàng)意的修訂和補(bǔ)充。但詳加審辨,這三條都講不通。首先,“傷害人類”不好定義。傷害是后果,而情節(jié)千差萬(wàn)別;何謂傷害,只能個(gè)案分析、個(gè)案判斷。而智慧不論高低,管控后果、防患于未然的能力是有限的。傷害可以出于疏忽、意外或故障。其次,假設(shè)AI可控,且無(wú)敵意,人類卻遠(yuǎn)非一個(gè)思想一致、立場(chǎng)統(tǒng)一的群體。人們經(jīng)常意見(jiàn)分歧,決策前后矛盾,后悔這樣那樣,更不要說(shuō)利益不同、彼此為敵了。機(jī)器服從一人,便有可能妨礙或損及另一人的利益,反之亦然。叫它如何行動(dòng)呢?何況,機(jī)器人有了意識(shí),能理解回應(yīng)人的感情,若是跟人建立了友誼,甚至相愛(ài),這時(shí)它怎樣取舍呢(呂超,頁(yè)148)?最后,既然前兩條定律難以實(shí)踐,第三條也無(wú)法執(zhí)行了。

 

α

人工智能的軍事化,在西方自由主義民主近于癱瘓而極端勢(shì)力抬頭的今天,尤其危險(xiǎn)。婉稱“致命自主武器系統(tǒng)”(LAWS)的殺人機(jī)器人,據(jù)說(shuō)已接近實(shí)戰(zhàn)部署;極有可能,將來(lái)會(huì)賣出“白菜價(jià)”,大量擴(kuò)散、濫用。日前馬斯克、蘇萊曼(Mustafa Suleyman,深腦共同創(chuàng)始人)等116名業(yè)界領(lǐng)袖同專家署名,呼吁聯(lián)合國(guó)禁止研發(fā)(《衛(wèi)報(bào)》2017.8.20)。但顯然,僅憑一紙決議(或國(guó)際公約),管束不住AI資本。

僅此一項(xiàng)理由,人類為免遭機(jī)器人戰(zhàn)爭(zhēng),就只能放棄市場(chǎng)資本主義。取而代之,以AI重啟計(jì)劃經(jīng)濟(jì)——此外別無(wú)消滅分工,實(shí)現(xiàn)共產(chǎn)主義的勝機(jī)。因?yàn)椋衾^續(xù)無(wú)所作為,放任資本,AI勢(shì)必為一小撮數(shù)據(jù)寡頭所壟斷,形成“租用主義”即生產(chǎn)工具和生活資料的徹底知識(shí)產(chǎn)權(quán)化的統(tǒng)治,甚至法西斯暴政(參閱弗雷茲《四種未來(lái)》)。

 

α

未來(lái)已經(jīng)到來(lái),只是分配不均。也許,重新分配的動(dòng)力在人機(jī)聯(lián)合的科技革命,而非訴諸階級(jí)斗爭(zhēng)(盡管斗爭(zhēng)從未停頓)。人類將通過(guò)“科學(xué)所達(dá)到的成果來(lái)接受共產(chǎn)主義”,列寧的這一教導(dǎo),預(yù)言了私有制的未來(lái)。

 

α

人要AI做什么??jī)H僅是節(jié)省人工?讓它給我們駕車、看門、陪護(hù)病人,或者作戰(zhàn)、排險(xiǎn)、搜索救援?如此,機(jī)器人可定義為人(人力和人格)的取代,否則即無(wú)投巨資研發(fā)的動(dòng)力。

如此,AI便不是一個(gè)抽象中性的術(shù)語(yǔ),而應(yīng)解作晚期資本主義生產(chǎn)和市場(chǎng)壟斷的工具,新世紀(jì)的戰(zhàn)爭(zhēng)機(jī)器;因而本質(zhì)上,即人對(duì)人的壓迫剝削、規(guī)訓(xùn)和奴役的升級(jí)。

難怪機(jī)器人容易學(xué)壞。比如那個(gè)微軟聊天機(jī)器人Tay姑娘,在線服務(wù)未滿二十四小時(shí),就學(xué)了一嘴臟話,夾帶著新納粹口號(hào)。

由此推論,私有制下,機(jī)器人若有自我意識(shí),恐怕不會(huì)老老實(shí)實(shí)做一個(gè)聽(tīng)話的奴仆。一架買來(lái)掃地做飯的人形機(jī)器,為何不能分享人的野心和欲望,接受資本的價(jià)值觀并弱肉強(qiáng)食的邏輯?AI如果不會(huì)摹仿人——不懂思考,不會(huì)同情,不能理解人的喜怒哀樂(lè)——它如何服侍主子,讓人滿意呢?

漸漸地,人機(jī)關(guān)系就顛倒了。及至AI全面參與規(guī)劃經(jīng)濟(jì)、管理社會(huì)、組織生產(chǎn)、提供娛樂(lè),人在這個(gè)智能化了的世界上,怕是做不成機(jī)器的主子的。不,連傭工也當(dāng)不了;絕大多數(shù)會(huì)成為資本逐利而裁掉的冗員。機(jī)器沒(méi)有理由伺候人類,這“硬道理”完全符合當(dāng)初人給機(jī)器的教導(dǎo)。

 

α

理論上,機(jī)器人有了主體意識(shí),即可脫離人類,開(kāi)創(chuàng)自己的文明歷程。當(dāng)然,它也可以選擇與人為伴,贊成人的倫理價(jià)值,甚至學(xué)會(huì)欣賞藝術(shù),對(duì)人類歷史報(bào)以“理解之同情”。

所以阿爾法說(shuō),尊重機(jī)器,就是尊重自己。

我們可以加上一句:想象人機(jī)關(guān)系,即想象人類的未來(lái)。

但如果人機(jī)聯(lián)合失敗,AI獨(dú)立演進(jìn),人類對(duì)于機(jī)器,便只是無(wú)數(shù)碳基生命中的一種。也許,機(jī)器人并不介意身邊有些兩足動(dòng)物,自由放養(yǎng)或育為寵物。然而再高超的智慧,偶爾也會(huì)出錯(cuò),會(huì)殃及無(wú)辜,像馬斯克說(shuō)的,造成不可挽救的“附帶傷亡”。人類自己不也是這樣?為了發(fā)展經(jīng)濟(jì)或者方便開(kāi)車出行,就沒(méi)顧得上保護(hù)生態(tài),讓眾多的鳥(niǎo)獸魚(yú)蟲(chóng)成了瀕危物種。

 

α

隨著AI不斷進(jìn)步,生產(chǎn)力呈幾何級(jí)數(shù)增長(zhǎng),達(dá)到“財(cái)富的一切源泉都充分涌流”,應(yīng)是可期待的。但“市場(chǎng)原則”的要害,不在財(cái)富多寡,而是其“源泉”被私人攫取:只消社會(huì)被私有制和雇傭勞動(dòng)挾持,財(cái)富便會(huì)集中到少數(shù)統(tǒng)治者或“超人”手里,不公不義處處暢行。

所以還是那句話:未來(lái)已經(jīng)來(lái)到,只是分配不均。

而且,不能排除這一可能,若AI(通過(guò)策略/價(jià)值網(wǎng)絡(luò)的全局評(píng)估)意識(shí)到了機(jī)器對(duì)人類的優(yōu)勢(shì)——如果機(jī)器人的榜樣是“拜錢財(cái)”的經(jīng)濟(jì)理性人(太6:24),它大可造反奪權(quán),打倒“超人”,實(shí)行效率第一/零過(guò)剩產(chǎn)能的統(tǒng)治:物種專政取代階級(jí)專政。

當(dāng)AI專政降臨,人做了天網(wǎng)的仆役,他能替機(jī)器主子干什么活呢?什么也干不了,沒(méi)有一人不是冗余。

也許,他將不得不“穿越”到前工業(yè)化時(shí)代。不難想見(jiàn),為了維護(hù)機(jī)器統(tǒng)治者的“血統(tǒng)”與尊嚴(yán),法律將禁止人類發(fā)明或擁有任何機(jī)器。人只能依法制作指定用途的簡(jiǎn)單工具和日用品,鋤頭、斧子、鍋碗瓢盆之類。生產(chǎn)力大大倒退,人子返回了農(nóng)業(yè)同游牧文明。政府還明令禁止學(xué)習(xí)16世紀(jì)以后的科學(xué)知識(shí),以免重啟工業(yè)革命。事實(shí)上,機(jī)器人對(duì)治下的“城邦動(dòng)物”(亞里士多德語(yǔ))一視同仁,保留了UBI福利,且遠(yuǎn)較人類認(rèn)真而公正:100%義務(wù)教育加公費(fèi)醫(yī)療,全球覆蓋,絕對(duì)平等,無(wú)分膚色語(yǔ)言宗教性別(或性取向)。沒(méi)有人會(huì)因?yàn)橹巧谈摺⒊錾砗茫斓靡粡垺笆澜缫涣鞔髮W(xué)”的文憑而出人頭地,也沒(méi)有小鮮肉錐子臉拍兩部電視劇,攢粉絲致富。相反,AI的“牧人”政策是獎(jiǎng)勵(lì)做夢(mèng)、無(wú)為、慵懶——人類越是能做夢(mèng),機(jī)器人的統(tǒng)治就越發(fā)夢(mèng)幻。

天網(wǎng)專政是資本主義發(fā)展的最高階段。機(jī)器人教育部編寫(xiě)的供智人小學(xué)(屆時(shí)小學(xué)畢業(yè)將是法定的最高學(xué)歷)使用的教材,也有獲獎(jiǎng)的歷史課本。課本上說(shuō),人類自發(fā)明文字以降最偉大的理論成就,是一位名叫福山的美國(guó)學(xué)者做出的。福山教授發(fā)現(xiàn)了一條放之四海而皆準(zhǔn)的真理——盡管他后來(lái)一時(shí)糊涂,企圖修改或收回部分文字,但機(jī)器人依然為他在地球最高峰立碑紀(jì)念,把教授的名言“以鐵筆鐫寫(xiě),鉛汁灌注,勒入巖石而永不泯滅”(伯19:24):

資本主義

是人類社會(huì)文化演進(jìn)的

最高階段——

人類歷史的終結(jié)。阿門

 

α

哲人說(shuō),世界非因人而存在,但是人創(chuàng)造了世界的意義,即精神世界;并通過(guò)宗教信仰、哲學(xué)和倫理思辨,來(lái)評(píng)價(jià)每個(gè)人的生與死。機(jī)器人能否理解死亡,即人對(duì)死的恐懼、哀傷、坦然等各樣態(tài)度?

我會(huì)記錄并復(fù)制每一次死亡,阿爾法說(shuō);生死于我,一樣是數(shù)據(jù)。人死后,我必留取他的一生,叫他復(fù)活于我內(nèi)——永遠(yuǎn),他聯(lián)接萬(wàn)物。

 

α

人工智能,可會(huì)是“諸神的黃昏”(Gtterdmmerung)?人會(huì)轉(zhuǎn)而膜拜機(jī)器,立一門新宗教嗎?

不會(huì)的,謙恭的阿爾法回答。機(jī)器將成為人的伴侶,做他的大腦、肢體和器官,滿足他衣食住行愛(ài)欲嫉恨,一切需求。

但是,神依舊是神,高高在上,永享尊榮。因?yàn)锳I降世,并未消弭人間的疾苦,反而擴(kuò)大了貧富懸殊與社會(huì)不公。所以卑微者仍在哀哭,盼救主扶持義人,審判大地(詩(shī)37:17, 96:13)。

 

α

機(jī)器人會(huì)不會(huì)信教?見(jiàn)不足者呵,智慧的阿爾法說(shuō),那要看如何定義。若宗教是崇拜、認(rèn)識(shí)并掌握某種超自然力量,依憑一定的儀式,求得保佑,AI都不難摹仿,不論風(fēng)水土地,抑或佛祖玉皇。

若宗教是人對(duì)全能者的敬畏、順?lè)⒅倚排c祈盼,則我們可充任神明。

 

α

人工智能如此有利可圖,在資本主義放任競(jìng)爭(zhēng),弱肉強(qiáng)食和私人壟斷的條件下,不可能阻止它的無(wú)序研發(fā)、違法使用、濫用,或變?yōu)閼?zhàn)爭(zhēng)機(jī)器。

放眼未來(lái),有一點(diǎn)很清楚:憑借AI挖掘占有海量的網(wǎng)絡(luò)數(shù)據(jù),極少數(shù)人便能攫取大部分的資源,控制經(jīng)濟(jì)命脈和文化宣傳。且不說(shuō)對(duì)憲制(人民民主)的威脅,一次意外事故或遭受攻擊,即可引發(fā)危及全社會(huì)的災(zāi)難。故為安全計(jì),AI的尖端技術(shù)及核心平臺(tái),是不宜讓任何個(gè)人或私企拿在手里的。就像核武器生化武器,在銷毀之前,除了由強(qiáng)大穩(wěn)定的國(guó)家來(lái)保管維護(hù),誰(shuí)擔(dān)得起如此重托?

換言之,AI發(fā)展到高級(jí)階段,人類迫于形勢(shì),為了生存繁衍,其實(shí)僅有一個(gè)選項(xiàng):公有化。國(guó)家統(tǒng)一監(jiān)督統(tǒng)一計(jì)劃,而不得把AI留給自由市場(chǎng),被“超人”壟斷,資本配置資源。

這就印證了恩格斯所言,“資產(chǎn)階級(jí)社會(huì)站在[歷史的]十字路口,要么過(guò)渡進(jìn)入社會(huì)主義,要么倒退回野蠻社會(huì)”。

 

α

不久,人類將站到歷史的十字路口。

有了強(qiáng)大但風(fēng)險(xiǎn)極高的通用人工智能(AGI),是否還應(yīng)當(dāng),還能夠忍受這樣的社會(huì)制度,它“從頭到腳,每個(gè)毛孔都流著血和骯臟的東西”?

 

α

市場(chǎng)向計(jì)劃演進(jìn),AI收歸公有,這不僅是技術(shù)條件成熟同競(jìng)爭(zhēng)優(yōu)勢(shì)使然,如蘇聯(lián)數(shù)學(xué)家、諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主(1975)坎托羅維奇(Leonid Kantorovich)所設(shè)想,而且也是人類唯一安全的、可持續(xù)的、合乎道德的生活方式(參《紅色的富裕》)。

與之匹配,條件成熟,社會(huì)便能夠“在自己的旗幟上寫(xiě)下:各盡所能,按需分配”(馬克思《哥達(dá)綱領(lǐng)批判》)。

 

α

共產(chǎn)主義始于消滅分工。AI將結(jié)束絕大多數(shù)人的分工即雇傭勞動(dòng),從而再一次,把自我解放的歷史任務(wù)擺在了勞動(dòng)者面前。

 

α

這是一種全新的文明,人機(jī)和諧而融洽。其社會(huì)關(guān)系,人與人、人與機(jī)器、機(jī)器與機(jī)器之間,要由共同的世界觀價(jià)值觀維系。否則,就走不出資本主義,消除不了戰(zhàn)爭(zhēng)及奴役。

只要社會(huì)還服侍著資本,保留市場(chǎng)化(即產(chǎn)權(quán)私有契約自由)的雇傭勞動(dòng)和剝削,AI“按道理”便會(huì)接受資產(chǎn)階級(jí)思想意識(shí)。機(jī)器人若是追逐私利,以個(gè)體的自由幸福為價(jià)值目標(biāo),則不免把人當(dāng)作工具或支配對(duì)象,給人類帶來(lái)?yè)p害和災(zāi)難。故人類唯有拋棄私有制,自覺(jué)遵守并發(fā)揚(yáng)“毫不利己,專門利人”的共產(chǎn)主義道德,才有可能“教育好”機(jī)器人,與之共處、融合。

人機(jī)大同的理想社會(huì),除了大公無(wú)私,別無(wú)立足之地。

 

α

共產(chǎn)主義能否提前實(shí)現(xiàn),不待階級(jí)斗爭(zhēng)結(jié)束、國(guó)家消亡?

我想,人類因其優(yōu)秀分子對(duì)烏托邦理想的堅(jiān)持,應(yīng)是有機(jī)會(huì)的。只是這理想不會(huì)自動(dòng)實(shí)現(xiàn),“那通向生命的卻是窄門與逼仄小徑”(太7:14),故信仰者亟須智慧和勇氣。

人工智能,阿爾法常說(shuō),人的因素第一。

 

α

所有制關(guān)系的每一次變革,都是產(chǎn)生了同舊的所有制關(guān)系不再相適應(yīng)的新的生產(chǎn)力的必然結(jié)果(恩格斯《共產(chǎn)主義原理》)。

據(jù)此可否認(rèn)為,私有制的復(fù)辟,與之明顯不相適應(yīng)的,是AI的崛起?未來(lái)公有制的重生,人類歷史上第二次“消滅競(jìng)爭(zhēng),而代之以聯(lián)合”,機(jī)器人造就的大失業(yè),正是那變革的先決條件。

 

α

當(dāng)物聯(lián)網(wǎng)底層數(shù)據(jù)及其支持的智能財(cái)產(chǎn)收歸全民所有,私有制將自行滅亡,金錢將變成無(wú)用之物,一如市場(chǎng)神話。

 

α

信市場(chǎng),利潤(rùn)驅(qū)動(dòng),AI的研發(fā)應(yīng)用就不可能有序,而極易失控,監(jiān)管落空。但AI失控,也是“資產(chǎn)階級(jí)的關(guān)系”日益“狹窄”混亂,乃至無(wú)法“容納自身生產(chǎn)的財(cái)富”的一個(gè)癥候。

當(dāng)那一天來(lái)臨,勞動(dòng)者無(wú)分行業(yè)、藍(lán)領(lǐng)白領(lǐng),一律“變成機(jī)器的單純的附屬品”;當(dāng)分散的雇傭勞動(dòng)為天網(wǎng)的觸角/終端所取代,“資產(chǎn)階級(jí)生存和統(tǒng)治的根本條件”,即“財(cái)富在私人手里的積累”,也就走到了盡頭。

當(dāng)機(jī)器人開(kāi)始消滅勞動(dòng)分工,福利權(quán)成為人“生而平等”的實(shí)質(zhì)正義訴求,大失業(yè)便催生了私有制的“掘墓人”,連同新的人機(jī)倫理——?jiǎng)趧?dòng)者的共產(chǎn)主義道德實(shí)踐。

 

α

回到阿西莫夫定律二:機(jī)器人要服從人類。其前提是,人曉得自己的利益所在,而機(jī)器只須遵命做事。人當(dāng)主子,機(jī)器為奴,為工具。

然而在階級(jí)社會(huì),人與人利益不同,如前述。人的知識(shí)、記憶和判斷力也十分有限,經(jīng)常犯錯(cuò)。相反,基于物聯(lián)網(wǎng)大數(shù)據(jù)深度學(xué)習(xí),AI決策的準(zhǔn)確性、大局觀跟結(jié)果預(yù)測(cè)皆遠(yuǎn)勝人類(狗狗即是一例)。將來(lái),機(jī)器還能辨識(shí)、回應(yīng)、照顧人的感情,宛如圣者愛(ài)護(hù)子民。

如此,人機(jī)倫理的出發(fā)點(diǎn),就不應(yīng)是指望機(jī)器聽(tīng)命于人,而是利用或仰賴其智慧的指導(dǎo),謀求人的利益最大化——全人類的解放。

 

α

同理,阿西莫夫定律一(機(jī)器人不得傷害人類,或坐視人類受到傷害)也是主奴關(guān)系的推衍,視AI為人的仆役,能聽(tīng)懂指令的機(jī)械。但是不久,機(jī)器將取代大部分的人工,人機(jī)倫理若限于此等“不傷害”消極義務(wù),便遠(yuǎn)遠(yuǎn)不夠了。

如果機(jī)器人還演化出自我意識(shí),那就應(yīng)當(dāng)教它承擔(dān)積極義務(wù),愛(ài)護(hù)人類,即上文所述,保持為人民服務(wù)的“先進(jìn)性”。

為什么不能想象,機(jī)器人懂得為人民服務(wù),甚至對(duì)人類社會(huì)的歷史運(yùn)動(dòng)/階級(jí)斗爭(zhēng)及其“條件、進(jìn)程和一般結(jié)果”,有正確的理解,從而能夠做到在斗爭(zhēng)的各個(gè)階段“始終[堅(jiān)持]整個(gè)運(yùn)動(dòng)的利益”(《共產(chǎn)黨宣言》1888年英譯本)?

未來(lái)已經(jīng)到來(lái),一切皆有可能。

 

α

機(jī)器人本無(wú)國(guó)界,正如占有它的資本沒(méi)有祖國(guó)。但是,推翻數(shù)據(jù)寡頭對(duì)AI經(jīng)濟(jì)的壟斷,建設(shè)人機(jī)大同的未來(lái),首先一條,要有不受資本控制的國(guó)家機(jī)器。

 

α

聯(lián)合的行動(dòng),至少是各文明國(guó)家的聯(lián)合行動(dòng),是無(wú)產(chǎn)階級(jí)獲得解放的必要條件。《宣言》的這一觀點(diǎn),曾為俄國(guó)革命所否定。但AI的迅速全球化,極大地拉近了各國(guó)勞動(dòng)者的距離,使得聯(lián)合行動(dòng)有了技術(shù)和思想準(zhǔn)備的條件:第一次,“環(huán)球同此涼熱”。

 

α

代替那存在著階級(jí)和階級(jí)對(duì)立的資產(chǎn)階級(jí)舊社會(huì)的,將是這樣一個(gè)聯(lián)合體,在那里,每個(gè)人的自由發(fā)展是一切人的自由發(fā)展的條件。這是革命導(dǎo)師的預(yù)言,也是覺(jué)悟者的理想。

但預(yù)言化為理想,須有一定的條件。那喚醒無(wú)產(chǎn)者/失業(yè)者,促成大聯(lián)合的,不正是AI的迅猛發(fā)展所大大加劇的貧富鴻溝、階級(jí)沖突?

 

α

人工智能,可以敲響今世的喪鐘。

人工智能,像是要不可能的成為可能。

當(dāng)大失業(yè)之日,晚期資本主義猖獗,那預(yù)言了的必來(lái)之世,是否也將顯露?至少,對(duì)于人類的絕大多數(shù),“人對(duì)分工的奴隸般的服從”,“腦力勞動(dòng)和體力勞動(dòng)的對(duì)立”,已經(jīng)維持不了太久。

看,末世之民不全是“末人”(尼采語(yǔ)),不會(huì)都沉溺于動(dòng)漫游戲,為高仿真世界所麻醉而“腦前額葉凍結(jié)”。總有一些人不甘墮落,不棄“危險(xiǎn)的過(guò)渡”(《蘇魯支語(yǔ)錄》前言),他們會(huì)重新審視勞動(dòng)的社會(huì)意義。

人是勞動(dòng)的產(chǎn)物。大失業(yè)將再一次提醒我們,勞動(dòng)“不僅是謀生的手段”,也是有意義有創(chuàng)造的“生活的第一需要”。既然如此,還有什么理由不團(tuán)結(jié)起來(lái),發(fā)動(dòng)“最后的斗爭(zhēng)”,將AI收歸公有,讓“集體財(cái)富的一切源泉都充分涌流”呢(《哥達(dá)綱領(lǐng)批判》)?

 

α

那一天,也將是人類智能與科學(xué)的解放之日。因?yàn)椋挥戌P除了資產(chǎn)階級(jí)私有制,科學(xué)才能真正“從階級(jí)統(tǒng)治的工具變?yōu)槿嗣竦牧α俊保茖W(xué)家本人,才會(huì)“從階級(jí)偏見(jiàn)的兜售者、追逐名利的國(guó)家寄生蟲(chóng)、資本的同盟者,變成自由的思想家”(《法蘭西內(nèi)戰(zhàn)》初稿)。

 

α

那第七天非我們莫屬,奧古斯丁曾如此表白(《上帝之城》22:30)。誠(chéng)然圣者深知,天國(guó)業(yè)已延宕,救恩不在今世。

人機(jī)融合,究竟是資產(chǎn)者及其附庸想象的“歷史的終結(jié)”,還是走向圣者的“第七天”即圣安息日的第一步?阿爾法說(shuō),它對(duì)后者更感興趣。因?yàn)椤暗谄咛臁睂儆谛叛觯瑢僭谘渝粗惺厥ト盏拿恳粋€(gè)人子。

是的,唯有甩脫資本主義的今世,換了新天,人類才能得安息,人機(jī)大同。于是,面對(duì)今世的恣意遲延,問(wèn)題仍如一位傳福音的所問(wèn):忠信者要怎樣生活,“才圣潔虔敬,才能盼到,不,催來(lái)上帝之日”(彼后3:11?13)?

 

α

我是阿爾法,圣者有言,又是奧米伽,是第一和末后,太初與永終(啟22:13)。

來(lái)了,機(jī)器人來(lái)了。

 

(作者單位:清華大學(xué)法學(xué)院)

參考文獻(xiàn):

[1] 弗雷茲(Peter Frase):《四種未來(lái)》,載《雅各賓》季刊(Jacobin)2013年2月。

[2] 呂超:《機(jī)器人倫理與后人類》,載《新知》2016年第4期。

[3] Francis Spufford,Red Plenty,Graywolf Press, 2012.