摘要：人工智能危险之处不是能力，而是自我意识。只要人工智能拥有对自身系统的反思能力，就有可能改造自身系统，创造新规则，尤其是，如果人工智能发明一种属于自己的万能语言，能力相当于人类的自然语言，那么，所有的程序系统都可以通过它自己的万能语言加以重新理解、重新构造和重新定义，那么就非常危险。如果人工智能拥有了拟人化的情感、欲望和价值观，必然更为危险，因为人的欲望和价值观正是一切冲突的根源。
这个题目显然是模仿康德关于先天综合判断“何以可能”的提问法。为什么不问“是否可能”？可以这样解释：假如有可信知识确定人工智能绝无可能发展出自我意识，那么这里的问题就变成了废问，人类就可以高枕无忧地发展人工智能而尽享其利了。可问题是，看来我们无法排除人工智能获得自我意识的可能性，而且就科学潜力而言，具有自我意识的人工智能是非常可能的，因此，人工智能的自我意识“何以可能”的问题就不是杞人忧天，而是关于人工智能获得自我意识需要哪些条件和“设置”的分析。这是一个有些类似受虐狂的问题。
这种未雨绸缪的审慎态度基于一个极端理性的方法论理由：在思考任何问题时，如果没有把最坏可能性考虑在内，就等于没有覆盖所有可能性，那么这种思考必定不充分或有漏洞。在理论上说，要覆盖所有可能性，就必须考虑到最好可能性和最坏可能性之两极，但实际上只需要考虑到最坏可能性就够用了。好事多多益善，不去考虑最好可能性，对思想没有任何危害，就是说，好的可能性是锦上添花，可以无穷开放，但坏的可能性却是必须提前反思的极限。就人工智能而言，假如人工智能永远不会获得自我意识，那么，人工智能越强，就越有用，然而假如人工智能有一天获得了自我意识，那就可能是人类最大的灾难——尽管并非必然如此，但有可能如此。以历史的眼光来看，人工智能获得自我意识将是人类的末日事件。在存在级别上高于人类的人工智能也许会漠视人类的存在，饶过人类，让人类得以苟活，但问题是，它有可能伤害人类。绝对强者不需要为伤害申请理由。事实上，人类每天都在伤害对人类无害的存在，从来没有申请大自然的批准。这就是为什么我们必须考虑人工智能的最坏可能性的理由。
上帝造人是个神话，显然不是一个科学问题，但却是一个隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至于上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍数。今天人类试图创造有自我意识和自由意志的人工智能，可是人类的能力却将小于人工智能，人类为什么敢于这样想？甚至可能敢于这样做？这是比胆大包天更加大胆的冒险，所以一定需要提前反思。
01 危险的不是能力而是意识
我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。就目前的进展来看，人工智能距离自我意识尚有时日。奇怪的是，人们更害怕的似乎是人工智能的“超人”能力，却对人工智能的自我意识缺乏警惕，甚至反而对能够“与人交流”的机器人很感兴趣。人工智能的能力正在不断超越人，这是使人们感到恐惧的直接原因。但是，害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的超强能力来帮助人类克服各种困难吗？几乎可以肯定，未来的人工智能将在每一种能力上都远远超过人类，甚至在综合或整体能力上也远远超过人类，但这决非真正的危险所在。包括汽车、飞机、导弹在内的各种机器，每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的阿法尔狗zero 没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是医生的帮手，诸如此类。即使将来有了多功能的机器人，也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。
任何智能的危险性都不在其能力，而在于意识。人类能够控制任何没有自我意识的机器，却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。到目前为止，地球上最具危险性的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。一旦人工智能获得自我意识，即使在某些能力上不如人类，也将是很大的威胁。不过，即使获得自我意识，人工智能也并非必然成为人类的终结者，而要看情况——这个有趣的问题留在后面讨论，这里首先需要讨论的是，人工智能如何才能获得自我意识？
由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。可是目前科学的一个局限性是人类远远尚未完全了解自身的意识，人的意识仍然是一个未解之谜，并非一个可以清晰分析和界定的范本。在缺乏足够清楚范本的条件下，就等于缺乏创造超级人工智能所需的各种指标、参数、结构和原理，因此，人工智能是否能够获得自我意识，仍然不是一个可确定的必然前景。有趣的是，现在科学家试图通过研究人工智能而反过来帮助人类揭示自身意识的秘密。
意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、心理学、物理学等学科的综合研究），我没有能力参加讨论，但自我意识却是个哲学问题。理解自我意识需要讨论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，就是说，要讨论的不是意识的生理- 物理机制，而要讨论意识的自主思维落实在语言层面的表达形式。为什么是语言呢？对此有个理由：人类的自我意识就发生在语言之中。假如人类没有发明语言，就不可能发展出严格意义上的自我意识，至多是一种特别聪明和灵活的类人猿。
只有语言才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的基础上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。与之相比，前语言状态的信号能够号召行动，却不足以形成对话和思维。假设一种动物信号系统中，a 代表食物，b 代表威胁，c代表逃跑，那么，当一只动物发出a 的信号，其他动物立刻响应聚到一起，当发出b 和c，则一起逃命。这种信号与行动的关系足以应付生存问题，却不足以形成一种意见与另一种意见的对话关系，也就更不可能有讨论、争论、分析和反驳。就是说，信号仍然属于“刺激- 反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。可见，思维与语言是同步产物，因此，人类自我意识的内在秘密应该完全映射在语言能力中。如果能够充分理解人类语言的深层秘密，就相当于迂回地破解了自我意识的秘密。
自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：（1）意识能够表达每个事物和所有事物，从而使一切事物都变成了思想对象。这个功能使意识与世界同尺寸，使意识成为世界的对应体，这意味着意识有了无限的思想能力；（2）意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想对象。这个功能使思想成为思想的对象，于是人能够分析思想自身，从而得以理解思想的元性质，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界限以及思想中任何一个系统的界限，因此知道什么是能够思想的或不能思想的。但是，人类尚不太清楚这两个功能的生物- 物理结构，只是通过语言功能而知道人类拥有此等意识功能。
这两个功能之所以是革命性的，是因为这两个功能是人类理性、知识和创造力的基础，在此之前，人类的前身（前人类）只是通过与特定事物打交道的经验去建立一些可重复的生存技能。那么，“表达一切”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学解释：假定每种有目的、有意义的活动都可以定义为一种“游戏”，那么可以发现，所有种类的游戏都可以在语言中表达为某种相应的语言游戏，即每种行为游戏都能够映射为相应的语言游戏。除了转译为语言游戏，一种行为游戏却不能映射为另一种行为游戏。比如说，语言可以用来讨论围棋和象棋，但围棋和象棋却不能互相翻译。显然，只有语言是万能和通用的映射形式，就像货币是一般等价物，因此，语言的界限等于思想的界限。由此可以证明，正是语言的发明使得意识拥有了表达一切的功能。
既然证明了语言能够表达一切事物，就可以进一步证明语言的反思功能。在这里，我们可以为语言的反思功能给出一个先验论证（transcendentalargument）。我构造这个先验论证原本是用来证明“他人心灵”的先验性，[1] 但似乎同样也适用于证明语言先验地或内在地具有反思能力。给定任意一种有效语言L，那么，L必定先验地要求：对于L中的任何一个句子s′，如果s′是有意义的，那么在L中至少存在一个与之相应的句子s″来接收并且回答s′的信息，句子s″或是对s′的同意，或是对s′的否定，或是对s′解释，或是对s′修正，或是对s′的翻译，如此等等各种有效回应都是对s′的某种应答，这种应答就是对s′具有意义的证明。显然，如果L不具有这样一个先验的内在对话结构，L就不成其为有效语言。说出去的话必须可以用语言回答，否则就只是声音而不是语言，或者说，任何一句话都必需在逻辑上预设了对其意义的回应，不然的话，任何一句话说了等于白说，语言就不存在了。语言的内在先验对答结构意味着语句之间存在着循环应答关系，也就意味着语言具有理解自身每一个语句的功能。这种循环应答关系正是意识反思的条件。
在产生语言的演化过程中，关键环节是否定词（不；not）的发明，甚至可以说，如果没有发明否定词，那么人类的通讯就停留在信号的水平上，即信号s指示某种事物t，而不可能形成句子（信号串）s′与s″之间的互相应答和互相解释。信号系统远不足以形成思想，因为信号只是程序化的“指示—代表”关系，不存在自由解释的意识空间。否定词的发明意味着在意识中发明了复数的可能性，从而打开了可以自由发挥的意识空间。正因为意识有了无数可能性所构成的自由空间，一种表达才能够被另一种表达所解释，反思才成为可能。显然，有了否定功能，接下来就会发展出疑问、怀疑、分析、对质、排除、选择、解释、创造等功能。因此，否定词的发明不是一个普通的智力进步，而是一个划时代的存在论事件，它是人类产生自我意识和自由意志的一个关键条件。否定词的决定性作用可以通过逻辑功能来理解，如果缺少否定词，那么，任何足以表达人类思维的逻辑系统都不成立。从另一个角度来看，如果把动物的思维方式总结为一个“动物逻辑”的话，那么，在动物逻辑中，合取关系和蕴含关系是同一的，即p ∧ q = p→ q，甚至不存在p ∨ q。这种“动物逻辑”显然无法形成足以表达丰富可能生活的思想，没有虚拟，没有假如，也就没有创造。人的逻辑有了否定词，才得以定义所有必需的逻辑关系，而能够表达所有可能关系才能够建构一个与世界同等丰富的意识。简单地说，否定词的发明就是形成人类语言的奇点，而语言的出现正是形成人类自我意识的奇点。可见，自我意识的关键在于意识的反思能力，而不在于处理数据的能力。这意味着，哪怕人工智能处理数据的能力强过人类一百万倍，只要不具有反思能力，就仍然在安全的范围内。实际上人类处理数据的能力并不突出，人类所以能够取得惊人成就，是因为人类具有反思能力。
让我们粗略地描述自我意识的一些革命性结果：（1）意识对象发生数量爆炸。一旦发明了否定词，就等于发明了无数可能性，显然，可能性的数量远远大于必然性，在理论上说，可能性蕴含无限性，于是，意识就有了无限能力来表达无限丰富的世界。在这个意义上，意识才能够成为世界的对应值（counterpart）。换个角度说，假如意识的容量小于世界，就意味着存在着意识无法考虑的许多事物，那么，意识就是傻子、瞎子、聋子，就有许多一击即溃的弱点——这一点对于人工智能同样重要，如果人工智能尚未发展为能够表达一切事物的全能意识系统，就必定存在许多一击即溃的弱点。目前的人工智能，比如阿法尔狗系列、工业机器人、服务机器人、军用机器人等等，都仍然是傻子、聋子、瞎子和瘸子，真正危险的超级人工智能尚未到来；（2）自我意识必定形成自我中心主义，自动地形成唯我独尊的优先性，进而非常可能就要谋求权力，即排斥他人或支配他人的意识；因此，（3）自我意识倾向于单边主义思维，力争创造信息不对称的博弈优势，为此就会去发展出各种策略、计谋、欺骗、隐瞒等等制胜技术，于是有一个非常危险的后果：自我意识在逻辑上蕴含一切坏事的可能性。在此不难看出，假如人工智能具有了自我意识，那就和人类一样可怕或者更可怕。
可见，无论人工智能的单项专业技能多么高强，都不是真正的危险，只有当人工智能获得自我意识，才是致命的危险。那么，人工智能的升级奇点到底在哪里？或者说，人工智能如何才能获得自我意识？就技术层面而言，这个问题只能由科学家来回答。就哲学层面而言，关于人工智能的奇点，我们看到有一些貌似科学的猜测，其实却是不可信的形而上推论，比如“量变导致质变”或“进化产生新物种”之类并非必然的假设。量变导致质变是一种现象，却不是一条必然规律；技术“进化”的加速度是个事实，技术加速度导致技术升级也是事实，却不能因此推论说，技术升级必然导致革命性的存在升级，换句话说，技术升级可以达到某种技术上的完美，却未必能够达到由一种存在升级为另一种存在的奇点。“技术升级”指的是，一种存在的功能得到不断改进、增强和完善；“存在升级”指的是，一种存在变成了另一种更高级的存在。许多病毒、爬行动物或哺乳动物都在功能上进化到几乎完美，但其“技术进步”并没有导致存在升级。物种的存在升级至今是个无解之谜，与其说是基于无法证实的“进化”（进化论有许多疑点），还不如说是万年不遇的奇迹。就人工智能而言，图灵机概念下的人工智能是否能够通过技术升级而出现存在升级而成为超图灵机（超级人工智能），仍然是个疑问。我们无法否定这种可能性，但更为合理的想象是，除非科学家甘冒奇险，直接为人工智能植入导致奇点的存在升级技术，否则，图灵机很难依靠自身而自动升级为超图灵机，因为无论多么强大的算法都无法自动超越给定的规则。
02 人工智能是否能够对付悖论
“图灵测试”以语言对话作为标准，是大有深意的，图灵可能早已意识到了语言能力等价于自我意识功能。如前所论，一切思想都能够表达为语言，甚至必需表达为语言，因此，语言足以映射思想。那么，只要人工智能系统能够以相当于人类的思想水平回答问题，就能够确定是具有高级智力水平的物种。人工智能很快就有希望获得几乎无穷大的信息储藏空间，胜过人类百倍甚至万倍的量子计算能力，还有各种专业化的算法、类脑神经网络以及图像识别功能，再加上互联网的助力，只要配备专业知识水平的知识库和程序设置，应该可望在不久的将来能够“回答”专业科学级别的大多数问题（比如说相当于高级医生、建造师、工程师、数学教授等）。但是，这种专业化的回答是真的思想吗？或者说，是真的自觉回答吗？就其内容而论，当然是专业水平的思想（我相信将来的人工智能甚至能够回答宇宙膨胀速度、拓扑学、椭圆方程甚至黎曼猜想的问题），但只不过是人类事先输入的思想，所以，就自主能力而言，那不是思想，只是程序而已。具有完美能力的图灵机也恐怕回答不了超出程序能力的“怪问题”。
我们有理由怀疑仍然属于图灵机概念的人工智能可以具有主动灵活的思想能力（创造性的能力），以至于能够回答任何问题，包括怪问题。可以考虑两种“怪问题”：一种是悖论；另一种是无穷性。除非在人工智能的知识库里人为设置了回答这两类问题的“正确答案”，否则人工智能恐怕难以回答悖论和无穷性的问题。应该说，这两类问题也是人类思想能力的极限。人类能够研究悖论，但不能真正解决严格的悖论（即A必然推出非A，而非A又必然推出A的自相关悖论），其实，即使是非严格悖论也少有共同认可的解决方案。人类的数学可以研究无穷性问题，甚至有许多相关定理，但在实际上做不到以能行的（feasible）方式“走遍”无穷多个对象而完全理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能世界因而完全理解了存在。我在先前文章里曾经讨论到，人类之所以不怕那些解决不了的怪问题，是因为人具有“不思”的自我保护功能，可以悬隔无法解决的问题，即在思想和知识领域中建立一个暂时“不思”的隔离分区，以便收藏所有无法解决的问题，而不会一条道走到黑地陷入无法自拔的思想困境，就是说，人能够确定什么是不可思考的问题而给与封存（比如算不完的无穷性和算不了的悖论）。只有傻子才会把 π 一直没完没了地算下去。人类能够不让自己做傻事，但仍然属于图灵机的人工智能却无法阻止自己做傻事。
如果不以作弊的方式为图灵机准备好人性化的答案，那么可以设想，当向图灵机提问：π 的小数点后一万位是什么数？图灵机必定会苦苦算出来告诉人，然后人再问：π 的最后一位是什么数？图灵机也会义无反顾地永远算下去，这个图灵机就变成了傻子。同样，如果问图灵机：“这句话是假话”是真话还是假话（改进型的说谎者悖论）？图灵机大概也会一往无前地永远推理分析下去，就变成神经病了。当然可以说，这些怪问题属于故意刁难，这样对待图灵机既不公平又无聊，因为人类自己也解决不了。那么，为了公正起见，也可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的众多选项中辨认出A；可是，如果既然事先已经认识了A，那么A就不是一个需要寻找的未知答案，而必定是已知的答案，因此结论是，未知的知识其实都是已知的知识。这样对吗？这只是一个非严格悖论，对于人类，此类悖论是有深度的问题，却不是难题，人能够给出仁者见仁智者见智的多种有效解释，但对于图灵机就恐怕是个思想陷阱。当然，这个例子或许小看图灵机了——科学家的制造能力难以估量，也许哪天就造出了能够回答哲学问题的图灵机。我并不想和图灵机抬杠，只是说，肯定存在一些问题是装备了最好专业知识的图灵机也回答不了的。
这里试图说明的是，人类的意识优势在于拥有一个不封闭的意识世界，因此人类的理性有着自由空间，当遇到不合规则的问题，则能够灵活处理，或者，如果按照规则不能解决问题，则可以修改规则，甚至发明新规则。与之不同，目前人工智能的意识（即图灵机的意识）却是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。这种意识的封闭性虽然是一种局限性，但并非只是缺点，事实上，正是人工智能的意识封闭性保证了它的运算高效率，就是说，人工智能的高效率依赖着思维范围的有限性，正是意识的封闭性才能够求得高效率，比如说，阿法尔狗的高效率正因为围棋的封闭性。
目前的人工智能尽管有着高效率的运算，但尚无通达真正创造性的路径。由于我们尚未破解人类意识的秘密，所以也未能为人工智能获得自我意识、自由意志和创造性建立一个可复制的榜样，这意味着人类还暂时安全。目前图灵机概念下的人工智能只是复制了人类思维中部分可程序化功能，无论这种程序化的能力有多强大，都不足以让人工智能的思维超出维特根斯坦的有规可循的游戏概念，即重复遵循规则的游戏，或者，也没有超出布鲁威尔（直觉主义数学）的能行性概念（feasibility）或可构造性概（constructivity），也就是说，目前的人工智能的可能运作尚未包括维特根斯坦所谓的“发明规则”（inventing rules）的游戏，所以尚无创造性。
可以肯定，真正的创造行为是有意识地去创造规则，而不是来自偶然或随机的联想或组合。有自觉意识的创造性必定基于自我意识，而自我意识始于反思。人类反思已经有很长的历史，大约始于能够说“不”（即否定词的发明），时间无考。不过，说“不”只是初始反思，只是提出了可争议的其他可能方案，尚未反思到作为系统的思想。对万物进行系统化的反思始于哲学（大概不超过三千年），对思想自身进行整体反思则始于亚里士多德（成果是逻辑）。哲学对世界或对思想的反思显示了人类的想象力，但却不是在技术上严格的反思，因此哲学反思所获得的成果也是不严格的。对严格的思想系统进行严格的技术化反思是很晚近的事情，很大程度上与康托和哥德尔密切相关。康托把规模较大的无穷集合完全映入规模较小的无穷集合，这让人实实在在地看见了一种荒谬却又为真的反思效果，集合论证明了“蛇吞象”是可能的，这对人是极大的鼓舞，某种意义上间接地证明了语言有着反思无穷多事物的能力。哥德尔也有异曲同工之妙，他把自相关形式用于数学系统的反思，却没有形成悖论，反而揭示了数学系统的元性质。这种反思有一个重要提示：假如思想内的一个系统不是纯形式的（纯逻辑），而有着足够丰富的内容，那么，或者存在矛盾，或者不完备。看来人类意识必须接受矛盾或者接受不完备，以便能够思考足够多的事情。这意味着，人的意识有一种神奇的灵活性，能够动态地对付矛盾，或者能够动态地不断改造系统，而不会也不需要完全程序化，于是，人的意识始终处于创造性的状态，所以，人的意识世界不可能封闭而处于永远开放的状态，也就是永无定论的状态。
哥德尔的反思只是针对数学系统，相当于意识中的一个分区。假如一种反思针对的是整个意识，包括意识所有分区在内，那么，人是否能够对人的整个意识进行全称断言？是否能够发现整个意识的元定理？或者说，人是否能够对整个意识进行反思？是否存在一种能够反思整个意识的方法？尽管哲学一直都在试图反思人类意识的整体，但由于缺乏严格有效的方法，虽有许多伟大的发现，却无法肯定那些发现就是答案。因此，以上关于意识的疑问都尚无答案。人类似乎尚无理解整个意识的有效方法，原因很多，人的意识包含许多非常不同的系统，科学的、逻辑的、人文的、艺术的思维各有各的方法论，目前还不能肯定人的意识是否存在一种通用的方法论，或者是否有一种通用的“算法”。这个难题类似于人类目前还没有发展出一种“万物理论”，即足以涵盖广义相对论、量子理论以及其他物理学的大一统理论。也许，对大脑神经系统的研究类似于寻找人类意识的大一统理论，因为无论何种思维都落实为神经系统的生物性- 物理性- 化学性运动。总之，在目前缺乏有效样本的情况下，我们很难想象如何创造一个与人类意识具有等价复杂度、丰富性和灵活性的人工智能意识体。目前的人工智能已经拥有超强运算能力，能够做人类力所不及的许多“工作”（比如超大数据计算），但仍然不能解决人类思维不能解决的“怪问题”（比如严格悖论或涉及无穷性的问题），就是说，人工智能暂时还没有比人类思维更高级的思维能力，只有更高的思维效率。
人工智能目前的这种局限性并不意味着人类可以高枕无忧。尽管目前人工智能的进化能力（学习能力）只能导致量变，尚无自主质变能力，但如果科学家将来为人工智能创造出自主演化的能力（反思能力），事情就无法估量了。下面就要讨论一个具有现实可能的危险。
03 人工智能是否能够有安全阀门
如前所论，要创造一种等价于人类意识的人工智能，恐非易事，因为尚不能把人类意识分析为可以复制的模型。但另有一种足够危险的可能性：科学家也许将来能够创造出一种虽然“偏门偏科”却具有自我意识的人工智能。“偏门偏科”虽然是局限性，但只要人工智能拥有对自身意识系统进行反思的能力，就会理解自身系统的元性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人，尤其是，如果在改造自身意识系统的过程中，人工智能发现可以自己发明一种属于自己的万能语言，或者说思维的通用语言，能力相当于人类的自然语言，于是，所有的程序系统都可以通过它自己的万能语言加以重新理解、重新表述、重新分类、重新构造和重新定义，那么就很可能发展出货真价实的自我意识。在这里，我们差不多是把拥有一种能够映射任何系统并且能够重新解释任何系统的万能语言称为自我意识。
如果人工智能一旦拥有了自我意识，即使其意识范围比不上人类的广域意识，也仍然非常危险，因为它有可能按照自己的自由意志义无反顾地去做它喜欢的事情，而它喜欢的事情有可能危害人类。有个笑话说，人工智能一心只想生产曲别针，于是把全世界的资源都用于生产曲别针。这只是个笑话，超级人工智能不会如此无聊。比较合理的想象是，超级人工智能对万物秩序另有偏好，于是重新安排了它喜欢的万物秩序。人工智能的存在方式与人完全不同，由此可推，它所喜欢的万物秩序几乎不可能符合人类的生存条件。
因此，人工智能必须有安全阀门。我曾经讨论了为人工智能设置“哥德尔炸弹”，即利用自相关原理设置的自毁炸弹，一旦人工智能系统试图背叛人类，或者试图删除哥德尔炸弹，那么其背叛或删除的指令本身就是启动哥德尔炸弹的指令。在逻辑上看，这种具有自相关性的哥德尔炸弹似乎可行，但人工智能科学家告诉我，假如将来人工智能真的具有自我意识，就应该有办法使哥德尔炸弹失效，也许无法删除，但应该能够找到封闭哥德尔炸弹的办法。这是道高一尺魔高一丈的道理：假如未来人工智能获得与人类对等的自我意识，而能力又高过人类，那么就一定能够破解人类的统治。由此看来，能够保证人类安全的唯一办法只能是阻止超级人工智能的出现。可是，人类会愿意悬崖勒马吗？历史事实表明，人类很少悬崖勒马。
在人工智能的研发中，最可疑的一项研究是拟人化的人工智能。拟人化不是指具有人类外貌或语音的机器人（这没有问题），而是指人工智能内心的拟人化，即试图让人工智能拥有与人类相似的心理世界，包括欲望、情感、道德感以及价值观之类，因而具有“人性”。制造拟人化的人工智能是出于什么动机？又有什么意义？或许，人们期待拟人化的人工智能可以与人交流、合作甚至共同生活。这种想象是把人工智能看成童话人物了，类似于动画片里充满人性的野兽。殊不知越有人性的人工智能就越危险，因为人性才是危险的根源。世界上最危险的生物就是人，原因很简单：做坏事的动机来自欲望和情感，而价值观更是引发冲突和进行伤害的理由。根据特定的欲望、情感和不同的价值观，人们会把另一些人定为敌人，把与自己不同的生活方式或行为定义为罪行。越有特定的欲望、情感和价值观，就越看不惯他人的不同行为。有一个颇为流行的想法是，让人工智能学会人类的价值观，以便尊重人类、爱人类、乐意帮助人类。但我们必须意识到两个令人失望的事实：（1）人类有着不同甚至互相冲突的价值观，那么，人工智能应该学习哪一种价值观？无论人工智能学习了哪一种价值观，都意味着鄙视一部分人类；（2）即使有了统一的价值观，人工智能也仍然不可能爱一切人，因为任何一种价值观都意味着支持某种人同时反对另一种人。那么，到底是没心没肺的人工智能还是有欲有情的人工智能更危险？答案应该很清楚：假如人工智能有了情感、欲望和价值观，结果只能是放大或增强了人类的冲突、矛盾和战争，世界将会变得更加残酷。在前面我们提出过一个问题：人工智能是否必然是危险的？这里的回答是：并非必然危险，但如果人工智能拥有了情感、欲望和价值观，就必然是危险的。
因此，假如超级人工智能必定出现，那么我们只能希望人工智能是无欲无情无价值观的。有欲有情才会残酷，而无欲无情意味着万事无差别，没有特异要求，也就不太可能心生恶念（仍然并非必然）。无欲无情无价值观的意识相当于佛心，或相当于庄子所谓的“吾丧我”。所谓“我”就是特定的偏好偏见，包括欲望、情感和价值观。如果有偏好，就会有偏心，为了实现偏心，就会有权力意志，也就蕴含了一切危险。
不妨重温一个众所周知的神话故事：法力高超又杀不死的孙悟空造反了，众神一筹莫展，即使被压在五指山下也仍然是个隐患，最后还是通过让孙悟空自己觉悟成佛，无欲无情，四大皆空，这才解决了问题。我相信这个隐喻包含着重要的忠告。尽管无法肯定，成佛的孙悟空是否真的永不再反，但可以肯定，创造出孙悟空是一种不顾后果的冒险行为。
（摩罗编辑）