人工智能将如何威胁人类文明？

江晓原

从去年12月29号“上线”到1月4日，一个名为“Master”的神秘账号在多家网络围棋平台连续挑落53名世界围棋高手，中日韩三国的最强选手：柯洁、井山裕太和朴廷桓三人无一幸免。作为智力游戏的最高象征，围棋领域的失手让人类感到一丝畏惧。人工智能将威胁到人类文明吗？

我本人是学天体物理出身的，算是科学家，在天文台工作过十几年，对科学有一些了解，但我并不从事人工智能的研究。对于人工智能，我是完全反对的，我认为人类现在正在玩的火有那么两三把，其中最危险的就是人工智能，但是很多人并没有认识到这一点。我们可以从近期、中期和远期三个层面来看人工智能的威胁。

近期威胁：大批失业、军事化

近期主要的问题是会导致大规模的失业和大规模的军事化应用，中期是公众相对了解最多的，就是担心人工智能失控、反叛；但是远期的终极威胁很多人都没有想到。

在每一期威胁上都有很多错误的认识。最常见的一种是：现在的人工智能还很弱小，我们担心的什么反叛、失控，都太遥远了。这种理由是非常荒谬的，想想“养虎遗患”是什么意思？能用“老虎还小”作为你的理由吗？

我们首先看近期的危险。在这个方面，人工智能的专家们也祭出了一些非常幼稚的理由，他们首先对我们许诺说，在可见的将来，95%甚至95%以上的工作岗位，都将可以由人工智能来取代。如果真的像他们说的那样，那就意味着我们社会中的绝大部分人都将失业，只剩下少数人工作养活所有人。这样的社会结构，人类有史以来还没有出现过。

现在有10%或者15%的人失业，我们就说失业率高企，这个社会很危险了。那要是到了85%、95%的人都不需要工作的时候，他们会干什么呢？你可以说他们不叫失业，现在让机器人工作，养活我们就行了，他们只要在家里吃喝玩乐就行了。这个时候你要当心，人们除了吃喝玩乐，还要做另外一件事情：他们要闹革命，95%的工作都可以被取代的话，可以猜想，连革命也可以让机器人来进行。而由机器人进行的革命，在很多科幻电影里大家都已经看到了，比如说《机械公敌》的结尾，广场上是一望无际的机器人，这样的社会非常危险。

搞人工智能的专家经常跟我们说，人类历史上每次重要的技术革命产生的时候，都失去了一些工作岗位，但是接着都造成了新的岗位。当他们找出这种理由来的时候，在逻辑上已经犯错误了。因为他们之前承诺的95%的岗位都可以由机器人来完成就不成立了。

事实上，人工智能造成的对人工的取代，跟以往的情形完全不一样。原来我们可以说，有了汽车，马车夫失业了不要紧，可以改为开汽车；可是现在汽车本身都是智能的了，用不着人去开它了，所以大规模失业实际上是一个非常危险的事情。我觉得我们不能仅仅因为从降低成本考虑使用机器人。如果你换用了机器人以后，产业能够升级，那也许还能考虑，尽管长远来说也不好。但如果你仅仅为了降低成本而导致大批工人失业，社会就不安定了。

把机器人弄到军事用途上当然会很有效，尽管大家都知道阿西莫夫的机器人三定律，任何军事用途都是直接违反三定律的，但三定律又不是什么法律，只是小说家的想象。另外，机器人用到军事用途上，还会带来更多的伦理问题。比如说我们今天决定往什么地方扔炸弹，这是由我们人来决定的；现在有智能无人机之类的装置，需要它自己当场断定要不要攻击某一目标，这样一来就变成由机器人来决定它要不要杀那个人了，这样的事情在伦理上完全改变了以前战争的状态。

所以我们今天如果把人工智能用到军事上，我觉得只能抱着类似于当年美国人搞曼哈顿工程的心态，只是因为跟我们的对手也在弄，我们不弄会吃亏，所以不得不跟进。所以特斯拉的老总马斯克提出来各国应该坐下来谈判，签协定不能把机器人用到军事用途上。

中期威胁：人工智能的反叛和失控

中期的问题是人工智能的反叛，现在有些业界专家还在说，可以拔掉机器人的电源。实际上人工智能跟互联网结合以后，它完全不需要什么形态，以前没有互联网的时候，单个的人工智能有局限，哪怕全部都是芯片，也有存储、运算方面的极限。但是现在跟互联网一结合，所有的物质结构都不再需要了，只要靠在网络上下单、订购各种服务，就可以完成对社会的破坏。所以到那个时候你根本无法拔电源，因为它不存在一个电源让你拔掉。

人工智能和互联网结合以后，危险成万倍增长。以前对于个体的人工智能，它智能的增长还会受到物理极限的约束，但一旦和互联网结合，这个物理极限的约束就彻底消失了。所以人工智能可以在极快的时间里自我进化。

去年一篇很长的文章在很多圈子里疯传，那篇文章稍微有点危言耸听，但结论我同意。作者想论证这样一种前景，就是说人工智能一旦越过了某个坎之后，自我进化的速度是极快的，快到不是以年月来计算，而可能是以分钟甚至是秒来计算。一瞬间它就可以变成超人。一旦变成超人，当然就失控了。因此说老虎还小的人，不要以为老虎跟现在一样一年长大一点，如果这个老虎一分钟长大一倍，这样的老虎还了得？虽然现在很小，过五分钟就能吃人了。

在这个问题上，专家们经常说，我们在机器人的芯片里写进什么话，让它不学坏。关于这个问题最简单的疑问是，你都不能保证自己的孩子不学坏，更何况人工智能呢？因此，到目前为止，没有人能给出一个办法让我们相信他真的能防止人工智能的反叛。

遠期威胁：将最终消解人类生存的根本意义

但是最危险的是来自远期的威胁，这是终极威胁，假如人工智能一点都不反叛，全能地、忠诚地、全心全意为我们服务，所有的事情被人工智能做完了，你活着干什么呢？你会变成行尸走肉，人类这个物种会迅速退化，无论在体能和智能上都迅速退化，这样对人类来说一点意义都没有，实际上就是自掘坟墓。

所以我们应该把人工智能认识为大规模杀伤性武器，最好的局面是将来世界各大国坐下来举行谈判，加以限制。最多保留一点低级的人工智能，但是我们要想办法防止它的进化。

其实我们在生活中用了很多人工智能，比如说你在网上买一张火车票、飞机票，这个系统就是人工智能。这类人工智能如果不进化问题不大，但是由于人工智能有可能是以极快的速度进化的，这个进化的过程我们很难操控，因此我们能做的就是严防它的进化，当然我们能做到什么程度，这个事情很难说。

我们现在能确定的是现在科学家憋着劲儿要搞人工智能，不确定的是人工智能最后会不会毁灭我们。

摘编自《文汇学人》公号 作者系上海交通大学科学史与科学文化研究院院长