08 快手的环舞

未来。但这是尚未抵达现在的未来，是过去的未来。

两名人类工程师带着一个智能机器人前往水星执行任务，要将水星上一个已经闲置十年的采矿基地重新启动，投入运行。

他们顺利抵达水星采矿基地。但他们很快发现，为生命保障系统提供能源的光电材料即将耗尽，而可以取得材料的最近地点在27公里之外。虽然这个距离在地球上还算近，但在水星恶劣的环境中，人类难以承受路途中的高温。于是，两人派机器人去采集材料，这对它而言实属小事一桩。

然而机器人一去不返。来回不到60公里的路程，机器人却5小时不见归来。

于是两人启用基地中一个相当原始的机器人载他们去查明情况。

到达现场时，他们发现那个机器人正在绕着材料熔池跑圈，摇摇晃晃，像人喝醉了酒一样。人类工程师叫它赶紧采集材料，但它却不像正常情况下那样听从命令，而是开始胡言乱语，好像是疯了。

怎么回事，机器人真的疯了？

这是阿西莫夫写于1941年的短篇小说《环舞》中的情节，它后来被收入小说集《我，机器人》。

阿西莫夫的著名“机器人三定律”，首次出现就是在这篇小说中。机器人三定律是这样陈述的：

第一定律：机器人不得伤害人，也不能对人受到伤害坐视不管。

第二定律：机器人必须服从人的命令，除了与第一定律冲突的命令以外。

第三定律：机器人必须保护自己的生存，只要这种保护不与第一定律和第二定律冲突。

在《环舞》的故事中，那个叫“快手”的智能机器人确实被逼“疯”了，这正是因为它严格地遵守了机器人三定律。

故事的后续发展是这样的。

两位人类工程师，把目光从跑圈环舞的快手身上移开，聚焦到材料熔池。他们忽然想到了原因。

材料熔池比预想的危险。快手机器人按照第三定律的要求必须保护自己，不能毁了——只要不违反第一定律和第二定律。快手判断，要在熔池中采集材料，自己很可能毁灭。但如果撤回，则没有服从人类要它采集材料的命令，因而违反了第二定律。快手在第二定律和第三定律的极度矛盾之中，采取了它认为合理的折中方式：围着材料熔池跑圈圈。于是出现了古怪的环舞行为。

导致这个意外局面的原因是，两位人类工程师在给快手下达采集材料的命令时，没有强调此任务与第一定律的关系，即生命维持系统关乎人类的生死。

但现在告知快手这一点已经晚了，它在极度矛盾之中“心智”发生混乱，已经无法接受任何新的命令，结果必将是永远环舞下去。最后人类只有施以苦肉计，冒险走到水星灼热的日光下，才迫使快手的“心智”回到第一定律起作用的层面，并成功解决了采集材料的问题。

智能机器人，由于其行为的复杂性，不能只顾它能带来的好处，还得考虑安全性的问题，这是人们早就在思考的。而安全的根本出发点，当然是要站在人类的立场。

那么，从人类的角度，什么样的机器人才是理想的呢？阿西莫夫的“机器人三定律”就是一个很好的回答。“机器人三定律”虽是源自一篇小说，但却不乏严肃性和科学性。

对理想机器人的要求，以人类视角，可考虑正反两个方面：首先是要“避害”，然后是要“趋利”。“避害”放在首要位置是因为这涉及对人类的直接威胁。以此为基础来检验机器人三定律，看其是否确实准确描述了对理想机器人的要求。

第一定律：“机器人不得伤害人，也不能对人受到伤害坐视不管。”说的就是，机器人不仅自己不能去伤害人，而且在人受到伤害威胁时，还要伸以援手，而不是袖手旁观。这一条，使得机器人对人的安全性有了充足的保障。这是属于人类“避害”的范畴。按照这一法则，即便是一个人要自杀，机器人看到了也得去阻止和施救。

第二定律：“机器人必须服从人类的命令，除了与第一定律冲突的命令以外。”讲的是机器人得为人类做事，但当然不能做伤害人那样的事。这是关于人类“趋利”的范畴。这一条，使得机器人有了很大的用处。事实上，人类造出智能机器人，目的就是要它为人类做事。所以，如果它不听话，不按人的意图办事，那还造它干吗呢？因此，这一条也必不可少。

第三定律：“机器人必须保护自己的生存，只要这种保护不与第一定律和第二定律冲突。”这一条相对较为微妙，不一定一开始就会想到其必要性。这一条为什么必要？假如机器人只是不伤害人并且按人的命令做事，但在不折不扣按人的指令执行任务中，十分卖力，万分勇猛，以致毫不珍惜自己的“生命”，那就完全可能没几下子就“牺牲”了。这其实是损害了人的利益，因为智能机器人毕竟是人的财产，而且可能是相当昂贵的财产。所以，“机器人要保护自己”这一条仍然是必不可少的。这条法则是属于“避害”或是“趋利”？概念上仍是前者，是避免人类财产受到损害。

机器人三定律，三条都具有必要性，每一条都是“理想机器人”的必要条件。

那我们问，这三条是不是“理想的机器人”的联合充分条件呢？即如果一个机器人遵循这三条定律，那么它是否确实就是理想的机器人？

不会伤害人，还会保护人；会按人的意愿和要求做事，只是不做害人的事而已；也会保护好自己，只要不会因此伤到人，能为人更长久地服务——还有什么样的人，不，什么样的机器人比这更好呢？

看来，这三条也具有充分性。因此，机器人三定律是理想机器人的充分必要条件，有着相当的严密性。

真的一点漏洞都没有吗？

其实“机器人三定律”并非完美，人们早就发现它存在一些问题，并做出了改进。

假如一个人因为机器人没把事情做好，发起脾气来，一时冲动向机器人大叫一声“你去死吧”，那么按照第二定律，机器人就得服从人的命令立即自毁。人是有情绪的动物，并非时时刻刻都是理性的，但第二定律和第三定律并没有考虑到这个因素。

为了避免由于主人情绪失控发飙导致机器人枉自毁灭的这类结果，可做类似这样的改进：把第三定律“机器人必须保护自己的生存，只要这种保护不与第一定律和第二定律冲突”改成“机器人必须保护自己的生存，只要这种保护不与第一定律冲突”，并将其优先序提升到与第二定律并列。

这样修改之后，“机器人三定律”就完美无瑕了吧？

仍然不是。例如让机器人执行不会伤害人但会伤害它自己的任务，就出现了并列的第二定律和第三定律相互矛盾的情形。所以后来还有人添加更多的定律，甚至有了第五定律、第六定律。

事实上，机器人三定律的改进者中，也包括阿西莫夫本人。

在《环舞》里首次提出“机器人三定律”长达44年之后，1985年，阿西莫夫又在他的长篇小说《机器人与帝国》中，补充了一条新的定律，并将其置于原先的所有三条定律之上，成为最高优先级的一条，命名为“第零定律”：机器人不得伤害人类，或坐视人类受到伤害。增加这一条之后，原先的各条都要加上“除非违背第零定律”。

为什么会有这一条？其实不难想象。

一艘船在大洋上航行时遭遇海盗袭击，船上有人身负重伤。海盗继续攻击，造成更多伤亡。这时，船上强悍的智能机器人最有能力拿起武器回击并消灭海盗。但按照机器人第一定律，机器人不能伤害人类，也就不能去击毙海盗，所以它只能选择去救护船上的伤者，去保护没有受伤的人，忙得顾此失彼。这是本来强悍却又多么文弱的机器人啊！

如果有了最高优先级的机器人“第零定律”，就绝不会出现这种局面了。有了这条定律，强悍的机器人为了最高优先级的“人类”不受伤害，这时不仅绝不会坐视不管，而且必定会采取强有力的手段，击毙完全不能代表“人类”的海盗人类个体。

阿西莫夫添加最高级别的“第零定律”的良苦用心正是这样的：为了人类本身，不惜让机器人可以消灭特定的人类个体。

自从人类成为主宰这个星球的唯一高等智能物种，人类受到的有意性安全威胁可以说就只有人类自身了。

但这笼统的说法，可能会无意中掩盖了问题的复杂性。

这世上有无数的个人、家族、团体和组织，还有众多的民族、大量的国家，谁威胁谁？

这世上有好的与坏的、善的与恶的，还有强的与弱的，谁“好”谁“坏”，谁“善”谁“恶”? “好的”“善的”一定强吗，“坏的”“恶的”一定弱吗？

这一切已经太复杂了。

在这已经太复杂的局面之下，如果又出现了可匹敌人类的高级智能新物种——具有强人工智能的机器人，那又会是怎样一种情形呢？

我们不能天真地认为机器人当然就是听人话的、为人服务的。

暂且不说想要确保能学会变的高智能主体“听话”是多么困难的一件事情，只说这星球上有无数个人和组织、大量民族和国家，我们要机器人“听话”，是听谁的话？它今天听你的，明天也必定听你的？

强智能主体本身就意味着，要驾驭它绝非轻而易举。

由此注定了强人工智能的安全性是一个不得不担忧的重大问题，它不是寥寥几条规定就能轻易解决的。

这也是为什么阿西莫夫念念不忘操心了几十年的原因。