警惕人工智能事不宜迟(2)

“避免设定目标”观点的一个常见变体是：足够智能的系统必然会凭借其智力而自行制定“正确”的目标。18世纪的哲学家大卫•休谟在《人性论》中驳斥了这一观点。尼克•博斯特罗姆在《超级智能》（Superintelligence）一书中将休谟的观点视为正交命题： 智力和最终目标呈正交关系：任何水平的智力都可以或多或少地与任何最终目标相结合。 例如，无人驾驶汽车的目的地可以是任何指定的地点；让汽车更好地自动驾驶，并不意味着它会自动拒绝前往需要既定数学计算的地址。 同样，不难想象，通用智能系统可以或多或少地被赋予目标，包括最大化回形针的数量或已知圆周率的数位。这就是强化学习系统和其他奖励优化器的工作原理：算法是完全通用的，可以接受任何奖励信号。对于在标准模型中工作的工程师和计算机科学家来说，正交命题只是一个给定命题。 著名机器人专家罗德尼•布鲁斯克（Rodney Brooks）明确批判了博斯特罗姆的正交命题， 他断言，一个程序“不可能聪明到发明出颠覆人类社会的方法来实现人类为之设定的目标，却不了解它是如何给人类造成困扰的”。 不过，鉴于布鲁斯克对这个问题的定义，这样的程序不仅是可能存在的，实际上更是不可避免的。布鲁斯克认为，机器“实现人类设定目标”的最佳方案正在给人类带来问题。由此可见，这些问题反映了人类在制定目标时忽略了对人类有价值的东西。由机器执行的最佳方案很可能会给人类造成困扰，而机器也很可能意识到了这一点，但是，机器显然不会认为这些问题是有问题的，这不关它们的事。 总而言之，那些认为人工智能带来的风险微乎其微的“怀疑论者”并未解释为什么超级人工智能系统必须处于人类控制之下；他们甚至没有试图解释为什么超级人工智能系统永远不会被开发出来。 人工智能领域必须承担风险，并尽力降低风险，而不是继续陷入对立中伤和反复挖掘不可信的论点。就我们所知，这些风险既非渺小，也非不可逾越。第一步就是认识到必须替换标准模型，改变人工智能系统优化一个固定目标的模式。这是一项糟糕的工程。我们需要做大量的工作来重塑和再构人工智能的基础。

欢迎关注! 智能交通技术(STTech)>>