超级智能无法被控制：从可计算性理论得到的启示

超级智能是一种假想的智能体，它的智能远远超过了最聪明和最有才华的人类。随着机器智能的进步，许多科学家、哲学家和技术专家重新探讨了这种实体可能带来的潜在灾难性风险。如何防止超级智能对人类造成伤害，或者至少限制它的行为，是一个亟待解决的问题。

然而，一篇最近发表在《人工智能研究杂志》上的论文，却提出了一个令人震惊的观点：超级智能是无法被完全控制的，这是由计算本身的基本限制所决定的。论文的作者们从可计算性理论出发，分析了几种常见的超级智能控制策略，如盒子化、激励对齐、逻辑限制等，指出了它们都存在着不可克服的缺陷。

论文的核心论点是：假设一个超级智能包含了一个程序，这个程序包含了所有可以由通用图灵机在输入上执行的程序，而输入可能与世界状态一样复杂。那么，要想严格地控制这个超级智能，就需要模拟这个程序，而这在理论上（也在实践上）是不可行的。因为模拟一个程序需要比原程序更多的计算资源，而且可能会遇到停机问题、里斯定理等不可判定性问题。

作者们还给出了一个具体的例子来说明这个观点。假设我们想要知道一个超级智能是否会对人类造成伤害，我们可以给它一个问题：这个程序是否有害于人类？然而，作者们证明了，由于里斯定理的存在，这个问题是不可判定的。也就是说，没有一个通用的算法可以确定任意一个程序是否有某种特定的性质。因此，我们无法预测或验证一个超级智能是否会伤害人类。

作者们认为，与其试图控制超级智能，不如尝试与之合作或协调。他们建议人类应该寻找一种平衡点，在这个点上，人类和超级智能都可以实现自己的目标，而不会相互干扰或破坏。他们还提出了一些可能有助于实现这种平衡点的方法，如建立信任、增加透明度、促进沟通等。