教育新闻网斯图尔特·罗素(Stuart Russell)是一位领先的AI研究人员，他从字面上撰写了(以及合着)有关该主题的顶级教科书。在过去的几年中，他还一直警告他的领域有可能发生灾难性的错误。
在新书《人类兼容》中，他解释了如何做。他指出，对人工智能系统的评估是根据它们在实现目标方面的出色程度：赢得电子游戏，写人性化的文字，解决难题。如果他们采用了适合该目标的策略，那么他们将直接执行该策略，而无需明确的人工指导。
但是通过这种方法，我们已经为失败做好了准备，因为我们赋予AI系统的“目标”并不是我们唯一关心的事情。想象一下一辆自动驾驶汽车，它具有从A点到B点的“目标”，但没有意识到我们也关心沿途乘客和行人的生存。或者是一种节省医疗费用的系统，该系统可以区分黑人患者，因为它预期他们不太可能寻求所需的医疗服务。
人类关心很多事情：公平，法律，民主投入，我们的安全与繁荣，我们的自由。拉塞尔(Russell)在《人类兼容》一书中指出，人工智能系统只关心我们投入目标的一切。这意味着即将发生灾难。
我在加州大学伯克利分校(UC Berkeley)遇到了拉塞尔(Russell)，他在那里领导着人类兼容AI中心，谈论他的书以及先进人工智能带来的风险。这是我们谈话的记录，内容经过了简短和清晰的编辑。
要回答这个问题，我们必须了解：人工智能系统是如何设计的?他们在做什么?在[AI系统的标准模型]中，您将构建旨在实现您放入程序中的特定目标的机器，算法等。
因此，如果它是国际象棋程序，那么您就给它一个击败对手，赢得比赛的目标。如果是自动驾驶汽车，乘客会提出目标：[例如，]我想去机场。
这样听起来就很好。当系统变得更加智能时，问题就来了。如果您输入了错误的目标，那么追求该目标的系统可能会采取您非常不满意的操作。
我们称此为Midas国王问题。迈达斯国王明确了他的目标：我希望我接触的一切都变成金子。他得到了他所要求的。不幸的是，其中包括他的食物，饮料和家人，他死于痛苦和饥饿。许多文化都有相同的故事。精灵给您三个愿望。因为我毁了世界，所以第三个愿望始终是“请取消前两个愿望”。
不幸的是，使用比我们更智能，因此功能更强大的系统，您不一定会得到第二和第三个愿望。
因此，问题来自能力的增强，再加上我们无法完全正确地指定目标。我们能否将二氧化碳恢复到历史水平，以便使气候恢复平衡?听起来像一个伟大的目标。好吧，最简单的方法就是摆脱所有产生二氧化碳的东西，而这些东西恰好是人类。您想尽快治愈癌症。听起来不错，对吧?但是，最快的方法是与数百万或数十亿人类同时进行医学试验。因此，您给每个人带来癌症，然后您会看到有效的治疗方法。
