科学开放与风险管理如何兼得？牛津大学研究员谈安全可靠AI

“人工智能(AI)应是安全可靠的，而安全则包括算法漏洞、应用层面及使用动机等多方面的风险。”牛津大学人类未来研究所人工智能治理中心(Center for the Governance of AI)政策研究员谢旻希，在日前于深圳举办的第十一届国际青年能源与气候变化峰会间隙，接受澎湃新闻记者的专访时表示。AI在人们生活中应用得越来越广泛，技术更新迭代更快，AI如何安全可靠地发展，亦是技术发展中社会关注的一大问题。

谢旻希是Partnership on AI的高级顾问，负责中国事务和国际合作；曾为硅谷“钢铁侠”埃隆·马斯克(Elon Musk)创立的AI研究机构OpenAI的多个项目做过政策咨询，也是OpenAI纲领中文版的撰写人。

据了解，AI政策主要分为短期政策和长期政策。短期的AI政策侧重于当前社会需要解决的问题，包括无人驾驶汽车的责任问题、相对小规模的工人下岗问题、算法偏差以及数据和个人隐私问题。

长期AI政策则侧重于在未来的AI愈发先进的情况下，出现影响整体甚至更大程度的问题，尤其当AI快速发展的时候。这将产生非常持久的后果，比如强大的AI决策系统可能带来风险或与不稳定性，特别是用在安全关键基础设施，包括电网和核能设施等。

谢旻希告诉记者，目前牛津人类未来研究所对AI的安全性主要考虑三个方面，事故风险 (Risks from accidents)，结构性风险 (Structural risks)，和滥用风险 (Risks from misuse)。

谢旻希提到，OpenAI曾设计过一个强化学习的系统，让一条船经过不同的路径，然后达到目标。但在训练的过程中，这条船一直在拐弯，拐几十次，从没有达到过目标，谢旻希解释，这是因为AI发现，在拐弯的过程中也可以得到分数，多次拐弯后的分数也许比达到目标获得的分数更高，也就是AI找到了游戏设计上的漏洞。

设想一下把这样一个强化学习系统放到真实的世界中，比如用在自动驾驶上，放到城市里运行。自动驾驶系统在发现一些漏洞后，就会背离设计者原来的设计初衷。而本来只是在游戏里的设计，就将成为城市设计的一部分，可能会造成很大的意外风险。

结构性风险也是AI技术发展落地需要考虑的问题。具体来说，就是随着外部影响因素的增多，AI的安全使用是否与我们现在的社会规则有所冲突。大部分问题在设计考虑时可能过于理想化，而未有效考虑应用层面上的问题。谢旻希举了个例子，2017年美国Uber的无人驾驶发生过一次意外事故，一开始大家只是觉得这款视觉系统还不够好，以至于没有侦测到行进的路人。但此后的调查结果显示，这款系统足够好，并且在事故发生前有足够的时间看到路人并让车停下来。但公司工程师人为把这一系统关闭了。

谢旻希告诉记者，设计时为了安全，这一系统非常敏感，因而可能会经常触发而使得车辆停下来，这就会导致Uber的运行效率更低，这样的产品投入市场后，相比于其他竞争对手而言就不够有竞争力。“人们很容易不选择安全，而是选择更多的盈利、更多的竞争优势。”

因为安全而导致的负外部性(Externality)，没有在AI落地的商业决策过程中被考虑。另一方面，即便人们有足够的信息，能够预想到之后的问题，也不会有很多行动，因为对他们来说个人利益和为这一“潜在问题”付出的成本是非常不均衡的，谢旻希说，在这一问题上最经典的案例就是气候变化——每个人都可以预想到后果，但落实到个人时，每个人都会觉得自己生活方式的改变过于微不足道，因此失去了做出改变的动力。

“此外，就算我们可以把这些机器学习的系统做到鲁棒性(Robust)很强，就算把机器学习系统做得非常稳定安全，仍然无法避免人类对这些智能的恶意使用。” 谢旻希表示，OpenAI在大概15个月前做了一款GPT-2语言学习模型，可以“续写”人类创作的文章和诗歌。但随后OpenAI表示，这样的系统亦可能被拿去生成大量的假新闻(fake news)和垃圾邮件。基于对恶意使用的风险的担忧，OpenAI做了一件不那么“开放(open)”的事情，即不将GPT-2的整个模型和相关的数据库公开，而只是把一个比较小的模型开放给公众使用。

当直接把科学开放给社会的价值，与风险管理有直接冲突的时候，必须要考虑如何去解决这一问题。谢旻希进一步提到，OpenAI目前没有完全开放这一模型，但不代表其他的机构或企业研究出来后不会去开放，因此AI的全球协作显得更为重要，需要更好的协调机制，当一个单位发现问题的时候，如何进行对外沟通，如何在行业中做决定，要进行一个怎么样的分布。“不过大家认可的是，我们做的任何重大决定，最好是在整个AI和机器学习研究的社区达到共识，全球性的共识。”

实际上，在共识方面，全球AI社区在过去两年为AI安全可靠地发展也做出了不少努力。2017年初《艾斯罗马人工智能23定律》正式发布(Asilomar A.I。 Principles)，包括马斯克和著名物理学家史蒂芬·霍金(Stephen Hawking)在内的892名人工智能或机器人研究人员以及1445名专家在这份定律上签字，以期AI技术的发展符合道德标准。