兰德报告：思维机器时代的威慑

来源：中国指挥与控制学会

从全球来看人工智能和自主系统在军事上的应用逐渐增多，这可能影响危机和冲突中使用的威慑策略以及冲突的升级变化。到目前为止，威慑主要指人类设法阻止其他人采取特定行动的行为。

如果参与思维和决策过程的不止人类，会发生什么情况？以机器速度制定决策和采取行动时，冲突会如何变化发展？一个国家向另一个国家发出可能使用武力信号的方式，如何受人工智能和自主系统影响？具体会出现哪些错误预估、意外后果以及意外升级？

兰德研究人员初步研究了人工智能和自主系统在常规危机和冲突中影响威慑策略和冲突升级的方式。

研究结果表明，尽管很多国家希望使用自主系统，但由于机器决策速度过快，采取的方式与人类理解的不同；许多国家希望使用自主系统但相关经验相对较少；相关能力仍然在不断开发中等原因。目前利用机器进行决策可能导致无意升级或者改变威慑过程。

这些新技术可能造成冲突不稳定或升级问题，当前的规划和决策工作还未做好应对这些问题的准备。规划人员和决策者必须在将这些系统应用于冲突中之前认真了解思考这些问题。

研究问题

1. 一个国家向另一国家发出使用武力信号时，使用思维机器和自主系统的意义是什么？会产生什么影响？
2. 如果以机器速度制定决策，并利用不会威胁使用国家或行为体人员生命的力量执行行动，威慑力和升级情况会发生何种变化？
3. 这些能力的提高会如何削弱或增强威慑力？
4. 会产生哪些错误预测和意外后果？

主要发现

兵棋推演人工智能和自主系统得出的看法

• 与自主系统相比，有人控制系统可能更适用于威慑；
• 用自主系统代替无人系统不会削弱安全工作；
• 对阵员在冲突中将系统置于不同自主场景中，发出信号表明决心，执行相关行动；
• 在兵棋推演中，由于自主系统的决策和行动速度过快，会出现出乎意料的升级状况。

对威慑力的影响

• 自主和无人系统可能影响“延伸威慑”；
• 人工智能和自主系统的广泛使用可能造成意外升级和危机的不稳定性。
• 不同的人员和人工媒介组合可能影响双方的冲突升级状况。
• 机器可能无法很好理解人类发出的威慑，特别是降级信号。
• 尽管传统的威慑主要是人类尝试理解其它人类的行为，但是在新的时代，威慑可能涉及通过其它途径了解对方的行为。
• 可利用过去有关无人系统出乎意料射击友方或平民目标的案例，了解更先进系统可能出现的技术事故或故障。

研究建议

• 在威慑理论和其它框架下，进行进一步研究明确人工智能和无人系统的潜在影响；
• 评估新系统的升级潜力；
• 评估新作战概念的升级潜力；
• 兵棋推演其它战役级或战略级想定。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。