首发 | 人工智能军事应用面临的人机关系困境

作为人的本质力量对象化的最新产物，人工智能与人有着千丝万缕的联系。一方面，人工智能的发展进程体现了人类思维活动的变化过程，人工智能的行为模式与人类自身的发展需求、价值定位、文化背景等息息相关；另一方面，拟人化的行为特征使得人工智能相较以往任何一次技术革命，将对人类现有的生活生产方式造成更为剧烈的冲击，从而导致人类社会关系的深刻变革和调整。在军事领域，人工智能的出现将对现有作战基本方式和军队组织结构产生颠覆式影响，人在军事活动中的主体地位也会随之受到冲击，在这样的情况下，如何最大限度消除人工智能对军事活动参与者的不利影响，使其受人控制、为人所用、引人向善，将成为人工智能军事应用伦理研究的重中之重。

机器替代人导致的价值缺失

开发人工智能的初衷是让人从繁重、繁琐的程序性工作中解放出来，在为社会创造巨大生产力的同时使人获得更多的自由时间。与此同时，人工智能的大面积应用也将挤占大量工作岗位，造成社会普遍失业现象。人工智能在军事领域的应用同样可能导致类似问题的出现。相较于军队人员，人工智能在情报获取、决策支持、特种战斗等方面都有着更为稳定和可靠的表现，无论是从经济效益还是战斗力生成的角度来审视，都有着更为明显的优势。而一旦人工智能在军事领域广泛应用，原有属人的职能将被不同程度替代，军人群体将不可避免地面临自我认同危机。现代社会转型对自我认同的侵入是通过对日常生活、权威系统（专家系统）、文化思想系统的解构从而威胁到个体本体安全的方式进行的。由于军队特殊的职能任务，军队内部环境具有相对封闭性，这就使得军队内部人员在接收外部社会环境变化释放的信息时具有一定的滞后性。军人自我身份的构建在很大程度上依赖于国家和社会对于这个群体的评价，一般情况下，军人离开军队时出现的不适应状况往往能通过国家的政策指引和社会的接纳吸收得到有效缓解。而每当社会出现重大转型时，巨大的军转再就业需求往往会超出社会的承载能力，致使一部分军转人员得不到妥善安置，从而产生自我认同危机。人工智能在推动社会由信息化、数字化向智能化转型的同时，也会引起军队在人员结构上的“大换血”。一大批知识技能相对较弱的军队人员将面临被人工智能“淘汰出局”的窘境，当社会的转型需要与他们的能力状况不相符合时，就必然会出现冲突和矛盾。这部分人群可能被社会无意识地边缘化，产生被抛弃、被遗弃的感觉和沮丧、失落，甚至悲观、厌世的消极情绪，成为社会的不稳定因素。

人工智能可以使人们从繁重的程序性工作中解放出来

对于仍然留在军队中的人员，也同样面临着如何与人工智能共处的困扰。人工智能在军事上的应用，将使人机关系由单纯意义上的从属关系过渡为特定场景下的共存和协作。人工智能作为整个指挥链条的关键环节紧密嵌入其中，充当不同指挥层级之间的桥梁和纽带。参谋人员将辅助决策的职能让渡给人工智能，战斗人员将从作战执行端转移到控制端，具体作战任务将由智能化无人系统自主或半自主地实施。从微观层面看，军队人员原有的工作任务被人工智能部分或全部地代替，在解放体力和脑力的同时也会导致自我价值和认同感的弱化，这样的问题长期无法得到解决，必然会滋生一系列心理问题，从而对军队和社会安全产生影响。从宏观层面看，军队传统的价值体系在人工智能的冲击下面临调整和重塑，勇气、荣誉等传统武德，队列、体能等军人基本养成模式呈现边缘化、形式化的趋势。这在一定程度上削弱了军队的集体凝聚力和向心力，造成军人群体的归属感缺失，各种形式的违纪违规行为将变得更容易发生。

机器杀戮人引发的道德危机

纵览人类历史，但凡发生战争，总免不了人员伤亡，其中既包括战斗人员伤亡，也包括附带的非战斗人员伤亡。随着人类社会文明程度的提升，人们开始越来越多地关注战争中的人员伤亡情况。一方面，各类精确制导武器的出现使得战争可以在更短时间、更小范围、更低伤亡的情况下进行；另一方面，各类国际法的出现也对战争的限度进行了规定，并突出对非战斗人员的保护。1977年的《日内瓦公约第一附加议定书》《日内瓦公约第二附加议定书》以及随后的各种形式的武器法均对于保护平民在军事行动中免受伤害进行了具体规定，而从现代战争的演变趋势来看，各国在开展军事行动时也都不同程度地受到这一基本原则的规制和约束。人工智能的出现使得情况变得复杂起来：人工智能不同于普通士兵，也与传统意义上的常规武器有着本质的区别，当战场上的人工智能错误地对平民和非军事目标发动攻击，造成非战斗人员伤亡，是否属于对区分原则的破坏和对人权的侵害？

一些人认为，人工智能在战场中能够更加遵守原则

国外学术界围绕这一话题展开了激烈讨论，其中两位该领域权威专家的意见基本上代表了对于在战场上应用人工智能态度的两极：罗纳德·阿尔金认为，自主武器系统不会被恐惧或愤怒等情绪所左右，这些情绪通常会促使人类做出不道德的行为。与人类士兵相比，致命性自主武器系统在战场上的表现可能更符合伦理要求。罗伯特·斯派洛则指出在复杂的城市环境中，自主武器系统难以满足区分原则和比例原则的要求，尤其是在敌军投降或其它复杂情况下，无法正确区分合法与非法目标，甚至有可能直接攻击俘虏和平民，因此是不道德的。通过归纳，可以得出双方的基本论点如下：支持方认为，由于人工智能不具备做出过激反应的生理结构，在使用时能更好的地符合比例原则。反对方则认为，由于人工智能无法像人一样通过直觉运用常识进行判断，在复杂情境下必然会出现误判，从而错误发动攻击。

借用伦理学领域的著名思想实验“电车难题”，可以对该问题有一个更为明晰的认识。电车难题的经典版本是这样的：一辆电车失去控制，正高速冲向五个无法移动的人。轨道旁边有一个操纵杆，如果拉动操纵杆，电车将转向另一条轨道，那里只有一个人（同样无法移动）。如果拉动操纵杆，你会杀死一个人，但会拯救五个人。那么，你拉还是不拉？

功利主义认为，五个人的生命要比一个人的生命更加重要，因此拉动操纵杆是在这种情境下最不坏的选择。道德义务论则认为，一个人只要没有犯错，就不得为了任何目的以任何理由对其施加惩罚，根据实践纯粹理性的命令，不得改变电车原有行驶路线。但仔细分析，二者都存在缺陷。对于功利主义来说，忽略了一个前提，那就是电车本来行驶在撞向五个人的轨道上，而其余的那个人是绝对安全的，因此，即便从量的角度看五个人的生命之和要高于一个人的生命，也并不能成为改道的直接理由。对于道德义务论来说，不拉动操纵杆，会导致五个人被撞死，而这五个人同样是没有犯错的，那么罪责相等原则又如何体现？尤其是，当电车难题中两条轨道的人数比变化为10:1、100:1、1000:1，那么仍然坚持原有的选择会不会是对道德义务的一种执念？

回到人工智能在战场中的场景，会发现二者的相似之处。支持一方类似于电车难题中的功利主义者，反对一方则更接近电车难题中的道德义务论者。而希望电车难题中无法解决的问题在人工智能军事应用伦理领域找到答案，显然是不现实的。另外，电车难题只是一种高度抽象的伦理模型，在现实中不可能找到完全还原的情境。同样，关于人工智能是否该在战场上使用的两派论点也是基于高度理想化场景的极端假设，是一种静态思维的体现。马克思主义哲学认为，一切事物都是在不断运动变化中的，事物不同状态的飞跃必须经过量的积累，后一阶段的某些特征已经潜在地包含在前一阶段中。回到现实，不难发现，无人机已经开始在战场上大面积使用，那么无人机是更接近人工智能还是更接近传统机械化装备？至少从技术层面来看，很难给出确切的答案。笔者认为，与其静态地讨论该不该发展人工智能军事应用，不如动态地把握如何规制人工智能军事应用。把人类武器形态发展变化作为一个整体，辩证地看待不同武器形态之间的内在联系，使其沿着更为人道、更加安全的方向前进，才是当前最紧迫的课题。

人对机器依赖加深下的隐忧

机器大工业时期，资本自我增值的需要使生产者从行会的控制和学徒、帮工制度的约束下解放出来的同时，将其抛入除了自身的劳动力之外没有任何东西可以出卖的境地。社会必要劳动时间随着机器的引入大幅降低，原始手工业生产逐步丧失了竞争力，工人只有将自身紧紧依附在机器之上，才能将劳动力的完整价值生产出来。正如马克思所指出的，变得空虚了的单个工人的局部技巧，在科学面前，在巨大的自然力面前，在社会的群众性劳动面前，作为微不足道的附属品而消失了；科学、巨大的自然力、社会的群众性劳动都体现在机器体系中，并同机器体系一道构成“主人”的权力。

随着人工智能在军事领域的深度应用，

人类也会出现某些能力的衰退

虽然马克思是在机器大工业时期作出对劳动者与机器关系的如上判断的，但我们同样可以借用这样的分析思路来审视军事领域中人工智能与人的关系。理想状况下，当人工智能用于军事决策辅助时，决策者对人工智能提供的最优方案进行评估，如不满意，可返回上一级对原始方案进行筛选，若仍存在疑问，可调用底层数据重新拟定方案。当人工智能投入战场使用时，在执行任务过程中操纵员可根据具体情况随时终止或改变任务目标，确保全过程的安全。但由于以上环节均是在人机交互的过程中实现的，实际情况远比假设要复杂得多。首先，无论是决策者还是操作员，作出以上判断均需要极强的洞察力和判断力，而这样的能力因人而异；其次，对于人工智能系统的信任必然会随着一次次的正向反馈而逐步加深，在人工智能给出的“答案”面前具有思维局限性的个人将难以坚持自己的判断；最后，如果选择其它手段重新开始任务，意味着要承担巨大的时间沉没成本，而在以“快”为制胜密码的未来战争中，这样的选择往往可能贻误战机甚至影响全局。正如生产者在与机器的结合过程中逐渐丧失掉自身的主观能动性，人工智能在提升军队运转效率和作战能力的同时，对人工智能的高度依赖也可能会使人逐渐成为机器的“附庸”，从而导致人的能力在某些方面的衰退。同样，正如机器大工业时期的工人不把自己与机器绑定在一起，就无法获得每天必需的生活资料，智能化时代的军人不借助人工智能进行思考、决策、行动，也将难以正常开展各项军事活动。因此，人工智能的引入对于现代军事而言绝不是提供了一个全新的选择或是进行了一次升级那么简单，而是会对构成现代军事的各个要素尤其是人这个关键因素产生持久而深远的影响。如果只关注人工智能会为现代军事带来什么，而不从整体出发去审视人工智能会影响什么、改变什么，那么人类必然沿着错误的轨道越走越远。

机器脱离人控制的潜在风险

将人工智能军事应用的自主程度限定在一定阈值下，并保留对其最后控制权，已成为国际社会的基本共识。来自英国的非政府组织“第36条”率先提出了“有意义的人类控制”的理念，主张在任何情况下都应当对自主性武器针对个人的攻击实施“有意义的人类控制”，这一理念随后受到了国际社会的广泛关注和高度重视，并引起了以《特定常规武器公约》缔约方会议（CCW会议）为代表的各类国际组织会议的激烈讨论。美国对此表示质疑，认为该理念存在较大的主观随意性，建议以“适当的人类判断”作为替代，从而进一步提高人工智能军事应用的自主权限。两者虽然在概念的内涵、外延、应用范围上有着明显区别，但在基本观点上是一致的，即都认为对人工智能军事应用的自主性进行一定的限制是必需的。

1981年9月，中国常驻联合国代表签署

《特定常规武器公约》

在具体环境下的实际应用中，以上理念能否得到普遍遵循和有效实行，仍存在诸多不确定性。首先，用在防御作战的“人在回路外”式自主武器已经出现（例如韩国在朝韩边境布置的SGR-1哨兵机器人），而将“人在回路外”的模式从防御作战用于进攻作战，从技术上来看并不是无法跨越的鸿沟。其次，现代战争对速度的要求越来越高，完全自主的人工智能系统在作战响应速度上有着巨大的优势，这一优势在作战双方武器装备不存在代差的情况下，很有可能成为左右战局的关键因素，这一特质很有可能导致部分国家秘密研发具备完全自主能力的人工智能军事应用，作为战略底牌和保底手段。最后，现代战争复杂的电磁环境和恶劣的通信状况也会使得在战场上对武器系统进行不间断地实时控制变得越来越困难。

一旦具备完全自主能力的人工智能开始在军事领域应用，将会带来极为复杂的伦理和法律问题。例如，攻击者有可能躲在无辜平民形成的“人肉盾牌”后面朝机器人开火，故意招致机器人还击以造成机器人战士滥杀平民的事件，甚至导致自相残杀或非故意冲突升级的风险。再譬如，无人控制的自主武器在交战中误杀平民或导致战局扩大，将会给战后责任判定带来极大干扰，并对现有国际法体系造成严重破坏。总而言之，保持一定的人类控制，是各国在发展人工智能军事应用时需要遵循的前提条件之一，但这一条件能否得到普遍遵守，在现实中仍存在诸多疑点，这也提醒我们时刻保持冷静，切勿对人工智能在军事领域的发展持盲目乐观的态度和盲目冒进的指导策略。

版权声明：本文刊于2023年1期《军事文摘》杂志，作者：尹恒，如需转载请务必注明“转自《军事文摘》”。 

关注我们

更多精彩