但方向盘的重量,必须留在人类手中。”
陈志航思索片刻:“但如果危机来得太快呢?就像那次演习,敌方饱和攻击,我们只有三秒决策时间……”
“所以我们需要明确的规则。”林云调出她正在起草的“红色指令”初稿,“什么样的危机可以授权ai临时接管?接管多久?什么情况下必须交回控制权?这些都是委员会要界定的。”
她的草案上已经列出了几条:
1 ai不得对人类目标使用致命武力,除非获得明确的人类授权且符合国际武装冲突法。
2 ai不得主动修改自己的核心伦理约束和决策权限。
3 ai在监测到可能引发系统性崩溃的紧急情况时,可启动预先授权的应急预案,但必须在启动后60秒内向人类监督委员会报告,并在人类接管后立即移交控制权。
4 ai不得基于种族、国籍、宗教、政治信仰等因素进行任何歧视性分析或建议。
5 ……
每一条背后,都是血的教训。林云想起父亲——一位老飞行员,曾经告诉她:所有飞行规则都是用生命写成的。现在,他们正在用整个文明的未来,书写ai时代的飞行规则。
---
二十四小时后,“摇篮”会议室。
这次会议的形式很特别:球形会议室中央没有任何实体参会者,只有三十七个全息影像。他们来自世界各地——北京的指挥中心、同步轨道的“精卫”号、月球的“不周山”基地、日内瓦的联合国办事处,甚至还有两位委员从正在大洋深处执勤的核潜艇中接入。
林云的影像出现在球幕的“北半球”位置,她穿着舰长制服,肩章上的星徽在全息投影中微微发光。
“委员会第一次全体会议,现在开始。”秦宇的影像是主任委员,主持会议,“今天的议题是:‘女娲’系统的权限边界与人类保留事项。请各位委员就以下问题进行讨论:在应对全球性危机时,系统在什么情况下可以自主行动?自主行动的边界在哪里?”
第一个发言的是张教授,伦理学家:“我认为,ai在任何情况下都不应该拥有‘自主行动’的权力。它只能建议,不能执行。就像医学诊断ai可以分析病情,但不能自己开刀。”
“但有些危机需要秒级响应。”林晓枫反驳,“比如电网的连锁故障,如果等人类层层审批,可能整个大陆都已经停电了。系统应该被授权在预设的、严格限定的场景下,执行预设的、经过人类审核的应急预案。”
“谁来定义‘严格限定的场景’?”施密特质问,“今天可能是电网故障,明天可能是金融市场崩溃,后天可能是全球供应链断裂……每一次危机都有理由要求更多授权。这就是经典的‘任务蔓延’。”
“所以我们才需要明确的、不可逾越的红线。”林云接过话,“我建议,我们制定一份《ai行动授权宪章》,明确列出系统可以被授权的行动类型、持续时间和监督机制。这份宪章一旦通过,任何修改都需要委员会三分之二多数同意,并在所有成员国议会备案。”
“宪章的具体内容呢?”一位来自发展中国家的委员问,“谁来决定哪些国家电网可以被监控?哪些金融市场可以被干预?这会不会成为技术强国监控弱国的工具?”
问题击中了最敏感的神经——技术霸权与主权平等之间的矛盾。
会场陷入僵局。支持者认为,系统性危机不分国界,需要全球协同应对;反对者担心,这会被用作干涉他国内政的借口。
这时,一个意想不到的声音响起。是赵星海,他以“鸾鸟”飞行员代表的身份参会。
“我有个简单的想法。”赵星海的全息影像穿着飞行服,背景是“开拓者”号深空探测器的模拟训练舱,“在飞行中,我们有个原则:在无法与地面联系的情况下,机长有权为保护飞机和乘客安全采取一切必要措施,但事后必须接受审查,证明决定的合理性。”
他环视全场:“也许我们可以借鉴这个原则。授权‘女娲’在特定危机下采取行动,但所有行动必须全程记录,行动后48小时内必须向国际监督机构提交详细报告,证明其必要性、适当性和最小侵害性。如果行动被判定越权或不当,系统将被降级,责任人员将受到追究。”
“事后审查能弥补损害吗?”张教授质疑。
“不能完全弥补,但比什么都不做强。”赵星海坦诚,“就像飞行员在紧急情况下选择迫降可能造成伤亡,但比起坠毁,这是更好的选择。我们需要接受一个现实:在复杂系统中,没有完美的解决方案,只有风险权衡。”
辩论持续了四小时。伦理学家、法学家、科学家、军人、外交官……每个群体都有自己的视角和顾虑。但逐渐地,共识的轮廓开始浮现:
第一,ai可以拥有有限的紧急处置权,但权限必须被严格限定在预设的“应急场景清单”内;
第二,所有行动必须全程记录,并接受独立审计;
第三,任何新增的授权都必须经过宪章修改程序,不能由技术