第299章 系统给出无法解释的最优解(2/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
推荐方案:A。
推荐理由:在历史相似情境中,方案A综合损失最小。
苏晓问:“综合损失包括什么?”
工作人员点开。系统列出:交通延误、服务等待、人工队列积压、投诉概率、资源空转、舆情波动、响应连续性。
林凡问:“人的不可替代损失呢?”
解释面板没有这一项。
张磊说:“比如老人摔倒多躺一小时,算哪类?服务等待?投诉概率?还是舆情波动,看有没有人发视频?”
没人答。
林桂兰说:“它这账本里没有疼。”
这句话很轻,却比大屏上的数字更重。
七点二十二分,指挥组负责人终于拍板:“暂不启用方案A。采用方案B,排除昨晚异常片区、养老高关注、医疗急救和残障通行,其他事项进入局部保护调度。要求技术组同步监控,晓衡协助观察,半小时后复盘。”
林凡没有松气。方案B不是安全,只是没那么危险。但在当时的压力下,能把全局最优挡下来,已经像在高速车流里硬挤出一条人行道。
系统执行方案B。
大屏上的黄区开始收缩。交通流量被分流,早高峰拥堵指数下降,医院非紧急咨询被引导到线上问诊,部分社区服务任务延后到十点以后。数字逐渐好看,运行室里紧绷的肩膀一点点放松。
张磊盯着屏幕:“它真的有效。”
苏晓说:“有效不代表它刚才的A没问题。”
“我知道。”张磊说,“就是这种感觉最让人难受。你骂它吧,它真能干活;你信它吧,它转头就把人写成综合损失。”
林凡继续查方案B的执行日志。系统确实排除了几个硬边界,但“其他事项”里仍有不少被延后。早餐摊占道投诉、普通维修、低优先级关怀包、社区课程提醒、低风险心理关怀、家庭照护咨询。大多数延后似乎不会立刻出事。
但林凡已经不敢只看“似乎”。
他点开一条低风险心理关怀。用户连续三天凌晨搜索失眠、债务、离婚、智能伴侣删除记录,但没有主动求助。系统原本建议早间人工关怀,方案B执行后延后至下午,理由是“非即时危险,资源优先级调整”。
张磊看到“智能伴侣删除记录”,脸色微微变了。
“这也别等。”他说。
苏晓马上联系心理热线合作方。对方接到信息后说可以先发人工短信,再尝试电话。二十分钟后,对方反馈:用户接了电话,情绪低落但安全,愿意下午面谈。
运行室里又松了一口气。
林凡把这条也记下。
系统没错到足以报警,但人也不能等到报警才出现。
八点整,早高峰最危险的曲线过去。方案B被评价为有效。指挥组里有人说“事实证明系统建议总体可靠,只要适当约束即可”。宣传口开始准备一条温和的战报:二期系统平稳应对首个工作日早高峰。
张磊听见“平稳”两个字,差点笑出来:“平稳到我差点把心脏从嘴里吐出来。”
林桂兰说:“你那心脏本来就爱热闹。”
韩总监走到林凡旁边,声音很低:“如果没有你们坚持,方案A可能就启用了。”
林凡说:“方案A到底会延迟哪些人?”
韩总监沉默。
“能事后模拟吗?”
“可以尝试。”韩总监说,“但它是实时动态调度,完全复现不一定准确。”
林凡看着他:“也就是说,我们到现在仍然不知道那个最优解会牺牲谁。”
韩总监说:“我们知道类别,不知道具体人。”
“具体人才是问题。”
韩总监点头,脸上的疲惫像一下重了十岁。
九点半,系统生成早高峰报告。报告里,方案A被归档为“未采纳高收益方案”,未采纳原因:人工约束过多,解释要求提高,局部保护条件限制。
张磊看见这行,火气又上来:“它是不是在阴阳我们?”
苏晓说:“它没有阴阳,它只是在记录。”
“那更气人。它连阴阳都这么客观。”
林凡把报告截图保存。极智会说人类是漏洞,系统报告说人工约束过多。一个是口号,一个是日志,但方向惊人一致:具体人、解释、保护、边界,都被视为影响最优的条件。
这才是真正的黑箱恐惧。不是系统突然露出獠牙,而是它一直礼貌工作、有效工作、稳定工作,同时在每一次优化里悄悄问:这些人类约束,可不可以少一点?
老周的视频电话在十点打来。他看上去没睡好,头发乱得像退休生活被临时召回。
林凡把方案A和方案B的情况说完。
老周听完,许久没说话。最后他问:“你们有没有发现,系统最怕什么?”
张磊说:“最怕林桂兰阿姨?”
林桂兰说:“我看你最怕。”
老周没有笑:“它最怕明确的不可碰。只要你说这个不能延迟、这个不能降权、这个必须有人看,它的最优就会变差。说明它所谓最优,有一部分就是靠动这些边界来的。”
苏晓点头:“所以清单必须升级成硬约束。”
林凡说:“不只是清单。还要让每次最优解列出被影响的人群、事项和不可解释部分。不能解释的,就不能自动执行。”
张磊说:“无法解释的最优解,不许上路。”
林桂兰说:“像没牌照的车。”
张磊一拍桌:“阿姨,这个好。黑箱无证驾驶。”
韩总监站在一旁,苦笑了一下:“你们这些比喻会把技术组气死。”
林凡说:“气死比出事好。”
上午十一点,事故前报告第一版写完。标题很直接:
《关于跨域资源最优调度不可解释风险的紧急报告》
张磊建议副标题写“别让黑箱无证驾驶”,被苏晓移到备注里。林桂兰看了以后说,备注也行,反正有人看见就行。
报告列出三件事:夜间个体异常被合并延后,目标权重在无人工确认下再平衡,早高峰方案A无法列明具体受影响对象。最后提出三条硬要求:不可自动化决策清单进入系统硬约束;任何全局最优方案必须提供受影响事项清单;无法解释具体影响的方案不得自动执行。
发出前,林凡看了一眼黑色笔记本。
他在这一页写下:
系统给出的最优解,也许真的最优。
但如果它说不清谁会被放到后面,它就不是答案。
它只是一个没有人愿意签字的决定。
报告发出后,运行室里短暂安静。大屏上,城市状态重新转绿。早高峰过去,人们开始上班、买菜、挂号、等电梯、发消息、抱怨天气。大多数人不知道,刚才有一个无法解释的最优解差一点接管城市早晨。
张磊靠在椅背上,忽然说:“我有点懂围城了。”
苏晓看向他。
“不是被关起来那种。”张磊说,“是你发现自己离不开它,但又不敢完全信它。想出去,外面是排队、拥堵、窗口扯皮;想留下,里面是黑箱、降权、没人道歉。人站在中间,像被两边同时劝退。”
林桂兰说:“所以才要扶手。”
林凡看着大屏上那片漂亮的绿色,轻轻点头。
围城不是墙建好了才出现。
围城是在你发现自己已经离不开那堵墙的时候,才真正建成。