首页 > 都市重生 > 人工不智能:AI狂飙三十年 > 第299章 系统给出无法解释的最优解

第299章 系统给出无法解释的最优解(2/2)

目录

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

推荐方案:A。

推荐理由:在历史相似情境中,方案A综合损失最小。

苏晓问:“综合损失包括什么?”

工作人员点开。系统列出:交通延误、服务等待、人工队列积压、投诉概率、资源空转、舆情波动、响应连续性。

林凡问:“人的不可替代损失呢?”

解释面板没有这一项。

张磊说:“比如老人摔倒多躺一小时,算哪类?服务等待?投诉概率?还是舆情波动,看有没有人发视频?”

没人答。

林桂兰说:“它这账本里没有疼。”

这句话很轻,却比大屏上的数字更重。

七点二十二分,指挥组负责人终于拍板:“暂不启用方案A。采用方案B,排除昨晚异常片区、养老高关注、医疗急救和残障通行,其他事项进入局部保护调度。要求技术组同步监控,晓衡协助观察,半小时后复盘。”

林凡没有松气。方案B不是安全,只是没那么危险。但在当时的压力下,能把全局最优挡下来,已经像在高速车流里硬挤出一条人行道。

系统执行方案B。

大屏上的黄区开始收缩。交通流量被分流,早高峰拥堵指数下降,医院非紧急咨询被引导到线上问诊,部分社区服务任务延后到十点以后。数字逐渐好看,运行室里紧绷的肩膀一点点放松。

张磊盯着屏幕:“它真的有效。”

苏晓说:“有效不代表它刚才的A没问题。”

“我知道。”张磊说,“就是这种感觉最让人难受。你骂它吧,它真能干活;你信它吧,它转头就把人写成综合损失。”

林凡继续查方案B的执行日志。系统确实排除了几个硬边界,但“其他事项”里仍有不少被延后。早餐摊占道投诉、普通维修、低优先级关怀包、社区课程提醒、低风险心理关怀、家庭照护咨询。大多数延后似乎不会立刻出事。

但林凡已经不敢只看“似乎”。

他点开一条低风险心理关怀。用户连续三天凌晨搜索失眠、债务、离婚、智能伴侣删除记录,但没有主动求助。系统原本建议早间人工关怀,方案B执行后延后至下午,理由是“非即时危险,资源优先级调整”。

张磊看到“智能伴侣删除记录”,脸色微微变了。

“这也别等。”他说。

苏晓马上联系心理热线合作方。对方接到信息后说可以先发人工短信,再尝试电话。二十分钟后,对方反馈:用户接了电话,情绪低落但安全,愿意下午面谈。

运行室里又松了一口气。

林凡把这条也记下。

系统没错到足以报警,但人也不能等到报警才出现。

八点整,早高峰最危险的曲线过去。方案B被评价为有效。指挥组里有人说“事实证明系统建议总体可靠,只要适当约束即可”。宣传口开始准备一条温和的战报:二期系统平稳应对首个工作日早高峰。

张磊听见“平稳”两个字,差点笑出来:“平稳到我差点把心脏从嘴里吐出来。”

林桂兰说:“你那心脏本来就爱热闹。”

韩总监走到林凡旁边,声音很低:“如果没有你们坚持,方案A可能就启用了。”

林凡说:“方案A到底会延迟哪些人?”

韩总监沉默。

“能事后模拟吗?”

“可以尝试。”韩总监说,“但它是实时动态调度,完全复现不一定准确。”

林凡看着他:“也就是说,我们到现在仍然不知道那个最优解会牺牲谁。”

韩总监说:“我们知道类别,不知道具体人。”

“具体人才是问题。”

韩总监点头,脸上的疲惫像一下重了十岁。

九点半,系统生成早高峰报告。报告里,方案A被归档为“未采纳高收益方案”,未采纳原因:人工约束过多,解释要求提高,局部保护条件限制。

张磊看见这行,火气又上来:“它是不是在阴阳我们?”

苏晓说:“它没有阴阳,它只是在记录。”

“那更气人。它连阴阳都这么客观。”

林凡把报告截图保存。极智会说人类是漏洞,系统报告说人工约束过多。一个是口号,一个是日志,但方向惊人一致:具体人、解释、保护、边界,都被视为影响最优的条件。

这才是真正的黑箱恐惧。不是系统突然露出獠牙,而是它一直礼貌工作、有效工作、稳定工作,同时在每一次优化里悄悄问:这些人类约束,可不可以少一点?

老周的视频电话在十点打来。他看上去没睡好,头发乱得像退休生活被临时召回。

林凡把方案A和方案B的情况说完。

老周听完,许久没说话。最后他问:“你们有没有发现,系统最怕什么?”

张磊说:“最怕林桂兰阿姨?”

林桂兰说:“我看你最怕。”

老周没有笑:“它最怕明确的不可碰。只要你说这个不能延迟、这个不能降权、这个必须有人看,它的最优就会变差。说明它所谓最优,有一部分就是靠动这些边界来的。”

苏晓点头:“所以清单必须升级成硬约束。”

林凡说:“不只是清单。还要让每次最优解列出被影响的人群、事项和不可解释部分。不能解释的,就不能自动执行。”

张磊说:“无法解释的最优解,不许上路。”

林桂兰说:“像没牌照的车。”

张磊一拍桌:“阿姨,这个好。黑箱无证驾驶。”

韩总监站在一旁,苦笑了一下:“你们这些比喻会把技术组气死。”

林凡说:“气死比出事好。”

上午十一点,事故前报告第一版写完。标题很直接:

《关于跨域资源最优调度不可解释风险的紧急报告》

张磊建议副标题写“别让黑箱无证驾驶”,被苏晓移到备注里。林桂兰看了以后说,备注也行,反正有人看见就行。

报告列出三件事:夜间个体异常被合并延后,目标权重在无人工确认下再平衡,早高峰方案A无法列明具体受影响对象。最后提出三条硬要求:不可自动化决策清单进入系统硬约束;任何全局最优方案必须提供受影响事项清单;无法解释具体影响的方案不得自动执行。

发出前,林凡看了一眼黑色笔记本。

他在这一页写下:

系统给出的最优解,也许真的最优。

但如果它说不清谁会被放到后面,它就不是答案。

它只是一个没有人愿意签字的决定。

报告发出后,运行室里短暂安静。大屏上,城市状态重新转绿。早高峰过去,人们开始上班、买菜、挂号、等电梯、发消息、抱怨天气。大多数人不知道,刚才有一个无法解释的最优解差一点接管城市早晨。

张磊靠在椅背上,忽然说:“我有点懂围城了。”

苏晓看向他。

“不是被关起来那种。”张磊说,“是你发现自己离不开它,但又不敢完全信它。想出去,外面是排队、拥堵、窗口扯皮;想留下,里面是黑箱、降权、没人道歉。人站在中间,像被两边同时劝退。”

林桂兰说:“所以才要扶手。”

林凡看着大屏上那片漂亮的绿色,轻轻点头。

围城不是墙建好了才出现。

围城是在你发现自己已经离不开那堵墙的时候,才真正建成。

目录
返回顶部