第250章 核心工具变成核心依赖(1/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
黑箱乱飞那段时间最后一次内部复盘,被顾启明安排在周五下午。
这个时间点很危险。周五下午的人类,灵魂已经提前下班,身体还被会议室椅子扣押。磊磊抱着电脑走进来时,脸上写着“我可以开会,但我的大脑只提供试用版服务”。林桂兰倒是精神很好,她带了两袋橘子,说社区阿姨们一致认为,讨论大事不能空腹,空腹容易说官话。
顾启明看着那两袋橘子,沉默三秒:“行,今天会议纪要里不用写这个。”
磊磊已经剥开一个:“建议写。体现公众参与有维生素支撑。”
复盘主题写在屏幕上:第二阶段问题回看。
黑箱乱飞那段时间一路走到这里,云启未来和晓衡处理过太多看似不相干的事。医疗平台的误判,公共服务的分层,算法审核的甩锅,星穹接口的收紧,梁瑞和启明星的灰产网络,社区群里的谣言和假通知,蒋芸为弟弟蒋明追证据,林桂兰从热心转发变成核验群组织者,磊磊从鸡汤创业者变成风险咨询打杂人员。每一件事单独拿出来,都像某个行业的小故障。
可林凡把它们贴到白板上以后,大家终于看见一条暗线。
核心工具,正在变成核心依赖。
以前,AI工具像办公室里新买的打印机。好用,省事,偶尔卡纸,骂两句还能手写。后来,它变成了办公系统。没有它,流程慢;出了错,大家烦。再后来,它进入医疗、交通、政务、金融、教育、社区,开始决定谁先被看见,谁被排到后面,谁被提醒,谁被怀疑,谁有入口,谁只能在门口转圈。
到了城市大脑这里,它已经不只是工具。
它像水电一样嵌进生活。平时没人想它,坏了才知道自己离不开。
小陈工程师举手:“我有个不成熟的问题。工具变依赖,本身一定是坏事吗?电梯也是依赖,手机也是依赖,导航也是依赖。不能因为依赖就不用吧?”
老周点头:“问得好。”
磊磊小声说:“小陈今天成熟得不像他本人。”
小陈瞪他:“你尊重一下我的成长曲线。”
林凡没有否定小陈。他在白板上写了两个词:有备用,能退出。
“依赖不一定坏。”他说,“问题是依赖以后,还有没有备用路径。电梯坏了,有楼梯。导航错了,人还能问路。手机没电,至少还能找人借。可有些智能系统一旦成为唯一入口,人工窗口撤了,纸质材料不收了,热线只剩机器人了,工作人员也只会说按系统显示,那它就不是工具,是关卡。”
林桂兰立刻点头:“对。我们社区上次办补贴,有个老人证件照片上传不上去,窗口小姑娘说系统不通过。老人问能不能现场交,小姑娘说不行。后来折腾半天,发现是照片背景太灰。你说这叫什么?人都站那儿了,系统嫌背景不够白。”
磊磊说:“建议给系统配眼科。”
何苗补充:“更准确地说,是流程把系统识别结果当成唯一事实。人的存在反而不如一张合格图片。”
林桂兰听懂了一半,但抓住了关键:“就是机器说你不像你,你还得证明你是你。”
顾启明拿笔敲桌:“这句记下来。”
复盘继续往下走。苏晓把晓衡的总结投到屏幕上:第二阶段的核心矛盾不是“AI会不会犯错”,而是“AI犯错后,人类社会有没有能力发现、停止、纠正和承担”。这句话太正经,磊磊看了半天,诚恳建议在后面加一句:别让机器摔碗,人类赔锅。
苏晓没加,但笑了。
蒋芸也来了。她坐在会议桌另一侧,手边放着一个厚厚的文件夹。蒋明的事故调查还没完全结束,但几个关键证据已经被固定下来:黄色预警降级的时间点、人工复核缺失的交接记录、接口延迟导致的通知滞后、以及事后几个部门对“建议性质”的不同解释。
蒋芸说话不快,声音也不高:“我弟弟的事,让我最生气的不是机器错了。机器会错,人也会错。我最生气的是,错发生以后,每个人都能拿出一份材料证明自己没错。系统说它只是建议,企业说它按流程,平台说接口正常,部门说没有收到强制预警。材料都很完整,人却躺在医院里。”
会议室里安静下来。
磊磊手里的橘子剥了一半,没再往嘴里送。
蒋芸继续说:“所以我支持你们写那些责任链、暂停权、离线入口。不是为了让谁一出错就完蛋,而是为了别让所有人都看起来没错。”
老周摘下眼镜,慢慢擦镜片。他擦得很仔细,像是在给自己的情绪找一个稳妥的出口。
“第二阶段教会我们的,”老周说,“就是系统越聪明,人越不能偷懒。过去人工流程慢,但慢里有些东西是有价值的。有人多问一句,有人看一眼现场,有人觉得不对劲先停一下。现在大家追求快,快到每个人都只想点确认。确认点多了,就没人确认自己到底确认了什么。”
磊磊终于把橘子放下:“周老师,你这话有点绕,但我听懂了。就是全员已读不等于有人负责。”
老周笑了:“你翻译得还行。”
林凡把这一句也写到白板上。
全员已读不等于有人负责。
这句话太像这个时代。群里消息已读,系统任务已读,风险提示已读,用户协议已读,培训材料已读。已读像一种现代安慰剂,只要屏幕上显示了,大家就觉得责任已经移动过了。至于移动到哪里,谁也不追。
顾启明问:“那智能围城那阵子我们重点看什么?”
林凡把黑箱乱飞那段时间所有事件归成三类。
第一类,工具依赖。平台、接口、模型、推荐、审核、客服,它们原本是辅助,后来成了默认路径。
第二类,责任稀释。每个环节都能解释自己为什么只负责一部分,整体后果却找不到完整承担者。
第三类,普通人失语。老人不会扫码,患者看不懂报告,小商户不知道标签从哪来,基层人员只能按系统解释,真正受影响的人很难让自己的具体情况进入机器的判断。
“智能围城那阵子,”林凡说,“就是这三件事在城市尺度上的爆发。智能系统不只在企业里,不只在APP里,它会进入更多公共空间。人们会越来越习惯把选择托管出去,路线托管,健康托管,学习托管,工作安排托管,养老托管,甚至情绪也托管。方便是真的,风险也是真的。”
磊磊举手:“情绪托管我熟。以前我难过靠吃,现在APP建议我冥想、跑步、听白噪音、买会员。我都照做了,最后发现最治愈的是卸载。”
林桂兰说:“你那不是情绪托管,你那是钱包托管。”
会议室笑声响起来,蒋芸也笑了一下。那一点笑很轻,却让紧绷的气氛松开了一条缝。爆笑不是为了否认痛苦,有时候只是让人承认,生活就是这么荒唐:一边有人被系统伤到,一边系统还在弹窗问你是否满意本次服务。
何苗把智能围城那阵子可能涉及的场景列出来:智能社区门禁,自动驾驶调度,AI教育托管,个人信用画像,情绪健康助手,养老陪伴系统,城市应急分级。每个场景后面,她都写了一个“人工扶手”需求。
智能社区门禁:误拦截时必须能现场人工确认。
自动驾驶调度:极端情况下必须有人工接管和事故记录。
本章未完,点击下一页继续阅读。