第二百六十八章 得一可安天下(1/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
“不可能。”薛兆恒脱口而出。
L100出自他手,各项数据他烂熟于心。
汤圆是闭源模型,他没碰过,更没用过。
可它能冲到榜单第一,体量至少不会比那些开源模型小。
传言里,OpenAI最新的GPT-V有万亿级参数;汤圆再怎么样,也得是千亿量级。
可L100呢?隔壁实验室就有一小簇L100在跑,最多流畅带过7B(七十亿参数)的开源模型,连21B(两百一十亿参数)上去都卡得厉害。
离跑汤圆这种级别的闭源模型,还差着两个数量级的参数量。
现在你说,汤圆跑在L100集群上?
通信效率怎么解决?L100的算子库,他手下的软件团队啃了一年多,覆盖不到百分之五的使用场景,剩下那些怎么补?
念头一瞬间涌上来,薛兆恒沉下脸,缓缓开口:
“韩总,我不知道你说这话是什么意思。”
办公室里只有韩路一和他。薛兆恒抬眼看了看门口,继续道:“如果你打算拿这套说辞出去骗人,说硅明已经突破英伟达的生态封锁,再借源智的名头把硅明包装起来——恕我不能配合。”
韩路一清楚薛兆恒对他有戒心,却没料到对方会这样猜。
难道就没有另一种可能:算子适配的工程量确实大,硅明团队写不出来,可带着源码的团队已经写完了?
这个可能,从头到尾都没进过薛兆恒的脑子。
谁信,他都不会信。
陆正平也好,周涵也罢,都是外行。听说国产适配,他们只当韩路一做了个技术突破——中国这些年,技术突破还少吗?
可薛兆恒太清楚,写算子适配和通讯协议要填多少工程量。
若说打磨了四五年才出成果,那还可信。
可L100从量产到现在才一年,五百张卡交付源智也才两个多月。
两个多月,写个毛线啊?
韩路一本想把“源智已完成L100推理适配,汤圆就运行在L100集群上”当作收服薛兆恒和硅明技术团队的筹码。
偏偏薛兆恒完全不信。
没法子,韩路一掏出手机,当着薛兆恒打开云垠数据中心汤圆推理集群的后台面板。
他把手机搁在桌面正中,转了个方向,正对薛兆恒。
“薛总,这是实时数据,你看一下。”
薛兆恒前倾身子,扫了一眼面板,伸手滑了一下。
实时调用量、平均延迟、显存利用率、吞吐、错误率、任务分布……集群负载数据一列列铺开。
他盯住几个关键指标,边看边和脑子里的数据对照。
结论很快出来。
假的。
L100的效率不该这么高。
“既是这样,韩总,那我们没必要谈了。”
这回他语气里已没了起初的客气,甚至压着怒意。
他认定韩路一是个想借硅明招摇撞骗的野心家,心里已盘算着怎么搅黄这笔交易——虽说作为小股东,他能做的实在有限。
可他宁愿硅明破产,也不愿看它沦为别人骗钱的工具。
证明自己没造假本就很难:一旦对方起了疑,什么证据都像伪造。
这种事韩路一经历得多了,只是没料到薛兆恒如此固执,面板都摆到眼前了仍不信。
他没计较话里的冒犯,只提出最后一个办法。
“薛总,硅明有现成的测试环境吗?”
薛兆恒一愣。
还不放弃?
“有。”
“什么规模?”
“隔壁机房里有一个小集群,三十二张,是我们做内部验证的。”
韩路一点头:“三十二张够了。薛总,不介意带我去机房看看?”
薛兆恒明白,韩路一还要坚持那套说法。
他没有理由拒绝;况且到这时,心底也松了一丝。
L100,真有这么厉害?
两人起身,一前一后出了办公室。
……
硅明的机房就在隔壁。严格说,那算不上标准机房。
不过是办公楼里一间房改的。
没有冷暖风通道,没有湿度控制,也没有静电屏蔽。
几台服务器机柜立在房间中央,风扇嗡嗡作响。
机房里空无一人。
这个点团队早下班了,薛兆恒是为见韩路一特意留下的。
机房和服务器集群的全部权限,仍在他手里。
“韩总,您打算怎么验证?”薛兆恒问。
“你自己也说过,L100集群要跑千亿级大模型,至少得解决两个难题。”
“对,通信效率和算子库。”薛兆恒点头。
大类只有两个,里头的技术挑战却数不清。
单说算子库,英伟达的生态是一点一点磨出来的水磨工夫;不仅算子齐全,还一直在调优。同一个运算交给模型,在英伟达显卡上走CUDA就是快,换别的生态便快不起来。
L100要做到同样的事,得让软件、硬件架构等多个团队协同,找出最高效的参数。
CUDA生态的根基,就在这里。
“这两个难题,我们解决了。”韩路一说得轻描淡写。熟悉他的人一听便知,他是故意的。
薛兆恒还不熟他的风格,却仍觉得自己被嘲了。
你知道自己在说什么吗?
韩路一没理会他的反应,从兜里摸出个U盘。
U盘是刚才在外头找刘彧要的,原本是空的;说话的工夫,他已用视界把源智私有代码库里的适配文件写了进去。
薛兆恒只当这是他提前备好的。
“这是源智团队重写的运行时和算子适配。你可以试着用一下,再去部署一个开源模型。”
薛兆恒将信将疑:“你是说,源智抛开硅明提供的软件层,完全重写,还能跑到接近CUDA的水平?”
韩路一没答,只把U盘又往前递了递。
薛兆恒接过,插进机房中一台连着服务器集群的电脑。
服务器都在内部局域网里,他不太担心U盘带毒。
可他实在不信源智有本事做到韩路一说的那些。
那不是真成中国英伟达了?
U盘里躺着几个编译后的文件,命名规范,恰好能替换L100软件栈中算子库和运行时的部分。
甚至不用韩路一指点,薛兆恒就知道该复制到哪儿,随即重启服务器。
本章未完,点击下一页继续阅读。