首页 > 都市重生 > 首富从看见信息面板开始 > 第二百八十七章 视界技能初试身手

第二百八十七章 视界技能初试身手(2/2)

目录

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

他低头看了一下时间,还不到六点。

也就是说,不到一个小时,他已经把可能要耗费大型工程团队几个月时间的工作做完了,同时消耗掉六百多点精力。

这么看来,今晚没办法继续肝了;但在视界如此给力的情况下,只要规划好精力分配,一个月内把所有算子适配都做完完全可行。

韩路一满意地点了点头,手动在电脑上敲上提交命令。

gitadd.&&gitit-"FedAttentionBackwardadapterpleted"&&gitph

回车。

下班。

……

在韩路一下楼离开办公室的同时,十三楼的人工智能基础设施组还有不少人在加班。

江松然今天开组会时已把接下来的计划传达过了:全力做L100的推理适配。

全组压力都很大。

给国产卡做算子适配,这在全国乃至全世界都是最前沿的工作。

这种工作最不敢保证交付时间:都是没人做过的东西,你根本没办法预测会在什么地方冒出个填不平的大坑。

但江松然说话的语气很笃定。虽然没说明确时间线,大家都感觉到了他的决心。

任务分配到人,每个人负责几个算子,按优先级从高到低做;只要求功能实现,先不做性能调优,做完就提交评审,然后再做下一个。

工作量很大,所以不少人都自愿留下来加班。

范小天是其中一个。

源智基础设施团队的高级工程师,薪水拿得不低,但他不是为了钱来的。

他不一样,他是为了理想。

毕竟,一个人如果靠英伟达的股票已经实现了财务自由,接下来的工作不去追求理想,又去追求什么呢?

当然,范小天一般不会把这句话说出来。

因为听起来太欠揍了。

但他确实是组里最资深、最有话语权的人之一。

原因很简单:他以前在英伟达做的就是类似工作——给大模型训练框架里的内核(Kernal)做适配,做性能分析(Profilg)工具。

可也正因为这份履历,他对公司现在的方向不太看好。

太急功近利了。

太想毕其功于一役了。

在硬件上做适配、做调优,和做互联网不一样。

这里需要的不是什么快速迭代、小步快跑;这是一件必须沉下心,慢慢扣、慢慢做的事。

心急吃不了热豆腐。

干起活来很痛苦,这很正常。

今天拿起分析工具一跑,运算效率又波动了,为什么?

不知道。可能是显存访问模式不一样了,可能是寄存器压力不一样了,也可能是编译器展开方式不一样了。

想知道为什么,只能一个一个试过去。

拿着分析数据一点点猜。

所以江松然把训练算子适配的任务压下来时,范小天很不舒服。

但他也能猜到原因。

一定是大老板给的压力太大,把江松然的进度压变形了。

毕竟这么不切实际的任务,不像一个在行业里干了十几年的老兵能派出来的。

大老板可能是不懂,也可能是有投资人那边的压力,还可能是模型做得太好、心态飘了。

反正不管怎样,范小天已经在心里给源智调低了评分。

理想终究是错付了。

摇了摇头,把这些杂念赶出大脑,他在公司提供的链接下单了晚餐外卖,然后开了一听可乐。

哪怕老板再傻逼,活还是要干,毕竟他拿的薪水也不低。

范小天面前的屏幕上,开着江松然共享的算子适配列表。

作为团队里最资深、最有经验的几名工程师之一,他分配到的几个算子都挺有难度,还全是红色的。

其中最难的就是FedAttentionBackward【注意力融合反向算子】。

范小天看着这个名字,揉了揉太阳穴,叹了口气。

这玩意儿太难啃了。

范小天以前在英伟达时,类似的融合反向算子也不是普通工程师能随便碰的。

这里面的步骤太多了:Attention反向、Softax数值稳定、共享内存布局、寄存器生命周期、内通信、多级Tilg,还有训练框架调度。

这里面哪一样单独拿出来,都够一个新人研究几个月。

把它们融合在一起,要保证所有算子都能在内核上运行无误,还要保证效率,还要确保内存不溢出,这简直是地狱级难度。

在硬件调优的所有工作里,这也算得上皇冠上的明珠。

说实话,这种活范小天以前是轮不上做的。

也就是来了源智,矮子里面拔将军,只能让他顶上。

至于做到和英伟达一样的效率,他想也没想,做不到。

大概估算一下排期,如果给他几个熟手一起加班加点干,可能几周时间能把正确性跑通。

至于性能优化,没几个月干不下来;干完之后能到英伟达基准的百分之八十,就够他出去和前同事吹牛了。

就这,还得看L100的编译器配不配合。

开始工作前先上炷香,看能不能让机魂大悦。

硬件做得久了,人都变迷信了。

范小天没打算做【注意力融合反向算子】,他准备把难啃的骨头留到最后——有可能做着做着,大家发现实在做不出来,这块骨头就不用啃了。

他在关闭浏览器前又瞥了一眼。

然后关掉了浏览器。

范小天站起来,准备去取外卖。

突然,他整个人一愣。

刚才那个页面,我是不是看见什么了?

什么呢?

范小天心神不宁地往前走了两步,又退了回来。

虽然可能是看错了,但要是不确定一下,总觉得心里不舒服。

他鬼使神差地又打开刚才关掉的页面,发现真有东西。

【注意力融合反向算子】的代码库有个新提交。

“FedAttentionBackwardadapterpleted”。

做完了?谁这么大口气啊?

范小天点开看了看提交者的用户名。

null-poter@sourtelligen。范小天仔细想了想,想不起这是谁的用户名。

公司分配的邮箱都按名字来,像他的用户名就是fan.xiaotian@sourtelligen。

怎么还有人可以给自己起名?

这谁啊?

范小天抬起头环顾一圈,想看看是不是哪个同事在搞恶作剧,但感觉没人在注意这边。

他又低下头,打开提交的代码。

代码量并不大。

可他看着看着,就瞪大了眼睛。

目录
返回顶部