第290章 GPU问题(2/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
几个人笑出了声。
散会后,陈铭宇陪着李东阳在研究院里转了一圈。
大语言模型项目的实验室占了四楼东侧的一大片区域。服务器机房在走廊尽头,透过玻璃能看到一排排黑色的机柜,指示灯一闪一闪的,散热风扇发出嗡嗡的低鸣。
“这是咱们自己搭建的训练集群。”陈铭宇指了指那些机柜,“目前总算力大概是八千万亿次浮点运算每秒。在国内不算最大的,但利用率很高,基本都在跑我们的模型。”
“够不够用?”
“目前够用。但如果把参数量扩大到一百五十亿,可能就要扩容了。”陈铭宇估算了一下,“大概需要再增加百分之三十到百分之五十的算力。”
“你做个预算,我来批。”李东阳说。
两个人走到走廊另一头,透过玻璃能看到一个开放的办公区。
二十几个工位,大部分都坐着人。墙上的白板上写满了密密麻麻的公式和架构图,有些地方画了箭头和圈,看得出来是被反复修改过的。
“这些人,大部分都是徐若辰从美国带回来的。”陈铭宇说,“有的是他在哈佛的同学,有的是他在谷歌的同事。还有一个是放弃了斯坦福的教职过来的,三十出头,学术界前途一片光明,但他说想来做点实际的东西。”
“他叫什么?”
“方远。大语言模型团队的核心架构师,那个O(nlogn)的注意力机制,他贡献最大。”
李东阳记住了这个名字。
从研究院出来的时候,天已经快黑了。
李东阳站在楼门口,点了根烟。凌波二月的风比江水柔和一点,但还是很冷,吹在脸上凉飕飕的。
陈铭宇跟着出来,站在他旁边。
“李总,晚上怎么安排?要不就在研究院食堂吃点?今天厨房做的红烧肉不错。”
“行。”李东阳吐了口烟,“吃完我去市里找个酒店住一晚,明天再走。”
“今晚就住这儿呗,研究院有专家公寓,条件还行。您要是觉得行,我让人安排。”
李东阳想了想:“也行,省得跑了。”
两个人往食堂走。
研究院的食堂在一楼,宽敞明亮,能坐两三百人。晚餐时间,来吃饭的人不多,大概六七十个。有些人穿得很随意,头发乱糟糟的,眼底下挂着轻微的黑眼圈,一看就是熬了好几个大夜的。
陈铭宇找了个靠窗的位子,两个人端着餐盘坐下来。
红烧肉,炒青菜,一碗紫菜蛋花汤,一碗米饭。
李东阳夹了一块红烧肉放进嘴里,确实不错,肥而不腻,炖得很烂。
“老陈,”李东阳放下筷子,“你回头帮我整理一份大语言模型项目的详细报告,包括技术路线、团队结构、预算、时间表。我要拿去跟集团其他板块的负责人同步一下。”
“好的。”
“另外,徐若辰、方远这些人,你盯着点。他们不是普通的员工,不能用普通员工的方式对待。待遇给足,股权激励的方案你也抓紧弄出来。”
“已经在做了。”陈铭宇点头,“徐若辰他们的期权方案,春节前我就报给集团了,可能还在流程中。”
“我回去催一下。”
吃完饭,李东阳去了专家公寓。
公寓在主楼后面的副楼里,三层的独栋小楼,每层有七八个房间。房间不大,但收拾得干净,床、书桌、衣柜、独立卫浴,该有的都有。
躺到床上,李东阳跟简晓航视频电话了一会,洗漱完毕,李东阳又在想一件事。
GPU怎么办?
这个也是吃饭的时候老陈跟李东阳提过的问题,老陈担心的资金,采购,机房布置问题。
但是李东阳想的不一样,未来,一旦DPY超越西方,GPU一定会被卡脖子,到时候深空怎么办?
英伟达的GPU,全球独此一家。AMD有替代品,但生态差太多。国内有几家在做,但差距不是一星半点。