第290章 GPU问题(1/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
“英文呢?”
“英文也不差,但没有中文这么好。”徐若辰翻到下一页,是一张英文评测表,“在英文的SuperGLUE基准测试上,我们的模型得分是八十五点三分。GPT-2的得分是八十二点一分。我们高了三到四个点,但没有中文那种碾压级别的优势。”
李东阳点了点头,又追问:“训练成本呢?”
陈铭宇接过了话:“十二月的版本,训练成本大约是一千两百万美元。大年三十的迭代版本,因为注意力机制的效率大幅提升,训练成本降到了不到六百万美元。后续如果再训练,成本还会进一步降低。”
“推理成本呢?”
“推理成本的降幅更明显。”徐若辰说,“因为推理的时候,自注意力机制的计算量占了绝对大头。我们把O(n2)降到O(nlogn)之后,推理速度提升了将近二十倍。同样的硬件配置,以前处理一条一万字文本需要十秒钟,现在只需要零点五秒。”
“零点五秒。”李东阳重复了一遍。
“对。而且成本也相应降下来了。以前处理一条长文本的成本大概是两分钱人民币,现在不到一分钱。如果量大的话,这个差距非常可观。”
李东阳沉默了。
会议室里所有人都在看他。
“下一步的计划是什么?”他问。
徐若辰翻到最后一页,上面列了一个时间线。
“我们计划在三月底之前完成DPY-1.0的正式版本。参数量会从七十二亿扩充到一百二十亿到一百五十亿之间。训练数据总量扩充到两万亿token以上。预计C-Eval得分可以进一步提升到九十五分以上。”
“应用层呢?”李东阳看向陈铭宇。
陈铭宇接过话:“我们已经在规划了。目前考虑三个方向。第一,智能客服。这个是最直接的,海鑫二手回收和京东转转那边的客服需求量很大,如果能用大语言模型替代一部分人工,降本增效的效果会很显着。第二,内容生成。旧石头那边需要大量的剧本、文案、营销内容,大语言模型可以辅助生成初稿,人工再润色。第三,代码辅助。我们内部的技术团队已经在用DPY-0.5的预览版辅助写代码了,效率提升大概在百分之三十左右。”
李东阳听完,站起来,走到白板前。
他看着那个稀疏连接的示意图,看了好一会儿。
“徐博士。”他转过头。
“李总。”
“你现在有多大的把握,这条路是对的?”
徐若辰想了想,说:“技术路线已经验证了。从理论到实验,我们都反复推演过了。剩下的问题是工程化——把模型做大,把推理做快,把成本做低。这些问题,我认为都可以解决。”
“时间呢?”
“一到两年之内,做到可以大规模商用。”
李东阳点了点头,转身看着会议室里的人。
这五十八个人,来自世界各地,放弃了谷歌、微软、脸书的高薪,跑到凌波这个他们之前可能都没听说过的地方,在一个还在建设中的研究院里,没日没夜地写代码、调模型、跑数据。
好在这里老外多,没啥过年的执念。
“我说几句。”李东阳开口了。
所有人都坐直了。
“你们做的事,很重要。不是因为能赚多少钱,而是因为在你们之前,没有人做到过。”他顿了顿,“这个领域,美国起步比我们早。谷歌、OpenAI、微软,他们有钱,有人,有技术积累。我们追得很辛苦。”
他在会议室里走了两步,停下来。
“但今天你们告诉我,我们在中文语义理解上,已经超过了他们。在这个细分赛道上,我们是领先的。这个领先不是天上掉下来的,是你们一行一行代码写出来的,是一个参数一个参数调出来的。”
他看了看徐若辰,看了看陈铭宇,看了看在场的每一个人。
“我不太会说场面话。我只说一句——辛苦了。”
会议室里安静了一下。
然后不知道是谁带头鼓了掌,所有人都跟着拍了起来。不是那种客套的、敷衍的掌声,是真的在拍。
徐若辰坐在那儿,眼眶有点红,但他忍住了。
陈铭宇站起来,笑着说了一句:“李总难得说这么多话,大家记下来,以后可以当史料。”
本章未完,点击下一页继续阅读。