第331章 我爱有钱人!(1/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
不过做研究就没有一帆风顺。
林晓很快遇见一个大麻烦。
那就是算力不够了。
搞计算模拟和人工智能训练都是吞金兽,吃的算力不可谓不多。
他先是在本地节点上跑了一轮质量评估网络的训练,结果跑到一半就撞上了内存墙,进程被系统杀掉。
他调整了批大小,把单次迭代的内存占用压了下来,勉强跑通了第一轮。
但训练时间直接比他预估的长了将近三倍。
接下来还有贝叶斯优化的参数搜索要做。
每一组参数组合都需要跑一次构象聚类流程,每次流程的输出又需要经过质量评估网络打分。
这一层叠一层,算力需求翻着往上涨。
本地这批节点不够用了。
他看了一眼任务队列里等待运行的进程数量,又看了一眼当前空闲的节点数。
不行了。
要开始摇人了。
于是,他拿起手机就给李继君打了个电话。
李继君过来的时候,林晓正对着屏幕上那个红色的内存溢出警告发呆。
李继君看了一眼屏幕,又看了一眼机柜区那排指示灯密集闪烁的节点。
顿时就明白他的意思。
“算力不够了?”
“不够了。”林晓解释到:“质量评估网络的训练和贝叶斯优化的参数搜索同时跑,本地的节点数撑不住,排队太长了。”
李继君没有多说什么。
他走到自己的工位上,打开资源管理后台,操作了几下。
“我给你开第二批节点。”
“之前预留的八台现在都调给你用,加上你原来在用的一批。”
“总共十六个节点,跑你的流程应该够了。”
林晓应了一声好,准备继续回去调整任务配置。
但改到一半,他算了一下后续的算力需求曲线。
结果他发现即便加到十六个节点,训练和搜索并行的峰值算力仍然不够。
他停下动作,想起李继君第一次介绍时提过的那句话。
于是转过头来问了一句:“你之前说可以把任务分发到云脑的异构计算集群,对吧?”
李继君正在喝水,听到这话差点被呛到。
我当时就随便一说。
你怎么还当真了?
“你要用云脑?”
林晓点点头。
“本地节点不够了。”
“异构集群那边有GPU资源,训练质量评估网络比本地CPU节点快很多。”
“参数搜索那边也可以并行化,把任务打散分发过去。”
李继君沉默了几秒。
其实就连他自己也很没接触过几次鹏城云脑的调度系统。
不过也正常。
以他们实验室的需求,这个级别的超算正常情况下是用不到太多次的。
而且这个东西可以说是吞金兽也不为过,也不是随随便便就能用的。
云脑的异构计算集群拥有成千上万个GPU和CPU节点。
调度系统统一管理,支持大规模并行任务分发。
它的算力额度是用真金白银堆出来的。
随便跑一个中等规模的任务,几个小时的占用就可能消耗掉普通课题组一整年的计算经费。
他之前跟林晓提云脑接口。
只是介绍实验室资源时故意炫耀一下。
压根没想到对方真的要动。
“你确定?”李继君问了一句。
“确定。”林晓说的理所当然:“我算了一下,如果全部跑通。”
“大概需要云脑这边提供一到两天的异构算力支持。”
本章未完,点击下一页继续阅读。