第三百六十章 钓鱼佬能不能赶上聚餐（2/2）

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。

各个节点的运行效率并不一样。

Transforr架构的开创性贡献，是把以前只能串行的机器学习任务变成可以并行；于是机器学习也能像大数据处理一样，用大集群加快速度、提升效果。

基本原理很简单：把大任务切成小任务，派一个集群一起执行，执行完再合并。

问题是怎么分？

最理想的情况，是每个节点运算能力都一样，任务便分得一样大，每个节点负责的任务量也相同。

这样就不会有时间浪费。

可实际上很难做到平均分配。

因为后训练的任务类型不一样。

比如一个寝室决定聚餐，大家分头采买食材：有人去超市买菜，有人去海里钓鱼。买菜的人都回来了，鱼还没上钩。

这没办法，钓鱼是不可细分的最小任务。

现在通行的做法，是大家一起等这个钓鱼佬回来，再把阶段性结果写进硬盘，进行下一步。

问题是，该怎么把效率再往上提一提呢？

赵文渊托着下巴正想，门外忽然响起敲门声。

思路被打断，他缓了缓才开口。

“请进。”

章闻铎推门进来，手里拿着一张纸，径直走到赵文渊办公桌前。

“院长，我来提个申请。”

“什么申请？”

“我手里有个新实验，原来的十六张卡不够用了，想申请六十四张卡来做。”章闻铎说着，把申请表递到赵文渊面前。

赵文渊皱了皱眉。现在他手底下用于研究的卡不到两百张，除了章闻铎，其他几个项目组也在排队。六十四张还真不一定拿得出来。

他沉吟一下，回忆着章闻铎的研究方向。

“十六张也不少了，怎么不够？实验内容有变动吗？”

见赵文渊要问细节，章闻铎干脆拉开椅子坐下，语气有些兴奋：“是这样的，院长，我有个新想法。之前做实验时，不是有些长程任务嘛，把池子都占满了，短程任务也跑不起来。我就想把池子做大一点儿，一个任务完成之后就——”

赵文渊一开始还跟得上思路，可越听越不对，不由得打断他：“不是，等等，章博士，你刚才说，任务完成后直接回去取，不用等同一个batch（批次）的其他任务吗？”

章闻铎的研究方向只有他一个人在做，平时就是查文献、做实验、记录结果。现在见院长对技术细节有兴趣，他便打开了话匣子。

“是的。研究世界模型的话，因果链比较长，有很多多步骤的长程任务，有时候一个任务就得跑好几个小时。这个时候其他任务都做完了，单等这一个长程任务太浪费。所以我想了个方法：一个任务做完就回去取，不用等。”

赵文渊边听边皱眉，到最后眉毛都拧成了麻花。

不对不对不对，这个方法和他认知的基础框架有很大区别。

等章闻铎说完，他赶紧抛出疑问：“你上一轮还没跑完，结果还没更新回模型，就跑下一轮？这不是全乱套了吗？”

拿赵文渊刚想到的例子来说，就相当于钓鱼佬还没回来，其他人已经开吃了；等钓鱼佬回来，那事还能小？