速度方面,孟繁岐去年中几万组装的电脑,为了跑完千分类那上千万的图片数据,得到一次模型就要好几周的时间。
“由于那次竞赛是我规划中一鸣惊人的最重要成绩,我接近一个月都没怎么睡好,生怕电脑出了什么问题。”
孟繁岐回忆起那段时光,自己搞得那么紧张整天扑在代码上面,其实还是设备不够好,完全没有容错率。如果出错一两次,就没有时间提交足够好的结果了。
现在好了,都不需要用很多,四张或者八张显卡一起运行,一两天的时间完全足够了。
“之后显卡和多机多卡更加成熟的时候,这个速度还要更不得了。”
硬件设备升级之后,许多人都在研究如何让多张显卡运算得更快。
到20年左右,128张显卡再来做这个千分类的数据集,训练时间甚至可以缩短到十几分钟乃至几分钟。
这就是三千多倍的速度差距啊...
“技术和高级智能被大型科技企业垄断,也是有原因的,三千多倍的速度差距,就意味着别人一天得到的模型,你要十年才能算完。人家做一周的实验,你一辈子都得不出这些结果。”
如此高倍率的算力差距,就使得后来一两张普通显卡就想着出成果的大学教授们有些滑稽。
小主,
“唐璜这小子当年就是的,他的导师先是看不起深度学习,迟迟不肯入局。等到后来性能差太多一直被拒稿之后,才不情不愿加入进去。整个实验室人均就分一张2070级别的卡,还整天想着做出世界最一流的结果呢...”
孟繁岐想想就觉得好笑,倒不是说没卡就不能做人工智能。你的数理足够扎实,的确不需要卡就能发顶级文章。
可设备如果太差,你连别人开源出来的世界级标准都没法运行,连复现别人的结果都做不到,又谈何超越别人?
“总得来说,应该再有一两周,就能够公布论文草稿了。”孟繁岐估算了一下进展,这件从去年12月就逐步准备的事情总算快要告一段落了。
T方法也只是一个开始,孟繁岐还需要在人机大战之后,继续完善BERT和GPT这两个技术路线。
“斯坦福差不多要开学了吧?”吃完饭回去的路上,辛顿突然问道这件事。
“差不多,我也来这边两个月了。”时间已经来到五月初,孟繁岐只觉得时间如白驹过隙,指间流沙:“不过五月入学一般人比较少,比不了春天秋天两个学期。”
斯坦福的主要入学时间点还是一月和九月居多。
“不过伱怕是上不了几天学就要去韩国了。”几人刚走进办公室,就有听到了刚才对话的同事转达给了孟繁岐一个最新消息。
“人机大战的时间提前了一个半月,这是谷歌高层和李世石双方的共同的诉求。”
“之前不是说六月底吗?怎么突然改期了?”孟繁岐有些惊讶,虽然之前也只是拟定日期,但一般说好了之后不大会改动时间。
“两边都有点急了,谷歌高层希望更快些把人工智能的概念推出去破圈,有利于股价。”这位负责通知的同事解释道:“我们在不少技术和功能上都做了AI适配和革新,以人机大战作为切入点可以打一整套广告。”
这一套操作下来,谷歌的股价肯定大涨,孟繁岐可以理解谷歌高层的决策。
“那李世石呢?他急什么?”
“他们那边看你整天不管阿尔法围棋的事情,都在忙别的项目,有点慌了。似乎是怀疑阿尔法围棋需要成长到六月底才能够成长到足够强大的程度,想打你们一个猝不及防。”
“...”孟繁岐一时间直接噎住,这帮人没搞懂人工智能,心眼倒是不少。