第一百一十二章 Transformer面世

是，刚才大意了。”苏飞一副恍然的表情。

    其余三人：“……”

    “这题选c。”

    随着苏飞的这句话，一时之间宿舍内悲喜交加，有人欢喜有人愁。

    …

    …

    在华国的考研结束之际，2022acl也在这一天完成了论文入库。

    原本历年都还需要至少一个月才能完成论文入库的acl，大概是因为今年曼宁亲自下场，acl下至领域主席上至荣誉会员，都拿出了百分百的干劲，居然比往年提前了一个月完成了论文审稿，迅速完成论文入库的工作。

    这一天，transformer也正式入库。

    这天，罗切斯特大学的杰姆斯教授卡着时间进入了acl的论文库界面。

    卡点acl、aaai和cvrp等顶会这种事情早已经成为了杰姆斯的习惯，毕竟第一时间阅读顶尖会议的论文成果就是跟踪最前沿的进展，这对每一位学者都是不可或缺的工作。

    打开了acl的论文界面，弹出了一系列琳琅满目的论文标题，粗略估计有上百篇。

    当然，acl是不可能一次收录这么多篇论文的，这其中的大多数都是acl旗下的其他学术会议产出的论文，硬要说的话其实就是总公司旗下的子公司的产品一样，这些acl旗下的学术会议的论文每年都会给acl一大笔钱，维持住acl旗下小弟的这个名号，他们的论文也会被记载在acl官网上供他人浏览，增加曝光率。

    毕竟论文的曝光率上来了，引用率就有可能高，引用率高了，学者们才能评职称、领奖金不是？

    这也是学术界惯有的操作了，毕竟acl家大业大，聘请这么多学术大牛不要钱么？聘请这么多专业审稿人不要钱么？聘请领域主席不要钱么？

    学会也是要运作的，养着上百口人，都要吃饭的啦。

    而且这种方式每年还真能发掘出不少优质论文，每年都有那么一两篇不错的论文因为这个挂名机制被发掘出来。

    因为担心顶会投稿的人数太多而错过职称评级或者博士申请的ddl，又或者是因为顶会的审稿人看太多稿子而一时头晕眼花误刷了一篇不错的论文，这种倒霉的事情每年都有发生。

    因此这个挂名机制也算是acl机制的一个补充。

    acl既得了钱又做了个保险，而其他的小的学术会议也得了名，可以说是双赢。

    当然，杰姆斯对这些挂名论文没什么兴趣，他也不会专门从沙子里淘金，直接熟练地打开筛选一筛，密密麻麻的论文标题顿时少了七成，剩下三成里又有一些short papper、poster或者review，这些不算是正常论文，只能算一些构想，还没进行实验，再把这些一筛，剩下就只有几十篇排列整齐的论文。

    杰姆斯慢慢地往下拉，先大略地浏览一遍论文的标题，论文的标题虽然和质量没有太大关系，但标题大概就能反映出论文的内容。

    当他浏览到一个标题名时，瞬间就停下了滑动鼠标的手指。

    “有趣。”

    杰姆斯盯着眼前的标题，笑着说道。

    “attention is all you need……这么狂妄啊。”他摇摇头，点开了这个链接，准备简单地阅读一下。

    当他看到fei su这两个大字摆在第一作者和通讯一作上的时候，他便童孔一缩。

    前段时间曼宁高调点名苏飞并且意图收他为关门弟子，这件事在人工智能学术界炸开了花，杰姆斯也是在曼宁的推特下评论过。

    当时的他只觉得苏飞的elmo非常有创造性，是个很有潜力的年轻人，但对曼宁公然收徒的行为还是有些不理解。

    elmo虽然不错，但对于他和曼宁这种自然语言处理的天花板来说，还无法真正入他们的法眼，只是考虑到发表出elmo的是一个本科生，才会如此惊叹。

    但现在看来，当时的曼宁恐怕已经看了这篇论文，甚至就是这篇论文的审稿人……难怪曼宁之前公然下场手撕埃德温，还接替了埃德温审稿人的位置。

    “呵呵，原来是这样。”

    杰姆斯瞬间把所有都串到了一起，曼宁近段时间大胆的举动也能解释得通了。

    “那就让我看看，让曼宁亲自保驾护航的论文，究竟几斤几两吧。”

    杰姆斯一边轻轻喃喃，一边看起了论文。

    时间一分一秒地过去，杰姆斯渐渐沉迷在了这篇论文里。

    仅用注意力机制构造模型单元？

    好大胆的想法！这可是十年未解决的难题啊。

    随后他便是一阵惊叹，多头注意力机制和引入位置向量完美解决注意力机制的弊端，这……这已经不能用奇思妙想来形容了。

    速度提高了百分之十，机器翻译评分28.4？！

    看到实验结果的时候，杰姆斯一懵，这机器翻译的评分比目前主流模型高了两个档次，直接形成代差了啊。

    这其他人拿头跟你打么？

    看到这的时候，杰姆斯就已经完全明白这篇论文的恐怖了，transformer，变形金刚，真的是赛博朋克一般的科幻产物。

    杰姆斯深吸一口气，这论文怕是要推着人工智能领域飞速前行了，而且，还不仅仅是自然语言处理，变形金刚无愧其名，图领域、计算机视觉……只要能想到，它都能完美应用。

    杰姆斯看到了这篇论文的下载量仅仅只有一个可怜的2，除了自己，只有另一个幸运儿看过。

    估计再过几天，就有无数人围绕这篇transformer开始水论文了，这一篇transformer恐怕能供养几十位博士顺利毕业。

    就在这时，他的电话响了起来，来电者是他的学生，李思迈，那个之前靠着苏飞的elmo顺利水了一篇论文，成功博士毕业的华裔学生。

    “喂，李，有什么事情么？”

    “杰姆斯教授，我又看到了一篇很好的论文，可以水……写一篇我博后的考察论文，说不定能为我之后晋升助理教授作准备！”

    嗯？

    这么巧？

    等等，杰姆斯看着这个下载量的2，又结合李思迈的话，问道：“你说的不会是transformer吧？”

    电话另一头的李思迈：“……”

    电话这头的杰姆斯也是一副见鬼的表情，他这个学生是脑袋上装了雷达么，就跟个寻宝鼠一样，怎么都能第一时间找到最有价值的论文？