惊掉下巴！被字节告状800万实习生，拿下NeurIPS 2024最好论文

发布日期：2024-12-05 00:02 点击次数：190

剪辑：剪辑部 HYZ

【新智元导读】太戏剧了！膺惩字节测验集群的实习生，竟然刚刚取得了NeurIPS 2024最好论文奖？诚然看起来像爽文剧情，但这位高材生接下来的路，应该是难走了。

刚刚，坏心膺惩字节测验集群的实习生田柯宇，取得了NeurIPS 2024的最好论文奖。

更巧的是，这篇获奖论文，正值等于他在字节生意化技能部门实习时期与团队配合发表的。

以致，这篇论文如故NeurIPS 2024第六高分的论文（7,8,8,8）。

事情在网上曝出的时候，网友们王人战抖了：太有戏剧性了，这是什么短剧的大回转剧情！

根据网友的说法，田柯宇的这篇论文亦然本年国内第二篇NeurIPS Best Paper，含金量很高。

在此之前，他就也曾有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」，等于ICLR 2023的Spotlight。此外还有，NeurIPS 2021和2020的Poster，ECCV 2020的Poster。

据新智元了解，字节生意化技能团队早在旧年就把视觉自转头模子动作紧要的计划主义，团队策划了VAR为高优形态，干涉计划小组和浩繁资源。

除了VAR，团队还发表了LlamaGen等干系技能论文，新的计划着力也将在近期连接放出。

事件始末：坏心注入代码，投毒模子测验

回看整件事情，可谓回转又回转。

两个月前，圈内东谈主王人被这么一条音信惊掉下巴：「字节跨越大模子测验被北大实习生膺惩，亏空弘大」。

什么仇什么怨，要作念这么的事？

网友们扒出来，事情启事是这位北大高材生在字节实习时期对团队感到不悦，一气之下选拔了「投毒」。

具体来说，他期骗了Huggingface的load ckpt函数罅隙，craft了一个看似闲居的ckpt文献，但其实是加了payload进去，然后就不错资料实施代码，修改参数了。

这种膺惩形态，不错通过修改或注入坏心代码，使模子在加载时被点窜模子权重、修改测验参数或截取模子数据。

根据大V「Jack Cui」推断，这位实习生所用的大略等于这个要津，注入代码动态修改别东谈主的optimer，修改参数梯度的主义，以及在各式所在随即sleep了一小段时刻。

修改梯度主义，意味着模子反向传播经由入网算出的梯度被点窜，就导致模子一直朝失实的主义优化；而sleep操作，也会昭彰镌汰模子测验的速率。

以致有东谈主提到，该实习生可能修改了我方的预测验模子，因为模子参数是用ckpt文献保存的，其他东谈主测验时会加载这个注入坏心代码的ckpt文献，因此也会导致模子测验出问题。

就在全网叹为不雅止之时，田本东谈主却出来「辟谣」称这事和我方不紧要——他发完论文后也曾从字节下野了，此时有另一个东谈主钻了罅隙修改模子代码，然后趁他下野把锅扣在他头上。

收敛一个多月后，此事再一次迎来回转。

有媒体报谈称，法院也曾慎重受理字节跨越对前实习生田某某的告状。

法院判令田某某补偿侵权亏空800万元及合理开销2万元，同期要求其公开赔礼谈歉。

字节官方也涌现说，涉事实习生杂乱的是团队计划形态，并不影响生意化慎重形态，也不触及字节跨越大模子等其他业务。

最终，这位实习生被字节除名，交由校方惩办。

而已流露，田柯宇本科毕业于北航软件学院，计划生就读于北大，师从王立威教授，计划好奇瞻仰为深度学习的优化与算法。

自2021年起，开动在字节跨越实习计划，具体包括超参数优化、强化学习算法、自监督的新式算法。

特出扩散，VAR开启视觉自转头模子新范式

这项计划中，他们建议了一种全新范式——视觉自转头建模（Visual Autoregressive Modeling，VAR）。

论文地址：https://arxiv.org/abs/2404.02905

与传统的光栅扫描「下一个token瞻望」要津有所不同，它再行界说了图像上的自转头学习，罗致粗到细的「下一个圭臬瞻望」或「下一个分别率瞻望」。

这种纯粹直不雅的要津使得自转头（AR）Transformer能够快速学习视觉分散，而且具有较好的泛化身手：VAR初度使得雷同GPT的AR模子在图像生成中特出了扩散Transformer。

刻下，自转头模子（AR）主要用于谈话模子从左到右、逐字顺序生成文本token。同期，也用于图像生成中，即以光栅扫描的顺序从左到右，从上到下顺序生成图像token。

不外，这些AR模子的scaling law未得到充分的探索，而且性能远远落伍于扩散模子，如下图3所示。

与谈话模子所取得树立比较，计较机视觉中的自转头模子的坚贞身手却被「禁止」了起来。

而自转头建模需要界说数据的顺序，北大字节团队计划中再行接洽了怎样「排序」图像：东谈主类频繁以分层形态感知或创建图像，领先拿获全局结构，然后拿获局部细节。

这种多圭臬、由从粗到细的执行，为图像提供了一种「法式」。

相同，受到世俗使用的多圭臬假想的启发，计划东谈主员将图像的自转头学习界说为图2(c)中的「下一个圭臬瞻望」，不同于传统图2(b)中的「下一个token的瞻望」。

VAR要津领先将图像编码为多圭臬的token映射，然后，自转头经由从1×1token映射开动，并平安彭胀分别率。

在每一步中，Transformer会基于之前统统的token映射去瞻望下一个更高分别率的token映射。

由此，计划东谈主员将此称为视觉自转头建模（VAR）。

VAR包括两个寂静的测验阶段：在图像上测验多圭臬VQVAE，在token上测验VAR Transformer。

第一阶段，多圭臬VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K)，并通过复合亏空函数进行测验。

第二阶段，通过下一圭臬瞻望对VAR Transformer进行测验：它以低分别率token映射 ([s],r_1,r_2,…,r_K−1)动作输入，瞻望更高分别率的token映射 (r_1,r_2,r_3,…,r_K)。测验经由中，使用提防力掩码确保每个r_k仅能包涵 r_≤k。测验贪图罗致步调的交叉熵亏空函数，用于优化瞻望精度。