只好改一排代码擦玻璃 裸舞，就能让大模子老师效劳普及至 1.47 倍。

领有得州大学奥斯汀分校配景四名华东谈主学者，建议了大模子老师优化器 Cautious Optimizers。

在提速的同期，Cautious 梗概保证老师效劳不出现耗费，而且讲话和视觉模子都适用。

该优化器以哈密顿量和下落能源学为表面基础，在加快的同期不影响拘谨特点。

作家在 600M 到 1B 不同参数限制的 Llama 模子上进行了考试，赢得了最高 47% 的加快率。

该研究相关代码还是开源，在 GitHub 上有使用法式的详备教悔。

一排代码纠正大模子老师

Cautious Optimizers 在 PyTorch 当中增多的一排代码，中枢想路是引入达成一种掩藏机制，从而幸免参数更新的标的与现时梯度标的违抗。

因为这两个标的一朝不一致，就有可能导致耗费函数暂时增多，形成拘谨速率的减缓。

不外作家并未在标的不一致的开始问题上过度纠结，而是引入了一种判断机制，在参数更新之前增多一步打算，从而过滤掉标的不一致的情形。

这也恰是上头代码的凯旋作用。

△GD：梯度下落，GDM：带动量的梯度下落，C-GDM：本时势

具体来说，加入的两行代会对 u 和 g 两个向量求内积，u 向量对应优化器给出的参数更新标的，而 g 向量对应现时本领的梯度标的。

作家遐想了一个对皆掩码函数 ϕ，当 u 和 g 的内积小于 0 时（即标的不一致），ϕ 的输出为 0 向量；当内积大于就是 0 时，ϕ 的输出为全 1 向量。

而一朝 ϕ 为零向量时擦玻璃 裸舞，w_t 打算式中含 u 的项也会变为零向量，导致此项更新被跳过。

这么就不错判断参数更新和梯度标的是否一致，淌若不一致则不会用于参数更新，幸免了老师经由中耗费函数的回升。

老师效劳普及 47%

为了评估 Cautious Optimizers 的具体效劳，作家区别在讲话模子 Llama 和视觉模子 MAE 上进行了考试。

作家考取了 60M、100M、350M 和 1B 四种参数限制的 Llama 模子，在 C4 语料库上进行预老师。

优化器接收了 AdamW 和 Lion，以及它们对应的 Cautious 版块 :C-AdamW 和 C-Lion，每个执行中进行 1 万步迭代。

限度 C-AdamW 和 C-Lion 在整个限制上都证明出彰着的拘谨加快效劳。

尤其是在 1B 限制上，比较原版的 AdamW 和 Lion，它们的样本效劳区别提高了 47% 和 28%，这标明 Cautious Optimizer 能灵验减少老师颠簸，使拘谨更巩固高效。

而况，Cautious Optimizer 在整个情况下都取得了更低的困惑度，印证了其出色的泛化性能。

为了评估模子的本体效劳，研究者在语句匹配、文本蕴含、情谊分类等 6 个 GLUE 下流任务上测试了 AdamW 和 C-AdamW 优化后 1B 模子的证明 ，

限度标明，C-AdamW 的平均得分比 AdamW 突出 2%，在大巨额任务上都取得了逾越，诠释 Cautious 跳过部分参数更新的方式不会引起模子性能下落。

关于视觉模子，作家以 ViT 为主干网罗，在 ImageNet-1K 数据集上预老师了 MAE 模子。

由于视觉任务的零碎性，老师经由接受了就地隐敝图像块并重建的范式，因此优化办法是最小化重建罪戾，而相称常的分类耗费。

作家对比了 AdamW 和 C-AdamW 的证明，即老师 50 轮后的最终重建罪戾，限度 C-AdamW 的罪举止 0.5926，低于 AdamW 的 0.6085。

一作曾在一周内复刻 o1

本时势是由四名华东谈主学者共同打造的。

第一作家 Kaizhao Liang，是 AI 推理加快就业商 SambaNova 公司的别称高档 ML 工程师。

在 o1 模子发布一周内，该公司就推出了一个相似 o1 模子想考经由的开源平替，主要作家恰是 Liang。

其他三名作家是得州大学奥斯汀分校 CS 助理教学 Qiang Liu，以及他的两名博士生，Lizhang Chen 和 Bo Liu。

此外，Liang 的东谈主工智能硕士学位亦然从该校赢得。

论文地址：

https://arxiv.org/abs/2411.16085

GitHub：

https://github.com/kyleliang919/C-Optim

—  完  —

「MEET2025 智能改日大会」

火热报名中

定档 12 月 11 日！李开复博士、周志华教学、智源研究院王仲远院长都来量子位MEET2025 智能改日大会筹商行业破局之谈了！

最新嘉宾威望在此，不雅众报名通谈已开启！接待来到 MEET 智能改日大会，期待与您一皆猜测智能科技新改日  

阁下滑动稽察最新嘉宾威望

点这里� � 关爱我，难忘标星哦～

一键三连「点赞」、「共享」和「在看」

科技前沿进展日日相遇 ~