尊龙游戏人生就是博

　　猫眼影戏记者 温秀才 报道w3u7903ejky2ywls

机械之心报道

机械之心编辑部

不必换模子、不必堆参数，靠 SUGAR 模子性能大增！

在深度学习领域中，对激活函数的探讨已成为一个自力的研究偏向。例如 GELU、SELU 和 SiLU 等函数依附其平滑梯度与卓越的收敛特征，已成为热门选择。

只管这一趋势盛行，经典 ReLU 函数仍因其精练性、固有希罕性及其他优势拓扑特征而广受青睐。

然而 ReLU 单位易陷入所谓的「殒命 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一征象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。

正是殒命 ReLU 问题催生了大宗刷新的线性单位函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了差别的权衡。

本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的要领：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情形下解决了 ReLU 的局限性。即前向撒播仍使用标准 ReLU（坚持其希罕性和简朴性），反向撒播时替换 ReLU 的导数为一个非零、一连的替换梯度函数（surrogate gradient）。

这样可以让 ReLU 在坚持原始前向行为的同时，阻止梯度为零的问题，从而复生死神经元。

基于此，本文还设计了两种新型替换梯度函数：B-SiLU（Bounded SiLU）、 NeLU（Negative slope Linear Unit），可以无缝集成到种种模子中。

本研究的进一步孝顺如下：

本文对 VGG-16 和 ResNet-18 举行了周全的实验，批注 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 举行了评估，展示了其顺应性和有用性。对 VGG-16 层激活的深入剖析批注，当应用 SUGAR 时，激活漫衍爆发了显着的转变，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时增进了更希罕的体现。

SUGAR 要领易于实现，并在前向撒播中始终接纳 ReLU 激活函数。与所提出的 B-SiLU 替换函数连系使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率划分提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模子相比，划分提升了 9 个百分点和 7 个百分点。

论文问题： The Resurrection of the ReLU论文链接：https://arxiv.org/pdf/2505.22074

SUGAR 先容

本文提出的要领将 FGI （ Forward gradient injection ）应用于具有平滑替换函数的 ReLU 网络中。在 SUGAR 框架下， FGI 可以体现为：

该公式实现了梯度注入，并确保纵然关于负激活也能举行梯度撒播。详细来说，使用 [34] 中的乘法技巧，替换梯度函数的直接注入如下：

替换函数的选择具有无邪性，可兼容目今最先进的种种激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。

要害区别在于，与 ReLU 差别，这些候选替换函数均具有一个配合特征：对负输入（x < 0）能爆发非零梯度。虽然这些函数为负激活提供了梯度流通路径，但前向撒播及后续损失盘算仍严酷依赖 x > 0 时的激活输出。

在起源研究中，本文意识到需要调解目今的激活函数以顺应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置优异匹配的新替换函数。

B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它连系了自门控特征和可调下限参数。从数学上讲，该函数可以体现为：

B-SiLU 激活函数的导数为：

图 8 中可视化了 B-SiLU 及其导数。

NeLU：本文进一步引入了 NeLU（Negative slope Linear Unit），作为 ReLU 的平滑导数替换品。

最终的梯度如图 1 所示。

实验

总体而言，与 ReLU 基线相比，SUGAR 连系 ELU、SELU 以及特殊是 B-SiLU 获得了最大的提升，而 LeakyReLU 和 NeLU 则始终体现不佳（见图 2）。在 CIFAR-10 数据集上使用 ResNet-18 作为主干网络时，B-SiLU 的性能从 76.76% 提升到 86.42%，得益于 SUGAR。VGG-16 也体现出类似的效果：B-SiLU 将测试精度提高了近 10 个百分点（从 78.50% 提升到 88.35%）。

在 CIFAR-100 数据集上，SUGAR 连系 B-SiLU 的优势越发显着：ResNet-18 的准确率从 48.99% 跃升至 56.51%，VGG-16 的准确率从 48.73% 提升至 64.47%（见图 3）。同样，Leaky ReLU 和 NeLU 仅显示出细小的甚至是负的提升（例如 ResNet-18 上的 43.67% → 43.41%）。

总的来说，B-SiLU 在差别架构和数据集上均优于其他替换激活函数，ELU 和 SELU 能够提供可靠的刷新，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。

当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向撒播历程中均始终优于使用 GELU 的基础模子。

相识更多内容，请参考原论文。

??时势1：动漫男人自慰✅️免费观看

??06月05日,武汉萌娃坐王莲 以叶当舟体验“水上漂”,

　　最后一个是分享机制。这与尊龙游戏人生就是博谋划理念“与员工双赢”是一致的，就是谋划效果各人分享。

,13学生奶头无遮挡图片。

??06月05日,医保三重制度为“健康中国”护航,

　　它突然窜起，扑上了柳树，竟然想去啃嫩芽，感应到了那充分到惊人的神精，蕴含有至强的生命力。

,国产精品秘麻豆097林志玲,动画埃及猫拔萝卜原创版视频,JaPanese熟妇人妻HD。

??时势2：❤美女扒开胸让男生狂揉

??06月05日,北京警方深入开展安全隐患集中排查整治行动,

　　小不点从进山到现在击倒了许多人，但并没有下最后的杀手，留下了他们的性命，将让大荒来“净化”这些恶人。

,免费🔞男同❌❌❌深夜夜行网站,啊好痛嗯流水了拔萝卜小说,家属动漫第6集动漫免费观看。

??06月05日,今晚第一场！看王楚钦孙颖莎奥运后混双首秀,

　　他们一起向回赶，走出去十几里后，又遇上了一大群人，正是石林虎、石飞蛟等一群壮年男子，一个个眼睛都红了，一副要拼命的架势。

,想要叉叉百度网盘,法国少妇婬乱视频免费观看,《合租的秘密规则》。

??时势3：毛片同人

??06月05日,最高检：深挖严打电信网络诈骗犯罪幕后“金主”,

　　那如小山般的兽尸堆已经被狈村的人搬走，一无所有，石林虎等人赶到这里后咬牙切齿，真的是欺人太甚，村人辛勤打到手的猎物就这样被抢走了。

,揉我奶头啊嗯高潮A,抖音八酱的爆料网站,ACG本子※ACG绅士里番。

??06月05日,台湾社区营造师登“陆” 推动社区志愿者工作,

　　众人闻听都是一惊。

,海角乱怆破解,萌萝社app♥老版入口,二次元美女泳装图集。

??时势4：甘雨被触手怪❌吸乳的

??06月05日,“Z世代”汉服妆造师：愿汉服从“尝鲜”走向日常,

　　“小少爷，你要记着啊，你是至尊，也不要遗忘我，我是阿蛮啊。”漂亮的小女孩站在床边孩哭泣，大眼红肿。

,老牛影视AV一区二区在线观看,巜一边亲一边摸下奶韩国,半糖成人黄动漫网站❌免费下载。

??06月05日,反腐败必须永远吹冲锋号,

　　“这是要吓死上古大能的节奏。　倍秃子咋舌，惊到目瞪口呆，简直不敢相信所见，这也忒逆天了，照旧一小我私家类吗？

,全c美女,安妮海瑟薇床戏,姬小满🌸扒腿爽出白色液体。