1、Yolov5-v6.0中使用的激活函数是SiLU。
2、SiLU（Sigmoid Linear Unit）激活函数也被称为 Swish 激活函数，它是 Google Brain 在 2017 年引入的一种自适应激活函数。
3、SiLU激活函数介绍：参考链接
Swish 函数的定义如下：
f(x) = x * sigmoid(x)
其中 sigmoid(x) 是标准的 sigmoid 函数，它的值在 0 和 1 之间。Swish 函数的特性包括非线性，连续可导，并且在负无穷到正无穷的范围内都有定义。
Swish 函数在实践中已经证明了其有效性，特别是在深度神经网络中。它既有 ReLU（Rectified Linear Unit）激活函数的一些优点（例如，能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如，ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，Swish 函数还是平滑函数，这意味着它在整个定义域内都有导数，这有利于优化。
(1) SiLU激活函数详细描述：参考链接
- SiLU激活函数图像如下，相对于ReLU激活函数，它在x轴的负半轴有段向下的曲线：
- 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
- 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
- SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
- SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重。
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.mushiming.com/mjsbk/4073.html