HardSwish 和 Mish 激活函数

目前业界公认的最好的激活函数是 swish 和 mish 函数,在保持原结构不变的基础上,直接将模型的激活函数换成 HardSwish 或 Mish 函数,都会使得模型的性能有所提升。

HardSwish 函数
Swish 函数

下图为 HardSwish 和 Mish 的函数图像:

未经允许不得转载:一亩三分地 » HardSwish 和 Mish 激活函数
评论 (0)

1 + 6 =