HardSwish 和 Mish 激活函数

目前业界公认的最好的激活函数是 swish 和 mish 函数，在保持原结构不变的基础上，直接将模型的激活函数换成 HardSwish 或 Mish 函数，都会使得模型的性能有所提升。

下图为 HardSwish 和 Mish 的函数图像：