在 sklearn
中,LinearSVC
线性支持向量机(SVM)的原始形式支持的两种目标函数类型,分别是 :
- L1 + squared_hinge
- L2 + squared_hinge
squared_hinge 是目标函数中的损失项,它是标准的 hinge loss 的平方形式。它可以提供更强的鲁棒性和更快的收敛性。接下来,我们将探讨如何理解这两种形式的目标函数。
1. L2 + squared_hinge
其中:
- \( w \) 表示权重向量
- \( C \) 正则化系数,控制误差与模型复杂度的权衡
- \( x_{i} \) 和 \( y_{i} \) 表示样本数据和标签
- \( ||w||_{2}^{2} \) 表示 L2 正则化项,即:权重向量的平方和
2. L1 + squared_hinge
其中:
- \( w \) 表示权重向量
- \( C \) 正则化系数,控制误差与模型复杂度的权衡
- \( x_{i} \) 和 \( y_{i} \) 表示样本数据和标签
- \( ||w||_{1}^{2} \) 表示 L1 正则化项,即:权重向量的绝对值和。