GBDT 是一种强大的集成学习方法,广泛用于分类和回归问题。它属于提升(Boosting)算法的一种,通过多个弱学习器(通常是决策树)结合起来提高模型的准确性。 1. 二分类 对于 GBDT 应用到二分类的场景,其预测过...
在 sklearn 中,LinearSVC 线性支持向量机(SVM)的原始形式支持的两种目标函数类型,分别是 : squared_hinge 是目标函数中的损失项,它是标准的 hinge loss 的平方形式。它可以提供...
感知机(Perceptron)是1958 年由弗兰克·罗森布拉特(Frank Rosenblatt)提出的一个经典线性分类算法。它是机器学习领域最早提出的基于数学规则进行分类的模型之一,适用于解决二分类问题。 作为一种线...
线性判别分析(Linear Discriminant Analysis,简称 LDA)是一种经典的统计学方法,主要用于 特征降维 和 分类问题。 它的核心思想是:寻找一个最佳的线性投影,使得投影后的数据在新空间中,不同类...
主成分分析(PCA,Principal Component Analysis)是一种常用的数据降维技术。数据降维是指将高维数据转换为低维数据的过程,同时尽可能保留原始数据的重要信息。通过降维可以: 1. 基本思想 PCA...
高斯混合模型(Gaussian Mixture Model,GMM)是一种基于概率的无监督学习模型,通过假设数据由多个高斯分布组成来进行数据建模,在机器学习、统计学和信号处理等领域有广泛的应用。 1. 基本理解 假设:我...