逻辑回归（Logistic Regression）是一种用于分类问题的统计方法，适用于二分类问题。其核心是通过Sigmoid 函数将线性回归的结果映射到概率区间 [0,1]，通常用于预测某事件是否发生。逻辑回归...
在训练深度模型（如 RNN、Transformer）时，由于网络层数较深，随着训练进行，网络各层的输入分布不断变化，这会导致训练变慢，甚至无法收敛。为了解决这个问题，层归一化（LN）应运而生。它通过标准化每一层的输出，减...
Batch Normalization（BN）主要解决的是内部协变量偏移（Internal Covariate Shift）问题。该问题指的是深度神经网络在训练过程中，每一层的输入分布会随着前面层参数的更新而变化，从而导...
梯度提升树（GBDT，Gradient Boosting Decision Tree）回归是一种集成学习方法，它通过逐步构建多个决策树来优化预测结果，尤其适用于回归问题。GBDT 通过“加法模型”逐步提高模型的预测能力，...
GBDT 是一种强大的集成学习方法，广泛用于分类和回归问题。它属于提升（Boosting）算法的一种，通过多个弱学习器（通常是决策树）结合起来提高模型的准确性。 1. 二分类 对于 GBDT 应用到二分类的场景，其预测过...
在 sklearn 中，LinearSVC 线性支持向量机（SVM）的原始形式支持的两种目标函数类型，分别是 ： squared_hinge 是目标函数中的损失项，它是标准的 hinge loss 的平方形式。它可以提供...
感知机（Perceptron）是1958 年由弗兰克·罗森布拉特（Frank Rosenblatt）提出的一个经典线性分类算法。它是机器学习领域最早提出的基于数学规则进行分类的模型之一，适用于解决二分类问题。 作为一种线...
线性判别分析（Linear Discriminant Analysis，简称 LDA）是一种经典的统计学方法，主要用于 特征降维 和 分类问题。 它的核心思想是：寻找一个最佳的线性投影，使得投影后的数据在新空间中，不同类...
主成分分析（PCA，Principal Component Analysis）是一种常用的数据降维技术。数据降维是指将高维数据转换为低维数据的过程，同时尽可能保留原始数据的重要信息。通过降维可以： 1. 基本思想 PCA...
高斯混合模型（Gaussian Mixture Model，GMM）是一种基于概率的无监督学习模型，通过假设数据由多个高斯分布组成来进行数据建模，在机器学习、统计学和信号处理等领域有广泛的应用。 1. 基本理解 假设：我...
在本节课程中，我们将探讨高斯混合模型（GMM）如何对新数据进行聚类。即：当我们输入一条新的数据时，模型会基于先前学习到的各个高斯分布的参数来估计该数据属于每个类别的概率。接下来，我们将详细了解这一过程的具体步骤。 1. ...
GMM 假设数据是由多个高斯分布混合而成，接下来，我们将会探讨 GMM 是如何根据训练数据得到这些不同的高斯分布参数： 估计高斯混合模型的参数，我们并不知道数据属于哪个分布，这是典型的包含隐藏变量的参数估计问题。对于这个...
scikit-learn 中 GaussianMixture 类是对高斯混合模型算法的实现，它包含了一些用于控制混合高斯模型（GMM）的初始化、训练方式和模型的其他设置。 1. 参数 1.1 基本参数 1.2 covar...
冀公网安备13050302001966号
