1. KD 树构建 KD 树的构建需要确定两个问题： 选择使用那个维度作为分裂点： 随机选择 顺序选择 方差最大的维度 确定以当前维度那个值作为分裂点： 中位数 注意：如果中位数对应的不是一个具体的样本点，可以任意选择前...
AdaBoost （Adaptive Boosting, 自适应提升）是 Boosting 算法的一种实现，是一种用于分类问题的算法，它用弱分类器的线性组合来构造强分类器。弱分类器的性能比随机猜测强就行，即可构造出一个非...
我们知道 BN 通过对输入 mini batch 样本进行 normalization，能够加快网络收敛。但是，BN 不适合用在 RNN 网络。原因是：BN 是对同一个批次所有样本的相同特征进行 normalizatio...
BiEncoder 将句子 A 和 句子 B 分别输入 Bert 模型，得到两个句子向量，然后使用余弦相似度比较两个输入句子。而 CrossEncoder 则将句子 A 和 B 拼接成一个句子，送入到 Bert 模型，得...
Fasttext 和 Word2vec 都是词向量模型，用于将输入文本转换为词向量表示，但是它们在模型结构、训练速度、OOV问题处理方面有些很大的不同： 模型结构不同：word2vec 是一个基于词粒度输入的神经网络的模...
Rouge（Recall-Oriented Understudy for Gisting Evaluation）用于自动摘要的评估，简单介绍下论文中提到的几种 Rouge 评估方法。 Paper：https://acla...
期望最大化算法（Expectation Maximization，EM） 是一种基于不完整、包含隐变量观测数据进行统计模型参数估计的方法。 我们知道，统计模型中的参数都需要根据观测数据集（训练数据）来进行估计。但是，在有...
多项式回归时线性回归模型的一种，使用多项式可以逼近任意函数，因此多项式回归有着广泛的应用。 多项式回归的最大优点就是可以通过增加 x 的高次项对样本集进行逼近，直至达到目标为止。在通常的实际问题中，不论依变量与其他自变量...
GBDT 的全称是 Gradient Boosting Decision Tree，是 Boosing 算法思想的一种实现，是最速下降法与前向加法模型的结合。训练时，通过拟合损失函数的负梯度来逐步优化损失函数，得到每一个...
岭回归、Lasoo 回归可以理解为改良版的线性回归。本文主要概述下这两种回归的特点，以及其 scikit-learn 接口的使用： 岭回归 Lasso 回归 1. 岭回归 岭回归，又称脊回归、吉洪诺夫正则化（Tikhon...
集成学习是一种通过组合多个弱学习器（如决策树、线性模型等），从而减少单一模型的偏差和方差，进而提高模型的泛化能力和整体模型性能的机器学习方法。 在集成学习中，弱学习器可以采用不同类型的模型，比如将支持向量机、神经网络和决...
特征缩放（Feature Scaling）是将不同特征的值量化到同一区间的方法。 实现特征缩放有多种方法，下面介绍两种常用的方法：归一化和标准化： 特征缩放原因 特征缩放方法 1. 特征缩放原因 我们的数据集中会包含很多...
冀公网安备13050302001966号
