回归分析是统计学中用于预测连续型数据的一种方法。常见的回归模型包括线性回归和多项式回归。多项式回归是线性回归的扩展,它能够处理更复杂的数据关系。 线性回归假设因变量与自变量之间存在线性关系。对于一些非线性的数据,线性回归...
在机器学习领域,单一模型往往难以在所有场景下都达到最佳效果。因此,集成学习(Ensemble Learning) 通过组合多个弱学习器(单个模型)来构建更强大模型,提高预测性能和泛化能力。它的核心思想是集众之智,让多个模...
模型量化是指将神经网络模型中的权重和激活值(输入和输出)从高精度的浮点数(例如 32 位浮点数)转换为低精度的整数(如 8 位整数)或更低位数的表示方式。通过这种方式,减少模型的存储需求和计算量。 量化的核心思想是将浮点...
特征缩放(Feature Scaling)是机器学习中对特征进行归一化或标准化处理的技术,主要作用体现在多个方面。首先,它可以提高梯度下降的收敛速度。在梯度下降优化过程中,如果不同特征的取值范围相差较大,某些特征的梯度变...
BLEU(Bilingual Evaluation Understudy)是用于评价机器翻译、文本摘要结果的评价指标,其得分值在 [0, 1],越接近 1 生成的文本的质量越高。 Paper:https://aclant...
AlexNet 是 2012 年 ImageNet 竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。AlexNet 把CNN 的基本原理应用到了很深很宽的网络中。主要使用到的新技术点如下...
nn.Identity 是 PyTorch 中的一个层,它的作用是不做任何改变地传递输入数据。它在前向传播时会返回输入数据本身,而不对其进行任何处理或变换。 这样的一个实现,在大多数人看来似乎没有什么用,我根据自己的使用...
Bert + CRF 的技术组合是目前非常常见的解决 NER 问题的架构,由 Bert 的多头自注意力机制,让模型建立起 Token 之间的关系,并给出第一阶段的 BIO 标签预测,由于在这一阶段中,我们并没有要求模型去...
相对位置编码(RPE)是一种用于替代绝对位置编码(Absolute Positional Encoding, APE)的技术。我们知道 Transformer 模型本身是基于自注意力机制(Self-Attention)的...
word2vec 是基于浅层神经网络的词向量工具,接下来介绍下该工具的安装与使用。 1. word2vec 工具安装 官网地址:Google Code Archive – Long-term storage ...
在机器学习中,K 近邻算法(KNN)是一种经典的监督学习方法,用于分类和回归问题。尽管它是一个简单的算法,但在许多实际应用中,它依然表现出色。尤其是在以下几个场景: 1. 算法原理 KNN 是一种懒学习(Lazy Lea...