集成学习是一种通过组合多个弱学习器(如决策树、线性模型等),从而减少单一模型的偏差和方差,进而提高模型的泛化能力和整体模型性能的机器学习方法。 在集成学习中,弱学习器可以采用不同类型的模型,比如将支持向量机、神经网络和决...
特征缩放(Feature Scaling)是将不同特征的值量化到同一区间的方法。 实现特征缩放有多种方法,下面介绍两种常用的方法:归一化和标准化: 特征缩放原因 特征缩放方法 1. 特征缩放原因 我们的数据集中会包含很多...
信息增益会倾向于选择特征值种类较多的特征,而信息增益率则不同。信息增益率的思想就是惩罚那些取值种类多的特征,也可以简单理解为,其更偏向于选择取值种类相对较少的特征。那么,信息增益率是如何惩罚取值种类多的特征呢?其实就是让...
随机森林是 Bagging 的思想的一种实现,它使用决策树作为基础学习器。 随机森林概述 包外估计 scikit-learn API 1. 随机森林概述 在关于随机森林的原始论文中,随机森林错误率取决于两个因素: 随机森...
BLEU(Bilingual Evaluation Understudy)是用于评价机器翻译、文本摘要结果的评价指标,其得分值在 [0, 1],越接近 1 生成的文本的质量越高。 Paper:https://aclant...
AlexNet 是 2012 年 ImageNet 竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。AlexNet 把CNN 的基本原理应用到了很深很宽的网络中。主要使用到的新技术点如下...
nn.Identity 在一些编码中会看到,它的实现代码非常简单,仅仅是将输入的内容原封不动的输出。请看它在 PyTorch 中的实现代码: 其使用的时候,我们一般按照下面的方式使用: 程序输出结果: 从程序的执行结果,...
Bert + CRF 的技术组合是目前非常常见的解决 NER 问题的架构,由 Bert 的多头自注意力机制,让模型建立起 Token 之间的关系,并给出第一阶段的 BIO 标签预测,由于在这一阶段中,我们并没有要求模型去...
word2vec 是基于浅层神经网络的词向量工具,接下来介绍下该工具的安装与使用。 1. word2vec 工具安装 官网地址:Google Code Archive – Long-term storage ...
K-近邻算法(K-Nearst Neighbor)基本是机器学习过程中接触的第一个算法。接下来,我们从以下几个方面来讲解下该算法: K-近邻算法实现思路 K-近邻算法基本要素 sklearn 代码实现 1. K-近邻算法...
Top-K 和 Top-P(也称为 Nucleus Sampling)是文本生成过程中常用的采样策略,它们的目标是通过影响采样词汇的范围来提高生成的质量和多样性。它们的主要区别在于如何确定候选词的范围。 1. Top-K...
马尔科夫链即为状态空间中从一个状态到另一个状态转换的随机过程,并且当前状态只与上一个状态有关,即:上一个事件的发生可以影响到下一个事件的发生概率。 1. HMM 模型 隐马尔科夫模型用于解决序列预测问题。 HMM 特征:...