信息增益会倾向于选择特征值种类较多的特征,而信息增益率则不同。信息增益率的思想就是惩罚那些取值种类多的特征,也可以简单理解为,其更偏向于选择取值种类相对较少的特征。那么,信息增益率是如何惩罚取值种类多的特征呢?其实就是让...
随机森林是 Bagging 的思想的一种实现,它使用决策树作为基础学习器。 随机森林概述 包外估计 scikit-learn API 1. 随机森林概述 在关于随机森林的原始论文中,随机森林错误率取决于两个因素: 随机森...
BLEU(Bilingual Evaluation Understudy)是用于评价机器翻译、文本摘要结果的评价指标,其得分值在 [0, 1],越接近 1 生成的文本的质量越高。 Paper:https://aclant...
AlexNet 是 2012 年 ImageNet 竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。AlexNet 把CNN 的基本原理应用到了很深很宽的网络中。主要使用到的新技术点如下...
nn.Identity 在一些编码中会看到,它的实现代码非常简单,仅仅是将输入的内容原封不动的输出。请看它在 PyTorch 中的实现代码: 其使用的时候,我们一般按照下面的方式使用: 程序输出结果: 从程序的执行结果,...
Bert + CRF 的技术组合是目前非常常见的解决 NER 问题的架构,由 Bert 的多头自注意力机制,让模型建立起 Token 之间的关系,并给出第一阶段的 BIO 标签预测,由于在这一阶段中,我们并没有要求模型去...
word2vec 是基于浅层神经网络的词向量工具,接下来介绍下该工具的安装与使用。 1. word2vec 工具安装 官网地址:Google Code Archive – Long-term storage ...
对于分类问题,GBDT 回归和分类一样,都可以使用不同的损失函数。对于二分类问题,最常用的是对数似然损失函数,损失函数公式如下: 表示样本的真实类别(1表示正例、0表示负例) F(x) 表示强学习器对样本的预测值 损失值...
K-近邻算法(K-Nearst Neighbor)基本是机器学习过程中接触的第一个算法。接下来,我们从以下几个方面来讲解下该算法: K-近邻算法实现思路 K-近邻算法基本要素 sklearn 代码实现 1. K-近邻算法...
Top-K 和 Top-P(也称为 Nucleus Sampling)是文本生成过程中常用的采样策略,它们的目标是通过影响采样词汇的范围来提高生成的质量和多样性。它们的主要区别在于如何确定候选词的范围。 1. Top-K...
马尔科夫链即为状态空间中从一个状态到另一个状态转换的随机过程,并且当前状态只与上一个状态有关,即:上一个事件的发生可以影响到下一个事件的发生概率。 1. HMM 模型 隐马尔科夫模型用于解决序列预测问题。 HMM 特征:...
在做检索时,我们可以通过关键字召回可能的结果。这里就是两个简单的方法: 基于 Inverted Index 进行召回 基于 TF-IDF 进行召回 1. 基于 Inverted Index 进行召回 这个思路较为简单,比...