岭回归、Lasoo 回归可以理解为改良版的线性回归。本文主要概述下这两种回归的特点,以及其 scikit-learn 接口的使用: 岭回归 Lasso 回归 1. 岭回归 岭回归,...
LR、SVM、DT 等都是单个学习器的机器学习方法,而集成学习方法则不同,它并不是单个学习器,而是一个集成了多个 learner 的学习框架。 集成学习概念 Bagging Boo...
特征缩放(Feature Scaling)是将不同特征的值量化到同一区间的方法。 实现特征缩放有多种方法,下面介绍两种常用的方法:归一化和标准化: 特征缩放原因 特征缩放方法 1....
信息增益会倾向于选择特征值种类较多的特征,而信息增益率则不同。信息增益率的思想就是惩罚那些取值种类多的特征,也可以简单理解为,其更偏向于选择取值种类相对较少的特征。那么,信息增益率...
随机森林是 Bagging 的思想的一种实现,它使用决策树作为基础学习器。 随机森林概述 包外估计 scikit-learn API 1. 随机森林概述 在关于随机森林的原始论文中...
BLEU(Bilingual Evaluation Understudy)是用于评价机器翻译、文本摘要结果的评价指标,其得分值在 [0, 1],越接近 1 生成的文本的质量越高。 ...
AlexNet 是 2012 年 ImageNet 竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。AlexNet 把CNN 的基本原理应用到了很...
nn.Identity 在一些编码中会看到,它的实现代码非常简单,仅仅是将输入的内容原封不动的输出。请看它在 PyTorch 中的实现代码: 其使用的时候,我们一般按照下面的方式使...
Bert + CRF 的技术组合是目前非常常见的解决 NER 问题的架构,由 Bert 的多头自注意力机制,让模型建立起 Token 之间的关系,并给出第一阶段的 BIO 标签预测...
word2vec 是基于浅层神经网络的词向量工具,接下来介绍下该工具的安装与使用。 1. word2vec 工具安装 官网地址:Google Code Archive –...
对于分类问题,GBDT 回归和分类一样,都可以使用不同的损失函数。对于二分类问题,最常用的是对数似然损失函数,损失函数公式如下: 表示样本的真实类别(1表示正例、0表示负例) F(...
K-近邻算法(K-Nearst Neighbor)基本是机器学习过程中接触的第一个算法。接下来,我们从以下几个方面来讲解下该算法: K-近邻算法实现思路 K-近邻算法基本要素 sk...
马尔科夫链即为状态空间中从一个状态到另一个状态转换的随机过程,并且当前状态只与上一个状态有关,即:上一个事件的发生可以影响到下一个事件的发生概率。 1. HMM 模型 隐马尔科夫模...
在做检索时,我们可以通过关键字召回可能的结果。这里就是两个简单的方法: 基于 Inverted Index 进行召回 基于 TF-IDF 进行召回 1. 基于 Inverted I...
贝叶斯公式是概率论中的一个重要公式,它以18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)的名字命名。它用于计算在给定一些先验信息的情况下,估计某一事件的概率。 贝叶斯公...
基于 word2vec + kmeans 实现文本摘要的思路如下: 文本处理:对文本内容进行一些必须的预处理; 分割句子:将文档分割成多个子句; 句子编码:使用 word2vec ...
二进制向量之间的距离或相似度可以使用以下度量方法: Jaccard 距离 Hanming 距离 Tanimoto 距离 1. Jaccard 相似度 x ∪ y 表示 x 和 y ...