孟宝亮 的文章

课程内容《文本情感分析》（五）训练评估

机器学习回归决策树（Decision Tree Regression）

回归决策树（Decision Tree Regression）是一种使用决策树进行回归分析的方法。与分类决策树不同，回归决策树用于预测连续型的目标变量，而不是离散的类别。 1. 构建决策树 我们使用 MSE（平均平方误差...

机器学习基尼指数（Gini Index）

基尼指数是决策树算法中用于评估特征分裂质量的一个关键指标，分裂后子节点的基尼指数越低，表示子节点的纯净度越高。 1. 基尼不纯度 基尼不纯度（Gini impurity）是衡量变量不纯度的一个指标。基尼不纯度越高，表示数...

机器学习代价复杂度剪枝（Cost-Complexity Pruning）

在 scikit-learn 的决策树实现中，使用 CCP（Cost-Complexity Pruning）代价复杂度剪枝，用于避免过拟合并提高决策树的泛化能力。 1. 剪枝原理 决策树中包含了很多子树，一棵子树是否应该...

机器学习信息增益（Shannon Information Gain）

信息增益是决策树算法中用于特征选择的一个重要指标。在构建决策树时，我们需要确定哪个特征最能有效地分割数据，使得子节点的纯度最高。信息增益就是衡量这种分割能力的指标。 信息增益的计算基于信息熵（或熵）的概念。所以，我们需要...

最新课程Faiss 向量检索库

Faiss 是由 Facebook AI 团队开发的一个开源库，用于高效相似性搜索的库，特别适用于大规模向量数据集的存储与检索。

Linux C/C++C++ 调用 Python 对象

最新课程《FastText 工具使用》

FastText 在 2016 年发布时，是当时最先进的词嵌入模型之一。 它具有轻量、速度快等优点，因此被广泛用于各种自然语言处理任务，例如文本分类、情感分析、机器翻译等任务。

最新课程词嵌入 word2vec 模型

Word2Vec 是 Google 在 2013 年推出的一种用于生成词向量的模型，它通过无监督学习的方式从大量文本数据中学习单词的语义关系，从而能够实现对文本数据进行高效的表征。

课程内容《决策树》（一）准备工作

决策树（Decision Tree）是一种直观且易于理解的机器学习算法，它可以处理分类和回归问题。 课程学习目标： 授课环境：win11 + pycharm 2021.1.3 + python 3.8.19 1. 创建虚...

课程内容《决策树》（二）初识决策树

在学习决策树原理之前，我们先感性的了解下决策树的构建和推理过程、以及 API 的使用。 1. 分类决策树 分类决策树基于训练数据构建一个树状结构，每个节点代表一个特征，每个分支代表一个可能的答案，最终叶节点代表一个分类标...

最新课程层次 Softmax

层次 Softmax 是一种用于改进神经网络语言模型性能的技术，课程详细讲解了传统 softmax 的不足，以及层次 softmax 进行了哪些改进。

课程内容《决策树》（三）分类决策树

构建决策树时，需要根据训练数据计算所有特征的最佳分裂点，来实现分类决策树构建。在 scikit-learn 的分类决策树实现中，主要用到了两种方法： 接下来，我们就要去学习和掌握这两种分裂增益原理和计算方法，以及基于这两...

课程内容《决策树》（四）回归决策树

在构建回归决策树时，我们需要找到最优的分裂点，以最小化子集的均方误差。回归决策树也有自己的一些分裂准则，我们将详细探讨这些分裂准则的计算方法，并介绍如何应用它们来构建回归决策树。