构建决策树时，需要根据训练数据计算所有特征的最佳分裂点，来实现分类决策树构建。在 scikit-learn 的分类决策树实现中，主要用到了两种方法： 接下来，我们就要去学习和掌握这两种分裂增益原理和计...
在构建回归决策树时，我们需要找到最优的分裂点，以最小化子集的均方误差。回归决策树也有自己的一些分裂准则，我们将详细探讨这些分裂准则的计算方法，并介绍如何应用它们来构建回归决策树。 回归决策树（Deci...
过拟合（Overfitting）是指模型在训练数据上表现得很好，但在未见过的测试数据上表现较差的现象。无论是传统机器学习算法、还是深度学习算法都会出现过拟合问题。 1. 过拟合方法 我们前面构建的分类...
Scikit-Learn（sklearn）是一个用于机器学习的Python库，其中包含了大量用于分类、回归、聚类和其他机器学习任务的算法和工具。在sklearn中，决策树是其中的一个常用算法。下面，将...
Word2Vec 是 Google 在 2013 年推出的一种用于生成词向量的模型，它通过无监督学习的方式从大量文本数据中学习单词的语义关系。即：通过训练一个浅层的神经网络模型来学习如何将每个词转换为...
SoftMax 函数是深度学习和机器学习中一个非常重要的概念，主要用于处理多分类问题。Softmax 函数能够将一个实数向量映射为一个概率分布，使得输出向量的所有元素都在 0 到 1 之间，并且它们的...
聚类（Clustering）指的是将一组数据点按照某种规则或者方法分成多个组或簇，使得同一组内的数据点在某种意义上更相似，而不同组之间的数据点相对较不相似。 聚类时，可以基于数据分布、基于数据密度、基...
Product Quantization 是一种有效的近似最近邻搜索方法，具有较高的搜索效率和较低的内存消耗。该方法已被广泛应用于图像检索、文本检索和机器学习等领域。 PQ 将高维数据点分成多个子空间...
随机森林（Random Forest）是一种基于集成学习思想的监督学习算法，广泛用于分类和回归任务。随机森林在很多不同的领域表现出色，如金融市场预测、客户流失预测、医疗诊断等。它不仅在结构化数据集上表...
随机森林（Random Forest）能够用于分类和回归任务。通过两个应用案例来学习如何使用随机森林来解决分类和回归问题，以及算法的基本原理。 1. 算法使用 2. 基本原理 随机森林通过构建多个决策...
对于随机森林算法而言，预测过程非常简单，易于理解。理解的重点是其如何训练多个基学习器来构建强学习器。 1. 有放回采样 随机森林基于原始训练集通过有放回的采样（Bootstrap Sampling）产...
scikit-learn 提供了 RandomForestClassifier 和 RandomForestRegressor 两个随机森林的实现，用于分类和回归任务。为了能够更好的使用随机森林，我们...
Complement Naive Bayes (CNB) 是对多项式朴素贝叶斯 (Multinomial Naive Bayes, MNB) 的一种改进。它主要针对多项式朴素贝叶斯在处理类别不平衡问题...
前置要求：了解 Word2Vec 中的 Skip-Gram 和 CBOW 模型，以及负采样、层次 SoftMax 知识。 FastText 在 2016 年发布时，是当时最先进的词嵌入模型之一。 它具...
词向量就是将自然语言中的词使用数值向量表示，例如我们将每个词使用 5 维向量表示： 词向量可以是任意的维度，32、64、512、768、1024… 等等。将文本表示为数值向量之后，就可以使...
冀公网安备13050302001966号