决策树（Decision Tree）是一种直观且易于理解的机器学习算法，它可以处理分类和回归问题。 分类问题是一种离散型输出的预测任务，模型需要预测输入数据属于哪个类别，例如：垃圾邮件预测 回归问题是一种连续型输出的预测任务，模型需要预测一个连续值，例如：房价预测 课程学习目标： 分类决策树如何构建…
在学习决策树原理之前，我们先感性的了解下决策树的构建和推理过程、以及 API 的使用。 1. 分类决策树 分类决策树基于训练数据构建一个树状结构，每个节点代表一个特征，每个分支代表一个可能的答案，最终叶节点代表一个分类标签。 训练数据： 决策树构建： 其中，0 代表否，1 代表是。 决策树预测： 2…
构建决策树时，需要根据训练数据计算所有特征的最佳分裂点，来实现分类决策树构建。在 scikit-learn 的分类决策树实现中，主要用到了两种方法： 信息增益 基尼指数 接下来，我们就要去学习和掌握这两种分裂增益原理和计算方法，以及基于这两种方法构建决策树。 注意：决策树可以是多叉树、也可以是二叉树…
在构建回归决策树时，我们需要找到最优的分裂点，以最小化子集的均方误差。回归决策树也有自己的一些分裂准则，我们将详细探讨这些分裂准则的计算方法，并介绍如何应用它们来构建回归决策树。 回归决策树（Decision Tree Regression）是一种使用决策树进行回归分析的方法。与分类决策树不同，回归…
过拟合（Overfitting）是指模型在训练数据上表现得很好，但在未见过的测试数据上表现较差的现象。无论是传统机器学习算法、还是深度学习算法都会出现过拟合问题。 1. 过拟合方法 我们前面构建的分类或者回归决策树都是完全生长的决策树，这种决策树会基于训练数据尽可能的地分裂，直到每一个叶节点都只包含…
Scikit-Learn（sklearn）是一个用于机器学习的Python库，其中包含了大量用于分类、回归、聚类和其他机器学习任务的算法和工具。在sklearn中，决策树是其中的一个常用算法。下面，将会对决策树在 sklearn 中的 API 参数、属性、方法进行详细讲解。 1. 基本参数 crit…
冀公网安备13050302001966号