决策树 | 分类 + 回归 + 代价复杂度剪枝 | 原理 + 案例 + 用法

决策树 | 分类 + 回归 + 代价复杂度剪枝 | 原理 + 案例 + 用法 | 机器学习必备技能

已完结

课程简介

本课程围绕决策树算法展开，从基础准备到实战应用，系统讲解分类决策树、回归决策树的构建原理、分裂准则计算，以及过拟合问题的解决方法。结合 Win11+PyCharm 环境，手把手教学 sklearn 决策树 API 的使用，适合零基础入门，助你快速掌握从原理到代码的全流程技能。

章节目录

互动留言

1/6 《决策树》（一）准备工作

决策树（Decision Tree）是一种直观且易于理解的机器学习算法，它可以处理分类和回归问题。分类问题是一种离散型输出的预测任务，模型需要预测输入数据属于哪个类别，例如：垃圾邮件预测回归问题是一种连续型输出的预测任务，模型需要预测一个连续值，例如：房价预测课程学习目标：分类决策树如何构建回归决策树如何构建决策树过拟合方法决策树 API 使用授课环境：win11 + pychar... 查看完整内容

2/6 《决策树》（二）初识决策树

在学习决策树原理之前，我们先感性的了解下决策树的构建和推理过程、以及 API 的使用。 1. 分类决策树分类决策树基于训练数据构建一个树状结构，每个节点代表一个特征，每个分支代表一个可能的答案，最终叶节点代表一个分类标签。训练数据：决策树构建：其中，0 代表否，1 代表是。决策树预测： 2. 回归决策树回归决策树基于训练数据构建一个树状结构，每个节点代表一个特征，每个分支代表一个预测走... 查看完整内容

3/6 《决策树》（三）分类决策树

构建决策树时，需要根据训练数据计算所有特征的最佳分裂点，来实现分类决策树构建。在 scikit-learn 的分类决策树实现中，主要用到了两种方法：信息增益基尼指数接下来，我们就要去学习和掌握这两种分裂增益原理和计算方法，以及基于这两种方法构建决策树。注意：决策树可以是多叉树、也可以是二叉树，在实际应用时，我们一般都是构建的二叉树结构。 1. 信息增益信息增益是基于熵的分裂增益计算方法。... 查看完整内容

4/6 《决策树》（四）回归决策树

在构建回归决策树时，我们需要找到最优的分裂点，以最小化子集的均方误差。回归决策树也有自己的一些分裂准则，我们将详细探讨这些分裂准则的计算方法，并介绍如何应用它们来构建回归决策树。回归决策树（Decision Tree Regression）是一种使用决策树进行回归分析的方法。与分类决策树不同，回归决策树用于预测连续型的目标变量，而不是离散的类别。 1. 构建决策树我们使用 MSE（平均平方误差... 查看完整内容

5/6 《决策树》（五）过拟合问题

过拟合（Overfitting）是指模型在训练数据上表现得很好，但在未见过的测试数据上表现较差的现象。无论是传统机器学习算法、还是深度学习算法都会出现过拟合问题。 1. 过拟合方法我们前面构建的分类或者回归决策树都是完全生长的决策树，这种决策树会基于训练数据尽可能的地分裂，直到每一个叶节点都只包含同一类别的样本（对于分类问题）或者是一个纯净的回归值区域（对于回归问题）。不加以控制生长的决策树，... 查看完整内容

6/6 《决策树》（六）决策树 API

Scikit-Learn（sklearn）是一个用于机器学习的Python库，其中包含了大量用于分类、回归、聚类和其他机器学习任务的算法和工具。在sklearn中，决策树是其中的一个常用算法。下面，将会对决策树在 sklearn 中的 API 参数、属性、方法进行详细讲解。 1. 基本参数 criterion： gini：表示使用基尼不纯度来选择最佳划分。 entropy：表示使用信息增益来选择最... 查看完整内容