在机器学习中,单棵决策树的结构太简单会因无法捕捉数据复杂规律导致欠拟合,增加树的复杂度,过度贴合训练数据,又会因记忆噪声陷入过拟合,泛化能力骤降。显然,单一模型很难同时兼顾 “精准拟合” 与 “稳健泛...
GBDT 是一种强大的集成学习方法,广泛用于分类和回归问题。它属于提升(Boosting)算法的一种,通过多个弱学习器(通常是决策树)结合起来提高模型的准确性。 1. 二分类 对于 GBDT 应用到二...
梯度提升树(GBDT,Gradient Boosting Decision Tree)回归是一种集成学习方法,它通过逐步构建多个决策树来优化预测结果,尤其适用于回归问题。GBDT 通过“加法模型”逐步...
在数据分析中,K-means 聚类是一种非常常用的聚类方法。它的核心思想是:将相似的数据点归为同一簇,并为每个簇计算一个质心,然后把每个点分配到距离最近的质心所属簇中。 这种方法简单高效,但也存在一些...
词袋模型(Bag-of-Words,BoW)是一种表示和处理文本数据的模型或框架,它提供了一种简单的思想,使得我们能够实现文本转换为数值形式,以便进行进一步的分析,例如:进行新闻分类、文档检索、情感分...
Qwen2.5-0.5B-Instruct 是阿里云 Qwen 团队开发的 Qwen2.5 系列语言模型中的一个指令微调模型,参数规模为 0.5B,类型为因果语言模型,经过了预训练(Pretraini...
LLaMA-Factory 是一个开源的大规模语言模型(LLM)训练与微调框架,它能够简化大型语言模型的微调过程,使用户能够在无需编写代码的情况下,对多种预训练模型进行定制化训练和优化。 预训练模型:...
在传统的文本分类任务中,我们通常依赖监督学习方法,比如朴素贝叶斯、支持向量机,或者 BERT 这样的深度学习模型。但这些方法存在三个关键限制: 这种传统方法的不足之处: 简言之:基于传统的方法,一旦标...
Ollama 是一个开源的人工智能平台,它主要用于提供强大的 AI 模型接口,并帮助开发者和团队快速构建、集成和管理 AI 应用。Ollama 通过提供本地化的 AI 模型,可以帮助用户在不依赖外部 ...
线性判别分析(Linear Discriminant Analysis,简称 LDA)是一种经典的统计学方法,主要用于 特征降维 和 分类问题。 它的核心思想是:寻找一个最佳的线性投影,使得投影后的数...
主成分分析(PCA,Principal Component Analysis)是一种常用的数据降维技术。数据降维是指将高维数据转换为低维数据的过程,同时尽可能保留原始数据的重要信息。通过降维可以: 1...
高斯混合模型(Gaussian Mixture Model,GMM)是一种基于概率的无监督学习模型,通过假设数据由多个高斯分布组成来进行数据建模,在机器学习、统计学和信号处理等领域有广泛的应用。 1....
在本节课程中,我们将探讨高斯混合模型(GMM)如何对新数据进行聚类。即:当我们输入一条新的数据时,模型会基于先前学习到的各个高斯分布的参数来估计该数据属于每个类别的概率。接下来,我们将详细了解这一过程...
GMM 假设数据是由多个高斯分布混合而成,接下来,我们将会探讨 GMM 是如何根据训练数据得到这些不同的高斯分布参数: 估计高斯混合模型的参数,我们并不知道数据属于哪个分布,这是典型的包含隐藏变量的参...