你将学会
- 掌握 TF-IDF 衡量词重要性的核心公式与直觉
- 理解对数平滑与逆文档频率平滑背后的原因
- 能独立完成文档向量化与关键词提取任务
- 能用于文档检索与特征工程的实际场景
- 建立文本数值化与词权重度量的基础认知
手机阅读
本课程通过TF/IDF推导与向量器拆解,讲解文本数值化与关键词权重,解决文档向量化与特征提取,帮助完成文本特征工程。
讲解文本处理里一种用来衡量一个词在文档中到底有多重要的经典加权方法。文章拆成两个视角:词在本文出现得多不多,以及它是不是在整个语料里都到处都是,后者越普遍则越要被降权。同时说明了平滑处理为何在实际工程中必不可少。面向做关键词抽取或文档向量化的读者,读完能明白该指标背后的直觉,也能看懂工具库里默认参数在做什么。