你将学会
- 理解 word2vec 两种训练任务的网络结构
- 理解低维稠密向量在语义计算上的优势
- 认识 OOV、多义词、词序缺失等固有局限
- 建立神经词嵌入与分布式表示的认知基础
手机阅读
本课程通过滑动窗口构造样本,讲解word2vec的Skip-Gram与CBOW结构,解决词袋高维稀疏难表语义,帮助建立词向量认知。
讲解一种把每个词映射成固定长度向量的经典模型,说明这样做为何能让词语之间的语义相似性变成可以定量计算的数值关系。文章介绍了它通过两种不同的预测任务来训练向量的思路,并剖析输入、投影和输出三层结构各自承担的职责,指出语义相近的词会落到向量空间中相邻的位置。读完可理解词嵌入为何有效,为阅读后续自然语言处理模型打下原理基础。