课程内容
我有话说
1/1 层次 Softmax(Hierarchical Softmax)
讲解多分类场景下一个常用的概率归一化函数,指出当类别数量很大时它带来的计算开销问题,并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手,逐步说明如何依据权重构建层级,并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练,适合学习语言模型或词向量训练原理的读者。
本课程经Softmax瓶颈分析与Huffman树推导,讲解层次Softmax加速原理,解决大词表计算过大,帮助理解概率优化思路。
讲解多分类场景下一个常用的概率归一化函数,指出当类别数量很大时它带来的计算开销问题,并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手,逐步说明如何依据权重构建层级,并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练,适合学习语言模型或词向量训练原理的读者。
本课程用示例讲解 std::async 异步与延迟任务,解决主线程阻塞等待耗时,帮助学习者用 future 取结果,提升并发能力。
本课程通过滑动窗口构造样本,讲解word2vec的Skip-Gram与CBOW结构,解决词袋高维稀疏难表语义,帮助建立词向量认知。
本课程通过深浅拷贝对比与拷贝协议,讲解 Python 对象拷贝底层机制,解决对象复制与循环引用拷贝,帮助学习者合理选择拷贝策略。