层次 Softmax(Hierarchical Softmax)

本课程经Softmax瓶颈分析与Huffman树推导,讲解层次Softmax加速原理,解决大词表计算过大,帮助理解概率优化思路。

阅读课件 观看视频
课程内容
我有话说

1/1 层次 Softmax(Hierarchical Softmax)

讲解多分类场景下一个常用的概率归一化函数,指出当类别数量很大时它带来的计算开销问题,并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手,逐步说明如何依据权重构建层级,并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练,适合学习语言模型或词向量训练原理的读者。

你可能感兴趣