程序员 · 老孟 
你将学会
- 理解类别众多时标准 Softmax 的计算瓶颈
- 掌握层次 Softmax 借二叉树结构降复杂度的原理
- 能推导路径概率连乘得到类别概率的过程
- 明确其适合大词表场景，区分标准 Softmax
手机阅读
手机阅读
本课程经Softmax瓶颈分析与Huffman树推导，讲解层次Softmax加速原理，解决大词表计算过大，帮助理解概率优化思路。
讲解多分类场景下一个常用的概率归一化函数，指出当类别数量很大时它带来的计算开销问题，并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手，逐步说明如何依据权重构建层级，并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练，适合学习语言模型或词向量训练原理的读者。
冀公网安备13050302001966号