PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算. 基本运算 阿达玛积 点积运算 指定运算...
张量的拼接操作在神经网络搭建过程中是非常常用的方法,例如: 在残差网络、注意力机制中都使用到了张量拼接。 torch.cat 函数的使用 torch.stack 函数的使用 1. ...
我们在使用 PyTorch 建网络模型时,网络层与层之间很多都是使用不同的 shape 进行运算,我们需要掌握对张量形状的操作,以便能够更好处理网络各层之间的数据连接。 resha...
在 20 世纪 50 年代,弗兰克·罗森布莱特(Frank Rosenblatt)提出了感知机算法,其最初的目的是教会计算机识别图像。感知机的基本思路是简单模型神经元细胞的的运行原...
本篇文章主要简单介绍下自注意力机制。 1. Self Attention 机制图示 计算过程如下: 先将输入 Token 进行词嵌入计算; 为每个输入 Token 分别初始化注意力...
下一个质心选取概率计算公式: 由计算结果,可以看到当以 6 为第一个质心时,1、2、3、4 被选择为下一个质心的概率更高,而 5、7、8 被选择为下一个质心的概率很低。 简言之:k...
TF-IDF(Term Frequency – Inverse Document Frequency)是一种用于信息检索与文本挖掘的常用技术。 通过 TF-IDF 我们...
梯度消失问题是深度神经网络训练中的一个常见问题,梯度消失会使得梯度值过小,甚至为 0,使得网络参数无法得到有效的更新。大白话理解的话,一个参数对应了一个特征,参数如果无法得到有效的...
在数据集较为复杂的场景下,数据集中容易出现一些异常数据、特征多重共线性问题,使得参数更新出现剧烈的震荡,难以快速收敛到最优解。 通过 L1 和 L2 正则化,一定程度上可以使得参数...
1. KD 树构建 KD 树的构建需要确定两个问题: 选择使用那个维度作为分裂点: 随机选择 顺序选择 方差最大的维度 确定以当前维度那个值作为分裂点: 中位数 注意:如果中位数对...
AdaBoost (Adaptive Boosting, 自适应提升)是 Boosting 算法的一种实现,是一种用于分类问题的算法,它用弱分类器的线性组合来构造强分类器。弱分类器...
我们知道 BN 通过对输入 mini batch 样本进行 normalization,能够加快网络收敛。但是,BN 不适合用在 RNN 网络。原因是:BN 是对同一个批次所有样本...
哈希表也叫做散列表,它通过 key 能够快速访问 value。 我们知道数组通过 key 去搜索元素效率比较低,但是通过位置来访问速度是非常快的。例如:你要搜索值为 5 的元素,那...
有时,躺在床上懒得起来,或者出门在外,忘记电脑关机,这时,我们希望能实现通过手机实现远程关机。这一节,给大家介绍一种简单的方案,只需要简单、少许编码就可以实现。 1. 实现思路 我...
BiEncoder 将句子 A 和 句子 B 分别输入 Bert 模型,得到两个句子向量,然后使用余弦相似度比较两个输入句子。而 CrossEncoder 则将句子 A 和 B 拼...
飞机大战是一种经典的 2D 射击游戏,通常初学者学习 Python 编程的一个很好的项目。通过这个课程帮助大家扎实 Python 基础知识和技能。 1. 效果展示 操作:W 前、S...
Fasttext 和 Word2vec 都是词向量模型,用于将输入文本转换为词向量表示,但是它们在模型结构、训练速度、OOV问题处理方面有些很大的不同: 模型结构不同:word2v...
std::function 是 C++11 标准库中的一个类模板,用于封装可调用对象(函数、函数指针、成员函数指针、Lambda 表达式等),并提供一种统一的方式来管理它们。 通过...