LangChain 是一个用于构建语言模型应用的强大框架,它支持将多个 链”(Chain)组合起来进行复杂的推理任务。所谓 链式调用,就是将多个处理步骤像流水线一样依次串联,每个步骤的输出作为下一个步骤的输入,这种模式非...
在构建基于大语言模型(LLM)的智能应用中,处理原始文档是非常关键的一步。LangChain 作为一个强大的框架,提供了一整套用于文档处理的工具链,帮助开发者更高效地将非结构化文本转化为模型可理解的结构化信息。整个文档处...
LLaMA-Factory 是一个开源的大规模语言模型(LLM)训练与微调框架,它能够简化大型语言模型的微调过程,使用户能够在无需编写代码的情况下,对多种预训练模型进行定制化训练和优化。 预训练模型:https://hu...
在 Transformer 模型中,输入的词向量是没有顺序信息的,比如:我爱你 和 你爱我 两个含义不同句子,在注意力计算时,每个 Token 的表示是相同的,即:模型理解这两个句子的含义是相同的,这就很不合理。所以需要...
变分自编码器(VAE)是一种深度生成模型。它主要由 编码器(Encoder) 和 解码器(Decoder) 两部分组成: 1. 基本思想 假设模型想要知道如何生成一张图像,首先得知道该图像的分布,例如:图像由 4 个像素...
在自然语言处理(NLP)里,中英翻译是个常见的任务。但中文和英文在 语法、词序、表达方式 上差别很大,所以想要让机器做好翻译并不容易。不过,随着大模型技术的发展,这个难题已经比以前简单了很多。 现在,我们可以利用 mT5...