在构建基于大语言模型(LLM)的智能应用中,处理原始文档是非常关键的一步。LangChain 作为一个强大的框架,提供了一整套用于文档处理的工具链,帮助开发者更高效地将非结构化文本转化为模型可理解的结构化信息。整个文档处...
本案例使用 FastAPI 框架构建了一个简单的 员工管理系统,主要提供 添加、查询、修改、删除 员工信息的基本功能。数据存储使用 SQLite,并借助 SQLModel 进行 ORM 操作。整个系统采用 RESTful...
本教程介绍了 FastAPI 的基本使用,包括接口定义、数据模型、数据校验、依赖注入、中间件及接口文档。通过示例代码,展示了如何快速构建高性能 API 服务,适用于入门学习和实际开发。 GitHub:https://gi...
pickle 是 Python 中用于序列化和反序列化对象的模块。但是,Pickle 使用时会存在一个严重的安全风险,以执行存储在对象中的任意 Python 代码。
本课程将介绍 C++ 多线程编程中死锁的基本概念,以及 std::lock 的用法。通过std::lock,可以同时锁定多个互斥锁,避免因锁的顺序不一致而导致的死锁问题。课程将通过代码示例展示如何正确使用 std::lo...
LLaMA-Factory 是一个开源的大规模语言模型(LLM)训练与微调框架,它能够简化大型语言模型的微调过程,使用户能够在无需编写代码的情况下,对多种预训练模型进行定制化训练和优化。 预训练模型:https://hu...
在 Transformer 模型中,输入的词向量是没有顺序信息的,比如:我爱你 和 你爱我 两个含义不同句子,在注意力计算时,每个 Token 的表示是相同的,即:模型理解这两个句子的含义是相同的,这就很不合理。所以需要...
pickle 是 Python 中用于序列化和反序列化对象的模块。序列化是将对象转换为字节流的过程,反序列化是将字节流还原为对象的过程。它常被用来: 但是,使用 Pickle 存在是一个严重的安全风险。在反序列化时,Pi...
在 Python 中,不可序列化对象 指的是无法直接使用 pickle 等序列化模块转换为可存储或传输格式的对象。常见的不可序列化对象包括: 下面,我们介绍两种方法来处理包含这些不可序列化对象的序列化和反序列化方法。 1...
变分自编码器(VAE)是一种深度生成模型。它主要由 编码器(Encoder) 和 解码器(Decoder) 两部分组成: 1. 基本思想 假设模型想要知道如何生成一张图像,首先得知道该图像的分布,例如:图像由 4 个像素...
在自然语言处理(NLP)里,中英翻译是个常见的任务。但中文和英文在 语法、词序、表达方式 上差别很大,所以想要让机器做好翻译并不容易。不过,随着大模型技术的发展,这个难题已经比以前简单了很多。 现在,我们可以利用 mT5...
对联是中国传统文化中的一项独特艺术形式,它不仅要求上下句字数相同,还要对仗工整、意义相对。随着人工智能和自然语言处理技术的进步,如何让机器自动生成符合对联规律的文本,变得越来越有趣也越来越可行。接下来,我们将一起探讨如何...
GPT-2(Generative Pre-trained Transformer 2)是 OpenAI 开发的一种基于 Transformer 结构的自回归语言模型。它以无监督学习的方式在大规模文本数据上进行训练,能够生...