一亩三分地LLaMA-Factory 是一个开源的大规模语言模型（LLM）训练与微调框架，它能够简化大型语言模型的微调过程，使用户能够在无需编写代码的情况下，对多种预训练模型进行定制化训练和优化。 预训练模型：https://hu...
在 Transformer 模型中，输入的词向量是没有顺序信息的，比如：我爱你 和 你爱我 两个含义不同句子，在注意力计算时，每个 Token 的表示是相同的，即：模型理解这两个句子的含义是相同的，这就很不合理。所以需要...
pickle 是 Python 中用于序列化和反序列化对象的模块。序列化是将对象转换为字节流的过程，反序列化是将字节流还原为对象的过程。它常被用来： 但是，使用 Pickle 存在是一个严重的安全风险。具体来讲，在反序列...
在 Python 中，不可序列化对象 指的是无法直接使用 pickle 等序列化模块转换为可存储或传输格式的对象。常见的不可序列化对象包括： 下面，我们介绍两种方法来处理包含这些不可序列化对象的序列化和反序列化方法。 1...
变分自编码器（VAE）是一种深度生成模型。它主要由 编码器（Encoder） 和 解码器（Decoder） 两部分组成： 1. 基本思想 假设模型想要知道如何生成一张图像，首先得知道该图像的分布，例如：图像由 4 个像素...
在自然语言处理（NLP）里，中英翻译是个常见的任务。但中文和英文在 语法、词序、表达方式 上差别很大，所以想要让机器做好翻译并不容易。不过，随着大模型技术的发展，这个难题已经比以前简单了很多。 现在，我们可以利用 mT5...
对联是中国传统文化中的一项独特艺术形式，它不仅要求上下句字数相同，还要对仗工整、意义相对。随着人工智能和自然语言处理技术的进步，如何让机器自动生成符合对联规律的文本，变得越来越有趣也越来越可行。接下来，我们将一起探讨如何...
GPT-2（Generative Pre-trained Transformer 2）是 OpenAI 开发的一种基于 Transformer 结构的自回归语言模型。它以无监督学习的方式在大规模文本数据上进行训练，能够生...
近年来，随着大型语言模型（LLM）的发展，基于文本语义的图像检索技术取得了显著进步。这些模型通过理解复杂的自然语言描述，能够更准确地捕捉文本的语义，从而提高检索的精度和效率。 基于文本语义的图像检索是一种利用自然语言描述...
Zero-Shot Learning（零样本学习，ZSL） 是机器学习中的一种技术，指的是模型在没有见过某些类别的训练数据的情况下，仍然能够对这些新类别进行正确的预测。这种能力使得模型能够泛化到未见类别，减少对标注数据的...
对抗生成网络（Generative Adversarial Network）是一种深度学习模型，它通过两个神经网络生成器（Generator）和判别器（Discriminator）之间的对抗过程进行训练。通过这种对抗过程...
本文将从零开始，详细讲解如何使用递归神经网络（RNN/GRU/LSTM）实现文本情感分类。我们将基于 PyTorch 从头构建一个模型，并应用于情感分析任务。内容涵盖数据预处理、构建词汇表、分词器、模型搭建与训练，最终完...
直接微调（全量微调）会更新模型的所有参数，根据特定数据集对模型的权重进行全面优化。这种方式能够充分利用模型的全部参数来适应新任务，理论上可以获得最佳性能，但需要大量的计算资源和时间。 LoRA（Low-Rank Adap...
Qwen2.5-0.5B-Instruct 是阿里云 Qwen 团队开发的 Qwen2.5 系列语言模型中的一个指令微调模型，参数规模为 0.5B，类型为因果语言模型，经过了预训练（Pretraining）和后续训练（P...
冀公网安备13050302001966号
最新评论