Qwen 7B 🤗 Hugging Face      🤖 ModelScope       📑 Paper    ｜   🖥️ Demo WeChat (微信)       Discord    ｜    API 介绍 (Introduction) 通义千问 7B（Qwen 7B） 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen 7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen 7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen 7B Chat。相较于最初开源的Qwen 7B模型，我们现已将预训练模型和Chat模型更新到效果更优的版本。本仓库为Qwen 7B预训练模型的仓库。 通义千问 7B（Qwen 7B）主要有以下特点： 1. 大规模高质量训练语料 ：使用超过2.4万亿tokens的数据进行预训练，包含高质量中、英、多语言、代码、数学等数据，涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。 2. 强大的性能 ：Qwen 7B在多个中英文下游评测任务上（涵盖常识推理、代码、数学、翻译等），效果显著超越现有的相近规模开源模型，甚至在部分指标上相比更大尺寸模型也有较强竞争力。具体评测结果请详见下文。 3. 覆盖更全面的词表 ：相比目前以中英词表为主的开源模型，Qwen 7B使用了约15万大小的词表。该词表对多语言更加友好，方便用户在不扩展词表的情况下对部分语种进行能力增强和扩展。 如果您想了解更多关于通义千问7B开源模型的细节，我们建议您参阅GitHub代码库。 Qwen 7B is the 7B parameter version of the large language model series, Qwen (abbr. Tongyi Qianwen), proposed by Alibaba Cloud. Qwen 7B is a Transformer based large language model, which is pretrained on a large volume of data, including web texts, books, codes, etc. Additionally, based on the pretrained Qwen 7B, we release Qwen 7B Chat, a large model based AI assistant, which is…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy