CUTE Dataset CUTE (Chinese, Uyghur, Tibetan, English) 是一个大规模多语言数据集，专门设计用于增强低资源语言的跨语言知识迁移。数据集包含平行语料和非平行语料两部分，总规模约50GB。 数据集组成 平行语料 (24.70GB) 中文：2.62GB 英语：3.49GB 维吾尔语：7.37GB 藏语：11.22GB 非平行语料 (25.80GB) 中文：2.64GB 英语：3.49GB 维吾尔语：7.77GB 藏语：11.90GB 数据质量 数据集通过机器翻译生成，并经过人工评估验证： 中英翻译平均得分：9.1 中维翻译平均得分：8.5 中藏翻译平均得分：8.6 使用说明 ⚠️ 平行语料重要提醒 关于句对级对齐： 四种语言的txt文件行数略有不同（如论文Table 2所示） 这是由于机器翻译过程中偶现的翻译行数不一致导致的（例如：一行中文可能翻译成两行维吾尔语） 目前只能保证 文档级平行 ，无法实现严格的 句对级平行 数据特点： 四种语言的文档整体平行度达到 99.98% 句子顺序可能存在错乱，但不影响大语言模型预训练 适用于多语言预训练任务，而非句对级翻译任务 相关链接 📝 论文 🤖 模型 📂 GitHub 引用 如果您使用了我们的数据集，请引用我们的论文：
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy