Dataset Card for MNBVC

Table of Contents

• Dataset Card for MNBVC
  • Table of Contents
  • Dataset Description
    • 数据集介绍
  • 数据子集
  • 数据格式
    • 文本数据
    • 问答数据
    • Contributions

Dataset Description

• Homepage: http://mnbvc.253874.net/
• Repository: https://github.com/esbatmop/MNBVC
• Paper: N/A
• Leaderboard: N/A
• Point of Contact: N/A

数据集介绍

中文互联网上最古老最神秘(没有之一)的MOP里屋社区于2023.1.1庄重宣布:

在英明神武的猫扑管子带领下，决心发挥社区所长(哪都长)，帮助开源社区长期更新一份最大的中文互联网语料集。

Huggingface上的MNBVC数据集在逐渐更新中，请到https://github.com/esbatmop/MNBVC 获取未完成清洗的更多数据。

可以使用如下脚本加载：

from datasets import load_dataset
# 对应语料数据加载
# 请参考： 下面表格中的标签字段字段内容
# 如：序号1，arXiv文献的文本。，标签字典：academic_paper 
dataset_arxiv = load_dataset("liwu/MNBVC", 'academic_paper', split='train', streaming=True)
# 如：序号38，法律判决书文本，标签字典：law_judgement  
dataset_law_judgement = load_dataset("liwu/MNBVC", 'law_judgement', split='train', streaming=True)

next(iter(dataset))  # get the first line

数据子集

MNBVC数据集包含数个子集：

数据格式

目前MNBVC数据集包含如下几类数据：

• 通用文本
• 问答语料
• 代码语料
• 多轮对话
• 论坛语料
• 平行语料

可以在MNBVC的wiki页面上查看这几类数据的具体格式。

项目早期所上传的数据使用如下格式，以后这一格式会被废弃，相应数据也会重新上传：

{
    "text": datasets.Value("string"),
    "meta": datasets.Value("string")
}

Contributions

Thanks to the Liwu community for constructing this dataset. Thanks to silver 、 jiaming and Mark Leung for adding and uploading this dataset to Huggingface.

Citation

Please cite the repo if you use the data or code in this repo.

@misc{mnbvc,
  author = {{MOP-LIWU Community} and {MNBVC Team}},
  title = {MNBVC: Massive Never-ending BT Vast Chinese corpus},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/esbatmop/MNBVC}},
}