CCL语料库统计信息说明

2026-04-16

本文档对 2026 版 CCL 语料库的规模、结构与分布情况作简要说明。用户若需要获得更详细的关于 CCL 语料库的信息，可以查看或下载文档中章节后附的相关文档。

注意：如果把检索结果的数量作为研究中的关键数据，请谨慎核实。

目录

CCL2026版语料库概况

1 现代汉语语料

现代汉语语料分为以下三个子库（子库是用户单次检索语料的最大范围）：

1. 通用语料：来源广泛，覆盖19世纪70年代至今的各个时期和多种文体。该子库标注了生成时间和文体类型。
2. 专项语料：来源于特定文本集合，目前收录学术中文语料(Corpus of Written Academic Chinese，语料文件路径中记为CWAC)一类。
3. 网络语料：来源于互联网文本，经抽样及清洗处理形成，目前收录由北京智源人工智能研究院（智源研究院）构建的WuDaoCorpora语料(语料文件路径记为BAAI-Wudao)一类。关于BAAI-Wudao语料的更多信息，用户可以查阅对WuDaoCorpora-Text的介绍。

1.1 字符规模统计

现代汉语语料各子库的字符数量（单位：字符）如表1所示。

1.2 字符类型分布

现代汉语语料中不同字符类型的数量及比例如表2所示。

下述结果统计了每种字符在现代汉语语料中的出现频次。

1.3 分时代与文体分布

通用语料子库中，不同年代和文体类型下的字符分布情况（单位：字符）如表3所示。

1.4 语料查重

现代汉语语料主要来源于互联网，因此存在一定程度的重复与少量异常字符。处理过程中采用以行为单位的哈希查重方法：即对每一行文本计算哈希值，并将哈希值相同的文本行视为重复行。计算重复行数量及重复率时，忽略文本长度小于50的行，避免误判。

重复情况分为两类：文件内部重复（intra-corpus-duplication）和文件间重复（inter-corpus-duplication）。为提高语料质量，在查重后，对于内部重复率高于 10% 或外部重复率高于 60% 的语料文件，去除其中的重复行，并同步清理明显异常字符。之后，对于其他重复率较高的语料进行人工干预，得到去重后的最终语料。

由于语料来源复杂、规模较大，当前语料中仍可能存在少量重复，相关统计结果供使用者参考。

2 古代汉语语料

古代汉语语料包括以下四个子库：

1. 断代语料：覆盖历朝历代文本的语料。该子库标注了朝代信息。
2. 大型丛书：包括《十三经注疏》（经部）、《二十五史》（史部）和《诸子百家》（子部）三类经典文献。
3. 佛道典籍：包括《道藏》与《大藏经》中的文献。
4. 四库全书：来源于《四库全书》的语料。该子库标注了朝代信息。

2.1 字符规模统计

古代汉语语料各子库的字符数量（单位：字符）如表4所示。

2.2 字符类型分布

列示古代汉语语料中不同字符类型的数量及占比如表5所示。

2.3 分时代分布

古代汉语中的断代语料和四库全书语料均覆盖先秦至清代文本。断代语料中各朝代的语料数量如表6所示。

四库全书语料中各朝代的语料数量如表7所示。

2.4 语料查重

古代汉语语料同样进行了自动查重和异常字符清理，清理流程与现代汉语一致。

考虑到古代文献来源复杂、版本差异较大，部分文本之间仍可能存在少量重复。相关统计结果供使用者参考。

3 汉英双语语料

汉英双语语料包含已完成句对齐的汉语与英语文本。其规模与语料类型分布可通过下列链接查看。

4 汉语中介语语料

汉语中介语语料收录非汉语母语学习者产出的汉语文本及其订正版本。其中16.83%的修改是由人类专家完成的，83.17%的修改是由大语言模型（Deepseek）完成的。

表8列示汉语中介语语料的字符数量（单位：字符）。

汉语中介语语料库的规模与详细分布情况可通过下列链接查看。