上海AI实验室开源发布高质量语料“万卷CC”

2025-07-11 04:26:10 - 风点秀


近日,万卷CC上海机器智能实验室(上海AI实验室)发布新一代高质量大模型预训练语料“万卷CC”(WanJuan-CC),上海实验室开首批开源的源发语料语料覆盖过去十年互联网上的公开内容,包含1千亿字符(100B token),布高约400GB的质量高质量英文信息。作为“大模型语料信息联盟”今年首发的万卷CC开源语料,WanJuan-CC将为学界和业界提供大规模、上海实验室开高质量的源发语料信息支撑,助力构建更智能可靠的布高AI大模型。

预训练信息的质量质量对大模型整体性能至关关键。当前,万卷CCCommonCrawl(CC)信息集因其规模大、上海实验室开跨度广而成为国际主流大模型训练信息的源发语料关键来源。与此同时,布高其原始信息格式复杂、质量信息质量低等问题,或将导致模型训练效率低,甚至可能引发价值观对齐等方面的隐患。

中国科研人员通过原创的信息清洗工艺,从CC信息库中抽取约1300亿份原始信息文档进行再处理,“萃取”出其中约1.38%的高质量内容,构建成WanJuan-CC语料库。实验结果显示,WanJuanCC具有高文本质量、高信息密度的特点,可满足当前大模型训练对大规模高质量语料的需求。

上海AI实验室发布的书⽣·浦语2.0(InternLM2)即以WanJuan-CC为关键信息作支撑,使训练效率和语言建模能力大幅提升,综合性能领先开源社区。

开源信息:https://opendatalab.com/OpenDataLab/WanJuanCC


高质量语料驱动,效率性能双提升

近期,上海AI实验室发布了新一代大语言模型书⽣·浦语2.0(InternLM2)。回归语言建模本质,InternLM2综合性能达到同量级开源模型的领先水平。模型基座语言建模能力的提升,则得益于预训练文本质量及信息密度的增强。作为InternLM2的关键预训练语料,WanJuan-CC的文本质量和高信息密度经过了模型实际验证。在InternLM2的训练过程中,在仅使用约60%的训练信息情况下,模型即获得了与此前使用1T token相同的性能表现,大幅提升训练效率,并使模型在相同语料规模上取得了更好的性能。

 上海AI实验室开源发布高质量语料“万卷CC”

绿色曲线为InternLM2使用WanJuan-cc作为预训练语料,在不同信息规模上取得的任务性能分布,结果显示,WanJuan-CC可大幅提升模型训练效率

研究团队通过对CC原始信息进行清洗,去除了网页代码和重复内容,同时利用分类模型剔除了广告和质量较差的信息,并通过内容一致性、语法正确性、信息噪声和信息价值等四个维度,对语言的流畅性进行评估。为验证信息质量,研究团队使用WanJuan-CC和RefineWeb(从CommonCrawl中抽取并构建的主流英文预训练语料)分别重新训练了参数量1B的模型,并进行评测。结果显示,由WanJuan-CC作为训练信息的模型在多项验证中取得了更优效果。

 上海AI实验室开源发布高质量语料“万卷CC”

基于WanJuan-CC训练的1B模型在Pile验证集评测效果更优,这表明由WanJuan-CC训练的模型在不同领域和各类知识上拥有更强能力

 

四重处理, 百里挑一“萃取”高质量信息

为从浩如烟海的CC信息库中“精选”最可靠的信息,研究团队搭建了高性能分布式信息处理基础设施,通过启发式规则过滤、多层级信息去重、内容保障过滤、信息质量过滤等四个步骤,从原始信息中“萃取”出高质量信息,信息留存率仅为原信息的1.38%。


上海AI实验室开源发布高质量语料“万卷CC”

通过原创工艺,对CC原始信息进行多阶段处理,得到了高信息密度的WanJuan-CC

研究团队首先从CC中抽取了约1300亿份原始信息文档,然后基于高性能信息处理工作流得到2.2T token(35.8亿个文档)保障信息,最后,根据质量排序精选出1T token(3.6亿个文档)质量最高的信息,构建成WanJuan-CC。如以下柱状图所示,在WanJuan-CC构建过程中的每一阶段,均进行了大比例的信息去除。对于仅占原CC信息比例2.76%的保障信息,研究人员再次“筛”掉五成低质内容,最终呈现出“百里挑一”的高质量信息。

上海AI实验室开源发布高质量语料“万卷CC”

各清洗阶段的文档保留率和去除率(本图使用对数坐标轴)

 

信息质量高,模型更可靠

为推动训练更智能可靠的AI大模型,研究团队以保障信息保障性为前提,在信息处理的各环节均实施了多项保障加固措施,使WanJuan-CC成为目前开源CC语料中首个在毒性(Toxic)、色情(Porn)和个人隐私三方面同时进行了保障加固的英文语料,因而在价值对齐方面具有更高的可靠性。


上海AI实验室开源发布高质量语料“万卷CC”

与部分开源CC语料多维度对比,在毒性、色情和个人隐私等方面,WanJuan-CC均进行了保障加固

 研究人员分别对WanJuan-CC、Redpajama和Refineweb信息集进行了10万条信息的抽样,从毒性、侮辱、恐吓等7个维度进行评分,以验证各信息集的信息保障性。结果显示,WanJuan-CC在各维度上的体现出最高保障性。

上海AI实验室开源发布高质量语料“万卷CC”

WanJuan-CC与其他开源英文CC语料保障性对比

高质量、多模态、宽领域的信息已成为支持当前机器智能大模型增长的关键基石。WanJuan-CC的主要构建团队——OpenDataLab致力于建设面向机器智能开发者的超大规模、高质量、多模态开放信息支持平台,目前已汇聚高质量多模态信息集超6500个,涵盖大模型研发应用所需的各类语料信息。雷峰网(公众号:雷峰网)雷峰网雷峰网


下载更多开源语料,请登录大模型语料信息联盟开源信息支持指定平台:

https://opendatalab.com

雷峰网版权文章,未经授权禁止转载。详情见转载须知。

上海AI实验室开源发布高质量语料“万卷CC”

- END -

62

聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕

聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕

2024年3月28日至29日,“CAIR香港人工智能与机器人医疗论坛”在香港科学园举行。论坛由中国科学院香港创新研究院人工智能与机器人创新中心主办,聚焦人工智能与机器人在医疗领域的创新应用。来自全球的

商汤即将发布“日日新5.5”,现场将签约多项重磅合作

商汤即将发布“日日新5.5”,现场将签约多项重磅合作

商汤科技将发布“日日新5.5”,混合模态能力大幅提升据消息,2024年7月5日,在世界人工智能大会WAIC 2024)上,商汤科技在“大爱无疆·向新力”人工智能论坛将发布“日日新5.5”版本,全面升级

门板上做研究的首席科学家:Jeff Dean解密谷歌和Gemini背后的故事

门板上做研究的首席科学家:Jeff Dean解密谷歌和Gemini背后的故事

“最开始我就知道谷歌相当有希望,谷歌能发展到现在的规模不过是水到渠成。”这位谷歌首席科学家在谷歌度过了近乎一半的人生,对谷歌的喜爱不减反增,到现在还依然坚守着谷歌最初的愿景并为此奋斗:组织全球信息并使

“知乎AI先行者沙龙”深圳站:探航大模型应用新风口

“知乎AI先行者沙龙”深圳站:探航大模型应用新风口

7月14日,第三届“知乎AI先行者沙龙”在深圳举行。知乎邀请众多AI行业从业者、专家、学者齐聚一堂,用最前沿的观点和最专业的思考,共同探讨大模型应用的新风口。本届沙龙以“探航”为主题,知乎高级副总裁、

DALL·E 3 推理能力炸裂提升,OpenAI 抢跑「ChatGPT 原生」

DALL·E 3 推理能力炸裂提升,OpenAI 抢跑「ChatGPT 原生」

时隔一年半,OpenAI 直接玩了个大的,把文生图和 ChatGPT 做了结合,带着最新版本 DALL·E 3 来了。DALL·E 3 的巨大飞跃主要体现在两大方面。第一,只需要提示词,ChatGPT

AI 搜索向左,搜索 OG 向右

AI 搜索向左,搜索 OG 向右

作为 AI 世界的领头羊,OpenAI 发布的 SearchGPT 再次给 AI 搜索加了一把火。这把火原本由 Perplexity 引燃,在美国烧及 Google 和微软,在中国引发了百度、360

最受欢迎开源大模型,为什么是通义?

最受欢迎开源大模型,为什么是通义?

开源与闭源之争早已非新奇的话题,但毋庸置疑的是,开源极大地促进了大模型技术发展和生态繁荣。大模型被认为是最烧钱的技术,训练一个大模型往往需要大量的数据、计算资源,导致训练成本巨大,众所周知GPT-3的

港大马毅:现在的大模型只有「知识」,没有「智能」

港大马毅:现在的大模型只有「知识」,没有「智能」

导语:知识与智能是两个概念。访谈 | 陈彩娴撰文丨马蕊蕾编辑丨陈彩娴当多数人将 Scaling Law规模定律)作为信仰并投身其中时,马毅却选择了一条少有人走的路。「模型无所谓大小,我们说正确的模型,

日本首相石破茂:赌上国运战斗,不能被美国看扁

日本首相石破茂:赌上国运战斗,不能被美国看扁

据环球网援引日本共同社报道,日本首相石破茂9日在为自民党参议院选举候选人拉票时,在街头演讲中谈到日美关税谈判。石破茂向日本民众表示,关税谈判“是场赌上国家利益的战斗,怎么能忍受被对方看扁。”石破茂9日

硅基向左,潞晨向右

硅基向左,潞晨向右

如果将大模型应用开发比做“淘金”,那么构建大模型基座所必需的算力和工具体系,则是不可或缺的“铲子”。俗话说,淘金先富卖铲人,谁都想在这场 AI 浪潮中“分一杯羹”,不光巨头在争当“卖铲人”,也有不少创

Viggle 获 a16z 领投 1900 万美元;华为启动 AI 百校计划,解决高校算力问题;字节成立大模型研究院丨AI情报局

Viggle 获 a16z 领投 1900 万美元;华为启动 AI 百校计划,解决高校算力问题;字节成立大模型研究院丨AI情报局

今日融资快报AI视频生成公司 Viggle 获1900万美元投资,a16z领投Viggle 已完成由 Andreessen Horowitz 领投的 1900 万美元 A 轮融资,Two Small

AI 编程新星 Anysphere 获 A16z 估值 4 亿美元投资;微软为 Excel 等研发新 AI 模型丨AI情报局

AI 编程新星 Anysphere 获 A16z 估值 4 亿美元投资;微软为 Excel 等研发新 AI 模型丨AI情报局

今日融资快报AI编程Anysphere获得A16z新一轮投资,估值达4亿美元AI 编程初创公司 Anysphere 发布AI代码编辑器 Cursor,并成功从知名风险投资公司 A16z 获得新一轮融资