【资料图】
继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”（以下简称“语料数据联盟”），上海人工智能实验室（上海AI实验室）8月14日宣布，联合语料数据联盟成员单位共同开源发布“书生·万卷” 1.0多模态预训练语料。
澎湃新闻记者从上海市经信委获悉，“书生·万卷” 1.0目前包含文本数据集、图文数据集、视频数据集三部分，本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本、2200万个图文交错文档、1000个节目影像视频，将为学术界及产业界提供高质量大模型多模态预训练语料。
其中，文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料，数据总量超过5亿个文档，数据大小超过1TB，覆盖科技、文学、媒体、教育、法律等多个领域。（澎湃新闻记者 俞凯）
关键词：
上一篇：上海一药业公司给医生2.4万元“劳务费”“讲课费”，被罚90万元
下一篇：最后一页
继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”更多
2023-08-14 21:11:01
根据上海市市场监管局公开的行政处罚信息，卫材（中国）药业有限公司上更多
2023-08-14 21:03:24
卫宁健康8月14日公告，此前公司实际控制人、董事长周炜因涉嫌行贿被茂更多
2023-08-14 21:05:58
品玩8月14日讯，据上证报报道，继今年7月在2023世界人工智能大会发起成更多
2023-08-14 20:00:36
近期，虹口区绿化市容局完成了梧州路公厕和奎照路公厕的大修，两座公厕更多
2023-08-14 20:05:34
新民晚报讯（通讯员王佳欢记者屠瑜）夏日炎炎施工忙，修缮工程不松劲。更多
2023-08-14 20:05:25
2023上海书展·广西师大出版社展位志愿者名单来啦~感谢各位书友们对师更多
2023-08-14 19:59:30
近日，崇明警方在警银联动机制下成功劝阻一起投资理财类电信网络诈骗案更多
2023-08-14 20:09:56
15分钟能做什么？去绿道散散步，陪孩子看一集动画片，迎着朝阳去吃个早更多
2023-08-14 19:05:51
上海中心气象台2023年08月14日18时05分发布雷电黄色预警信号：预计未来更多
2023-08-14 19:14:04
48小时点击排行
10天超2500万玩家 《守望先
股民提问中航西飞：新舟60灭
汽车按揭计算用什么方法（车
美国返校季消费将创历史新高
特斯拉：已在中国建立数据中
猛士917将于成都车展上市
增资扩股流程是什么（增资扩
