---
title: glue
canonical_url: "https://www.modelscope.ai/datasets/modelscope/glue"
md_url: "https://www.modelscope.ai/datasets/modelscope/glue.md"
repository: modelscope/glue
last_updated: 2025-12-20
license: CC-BY-4.0
storage_size: "68 KB"
domain:
  - text
tasks:
  - text-classification
language:
  - en
downloads: 130
stars: 0
---

# glue

> glue - An open-source dataset by modelscope on ModelScope. GLUE (the General Language Understanding Evaluation benchmark 官网：https://gluebenchmark.com) 是用于对英文自然语言理解任务进行训练、校验和测试的数据集。

modelscope/glue is a text-classification dataset on ModelScope. covering text. totalling 68 KB. licensed under CC-BY-4.0.

- **Repository**: modelscope/glue
- **License**: CC-BY-4.0
- **Tasks**: text-classification
- **Domain**: text
- **Storage size**: 68 KB
- **Downloads**: 130
- **Stars**: 0
- **Last updated**: 2025-12-20

Source: https://www.modelscope.ai/datasets/modelscope/glue

---

## 数据集简介

GLUE (the General Language Understanding Evaluation benchmark 官网：`https://gluebenchmark.com`) 是用于对英文自然语言理解任务进行训练、校验和测试的数据集。

本数据集合来自于[huggingface的数据集](https://huggingface.co/datasets/glue)，迁移目的是为了方便用户使用。

## 数据集加载方式
```python
from modelscope.msdatasets import MsDataset
# Load the cola dataset
train_datasets = MsDataset.load('glue', subset_name='cola', split='train')
eval_datasets = MsDataset.load('glue', subset_name='cola', split='validation')
```

### 支持的任务和榜单

GLUE的榜单可以查看[这里](https://gluebenchmark.com/)，它包含如下数据集：

#### ax

手动标注的校验数据集，可用于对广泛的语言系统进行细粒度评估。该数据集适用于自然语言理解中的推理（NLI）任务，可使用在MultiNLI上训练的模型来针对此数据集进行后续预测校验。

#### cola

CoLA数据集语料来自于语言理论有关的书籍和期刊，可用于英语句子是否合乎语法的训练检验，标签是0和1, 1表示合法，0则反之。

#### mnli

MNLI是一个自然语言推理任务数据集。其语料是众包方式对句子进行文本蕴含注释的集合。语料给定一个前提句子，并给定一个假设句子，任务内容是预测前提句子和假设句子是否是逻辑相容的（蕴含(entailment)， 矛盾(contradiction), 中立(neutral)）。前提句来自于十种不同的语料来源，包括转录的演讲、小说、官方报告等。

#### mnli_matched

训练集和测试集的语料来源一致的mnli数据集。

#### mnli_mismatched

训练集和测试集的语料来源不一致的mnli数据集。

#### mrpc

MRPC数据集是一个微软提供的语料来自于线上新闻，经过人工标注的双句语义相似度的数据集。

#### qnli

QNLI数据集来自于SQuAD数据集，后者是一个问答数据集，整个段落中的一句话包含了该问题的答案，模型要求将该答案句子从问题中预测出来。本数据集的作者过滤掉了上述问答句子之间词汇重叠较低的句子对，然后将该问答任务转换为双句分类任务，句子中的一个是问题，另一个是答案，本数据集预测两个句子是否存在问答逻辑。

#### qqp

QQP是一个来自于Quora语料的双句句子语义相似度任务的数据集。

#### rte

RTE数据集是一个自然语言推断任务，它是将RTE1、RTE2、RTE3、RTE5等多个年度文本蕴含挑战赛数据集整合而来的，其语料来源是新闻和百科。作者将原来的三分类转换为二分类任务，合并了中立和矛盾，并将标签设置为不蕴含。

#### sst2

SST2数据集来自于电影的评论信息，并人工标注了它们的情感倾向。该数据集用于做单句双标签的情感分析任务。

#### stsb

STSB是一个文本语义相似度数据集，语料来源是新闻、视频、图片标题等提取的句子对集合，并进行了人工标注。每个句子对标注了相似度得分（从1到5），因此可以用于回归任务也可以用于五分类任务。

#### wnli

WNLI是一个自然语言推断任务数据集。用该数据集测试的模型读入有代词的句子，并从一个列表中正确地选择出该代词指代的对象。这些句子是手动构建的，以避免简单统计方式对此任务的有效性：每个代词都取决于单个单词或短语提供的上下文信息。为了将该问题转换为双句分类问题，作者将原句中模棱两可的代词以每个可能的指代替换并构造双句，该任务需要预测这些代词被替换的句子是否被原句子蕴含。作者提供了一个小的测试集，其语料是原始数据集中私下共享的小说部分的一些新的示例。训练集的两个分类语料是均衡的，但测试集不是均衡的（65%的蕴含语料）。另外，验证集是对抗性的：'假设句子'有时候同时出现在训练和验证集中，因此一个模型如果记住了训练语料，它有可能在校验语料中预测出一个错误的标签。和QNLI相同，每个样例是单独评估的，因此模型在此任务的得分和原始任务的得分没有系统性对应关系。

### 语言

英文 (BCP-47 `en`)

## 数据集结构信息

### 数据集列表

#### ax

- **下载数据量:** 0.21 MB
- **最终数据集大小:** 0.23 MB
- **占用硬盘容量:** 0.44 MB

`test`数据集的样例如下：
```
{
  "premise": "The cat sat on the mat.",
  "hypothesis": "The cat did not sit on the mat.",
  "label": -1,
  "idx: 0
}
```

#### cola

- **下载数据量:** 0.36 MB
- **最终数据集大小:** 0.58 MB
- **占用硬盘容量:** 0.94 MB

`train`数据集的样例如下：
```
{
  "sentence": "Our friends won't buy this analysis, let alone the next one we propose.",
  "label": 1,
  "id": 0
}
```

#### mnli

- **下载数据量:** 298.29 MB
- **最终数据集大小:** 78.65 MB
- **占用硬盘容量:** 376.95 MB

`train`数据集的样例如下：
```
{
  "premise": "Conceptually cream skimming has two basic dimensions - product and geography.",
  "hypothesis": "Product and geography are what make cream skimming work.",
  "label": 1,
  "idx": 0
}
```

#### mnli_matched

- **下载数据量:** 298.29 MB
- **最终数据集大小:** 3.52 MB
- **占用硬盘容量:** 301.82 MB

`test`数据集的样例如下：
```
{
  "premise": "Hierbas, ans seco, ans dulce, and frigola are just a few names worth keeping a look-out for.",
  "hypothesis": "Hierbas is a name worth looking out for.",
  "label": -1,
  "idx": 0
}
```

#### mnli_mismatched

- **下载数据量:** 298.29 MB
- **最终数据集大小:** 3.73 MB
- **占用硬盘容量:** 302.02 MB

`test`数据集的样例如下：
```
{
  "premise": "What have you decided, what are you going to do?",
  "hypothesis": "So what's your decision?,
  "label": -1,
  "idx": 0
}
```

### 数据字段

**注意**： 以下的数据字段在单个数据集的各数据文件（train、validation等）是相同的。

#### ax
- `premise`: `string`类型的句子
- `hypothesis`: `string`类型的句子
- `label`: 分类任务的标签，值域包含 `entailment` (0), `neutral` (1), `contradiction` (2).
- `idx`: `int32`类型的值

#### cola
- `sentence`: `string`类型的句子
- `label`: 分类任务的标签，值域包含 `unacceptable` (0), `acceptable` (1).
- `idx`: `int32`类型的值

#### mnli
- `premise`: `string`类型的句子
- `hypothesis`: `string`类型的句子
- `label`: 分类任务的标签，值域包含 `entailment` (0), `neutral` (1), `contradiction` (2).
- `idx`: `int32`类型的值

#### mnli_matched
- `premise`: `string`类型的句子
- `hypothesis`: `string`类型的句子
- `label`: 分类任务的标签，值域包含 `entailment` (0), `neutral` (1), `contradiction` (2).
- `idx`: `int32`类型的值

#### mnli_mismatched
- `premise`: `string`类型的句子
- `hypothesis`: `string`类型的句子
- `label`: 分类任务的标签，值域包含 `entailment` (0), `neutral` (1), `contradiction` (2).
- `idx`: `int32`类型的值

### 数据量

#### ax

|   |test|
|---|---:|
|ax |1104|

#### cola

|    |train|validation|test|
|----|----:|---------:|---:|
|cola| 8551|      1043|1063|

#### mnli

|    |train |validation_matched|validation_mismatched|test_matched|test_mismatched|
|----|-----:|-----------------:|--------------------:|-----------:|--------------:|
|mnli|392702|              9815|                 9832|        9796|           9847|

#### mnli_matched

|            |validation|test|
|------------|---------:|---:|
|mnli_matched|      9815|9796|

#### mnli_mismatched

|               |validation|test|
|---------------|---------:|---:|
|mnli_mismatched|      9832|9847|

### 引用信息

```
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={{GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

注意： 每个GLUE的子数据集都有其对应的引用信息，请查看该数据集的官网或源代码或论文来查看对应的正确引用信息。
```

### License

| dataset    | license            |
|----------- |-------------------:|
|cola        | unknown            |
|sst2        | CC0: Public Domain |
|mrpc        | unknown            |
|stsb        | unknown            |
|qqp         | unknown            |
|mnli_matched| OANC               |
|mnli_mismatched| OANC            |
|qnli        | CC BY-SA 4.0       |
|rte         | unknown            |
|wmli        | CC BY 4.0          |
|ax          | unknown            |
|diagnostics | unknown            |

如果对于License您有任何疑惑或其他信息，抑或我们在无意中侵犯了您的权利，请及时联系我们。