01MNLI データセットの調査
データセット概要
- タスク:前提文(premise)と仮説文(hypothesis)のペアに含意関係をラベル付け
- ラベル:entailment / neutral / contradiction の3クラス
- 特徴:複数のクラウドワーカーが独立にアノテーション → アノテータ間の不一致がそのまま記録されている
3つのスプリット
- train:1名がアノテーション(アノテータ間合意は定義できない)
- dev_matched / dev_mismatched:追加4名がアノテーション → 計5名のラベルが格納
| スプリット |
ジャンル・備考 |
件数 |
アノテーター数 |
| train |
fiction, government, slate, telephone, travel |
392,702 |
1 |
| dev_matched |
同上 |
9,815 |
5 |
| dev_mismatched |
9/11, face-to-face, letters, OUP, verbatim |
9,832 |
5 |
- 本研究では両者を結合(計 20,000 件)して train/valid/test に再分割
- 5名アノテーション付きの dev のみを使用 → アノテータ間合意・不合意の定義が可能
データ例
{
"annotator_labels": ["neutral", "entailment", "neutral", "neutral", "neutral"],
"genre": "slate",
"gold_label": "neutral",
"pairID": "63735n",
"promptID": "63735",
"sentence1": "The new rights are nice enough",
"sentence1_binary_parse": "( ( The ( new rights ) ) ( are ( nice enough ) ) )",
"sentence1_parse": "(ROOT (S (NP (DT The) (JJ new) (NNS rights)) (VP (VBP are) (
ADJP (JJ nice) (RB enough)))))",
"sentence2": "Everyone really likes the newest benefits ",
"sentence2_binary_parse": "( Everyone ( really ( likes ( the ( newest benefits )
) ) ) )",
"sentence2_parse": "(ROOT (S (NP (NN Everyone)) (VP (ADVP (RB really)) (VBZ likes
) (NP (DT the) (JJS newest) (NNS benefits)))))"
}
- 4/5名が neutral → 本研究の定義では合意クラス