研究進捗報告|2026年6月18日

01データの中身を確認

ソース:MultiNLI dev(5 アノテータ付き)計 20,000 件

一致人数:多数派ラベルを選んだ人数 ∈ {2, 3, 4, 5}

図1 一致人数の分布(全 20,000 件)

一致	前提文 P ／仮説文 H	[E, N, C]	メモ(所感)
2131718n government	P: They consolidated programs to increase efficiency and deploy resources more effectively. (和訳)効率を高め,資源をより効果的に配分するためにプログラムを統合した。 H: Programs to increase efficiency were consolidated, because they care deeply about efficiency. (和訳)効率を高めるためのプログラムは,効率を深く重視しているがゆえに統合された。	[2, 2, 1]	統合の事実は P と合うが,H が足す理由「効率重視ゆえ」は P に無い。E ↔ N で割れる。
261611n travel	P: Down the street from the statue is the Bank of Ireland, built in 1729 to house the Irish parliament. (和訳)像から通りを少し行ったところに,1729 年にアイルランド議会を収容するために建てられたアイルランド銀行がある。 H: The Bank of Ireland’s location used to be that of the Irish parliament. (和訳)アイルランド銀行のある場所は,かつてアイルランド議会があった場所だ。	[2, 2, 1]	「議会収容のため建設」→「かつて議会があった場所」は推論の飛躍。E ↔ N。
250633n government	P: In 2001, LSC continued to play an active role in encouraging and supporting states’ technology plans. (和訳)2001 年,LSC は各州の技術計画を奨励・支援する積極的な役割を引き続き担った。 H: In 2020, LSC continued to play an active role in encouraging and supporting states’ technology plans. (和訳)2020 年,LSC は各州の技術計画を奨励・支援する積極的な役割を引き続き担った。	[1, 2, 2]	年号 2001 → 2020 だけが違う。別の年でも成り立つかで E/N/C に三分(多数なし)。
320648n telephone	P: you want to punch the button and go (和訳)ボタンをぐっと押して,さっと進みたいんだ。 H: You don’t want to push the button lightly, but rather punch it hard. (和訳)ボタンを軽く押すのではなく,むしろ強く押し込みたい。	[1, 3, 1]	”punch” を「強く押す」か「素早く押す」かで解釈が割れる。多数は N。
367610c fiction	P: Sorry but that’s how it is. (和訳)悪いけど,そういうものなんだ。 H: This is how things are and there are no apologies about it. (和訳)これが物事のあり方であり,それについて謝罪などない。	[1, 1, 3]	P は謝罪(Sorry),H は「謝罪などない」で矛盾。多数は C。
463735n slate	P: The new rights are nice enough. (和訳)新しい権利はそれなりに良いものだ。 H: Everyone really likes the newest benefits. (和訳)誰もが最新の恩恵を本当に気に入っている。	[1, 4, 0]	「それなりに良い」→「皆が本当に好き」は過度な一般化。多数は N。
455152c telephone	P: yeah and how about how about like on the weekends do you do sports or do you go out (和訳)うん,それで,週末はどうなの,スポーツする? それとも出かける? H: No one plays sports on the weekend. (和訳)週末にスポーツをする人は誰もいない。	[0, 1, 4]	P は質問で断定しないが「する人がいる」含意あり。H「誰もしない」と衝突し多数は C(1 名のみ N)。
526990e fiction	P: ‘Publicity.’ Lincoln removed his great hat, making a small show of dusting it off. (和訳)「宣伝だ。」リンカーンは立派な帽子を脱ぎ,それをはたいてみせる小さな仕草をした。 H: Lincoln took his hat off. (和訳)リンカーンは帽子を脱いだ。	[5, 0, 0]	「帽子を脱いだ」は P から明らか。迷わず全員 E。
5113043c slate	P: What’s truly striking, though, is that Jobs has never really let this idea go. (和訳)だが本当に驚くべきは,ジョブズがこのアイデアを決して手放さなかったことだ。 H: Jobs never held onto an idea for long. (和訳)ジョブズはアイデアを長く持ち続けることはなかった。	[0, 0, 5]	P「手放さなかった(=持ち続けた)」と H「長く持ち続けなかった」は正反対。全員一致で C。

一致

前提文 P ／仮説文 H

[E, N, C]

メモ(所感)

2131718n
government

P: They consolidated programs to increase efficiency and deploy resources more effectively. (和訳)効率を高め,資源をより効果的に配分するためにプログラムを統合した。

H: Programs to increase efficiency were consolidated, because they care deeply about efficiency. (和訳)効率を高めるためのプログラムは,効率を深く重視しているがゆえに統合された。

[2, 2, 1]

統合の事実は P と合うが,H が足す理由「効率重視ゆえ」は P に無い。E ↔ N で割れる。

261611n
travel

P: Down the street from the statue is the Bank of Ireland, built in 1729 to house the Irish parliament. (和訳)像から通りを少し行ったところに,1729 年にアイルランド議会を収容するために建てられたアイルランド銀行がある。

H: The Bank of Ireland’s location used to be that of the Irish parliament. (和訳)アイルランド銀行のある場所は,かつてアイルランド議会があった場所だ。

[2, 2, 1]

「議会収容のため建設」→「かつて議会があった場所」は推論の飛躍。E ↔ N。

250633n
government

P: In 2001, LSC continued to play an active role in encouraging and supporting states’ technology plans. (和訳)2001 年,LSC は各州の技術計画を奨励・支援する積極的な役割を引き続き担った。

H: In 2020, LSC continued to play an active role in encouraging and supporting states’ technology plans. (和訳)2020 年,LSC は各州の技術計画を奨励・支援する積極的な役割を引き続き担った。

[1, 2, 2]

年号 2001 → 2020 だけが違う。別の年でも成り立つかで E/N/C に三分(多数なし)。

320648n
telephone

P: you want to punch the button and go (和訳)ボタンをぐっと押して,さっと進みたいんだ。

H: You don’t want to push the button lightly, but rather punch it hard. (和訳)ボタンを軽く押すのではなく,むしろ強く押し込みたい。

[1, 3, 1]

”punch” を「強く押す」か「素早く押す」かで解釈が割れる。多数は N。

367610c
fiction

P: Sorry but that’s how it is. (和訳)悪いけど,そういうものなんだ。

H: This is how things are and there are no apologies about it. (和訳)これが物事のあり方であり,それについて謝罪などない。

[1, 1, 3]

P は謝罪(Sorry),H は「謝罪などない」で矛盾。多数は C。

463735n
slate

P: The new rights are nice enough. (和訳)新しい権利はそれなりに良いものだ。

H: Everyone really likes the newest benefits. (和訳)誰もが最新の恩恵を本当に気に入っている。

[1, 4, 0]

「それなりに良い」→「皆が本当に好き」は過度な一般化。多数は N。

455152c
telephone

P: yeah and how about how about like on the weekends do you do sports or do you go out (和訳)うん,それで,週末はどうなの,スポーツする? それとも出かける?

H: No one plays sports on the weekend. (和訳)週末にスポーツをする人は誰もいない。

[0, 1, 4]

P は質問で断定しないが「する人がいる」含意あり。H「誰もしない」と衝突し多数は C(1 名のみ N)。

526990e
fiction

P: ‘Publicity.’ Lincoln removed his great hat, making a small show of dusting it off. (和訳)「宣伝だ。」リンカーンは立派な帽子を脱ぎ,それをはたいてみせる小さな仕草をした。

H: Lincoln took his hat off. (和訳)リンカーンは帽子を脱いだ。

[5, 0, 0]

「帽子を脱いだ」は P から明らか。迷わず全員 E。

5113043c
slate

P: What’s truly striking, though, is that Jobs has never really let this idea go. (和訳)だが本当に驚くべきは,ジョブズがこのアイデアを決して手放さなかったことだ。

H: Jobs never held onto an idea for long. (和訳)ジョブズはアイデアを長く持ち続けることはなかった。

[0, 0, 5]

P「手放さなかった(=持ち続けた)」と H「長く持ち続けなかった」は正反対。全員一致で C。

02実験

F1 スコア(評価指標の定義)

		予測
		当該クラス(陽性)	それ以外(陰性)
実際	当該クラス(陽性)	TP(真陽性)	FN(偽陰性)
実際	それ以外(陰性)	FP(偽陽性)	TN(真陰性)

Precision:そのクラスと予測したもののうち実際に正解だった割合。低いほど過検出が多い。
Recall:実際に当該クラスのもののうち正しく拾えた割合。低いほど見落としが多い。
F1:適合率と再現率の調和平均。macro-F1 は 2 クラス F1 の単純平均。
本タスクの目的は不一致を見落とさないことなので,主指標は不一致クラスの再現率(Recall)したい。

実験1:二値分類

閾値	モデル	acc	f1_macro	不一致 disagree(主指標)			一致 agree
閾値	モデル	acc	f1_macro	Recall	Precision	F1	Recall	Precision	F1
閾値 4+4 人以上	random(分布サンプリング)	0.718	0.500	0.171	0.170	0.171	0.829	0.830	0.830
	DeBERTa-v3-base(NLI なし)	0.783	0.580	0.260	0.325	0.289	0.889	0.855	0.872
	NLI DeBERTa-v3-base	0.792	0.653	0.472	0.403	0.434	0.857	0.888	0.872
	Qwen3.5-9B(zero-shot)	0.647	0.514	0.367	0.202	0.261	0.704	0.845	0.768
閾値 5全員一致	random(分布サンプリング)	0.516	0.502	0.420	0.415	0.417	0.584	0.589	0.586
	DeBERTa-v3-base(NLI なし)	0.667	0.646	0.515	0.615	0.561	0.773	0.694	0.732
	NLI DeBERTa-v3-base	0.710	0.690	0.558	0.681	0.613	0.816	0.724	0.768
	Qwen3.5-9B(zero-shot)	0.585	0.551	0.371	0.499	0.425	0.737	0.625	0.676

実験2:最大一致人数予測

モデル	方式	acc	f1_macro	不一致 disagree(主指標)			一致 agree			MAE
モデル	方式	acc	f1_macro	Recall	Precision	F1	Recall	Precision	F1	MAE
random(分布サンプリング)	—	0.534	0.520	0.438	0.436	0.437	0.601	0.604	0.602	0.786
DeBERTa-v3-base(NLI なし)	回帰	0.588	0.588	0.690	0.501	0.580	0.516	0.703	0.595	0.600
DeBERTa-v3-base(NLI なし)	分類	0.653	0.632	0.499	0.595	0.543	0.761	0.684	0.721	0.548
NLI DeBERTa-v3-base	回帰	0.687	0.651	0.440	0.691	0.537	0.862	0.686	0.764	0.515
NLI DeBERTa-v3-base	分類	0.714	0.693	0.547	0.696	0.613	0.832	0.723	0.774	0.487
Qwen3.5-9B(direct)	zero-shot	0.568	0.564	0.795	0.486	0.603	0.408	0.739	0.526	0.620
Qwen3.5-9B(distribution)	zero-shot	0.635	0.626	0.577	0.558	0.566	0.679	0.695	0.686	0.613

考察

全体的に Recall < Precision

03コスト削減率

削減率の考え方:基本は全データのうち除外した割合。ただし除外の中身を次の 2 つの率で評価する。

正しく除外した割合:

本当に不一致のもののうち,除外できた割合。高いほど問題を見逃さない。
不一致クラスの Recall

誤って除外した割合:

除外したもののうち,本当は一致だった割合。高いほど良品を無駄に捨てる。
不一致クラスの Precision の裏返し,1 − Precision

閾値 5(count= 5 を一致)	正解(理想)	実験 1	実験 2
依頼を減らせた割合(除外率)	41.3%	約 34%	約 32%
正しく除外した割合(不一致 Recall)	100%	55.8%	54.7%
誤って除外した割合(1− 不一致 Precision)	0%	31.9%	30.4%

閾値 5(count= 5 を一致)

正解(理想)

実験 1

実験 2

依頼を減らせた割合(除外率)

41.3%

約 34%

約 32%

正しく除外した割合(不一致 Recall)

100%

55.8%

54.7%

誤って除外した割合(1− 不一致 Precision)

31.9%

30.4%

実験 1 =直接二値分類,実験 2 =最大一致人数を予測して二値化。いずれも NLI DeBERTa-v3-base。

進捗報告資料研究進捗報告