研究進捗報告|2026年6月11日

01データセット概要とデータ分布

ソース:MultiNLI dev(5アノテータ付き)計 20,000件

一致人数:多数派ラベルを選んだ人数 ∈ {2, 3, 4, 5}

図1一致人数の分布(全 20,000件)

図2NLIラベル別の一致人数分布(entailment・contradiction は neutral より高一致の傾向)

02実験1:二値分類 ― 一致基準の比較と LLM 導入

先週:5人中4人以上一致を「一致」とする二値分類モデルを構築

今回:一致基準を5人全員一致に変更した手法と比較し,LLM zero-shot を追加

狙い:基準による一致/不一致の分布バランスの違いが評価に与える影響を確認

分布

閾値4+(4人以上で一致):一致 83.0% / 不一致 17.0%(不均衡)

閾値5(5人全員で一致):一致 58.7% / 不一致 41.3%(均衡)

	閾値4+(4人以上で一致)	閾値5(5人全員で一致)
random(分布サンプリング)	0.718	0.500	0.830	0.171	0.516	0.502	0.586	0.417
BERT-base-uncased	0.790	0.533	0.879	0.188	0.588	0.567	0.662	0.471
NLI DeBERTa-v3-base	0.792	0.653	0.872	0.434	0.710	0.690	0.768	0.613
Qwen3.5-9B(zero-shot)	0.647	0.514	0.768	0.261	0.585	0.551	0.676	0.425

閾値4+(4人以上で一致)

閾値5(5人全員で一致)

モデル

acc

f1_macro

f1_agr

f1_dis

acc

f1_macro

f1_agr

f1_dis

random(分布サンプリング)

0.718

0.500

0.830

0.171

0.516

0.502

0.586

0.417

BERT-base-uncased

0.790

0.533

0.879

0.188

0.588

0.567

0.662

0.471

NLI DeBERTa-v3-base

0.792

0.653

0.872

0.434

0.710

0.690

0.768

0.613

Qwen3.5-9B(zero-shot)

0.647

0.514

0.768

0.261

0.585

0.551

0.676

0.425

要点

閾値4+ は評価軸として不適切:一致が 83% と不均衡で,random でも acc=0.718 だが f1_macro=0.500(不一致をほぼ検出できない)

閾値5 が適切:分布が約 59:41 に均衡し,全手法で f1_disagree が大幅向上(random 0.171 → 0.417)

NLI DeBERTa が両閾値で最良(閾値5 f1_macro=0.690)。LLM zero-shot は fine-tune に届かない(0.551)

03実験2:最大一致人数予測 ― 目的変数の変更

変更点:目的変数を二値(agree/disagree)→ 最大一致人数 agree_count ∈ {2, 3, 4, 5}

方式:定式化による性能差を見るため 回帰・4クラス分類 の2通りを比較

分類:4クラスから直接ラベルを予測(例:「4人」)
回帰:連続値を予測し四捨五入(例:3.6 → 4人)

評価:count=5 のみ「一致」として二値化した macro-F1

モデル	方式	二値 acc	f1_macro	f1_agree	f1_disagree	MAE
random(分布サンプリング)	―	0.534	0.520	0.602	0.437	0.786
BERT-base-uncased	回帰	0.599	0.585	0.661	0.509	0.588
BERT-base-uncased	分類	0.594	0.561	0.682	0.441	0.629
NLI DeBERTa-v3-base	回帰	0.687	0.651	0.764	0.537	0.515
NLI DeBERTa-v3-base	分類	0.714	0.693	0.774	0.613	0.487
Qwen3.5-9B(direct)	zero-shot	0.568	0.564	0.526	0.603	0.620
Qwen3.5-9B(distribution)	zero-shot	0.635	0.626	0.686	0.566	0.613

モデル

方式

二値 acc

f1_macro

f1_agree

f1_disagree

MAE

random(分布サンプリング)

―

0.534

0.520

0.602

0.437

0.786

BERT-base-uncased

回帰

0.599

0.585

0.661

0.509

0.588

BERT-base-uncased

分類

0.594

0.561

0.682

0.441

0.629

NLI DeBERTa-v3-base

回帰

0.687

0.651

0.764

0.537

0.515

NLI DeBERTa-v3-base

分類

0.714

0.693

0.774

0.613

0.487

Qwen3.5-9B(direct)

zero-shot

0.568

0.564

0.526

0.603

0.620

Qwen3.5-9B(distribution)

zero-shot

0.635

0.626

0.686

0.566

0.613

LLM プロンプト比較(Qwen3.5-9B,zero-shot)

プロンプト戦略	概要	f1_macro	f1_agree	f1_disagree
cot	曖昧さを 1〜2文推論させてから回答	0.628	0.709	0.548
distribution	E/N/C の票の割れを予測 → 最大値を一致人数	0.626	0.686	0.566
fewshot	各人数(5/4/3/2)の例を1件ずつ提示	0.624	0.625	0.624
rubric	各人数の意味を明示したルーブリックを付与	0.579	0.532	0.626
direct	整数を1つ答えさせるだけ(最小ベースライン)	0.564	0.526	0.603

プロンプト戦略

概要

f1_macro

f1_agree

f1_disagree

cot

曖昧さを 1〜2文推論させてから回答

0.628

0.709

0.548

distribution

E/N/C の票の割れを予測 → 最大値を一致人数

0.626

0.686

0.566

fewshot

各人数(5/4/3/2)の例を1件ずつ提示

0.624

0.625

0.624

rubric

各人数の意味を明示したルーブリックを付与

0.579

0.532

0.626

direct

整数を1つ答えさせるだけ(最小ベースライン)

0.564

0.526

0.603

要点

NLI 事前学習が最良:DeBERTa-NLI が最良(分類 f1_macro=0.693)。汎用 BERT は random をわずかに上回るのみ(0.585)

回帰 vs 分類はモデル依存:BERT は回帰,DeBERTa は分類が上。最良は DeBERTa の分類

LLM はプロンプト次第:f1_macro が 0.064 変動(direct 0.564 → cot 0.628)。fine-tune には届かない

04まとめと今後の方針

現ベスト:NLI DeBERTa-v3-base(分類),f1_macro = 0.693
一致基準:閾値5(全員一致)が評価軸として適切
目的変数の定式化は性能にほぼ影響しない:count 予測→閾値5 二値化(0.693)≈ 直接二値分類(0.690)
課題:不一致クラスの検出(f1_disagree ≈ 0.61)に改善余地あり
今後
- より大きな NLI 事前学習モデル(DeBERTa-large 等)への切り替え