個人MTG資料研究進捗報告

2026年9月3日(木)

01週次タスク計画

取り消し線は完了した週。今週は W5(本日 9/3 のテキスト報告②)。

週	期間(金〜木)	報告・イベント	主なタスク
W1	7/31 〜 8/6	8/5 投稿完了目標8/1 研究室夏季休暇開始8/6 インターン開始	論文を英語で仕上げ、8/5までに投稿する(投稿締切は8/15)
W2	8/7 〜 8/13		文献サーベイ開始、今後の方針の検討
W3	8/14 〜 8/20	(8/15 投稿締切)	文献サーベイ継続
W4	8/21 〜 8/27	8/27 テキスト報告①8/21 研究室夏季休暇終了	サーベイ内容をまとめて報告①で共有し、今後の計画を立案(サーベイ継続か実験開始か)
W5	8/28 〜 9/3	9/3 テキスト報告 ②	3大分類マルチラベル分類の実装・実験を完了し結果を共有
W6	9/4 〜 9/10	9/10 テキスト報告 ③	誤り分析・fine-tuningのガイドライン注入問題の切り分け
W7	9/11 〜 9/17	9/17 テキスト報告 ④9/18 インターン終了	実験継続。結果を報告④で共有

02前回MTGで決めた方針

不一致原因の分類を、10分類から3大分類(文意の不確実性／ガイドライン未規定／アノテータの振る舞い)へ粗くして予測することを決定
今週はこの実装・実験を完了させた

03実験設定

データ:NLI_disagreement_taxonomy(Jiang & de Marneffe, TACL 2022)
- 510件中、カテゴリ未付与(N/A)の11件を除く499件を使用
train:valid:test = 4:1:1(件数では331:84:84)
クラス分布(train, n=331):

クラス	該当率
文意の不確実性	70.1%(232件)
ガイドライン未規定	23.9%(79件)
アノテータの振る舞い	12.7%(42件)

複数カテゴリ同時該当は少数
- 「文意の不確実性＋ガイドライン未規定」20件のみ、他はほぼ0件
比較モデル:
- random(3クラス分布に従う)
- BERT-base・DeBERTa-v3-base(fine-tuning)
- Qwen3.8-27B(zero-shot・few-shot)
評価指標
- Macro-F1(各クラスを該当/非該当の二値としてF1を計算し、3クラスで平均)

04実験結果

macro-F1、validデータ、guideline条件別
旧10分類実験と比べて改善

モデル(手法)	ガイドラインなし	要約を追加	全文を追加
random	0.330	—	—
BERT-base(fine-tuning)	0.326	0.272	0.272
DeBERTa-v3-base(fine-tuning)	0.403	0.272	0.272
Qwen3.8-27B(zero-shot)	0.566	0.512	0.559
Qwen3.8-27B(few-shot)	0.412	0.475	0.644

05主な知見

Qwen3.8-27B(LLM)のzero/few-shotがfine-tuning(BERT/DeBERTa)を明確に上回る
- 499件という少データ下では、LLMの事前知識に頼る方が有利
LLMではガイドラインを入力に含めるほど精度が上がる(特にfew-shotと組み合わせた場合)
一方、BERT/DeBERTaのfine-tuningは、ガイドラインを追加すると要約・全文問わず全く同じ結果に悪化した
- タスク設計上はガイドラインを含める方が本来正しいはずだが、今回の実装では逆効果だった

06相談したいこと

BERT/DeBERTaのガイドライン注入が悪化する問題にどこまで時間をかけて取り組むか
LLMのほうがすでに上回っているため、LLM優先で精度改善のアプローチを考えたほうがいいのか

07次週の予定

誤り分析(どのクラスで取りこぼしが多いか、ガイドライン全文が効くパターンの定性確認)
fine-tuningでのガイドライン注入悪化の原因切り分け(必要であれば)