研究進捗報告|2026年8月27日

01週次タスク計画

取り消し線は完了した週。今週は W4(本日 8/27 のテキスト報告①)。

週	期間(金〜木)	報告・イベント	主なタスク
W1	7/31 〜 8/6	8/5 投稿完了目標8/1 研究室夏季休暇開始8/6 インターン開始	論文を英語で仕上げ、8/5までに投稿する(投稿締切は8/15)
W2	8/7 〜 8/13		文献サーベイ開始、今後の方針の検討
W3	8/14 〜 8/20	(8/15 投稿締切)	文献サーベイ継続
W4	8/21 〜 8/27	8/27 テキスト報告 ①8/21 研究室夏季休暇終了	サーベイ内容をまとめて報告①で共有し、今後の計画を立案(サーベイ継続か実験開始か)
W5	8/28 〜 9/3	9/3 テキスト報告 ②	引き続き計画立案、または実験の準備・開始
W6	9/4 〜 9/10	9/10 テキスト報告 ③	実験開始。結果が出れば報告③で共有
W7	9/11 〜 9/17	9/17 テキスト報告 ④9/18 インターン終了	実験継続。結果を報告④で共有

03前回 MTG で決めた方針

これまでの流れと次の一歩

不一致の原因分類モデル

不一致の原因を分類するモデルを構築

→ 精度が不十分。まず「不一致が起きるか」から取り組む方針に転換

一致/不一致の二値予測モデル

不一致の発生自体をテキストから予測できるか検証

評価指標の提案:アノテーション率・保持率

予測モデルの精度ではなく、依頼前フィルタリングの費用対効果で新規性を出す

PACLIC 2026 論文執筆

原因分類を3つの大分類に粗くして再挑戦(前回MTGで決定・現在)

3大分類文意の不確実性 / ガイドライン未規定 / アノテータの振る舞い

これまで10分類・約400件で F1 0.3〜0.4

変更点・クラス数を3に減らす・ガイドラインを入力に含める(過去の実験では未使用)

使い道分類結果で対応を分ける・HLV(Human Label Variation:解釈の多様性による不一致) → 除外・ガイドライン不備 → 改善・エラー → 修正

新規性アノテーション前にHLVかエラーかを見分ける研究は少ない可能性(既存は事後分析が中心か。要調査)

課題使えるデータが少ない(原因分類済みのデータは約400件のみ)

位置づけ当初の目標(原因分類)への回帰

04原因分類モデルの実験計画

概要

NLIのアノテータ不一致データから、不一致の原因(3大分類)を予測するモデルを構築
1事例に複数の原因が付きうるため、3クラスのマルチラベル分類として定式化
入力:前提文+仮説文+原因分類のアノテーションガイドライン

新規性

テキストのみから、アノテーション前に不一致の原因を予測 → 依頼前フィルタリングに接続
既存研究は収集済みラベルを前提とした事後分析

原因分類に関する論文

論文:Investigating Reasons for Disagreement in Natural Language Inference(TACL 2022)
大分類(3項目)・小分類(10項目)で構成。1事例に複数カテゴリを付与するマルチカテゴリ方式

文の意味の不確実性Uncertainty in Sentence Meaning

[1]Lexical(語彙の曖昧さ)
[2]Implicature(含み)
[3]Presupposition(前提)
[4]Probabilistic Enrichment(確率的推論)
[5]Imperfection(不完全な文)

ガイドラインの未定義Underspecification in Guidelines

[6]Coreference(共参照)
[7]Temporal Reference(時間軸の参照)
[8]Interrogative Hypothesis(疑問文の仮説)

アノテーターの行動特性Annotator Behavior

[9]Accommodating Minimally Added Content(最小限の追加情報の受容)
[10]High Overlap(高い語彙的重複)

データ

NLI_disagreement_taxonomy(GitHub)
上記論文で作成された「前提文+仮説文+原因(小分類)」データ
原因分類のアノテーションガイドラインも公開 → モデル入力に利用

データ内訳(全510件)

Round	件数	出典
Round 1	400件	ChaosNLI(MNLIサブセット)から抽出
Round 2	110件	ChaosNLI(MNLIサブセット)から50件+MNLIで意見が割れたもの(5人中2人が一致)から60件

モデル構成

複数のモデルで比較実験を行う
- Random(データ分布に従ったランダム予測)
- 多数クラス予測(常に最頻ラベルを出力するベースライン)
- BERT(fine-tuning)
- DeBERTa(fine-tuning)
- QwenなどのLLM(zero-shot/few-shot)

評価指標

主指標:クラスごとのF1+Macro-F1
- 各クラスを該当/非該当の二値としてF1を計算し3クラスで平均
- クラス分布の偏りに頑健
参考:Exact Match(3クラスすべて一致した割合)

個人MTG資料研究進捗報告