個人MTG資料研究進捗報告

Abstractアブストラクト

1. 背景
   • NLI アノテーションではアノテータ間不一致が生じ、近年は HLV (Human Label Variance) として複数解釈を保持する研究が進む。
2. 問題
   • 一方、明確なラベルが必要な用途では曖昧なデータへの依頼はコストの無駄になるが、事前フィルタリングモデルの評価はコスト観点でなされていない。
3. 提案
   • 依頼前フィルタリング運用に対応した指標対(保持率・削減率)を提案。
4. 実験
   • MultiNLI 20,000件で二値分類・一致人数予測・LLM zero-shot を比較。
5. 結果
   • NLI fine-tune モデルが保持率 0.83 で依頼を約32%削減でき、従来指標では見えないトレードオフを提案指標が可視化できることを示した。

01はじめに

• 現状
  • NLI アノテーションの不一致。
  • 従来は多数決で1ラベルに集約 → 複数解釈を潰し情報量・解釈性を失う。
    • Error と HLV の区別に言及。
  • 近年の HLV 研究の流れ(ChaosNLI, VariErr NLI 等)「答えは一つではない」
• 問題提起
  • 用途によっては曖昧なデータは不要。
  • アノテーションは有償のクラウドソーシングで行われ、依頼データの質は依頼者側の責任。
  • 曖昧なデータを大量に依頼すればコストが無駄になる。
• 提案
  • 「依頼前に曖昧なデータを予測して除外する」という運用を考える。
  • 既存研究では、この意思決定(何%削減でき、良データを何%失うか)を評価できていない。
• 貢献
  1. 課題設定の新規性
     • HLV 研究(答えは複数)を「用途によっては曖昧データは不要」という運用側の視点に接続し、「依頼前フィルタリングによるコスト削減」というタスクとして定式化した。
  2. 評価指標の新規性
     • 上記運用における意思決定(=何%依頼を減らし、良データを何%失うか)に直接対応する指標対を定義した。
  3. 実証
     • 二値分類 vs 一致人数予測、fine-tune vs LLM zero-shot(プロンプト比較含む)を提案指標で評価し、従来指標との評価の乖離を示した。

02関連研究

2.1不一致・曖昧性のモデル化

• ChaosNLI の分布再現(100人アノテーション)、soft label 学習など
• 差分
  • これらは不一致を出力・保持して活かす方向
  • 本研究は「不一致を運用上どう避けるか」という逆方向

2.2アノテーションの誤り・変動の検出

• VariErr(説明文からエラーと曖昧性を切り分け)、Dataset Cartography(学習挙動から曖昧事例を特定)など
  • 探す!
• 差分
  • これらはアノテーション後の情報を使う事後検出。
  • 本研究は「依頼前にテキストのみから予測する事前フィルタリング」

2.3アノテーションコスト削減

• アノテーション効率化の研究(探す!)

03問題設定と提案指標

3.1運用シナリオの定式化

• 依頼者が候補データを持ち、不一致と予測されたものを除外、一致と予測されたもののみ依頼
• 混同行列

3.2指標の定義

• 保持率(真に一致のデータのうち依頼できた割合)

• 依頼率(補数=削減率)

3.3なぜ既存指標では不十分か

• コスト構造を反映しない
  • FP(良データを捨てる=機会損失)と FN(曖昧データに支払う=金銭損失)は運用上意味が違うが、acc や macro-F1 は両者を対称に混ぜる
• 意思決定に直接答えない
  • 運用者が知りたいのは「削減率と引き換えに保持率がいくつか」。
  • F1(調和平均)はこの2軸を1つの数字に潰してしまう
• クラス不均衡下で誤解を招く
  • クラス不均衡だとランダム予測でも正解率が高くなってしまうが、提案指標対なら「削減がほぼできていない」ことが示せる
• 既存指標との違い
  • 提案指標は既存概念の再解釈・再構成である
  • 本論文の新規性は指標の数式ではなく、運用コストへの対応付けと評価プロトコル。

04実験設定

4.1データ

• MultiNLI dev 20,000件(5アノテータ)。
• 一致人数 ∈ {2,3,4,5} 分布

Agreement-count distribution (matched+mismatched)

4.2一致の定義(閾値)

• 閾値4+
  • ChaosNLI の「100人中80人以上で一致」に倣った8割基準。
  • クラス分布の偏りが大きい。
• 閾値5
  • 理想は全員一致であり、論文の主設定は閾値5にしたい。
  • クラス分布の偏りが小さい。

4.3タスク設計(2実験)

• 実験1
  • 一致/不一致の直接二値分類
• 実験2
  • 最大一致人数(2–5)を予測して二値化。

4.4モデル

• random(分布サンプリング)= ベースライン
• DeBERTa-v3-base(NLI 事前学習なし / あり)
• Qwen3.5-9B zero-shot: プロンプト方式の比較(direct / distribution / CoTなど)

4.5評価

• 提案指標(保持率・依頼率)
• 従来指標(acc, macro-F1, 各クラス P/R/F1, MAE)

05実験結果

• 実験結果

実験1:直接二値分類

実験2:最大一致人数予測 (一致人数 2–5 を予測し、count= 5 のみ一致として二値化)

• 指標の有効性の実証
  • 例
    • Qwen3.5 direct は依頼率 0.324 と削減率は圧倒的だが保持率 0.408 で良データの6割を捨てる。
  • acc や F1 の表だけではこの「危険な削減」が読み取れない。
• 実験1 vs 実験2
  • 一致人数予測(分類)が二値直接より一貫して良い → 仮説どおり
• fine-tune vs zero-shot
  • 現状は fine-tune 優位。
  • プロンプト方式間の差もある。

06考察

• なぜ一致人数予測が効くか
  • ラベルの粒度
  • 順序情報
  • count2〜4 の中間帯の情報
• 誤り分析
  • 具体例としてデータ事例を数件引用
    • 「モデルが拾えた/拾えなかった不一致の型」を具体的に示したい。
• コストの金額換算例
  • インパクト提示
• LLM zero-shot の限界と、プロンプトによる挙動差

07適用範囲と Limitations

• 分布シフト問題
  • 不一致データを除外すればデータ分布は元と変わる。
  • よって、本手法の適否は下流タスクに依存する
  • 有効な場面
    • ◯–✕ が明確なラベルが必要な用途
    • 例: 評価ベンチマーク構築、高精度が求められる判別器の学習データ、ガイドライン検証用データ
  • 不適な場面
    • ◯–△–✕ の曖昧さ自体が情報である用途
    • 例: HLV 研究、不確実性校正、主観性を扱うタスク
  • →「削除してよい用途に限定した提案」を強調する。
• その他
  • 5人アノテーションの粒度の粗さ(100人分布での検証は今後)
  • MNLI 単一データセット・英語のみ

08まとめ

• 貢献3点の再掲
  1. 課題設定の新規性
  2. 評価指標の新規性
  3. 実証
• 今後
  • パレート曲線評価
    • モデルのラベル予測確率(count=5クラスの予測確率)を動かして、依頼率と保持率の変動を可視化
    • 「どれくらいの確信度以上を信じて依頼に回すか」をかしかできるのでは
    • 横軸=依頼率(コスト)、縦軸=保持率(品質)
  • 他データセット(ChaosNLI 分布が得られれば)

03今後

• 内容整理・修正
  • 次回はもっと詳しく論理立てる
• いつまでに書き上げる?
• 8~9月はサマーインターンが入る可能性
  • そろそろ決まり始める