個人MTG資料研究進捗報告

01先週MTGにて

• PACLIC2026の論文内容を整理
• 方向転換
  • モデル比較での実験は不要 → 計算のみで提案指標のメリットを述べる

02本日共有内容

• 先週の方向転換を受けて論証構造を再設計
• 改めて、PACLIC 2026 の論文内容を整理
• 日本語論文は執筆途中
  • 来週7/14(火)までに、作成した論文をChatworkで共有予定

03スケジュール

• 7/09(木)：個人MTG
• 7/14(火)：作成論文を共有
• 7/21(火)：日本語版完成
• 7/28(火)：英語版完成 → 投稿

04ご相談したい点

• 論証の順序

論文格子

タイトル

• アノテーション依頼前フィルタリングのための評価指標の提案
• （英題案：Request Rate and Retention Rate: Why Accuracy and F1 Cannot Evaluate Pre-Annotation Filtering）

全体の流れ

概要

• 背景：
  • NLI アノテーションには不一致が内在。
  • 近年は HLV（Human Label Variation）として複数解釈を保持する研究が主流
• 問題：
  • 単一の明確なラベルを要する用途では、票が割れるペアへの依頼はコストの無駄
  • 依頼前フィルタリングが考えられるが、コスト面の評価指標が未整備
• 提案：
  • 運用の意思決定に直接対応し、混同行列と一対一の指標対「依頼率・保持率」
• 検証：
  • 既存指標（acc / F1）で代替できるかを、MNLI 20,000 件上の混同行列全パターンの列挙で検証
  • 到達領域の境界は閉形式でも解析的に導出
• 結果：
  • 既存指標をどんな値に固定しても依頼率・保持率は広い区間を動く
  • 例：acc=0.7 固定でも依頼率 0.287–0.887・保持率 0.489–1.0
  • 各指標の等値線は削減↔保持の交換レートを恣意的に固定
• 結論：
  • 既存指標によるコスト評価は原理的に不可能
  • 依頼前フィルタリングは提案指標対で評価すべき

1はじめに

• 背景：アノテーションの不一致と HLV
  • NLI のデータセット構築は複数アノテータへの依頼（MNLI は 1 ペア 5 人）
  • 不一致の割合：5 人全員一致は 58.7% のみ（→ 3.2 図1）
  • 不一致は作業ミスでなく言語の曖昧性による本質的変動（HLV）
    • 引用：Pavlick & Kwiatkowski 2019 / ChaosNLI (Nie+ 2020) / Plank 2022 / Uma+ 2021 / SemEval-2023 Le-Wi-Di
  • これらは、多数決で潰さず、分布・複数解釈を保持して活かす方向の研究
• 問題提起：単一ラベル需要と依頼コストの無駄
  • 「一致/不一致が明確なデータ」だけが欲しい用途がある
    • ベンチマーク構築・高精度判別器の学習データ等（→ 2.2）
  • 票が割れると予見できるペアへの支払いは、成果物を生まないため純粋な無駄コスト
    → 依頼前フィルタリング：
    • 依頼前にテキストのみから一致/不一致を予測し、不一致予測ペアを除外
• 課題：この運用をどう評価するか
  • 知りたいのは 2 つ：
    • (i) 依頼をどれだけ減らせるか（支払うコスト）
    • (ii) 良問をどれだけ残せるか（得られるデータ量）
  • フィルタは二値分類器
    • → acc / F1 で評価したくなるが、「acc が高い = コスト面でも良い」かは自明でない
• アプローチ：
  • (i)(ii) を依頼率・保持率として定式化（4 章）
  • 既存指標で代替できるかを全パターン列挙で検証（5 章）
• 貢献
  1. 課題設定：
     • HLV の知見を「依頼前フィルタリング」という運用タスクに接続し、コストモデルと混同行列で定式化（3 章）
  2. 指標対「依頼率・保持率」の提案（4 章）
  3. 既存指標の限界の証明：
     • どの単一指標も指標対を決定しないこと、等値線が交換レートを恣意的に固定していることを、全パターン列挙と領域可視化で示した（5 章・6.1）

2関連研究

2.1アノテータ間不一致

• 不一致の存在：Pavlick & Kwiatkowski / ChaosNLI
• 不一致が前提の研究：soft-label 学習・分布予測・アノテータモデリング
  • この研究群の代表：Uma+ 2021（分野全体のサーベイ）、SemEval-2023 Le-Wi-Di（不一致予測の共有タスク）
• 本研究との差分
  • 既存：不一致を「保持・出力して活かす」
  • 本研究：「依頼前に避ける」（逆）
  • 予測タスクは同じだが、評価の目的関数が異なる
  • 主題はモデルでなく評価指標

2.2単一ラベルを要する用途

• 評価ベンチマーク構築：
  • 曖昧ラベルは評価自体をノイズ化（Northcutt+ 2021：ラベルエラーがモデル順位を変え得る）
• 高精度判別器の学習データ：
  • 曖昧例の混入が決定境界・校正を劣化（label noise robust learning）
• ガイドライン検証・アノテータ訓練：
  • 品質管理の「テスト問題」には全員一致するほどの明確さが必要
• 下流の判断が二値の応用：
  • 用途が 2 択の運用では、曖昧なラベルは不要
• まとめ：
  • 曖昧さが情報である用途と単一ラベル需要は両立して存在
  • 本研究は後者に限定した提案。ただし、HLV 研究を否定しない（→ 6.4）

2.3アノテーションコストの削減

• コスト削減の観点に整理し、本研究の位置づけ（事前除外）を明確化：
  • 選択（能動学習）：モデル改善に有益な例を選ぶ。不確実な例を選ぶので本研究とは逆方針
  • 配分：アノテータ数の動的割り当て・adaptive stopping
  • 代替：LLM アノテータ・人間+LLM ハイブリッド
  • 事後管理：Dawid-Skene / MACE・VariErr NLI・Dataset Cartography（アノテーション後の情報を使う）
  • 事前除外 ← 本研究：票が割れるペアは上記のどの工夫でも支払いが発生 → 依頼前に除外すれば支払い自体が消える
• この運用の事前除外の評価方法は未整備

2.4分類器の評価指標

• 汎用指標と運用のずれ（既存の議論）：
  • 不均衡下の acc の誤誘導：多数派クラスを答えるだけで acc が高く出る
  • PR vs ROC：正例が稀だと ROC は楽観的に見える → 運用に合わせて PR 曲線を使うべき
  • 感度/特異度と有病率：検査の性能値が同じでも「陽性判定が本当に病気である確率」は有病率で変わる
• 既存は「どの指標を選ぶか」が中心
  • 本研究：既存指標のいかなる値もコスト量を決定しないことを到達領域の解析で示す
• 新規性の位置づけ：
  • 保持率 = agree の recall、依頼率 = 予測陽性率（数式上は既存）
  • 新規性は (i) 運用への意味付け、(ii) 既存指標では代替不能であることの証明

3問題設定

3.1依頼前フィルタリング

• 設定：
  • N 件の前提文・仮説文ペア（テキストのみ）
  • → 依頼すると 5 人がラベル付け
  • → 全員一致ペアのみ「良問」として扱う
• フィルタ f: x → {依頼する, 依頼しない}
  • 「依頼する」ペアにのみコスト（人数 × 単価）発生
• コストモデル（論理の要）
  • 支出 = 単価 × 人数 × 依頼件数
    • → 件数割合が「依頼率」
  • 成果 = 保持できた良問数
    • → 真の良問に占める割合が「保持率」
  • コスト観点をこの 2 軸で定義
    • → 評価すべき量は (依頼率, 保持率) の対

3.2データと一致の定義

• MultiNLI dev（matched + mismatched、N = 20,000）、5 アノテータ
• 一致人数分布（図1）：

• 一致 = 5 人全員一致（count==5）、それ以外は不一致
  • 理由：良問の理想は全員一致
• 記号：
  • P：真 agree（全員一致）の件数 = 11,743
  • N⁻：真 disagree の件数 = 8,257
  • p：真の一致率 = P/N = 0.5871
  • q：真の不一致率 = 1 − p = 0.4129

3.3混同行列

• agree（一致）を正例とする：

• FP（金銭損失）・FN（機会損失）
  • 運用上は別種の損失なのに、acc / F1 はそれらを混ぜる（→ 5 章）
• 自由度は 2：
  • MNLIデータセットは、真の一致/不一致は確定済み
  • → 混同行列の行和は固定 → 動くのは TP ∈ [0, P] と TN ∈ [0, N⁻] のみ

4提案指標：依頼率と保持率

4.1定義

• 依頼率（request rate）
  • req = (TP + FP)/N：依頼に回す割合（削減率 = 1 − req）
• 保持率（retention rate）
  • ret = TP/P：真の良問のうち残せた割合
• 既存概念との対応
  • ret = agree の recall
  • req = 予測陽性率

4.2性質

• 意思決定への直接対応：
  • 「何%削減でき、良問を何%失うか」を指標対で表現
• 十分性：
  • p 既知の下で (req, ret) から混同行列を一意復元（TP = N·p·ret、FP = N·req − TP）
  • → acc・F1 を含む任意の指標がこの対から計算可能
• 注記：
  • 混同行列を復元できる 2 指標の組は他にもある（例：(acc, F1_agree)）
  • しかし、コスト面を評価する指標で混同行列を再現でき、そのまま意思決定の材料として使える（→ 6.1）
• コストの分離：
  • 「FP（金銭損失）→ req 」「FN（機会損失）→ ret」に分かれて現れる
• クラス不均衡への頑健性：
  • データ (p) が偏っても運用的な意味は変わらない

4.3評価プロトコル

• フィルタは (req, ret) 平面上の点として可視化
• 実現可能領域：依頼率 req = r（固定値）に対し ret ∈ [max(0, r−q)/p, min(r, p)/p]（傾き 1/p の帯）
  • p：真の一致率、q：真の不一致率（→ 3.2 記号）

• 参照点・参照線：
  • 全件依頼 (1, 1)：削減ゼロのベースライン（目標ではない）
  • ランダム k% 依頼の対角線：対角線からの上方乖離 = 予測の正味の価値
  • (p, 1) = (0.587, 1) が理想点
• 良さの向きは左上：保持率は高いほど良いが、依頼率は最大化を目指す値ではない
• 予算制約 = 縦線（req ≤ 予算）、品質要件 = 横線（ret ≥ 基準）として同じ平面に引ける

5実験：混同行列全パターンのシミュレーション

5.1実験設計

• 問い：
  • 単一の既存指標の値から (req, ret) は定まるか
• 方法：
  • TP を 0..P、TN を 0..N⁻ の全域で列挙（約 9.7×10⁷ パターン）
  • 各パターンで既存 4 指標（acc・F1_agree・F1_disagree・macro-F1）と提案対を計算
• 読み方：
  • 既存指標がコスト量を測れるなら関数関係／面に広がるなら値を知っても定まらない
• メタ評価としての位置づけ：
  • 指標そのものの性質を問う
  • 実フィルタは領域の一部に到達するが、非決定性は任意の部分集合で成立 → 実フィルタ同士の比較にも結論が及ぶ

5.2到達領域の解析

• 補題：
  • 依頼率 req を固定すると、混同行列は t（= TP/N、全体に占める TP の割合）の 1 変数に
  • 各既存指標は t の増加関数 → min/max は t の区間の両端で決まる
• 命題1（req 固定）：
  • (req, acc) の到達領域は頂点 (0, 0.413), (0.587, 1), (1, 0.587), (0.413, 0) の平行四辺形
  • F1 系も閉形式の区間
• 命題2（ret 固定）：
  • 保持率 ret = ρ（固定値）に対し acc ∈ [pρ, pρ+q]（幅 q = 0.41 の帯）等
  • p：真の一致率、q：真の不一致率、pρ = t（保持率を固定すると TP の割合も固定される）
• 命題3（保持率線）：
  • (req, acc) 平面で保持率一定（ret = ρ）の集合は acc = 2pρ + q − req（傾き −1 の直線族、ρ の値ごとに 1 本）
  • acc 一定の水平線はこれを横断 = 「acc から保持率は読めない」の幾何的表現
• 逆像：
  • 既存指標を固定したときの req・ret の範囲も閉形式
• 数値検証：
  • 解析的に導出した境界が正しいことを、約 80 万点の格子列挙との照合により確認

5.3結果

• 図3：依頼率 × 既存 4 指標 → どのパネルも細い曲線でなく広い面

• 図4：保持率 × 既存 4 指標 → acc は幅 0.41 の帯
  • F1_agree の領域は他の指標より狭く見えるが、F1 と recall の間に常に成り立つ数学的制約（F1 ≤ 2R/(1+R)）によるもので、保持率を測れていることを意味しない
  • 実際、F1_agree = 0.6 に固定しても ret は幅 0.30 の区間を動く

• 図5（中心図）：(req, acc) の平行四辺形 + 保持率線
  • acc = 0.7 の水平線が ret ≈ 0.49 の線から ret = 1.0 の線までを横断
  • 同じ accuracy でも、全く異なる保持率

5.4まとめ

• 単一の既存指標のいかなる値も (req, ret) を決定しない
  • = 指標の定義から従う原理的限界
• 必要性（5 章）+ 十分性（4 章）
  • → 「依頼前フィルタリングは (req, ret) 対で評価すべき」が成立

6考察

6.1想定される反論への応答

• 事実確認：
  • 混同行列は 2 自由度、スカラーは 1 次元への射影
  • → 検証した 4 種に限らずどんな単一スカラーでも同じ
• 反論1「スカラーの役割は順位付けでは（2 自由度を潰すのは当たり前）」→ 交換レートの恣意性
  • スカラーで順位付けする = 同じ値の点をすべて「同点」と扱うこと
  • 図5 の acc = 0.7 の水平線で読める：
    • 水平線上は全点 acc = 0.7 → acc の順位付けでは全部同点
    • しかし左端→右端で req は 0.287→0.887（支払い +0.60）、ret は 0.489→1.0（良問 +0.51）
    • 比 0.51 / 0.60 ≈ 0.85 は水平線上のどこでも一定
  • つまり acc の「同点」= 「依頼率 1pt 増（支払い増＝悪化）と保持率 0.85pt 増（良問増＝改善）は損得ゼロで相殺」という交換レートの強制
    • この 0.85 は acc の定義式（acc = 2p·ret − req + q）から機械的に決まる値（= 1/(2p)）
    • 運用者のアノテータ単価・良問 1 件の価値とは無関係 → 正しいレートは運用者ごとに異なる
  • F1 系は等値線が曲線 → レートが場所により変わる（さらに恣意的）
  • 提案対はレートを固定しない：換算は運用者が自分のコスト構造で行う
• 反論2「acc と F1 を併記すれば良いのでは」
  • 情報としては足りるが、評価としては機能しない：
    • 座標に運用的意味がない → 予算線・品質線が引けない
    • 実務の複数指標の読みは結局「どちらも高い方が良い」→ 反論1 の交換レート問題に戻る
  • 意思決定量そのものの (req, ret) を報告すべき
• 対称性：
  • acc / F1 は金銭損失（FP）と機会損失（FN）を対称に混ぜる
• F1 と保持率：
  • F1_agree が保持率に課す制約は調和平均不等式のみ
  • 依頼率にはほぼ無情報

6.2クラス比への依存と一般性

• 5.2 の全式は p のみの関数
  • → MNLI 固有でなく、任意のデータセット・任意の一致定義に式ごと一般化
• 提案対は真に一致する割合 (p) が変わっても運用的意味が不変

6.3実運用での利用場面

• 報告様式の提案：
  • 依頼前フィルタリングは acc/F1 に加えて必ず (req, ret) を併記すべき
  • 前者はモデルの良さ、後者だけが運用判断に使える
• 金額換算例：
  • req = 0.66 の場合 34% の支払い削減。
  • ただし、 ret = 0.83 → 良問の 17%（約 2,000 件）を喪失
  • 「節約と良問 2,000 件の損失のどちらを取るか」で意思決定
    • これは指標対 (req, ret) からしか読めない

6.4適用範囲と限界

• 適用できる場面：
  • 明確なラベルを必要とする用途（2.2）
• 適用すべきでない場面：
  • 曖昧さ自体が情報である用途（HLV 研究・不確実性校正・主観タスク）
  • 本研究では、HLV 研究を否定しない
• 分布シフト：
  • 不一致ペアの除外でデータ分布は変わる
  • 下流タスク性能への影響はタスク依存で範囲外
• アノテータ数の粒度：
  • 5 人は粗い。
  • count=5 でも偶然の全員一致があり得る
  • ChaosNLI 100 人分布などでの検証は今後
• 単一データセット・英語：
  • 実データは MNLI のみ。ただし解析は p のみに依存 → 式はそのまま一般化（6.2）

7おわりに

• まとめ：
  • 依頼前フィルタリングを定式化（3 章）
  • 意思決定量に直接対応し混同行列と一対一の指標対「依頼率・保持率」を提案（4 章）
  • 既存指標では原理的に代替できないことを全パターン列挙と閉形式境界で証明（5 章）
• 今後の課題：
  • 他データセット（ChaosNLI 100 人分布）・他タスクへの一般化
  • 金額モデルを組み込んだ最適化（予算制約下の最適しきい値）

引用論文一覧

1 章・2.1（不一致と HLV）

2.2（単一ラベルを要する用途）

2.3（コスト削減の諸観点）

2.4（評価指標と運用のずれ）