個人MTG資料研究進捗報告

01週次タスク計画

取り消し線は完了した週。今週は W6(本日 9/10 のテキスト報告③)。

02前回MTGで決めた方針

• 3大分類の実験結果(Qwen3.8-27B の few-shot＋ガイドライン全文の条件で macro-F1 0.644 が最良)を受け、今週は誤り分析と、fine-tuningでガイドラインを入れると悪化した原因の切り分けを行う

03分析の方法

• 検証データ 84件で、各条件の正誤を確認した
• 予測は3大分類だが小分類が付いているので、「どんな種類で間違えるか」を小分類で確認した
• 主に見た条件:Qwen の zero-shot(ガイドラインなし／全文)と few-shot(全文)

04どこで間違えているか

• 文意の不確実性は、全件を該当と答えるだけで F1 0.82 になるクラスで、どの条件でもほぼ同じ値
• 条件間のスコア差は、ガイドライン未規定(正解20件)とアノテータの振る舞い(正解10件)の当たり外れで決まっている
• そのため下の表は、スコア差の要因になっている2クラスの小分類と、比較用に文意の不確実性の主要2つだけを載せた。値は「その小分類が正解に付いている事例のうち、対応する大分類を当てられた割合」

05間違いの種類

• few-shot 全文の条件で、ガイドライン未規定の見逃し 14件のうち 10件が Coreference、3件が Temporal

1. Coreference の対を文意の不確実性と予測する(最も多い)
   • 前提:...came at the brute with the axe. (斧を持ってその獣に向かっていった)／仮説:He swung at the brute with his sword. (彼は剣でその獣に斬りかかった)
   • 見た目は1語の置き換えで Lexical と同じ形。「同じ出来事を指しているか」という仮定が要る点が違うが、モデルは語の意味の違いと読む
2. 「仮説が前提に何かを付け足している」対で、文意の不確実性(Probabilistic)とアノテータの振る舞い(Accommodating)が入れ替わる
   • 前提:Charles Geveden has introduced legislation that will increase ... (手数料を増額する法案を提出した)／仮説:Fortunately, Charles Geveden was able to make the government increase ... (政府に増額させることに成功した)
   • 前提は「提出した」だけで、成立したとは言っていない。仮説は「成功した」を付け足しているので、本来は neutral だが、提出したなら通っただろうと読めば entailment になる
   • 正解は「通ったという推論がもっともらしい」(文意の不確実性)、予測は「付け足しを読み飛ばしてしまう」(アノテータの振る舞い)
3. Temporal(評価する時点の仮定)を見逃す
   • 前提:The park ... was given Corbett's name after India became independent. (インド独立後に Corbett の名が付けられた)／仮説:The park used to be named after Corbett. (かつて Corbett の名で呼ばれていた)

06その他の知見

• few-shot で上がった分は、zero-shot が過剰に予測していたアノテータの振る舞いを文意の不確実性に戻した効果
• fine-tuning はどの条件でも「全件を文意の不確実性と予測する」状態だった

07次週の予定

• few-shot 例も小分類ごとの典型例に差し替えて再実験
  • 小分類情報もモデルに与えたら精度が改善するか