個人MTG資料研究進捗報告

2026年7月30日(木)

01今週の進捗

02夏季休暇・インターン期間の予定

7月末8月上旬8月中旬8月下旬9月上旬9月中旬
研究室 夏季休暇
8/1 − 8/21
サマーインターン
8/6 − 9/18
個人MTG
7/30 本日 8/27 9/3 9/10 9/17 9/24
論文投稿
8/5 投稿完了目標 8/15 締切

03週次タスク計画

毎週木曜のMTG/テキスト報告で進捗共有と今後の方針決定を行う。1週間を金〜木単位で区切る。

期間(金〜木) 報告・イベント 主なタスク
W1 7/31 〜 8/6 8/5 投稿完了目標8/1 研究室夏季休暇開始8/6 インターン開始 論文を英語で仕上げ、8/5までに投稿する(投稿締切は8/15)
W2 8/7 〜 8/13 文献サーベイ開始、今後の方針の検討
W3 8/14 〜 8/20 (8/15 投稿締切) 文献サーベイ継続
W4 8/21 〜 8/27 8/27 テキスト報告 ①8/21 研究室夏季休暇終了 サーベイ内容をまとめて報告①で共有し、今後の計画を立案(サーベイ継続か実験開始か)
W5 8/28 〜 9/3 9/3 テキスト報告 ② 引き続き計画立案、または実験の準備・開始
W6 9/4 〜 9/10 9/10 テキスト報告 ③ 実験開始。結果が出れば報告③で共有
W7 9/11 〜 9/17 9/17 テキスト報告 ④9/18 インターン終了 実験継続。結果を報告④で共有

04今後のタスク方針(案)

これまでの流れと次の一歩

1
不一致の原因分類モデル
不一致の原因を分類するモデルを構築
→ 精度が不十分。まず「不一致が起きるか」から取り組む方針に転換
2
一致/不一致の二値予測モデル
不一致の発生自体をテキストから予測できるか検証
3
評価指標の提案:アノテーション率・保持率
予測モデルの精度ではなく、依頼前フィルタリングの費用対効果で新規性を出す
4
PACLIC 2026 論文を執筆中(現在)
次の方向性を決める(本日のMTGで相談)
Aフィルタの調整方法の確立と実証評価
「保持率0.9以上のフィルタが欲しい」という要件が出たとき、フィルタをどう調整してその要件を満たすかを確立する
ランダム相当の線。 ここから上に膨らむほど良いフィルタ 要件:保持率 0.9 以上(この線より上) ここを採用 要件を満たす設定のうち 最も支払いが少ない点 θ=0:全件依頼 θ=1:全件除外 アノテーション率(支払うコスト) 保持率
ルールモデルが出す一致確率が P(一致) ≥ θ なら依頼する(θ = しきい値)
現状論文・過去実験とも θ=0.5 の1点のみで実験。要件に合わせた調整は未対応
やることθ の値を変えて点をプロットし、フィルタの性質を可視化→ 要件を満たす θ を選ぶ
検証選んだ θ が未知データ(別ジャンル等)でも同じ値を出すか
拡張・LLM(確信度をスコアに使う)・ChaosNLI(一致基準の再設定が必要)・ラベル・ジャンル別の分析
位置づけフィルタの調整方法はこれまで未検証
B原因分類の再設計
原因分類を3つの大分類に粗くして再挑戦する
3大分類文意の不確実性 / ガイドライン未規定 / アノテータの振る舞い
これまで10分類・約400件で F1 0.3〜0.4
変更点・クラス数を3に減らす・ガイドラインを入力に含める(過去の実験では未使用)
使い道分類結果で対応を分ける・本質的HLV(Human Label Variation:誤りではなく解釈の多様性から生じるラベルの割れ) → 除外・ガイドライン不備 → 改善・エラー → 修正
新規性アノテーション前にHLVかエラーかを見分ける研究は少ない可能性(既存は事後分析が中心か。要調査)
課題使えるデータが少ない(原因分類済みのデータは約400件のみ)
位置づけ当初の目標(原因分類)への回帰