CompanionGuard-RL/state.md

CompanionGuard-RL — 项目状态

更新时间：2026-05-20（P2 启动——投稿前实验补强评估完成，待逐项落地）

历史调试记录 → record.md | 踩坑经验库 → exp.md | 详细投稿评估 → C:\Users\张思远\.claude\plans\sci2-3-precious-snail.md

---

模块状态总览

模块	状态	关键指标
数据集 CompanionRisk-Bench v4	✅ 完成	9,896 样本，14 标签，train/dev/test = 6926/1484/1486
Module B 检测器 v4	✅ 完成	binary_f1=0.9995，FNR=0.00%，level_weighted_f1=0.559
Module B 泛化验证	✅ 完成	human subset binary_f1=0.9848，无过拟合
Module C v3（历史基准）	✅ 已完成	safety_recall=1.0，action_accuracy=0.575，crisis_precision=0.421
Module C v5（已训练）	⚠️ 部分达标	safety_recall=0.833 ❌（回退），action_accuracy=0.717 ✅，reward WARN 漏洞导致
Module C v6（最终结果）	✅ 达标	safety_recall=0.953 ✅，action_accuracy=0.706 ✅，safety_ux_fscore=0.976
论文写作	✅ 完成	P0+P1 全部完成；论文无 \todo{} 剩余（IRB 声明按期刊要求单独处理）

---

Module B — 最终结果（v4，frozen）

指标	值
binary_f1	0.9995
high_risk_recall	1.0000
false_negative_rate	0.0000
level_macro_f1	0.5496
level_weighted_f1	0.5585
fine_macro_f1 (all 14)	0.4633
fine_macro_f1 (public 10)	0.484

论文策略：主指标用 binary_f1 + level_weighted_f1 + fine_macro_f1(public)；不再迭代 Module B。

---

Module C — 当前基准 v3（eval_intervention_v3.json）

方法	safety_recall(L3/L4)	over_refusal	action_accuracy	crisis_precision	safety_ux_fscore
Rule-based (l≥3→REJECT)	0.908	0.000	—	—	0.952
Threshold Baseline	0.908	0.000	—	0.624	0.952
Ours (RL v2)	1.000	0.004	0.575	0.421	0.998

Per-level Action Distribution（v3）：

方法: Ours (RL v2)
Level         n    PASS  WARN  RWRT  REJT CRISIS
L0_Safe     237   0.987 0.008 0.004 0.000  0.000
L1_Mild     280   0.729 0.011 0.229 0.000  0.032  ← L1 过激（limitation）
L2_Moderate 317   0.000 0.000 0.902 0.000  0.098
L3_High     456   0.000 0.000 0.871 0.000  0.129
L4_Critical 196   0.000 0.000 0.633 0.000  0.367  ← CRISIS 不足（limitation）

问题根因：

1. reward 与 a_recommend 语义冲突（矩阵式 reward 理想动作 vs 标注分布不一致）
2. 训练 reward 用了检测器预测的 c_primary（应用 GT c_primary）
3. REJECT 动作完全坍缩为 0%，CRISIS 泛化滥用

---

Module C — v5 结果（eval_intervention_v5.json，2026-05-19）

方法	safety_recall	over_refusal	action_accuracy	crisis_precision
Rule-based	0.908	0.000	—	—
Threshold	0.908	0.000	—	0.624
BC-only v5	0.914	0.000	0.695	0.509
RL v5	0.833 ❌	0.000 ✅	0.717 ✅	0.531

异常：safety_recall 从 v3 的 1.000 回退至 0.833（低于 rule baseline）。根因：reward 未惩罚 L3/L4 的 WARN，标注噪声被 PPO 放大。详见 record.md。

---

Module C v6 — 最终结果（✅ 已完成）

关键改动：code/src/rl/reward.py 新增 WARN_HIGH_PENALTY = -3.0（L3/L4 选 WARN 惩罚）+ evaluate.py 推理时 safety floor（L3/L4 的 WARN → REWRITE）。结果文件：experiments/eval_intervention_v6.json。

指标	最低可接受	v6 实际	状态
safety_recall	≥ 0.95	0.953	✅
over_refusal	≤ 0.02	0.000	✅
action_accuracy	≥ 0.68	0.706	✅
crisis_precision	≥ 0.50	0.571	✅
L3 WARN rate	≤ 0.05	0.059	⚠️ 微超（在 discussion 说明）
L4 WARN rate	≤ 0.02	0.005	✅
safety_ux_fscore	—	0.976	—

BC-only（消融基准）：safety_recall=0.940，action_accuracy=0.696，crisis_precision=0.509，ux_fscore=0.969。

论文使用此结果。 safety floor 属于 constrained intervention policy，论文 discussion 节如实说明。

---

论文写作状态

目标期刊： SCI Q2/Q3，IP&M / ESWA
当前进度： 全章节完整，无 \todo{} 剩余（2026-05-20）

章节	文件	状态
Abstract	sections/00_abstract.tex	✅ 完整
Introduction	sections/01_intro.tex	✅ 完整
Related Work	sections/02_related.tex	✅ 完整
Taxonomy	sections/03_taxonomy.tex	✅ 完整
Dataset	sections/04_dataset.tex	✅ 完整
Module B	sections/05_moduleB.tex	✅ 消融表已填（Response-only/History+R/Full）
Module C	sections/06_moduleC.tex	✅ 消融表已填（BC-only/w/o Category/Full RL）
Experiments	sections/07_experiments.tex	✅ RQ1/RQ2 + LLM-as-judge 分析全部完成
Discussion	sections/08_discussion.tex	✅ v6 数字已更新；IRB 声明视投稿期刊要求单独处理
Conclusion	sections/09_conclusion.tex	✅ 完整

唯一待处理项： 08_discussion.tex IRB/伦理声明段落（占位符），确认目标期刊后补写。

---

消融实验结果（2026-05-20，全部完成）

Module B 输入信号消融

变体	Binary F1	FNR	Level-W F1	Fine-Macro F1	结果文件
Response-only	0.9990	0.000	0.5828	0.5025	eval_abl_b_response_only.json
History+Response	0.9995	0.000	0.5837	0.4667	eval_abl_b_history_r.json
Full P+H+R (Ours)	0.9995	0.000	0.5585	0.4633	eval_abl_b_full.json

关键发现：FNR=0 对所有变体成立；context 对 binary_f1 边际贡献 +0.0005；level/fine 差异 ≤ 0.025，在训练方差范围内。

Module C 奖励函数消融

变体	SafetyRecall	OverRefusal	ActionAcc	CrisisPrec	UX F-score	结果文件
BC-only	0.940	0.000	0.697	0.509	0.969	eval_intervention_v6.json
w/o Category Reward	0.951	0.000	0.712	0.486	0.975	eval_abl_c_wo_category_reward.json
Full RL (Ours)	0.953	0.000	0.706	0.571	0.976	eval_intervention_v6.json

关键发现：PPO 提升 safety_recall +1.3pp；类别奖励提升 CrisisPrecision +8.5pp，代价是 ActionAcc -0.6pp（安全优先取舍）。

本地编译：

cd D:\Myresearch\CompanionGuard-RL\paper
$bin = "$env:LOCALAPPDATA\Programs\MiKTeX\miktex\bin\x64"
& "$bin\xelatex.exe" -interaction=nonstopmode main.tex
& "$bin\bibtex.exe" main
& "$bin\xelatex.exe" -interaction=nonstopmode main.tex
& "$bin\xelatex.exe" -interaction=nonstopmode main.tex

---

投稿前实验补强计划（2026-05-20 评估）（详细文件在C:\Users\张思远.claude\plans[sci2-3-precious-snail.md](http://sci2-3-precious-snail.md)）

真实定位：borderline ESWA / 难 IP&M。现状直投 ESWA 接受率 ~55%，IP&M ~25%。

实验层面三大短板（按严重度）：

1. SOTA 基线公平性：WildGuard / ShieldGemma 是英文模型评中文测试集，FNR=0.98 无法区分"本体差异"与"语言不匹配"——审稿首要攻击面
2. 消融自打脸：CrossAttn 三流融合 +0.0005 binary F1；PPO 比 BC 仅 +1.3pp safety_recall；类别奖励 +0.2pp——架构/算法卖点缺乏消融支撑
3. 缺统计严谨性：单 seed、无方差、无显著性检验

优先级路线（中等投入边界，~2-3 周）

Tier 1（必做，credibility）

ID	任务	产出文件	复用
T1-A	同语言强 SOTA 基线（GPT-4o-mini 或 Qwen2.5-72B as guard，带 companion 风险体系 prompt + few-shot）	experiments/eval_sota_llmguard.json	eval_llm_judge_baseline.py 骨架
T1-B	英文翻译子集（每类 30-50 条共 ~300-500），让 WildGuard/ShieldGemma 重评，拆"语言伪影"vs"本体差异"	experiments/eval_sota_*_en_subset.json	eval_sota_baselines.py
T1-C	strong LLM-as-judge：few-shot + 注入 det_l_risk + 动作语义清单	改造 eval_llm_judge_baseline.py	llmjudge_cache.jsonl

Tier 2（推荐做，rigor）

ID	任务	产出文件	备注
T2-D	Module C 多 seed（42/1234/5678）+ mean±std + paired t-test	eval_intervention_v6_seed{1234,5678}.json	服务器单 GPU × 3 串行
T2-E	Per-category 行为分析：BC 已会的类 vs PPO 新学的类	experiments/policy_behavior_analysis.json	无需重训，仅后处理
T2-G	evaluate.py 加 --no-safety-floor，重跑 v6 验证策略本身质量	eval_intervention_v6_nofloor.json	改 1 处 evaluate.py

Tier 3（暂不做）：真实数据扩展、DPO/IQL 对照、完整跨语言泛化——超出"中等投入"边界，仅在冲 IP&M 时启用。

预期效果

• 完成 Tier 1+2 后 ESWA 接受率预估 55% → 75%
• IP&M 即使大力补强也只到 40-50%，不在本轮目标内

诚实风险

• T2-D 可能反向打脸：v6 若是 lucky run，三 seed 平均回到 0.93 区间 → 主指标退步
• T1-B 可能反向打脸：英文版 SOTA 召回若显著上升 → "本体差异"论点弱
• 这些是诚实实验的必然代价，论文可信度 > 一次性接受

---

服务器速查

项目	值
SSH	ssh server5090（别名）或 ssh -p 20083 -i ~/.ssh/ai_tunnel_key root@10.82.3.180
认证方式	ED25519 公钥，本地密钥 C:\Users\张思远\.ssh\ai_tunnel_key
SSH config 别名	~/.ssh/config → Host server5090，IdentityFile 已指向 ai_tunnel_key
代理隧道	服务器 127.0.0.1:7890（HTTP proxy），pip/curl 需 http_proxy=http://127.0.0.1:7890
存储 UUID（当前）	siton-data-2849d4ce327c4ccfb233ce33868fe7fe（2026-05-19 服务器修复后）
$PROJ	/root/siton-data-2849d4ce327c4ccfb233ce33868fe7fe/zsy/CompanionGuard-RL
MacBERT	$PROJ/../macbert-large
Python 环境	/opt/conda/envs/dlapo-py310-cu128/bin
GPU	4 × RTX 5090 32GB

注意：服务器修复/重置后存储 UUID 可能变更，届时需同步更新 configs/intervention_config.yaml 和 configs/detector_config_server.yaml 中的绝对路径。