# 多模态情感模型优化研究执行方案

> 文档作用：本文是本课题唯一主工作文档，记录“当前有效方案”。它应当能直接指导后续实验执行、代码开发、基线选择、结果验收与论文写作。历史判断、废弃方案和变更原因只写入变更日志，不在本文反复展开。
>
> 当前版本：v3.1  
> 更新日期：2026-04-24  
> 当前主线：D2 RL 对话图结构优化为主要贡献；D1 RL 自适应模态融合作为辅助实验、鲁棒性分析和负结果讨论保留。  
> 当前限制：本轮只修文档和代码口径，不启动 GPU 训练。

## 1. 研究目标

本课题研究多模态情感识别中的动态决策问题。核心问题不是简单把文本、音频、视觉拼接起来，而是在不同样本、不同噪声、不同对话上下文下，让模型学会“当前应该信任哪种模态、应该参考哪些历史发言”。

最终论文建议围绕一个统一叙事组织：

> Reinforcement Learning for Adaptive Multimodal Emotion Recognition: From Modality Fusion to Conversation Graph Topology

中文表述：

> 面向多模态情感识别的强化学习动态决策框架：从模态融合权重到对话图拓扑优化。

两个技术层次：

1. D1 话语级动态融合：RL agent 根据每路模态的可靠性动态分配 text/audio/vision 权重。
2. D2 对话级动态图结构：RL agent 根据当前发言状态动态选择上下文窗口、历史发言边权重和说话人关系。

当前优先级：

| 方向 | 定位 | 当前状态 | 优先级 |
|---|---|---|---|
| D1 RL 自适应模态融合 | 辅助实验、鲁棒性分析、负结果讨论 | bug 已修，待 GPU 空闲后重跑 | 中 |
| D2 RL 对话图结构优化 | 主贡献、主实验、论文核心 | 等待 COGMEN 依赖与公平基线 | 高 |

## 2. 当前资源与目录

服务器：

| 项目 | 内容 |
|---|---|
| SSH | `ssh -p 20083 root@10.82.3.180` |
| `$ZSY` | `/root/siton-data-2849d4ce327c4ccfb233ce33868fe7fe/zsy` |
| 项目目录 | `$ZSY/multimodal_affect` |
| 环境 | `$ZSY/envs/multimodal_affect` |
| 数据盘 | 1TB，当前约 788GB 可用 |
| GPU | 4 x RTX 5090，当前暂不占用 |

本地目录：

| 项目 | 路径 |
|---|---|
| 本地研究目录 | `D:\Myresearch\多模态情感模型优化` |
| 主方案 | `2026-04-22-研究执行方案.md` |
| 变更日志 | `2026-04-24-变更日志.md` |

服务器数据状态：

| 数据 | 当前状态 | 用途 | 注意事项 |
|---|---|---|---|
| IEMOCAP 预提取特征 | `data/iemocap`，GloVe 300 + COVAREP 74 + FACET 35 | D1 修复后重跑 | 扁平特征，不适合 D2 图结构 |
| IEMOCAP 原始数据 | `data/raw/IEMOCAP_full_release`，已解压 Session1-5 | D2 重建对话级样本、必要时提取新特征 | 不覆盖现有 `data/iemocap` |
| COGMEN IEMOCAP 4 类数据 | `baselines/COGMEN/data/iemocap_4` | D2 公平基线首选入口 | 需要 PyG 等依赖 |
| MELD CSV | `data/meld`，当前主要是文本/标签 | 后续 D2 泛化实验 | 已解压 MELD.Raw，可补音频/视频 |
| MELD.Raw | `data/raw/MELD/MELD.Raw`，已解压 | 后续多模态特征 | 暂不运行耗时提取 |
| MOSI | `data/mosi` | D1 或补充实验 | audio 中有少量 `-inf`，使用前必须清洗 |
| IEMOCAP noisy | `data/iemocap_noisy` | D1 鲁棒性实验 | 已重新生成三模态噪声文件 |

## 3. 当前代码状态

已修复内容：

| 模块 | 文件 | 修复内容 | 状态 |
|---|---|---|---|
| 噪声生成 | `scripts/preprocess/generate_noise.py` | 统一输出 `*_vision.npy`，兼容 `visual` 配置别名 | 已同步本地与服务器 |
| 数据加载 | `src/data/dataset.py` | noisy variant 加载 text/audio/vision，缺失文件回退 clean 同索引模态 | 已同步服务器 |
| D1 训练 | `scripts/train_d1_fixed.py`、服务器 `scripts/train/train_d1.py` | 噪声 batch 使用同一索引加载 text/audio/vision/labels | 已同步 |
| D1 评测 | `scripts/run_eval_ablation.py`、服务器 `scripts/eval/eval_d1.py` | 噪声评测替换三模态，修复最后 batch 索引 | 已同步 |
| 噪声数据 | 服务器 `data/iemocap_noisy` | 8 个变体均含 train/val/test 的 text/audio/vision/labels | 已验证 |

已完成检查：

- 本地相关 Python 文件 `py_compile` 通过。
- 服务器相关 Python 文件 `py_compile` 通过。
- 服务器噪声数据形状检查通过。
- 未启动任何训练。

旧结果使用规则：

| 结果 | 是否可用于论文正式表格 | 用途 |
|---|---|---|
| 修复前 D1 Stage A/B 数值 | 否 | 仅用于说明 bug 发现前的诊断过程 |
| 修复前 D1 噪声鲁棒性数值 | 否 | 视觉噪声相关结果无效 |
| 修复后重新训练结果 | 待产生 | 可作为正式 D1 结果 |
| COGMEN 论文引用数值 | 不能作为主表唯一基线 | 可放 Related Work 或参考表 |
| 本地复现 COGMEN-Ours | 待产生 | D2 主基线 |

## 4. 总体技术路线

整体路线分为两个层次：

```text
输入：text / audio / vision 多模态情感数据

D1：话语级动态融合
  预提取特征 -> 模态 projector -> 置信度/不确定性状态 -> RL fusion agent -> 分类
  目标：验证 RL 是否能在噪声/缺失模态下优于固定融合

D2：对话级动态图结构
  对话序列 -> COGMEN 基线图 -> RL window/topology agent -> 动态 GNN -> ERC 分类
  目标：学习“该看哪些历史发言”和“边权重应该多强”
```

研究策略：

1. 先保证 D1 训练和评测口径正确，重跑后决定其论文位置。
2. D2 必须先跑通 COGMEN-Ours，建立公平基线。
3. D2 先做小动作空间的 `RL-Window`，再做完整 `RL-Topo-Soft`。
4. 最终论文以 D2 主结果为核心，D1 作为辅助实验或 analysis 章节。

## 5. D1 方案：RL 自适应模态融合

### 5.1 任务定义

输入为单条 utterance 的三模态特征：

| 模态 | 当前特征 | 维度 |
|---|---|---|
| Text | GloVe 平均/预提取文本特征 | 300 |
| Audio | COVAREP | 74 |
| Vision | FACET | 35 |

输出为 4 类 IEMOCAP 情感分类。

当前 D1 不声称使用 BERT/Wav2Vec2/ResNet。若未来要写“大模型特征提取”，必须另做特征提取与重跑。

### 5.2 当前模型结构

```text
text/audio/vision feature
  -> modality projector: low-dim feature -> 1024-d shared space
  -> confidence estimator: 每个模态输出一个置信度
  -> RL fusion agent: 输出三路融合权重
  -> weighted fusion
  -> MLP classifier
```

Stage A：监督预训练。

- 使用均匀融合训练 projector、confidence estimator、classifier。
- 训练时注入噪声。
- 置信度目标按实际噪声模态设置：被污染模态为 0.1，干净模态为 0.9。

Stage B：PPO 融合权重学习。

- encoder 冻结。
- agent 根据状态输出三路权重。
- classifier 可轻量刷新。
- 该版本作为 `RL-Decoupled`，用于验证两阶段 RL 的局限。

### 5.3 D1 状态、动作、奖励

当前状态：

```text
s = [conf_text, conf_audio, conf_vision, noise_est]
```

动作：

```text
a = [w_text, w_audio, w_vision], sum(a)=1
```

当前奖励：

```text
R = alpha * (-CE) + beta * consistency(weights, confidence) - gamma * instability
```

后续增强状态候选：

| 状态项 | 说明 |
|---|---|
| 三路 confidence | 现有 |
| 三路单模态预测熵 | 衡量每个模态自身不确定性 |
| 三对跨模态 cosine similarity | 衡量模态一致性 |
| 三路 feature norm / variance | 检测异常特征 |
| 分模态 noise estimate | 替代单一 `audio.std` |

目标是从 4 维状态扩展到 12-16 维状态，前提是 `RL-Decoupled` 重跑后仍有继续价值。

### 5.4 D1 噪声实验

当前 IEMOCAP 噪声变体：

| 变体 | 噪声设计 | 应影响模态 |
|---|---|---|
| `gaussian_light` | 轻度高斯噪声 | text/audio/vision |
| `gaussian_heavy` | 重度高斯噪声 | text/audio/vision |
| `missing_audio` | 音频全置零 | audio |
| `missing_visual` | 视觉全置零 | vision |
| `text_word_drop_30` | 文本 30% dropout 或特征置零 | text |
| `audio_masking_50` | 音频 50% 维度遮蔽 | audio |
| `realistic_mixed` | 文本轻度损坏 + 音频噪声 + 视觉遮挡 | text/audio/vision |
| `audio_time_mask` | 音频样本级时间遮蔽 | audio |

验收要求：

- 每个变体必须有 `train/val/test` 的 `text/audio/vision/labels`。
- 评测时 noisy 文件存在就替换对应模态；不存在才回退 clean 同索引模态。
- 不允许 batch 内跨样本替换模态。

### 5.5 D1 对比基线

D1 不以 COGMEN 为主基线。建议基线：

| 类别 | 方法 |
|---|---|
| 基础融合 | concat + MLP、Fixed-Equal、Fixed-Learned-Weight |
| 动态融合 | Attention Fusion、Gated Fusion |
| 多模态情感经典方法 | TFN、LMF、MFN、MulT、MISA、Self-MM |
| 鲁棒/缺失模态 | GCNet、MMIN、M2R2、GSDNet 或同类方法 |
| 本方法 | RL-Decoupled、RL-Joint、RL-Joint-16dim |

最小可执行矩阵：

| 变体 | 必做 | 说明 |
|---|---|---|
| Stage-A-Only | 是 | 修复后监督基线 |
| Fixed-Equal | 是 | 固定融合 |
| Gated-Fusion | 是 | 非 RL 动态融合 |
| RL-Decoupled | 是 | 当前两阶段 RL |
| RL-Joint | 视结果 | 如果 decoupled 仍弱，做联合训练 |
| RL-Joint-16dim | 视结果 | 状态增强版本 |

### 5.6 D1 后续执行顺序

触发条件：GPU 空闲。

1. 确认 `data/iemocap_noisy` 三模态文件完整。
2. 重跑 Stage A。
3. 重跑 Stage B `RL-Decoupled`。
4. 重新运行修复后的 `eval_d1.py`。
5. 汇总 clean 与 8 种噪声下的 WF1/Acc。
6. 判断是否进入 `RL-Joint`。

D1 成功标准：

- clean test 不显著低于 Stage-A-Only。
- 至少在多数噪声场景中优于 Fixed-Equal 或 Gated-Fusion。
- 若无法达成，D1 写为负结果与设计反思，不作为主贡献。

## 6. D2 方案：RL 对话图结构优化

### 6.1 任务定义

D2 是论文主线。目标是在多模态对话情感识别中，让 RL agent 动态决定当前发言应参考哪些历史发言。

输入为一个 dialogue：

```text
u1, u2, ..., ut
每个 ui 有 text/audio/vision feature、speaker id、label
```

输出为每个 utterance 的情感类别。

核心问题：

```text
固定图结构：每个当前发言使用固定窗口或固定全局连接
改进目标：根据当前语义、说话人、历史情绪变化，动态选择上下文边
```

### 6.2 D2 与 COGMEN 的关系

COGMEN 是 D2 的直接前身，不跳过。

当前策略：

1. 先跑官方 COGMEN `iemocap_4`，得到 `COGMEN-Ours`。
2. 在同一数据、同一 split、同一指标下实现固定窗口变体。
3. 再加入 RL window selector。
4. 最后实现 soft topology agent。

不能只引用 COGMEN 论文表格，因为：

- 论文数值和当前本地环境、特征、依赖版本可能不同。
- D2 的改进必须建立在可复现同口径基线上。
- 后续固定窗口和 RL 图结构需要直接改 COGMEN 图构建逻辑。

### 6.3 D2 环境依赖

当前阻塞：

| 依赖 | 状态 |
|---|---|
| `torch_geometric` | 未安装 |
| `torch_scatter` | 未安装 |
| `torch_sparse` | 未安装 |
| `sentence_transformers` | 未安装 |
| `comet_ml` | 未安装 |

解决方案：

1. 优先离线安装与 `torch 2.7.1+cu128` 兼容的 PyG wheels。
2. 如果 PyG wheel 不好配，先用 COGMEN 官方预处理数据做评测脚本适配，减少训练依赖。
3. `comet_ml` 只作为日志依赖，必要时 stub 或禁用。
4. `sentence_transformers` 若只评测官方 pkl，可避免重新提取 SBERT 特征；若训练流程强依赖则离线安装。

### 6.4 D2 阶段一：COGMEN-Ours

目标：跑通本地 COGMEN 4 类 IEMOCAP。

任务：

1. 阅读并定位 COGMEN 图构建逻辑：
   - `cogmen/model/COGMEN.py`
   - `cogmen/model/GNN.py`
   - `cogmen/Dataset.py`
   - `preprocess.py`
2. 确认官方 `data_iemocap_4.pkl` 与 `IEMOCAP_features_4.pkl` 的结构。
3. 安装或绕过缺失依赖。
4. 跑原始评测，记录 WF1/Acc。
5. 保存基线结果到 `outputs/results/d2_cogmen_ours.json`。

验收：

- 可以在服务器上复现实验。
- 有固定 random seed。
- 有完整命令、日志和结果文件。

### 6.5 D2 阶段二：固定窗口基线

目的：确认 COGMEN 固定图结构中上下文窗口的影响。

实验：

| 变体 | 描述 |
|---|---|
| `COGMEN-Ours` | 原始 COGMEN |
| `FixedWin-3` | 只连接历史 3 句 |
| `FixedWin-5` | 只连接历史 5 句 |
| `FixedWin-7` | 只连接历史 7 句 |
| `FixedWin-All` | 全历史连接 |

输出：

- 每个窗口的 WF1/Acc。
- 不同对话长度下的性能分组。
- 后续 RL action space 的依据。

### 6.6 D2 阶段三：RL-Window

这是最小可行创新版本。

状态设计：

```text
s_t = concat(
  h_t,                 当前发言表示
  mean(h_1...h_{t-1}), 历史均值
  speaker_embedding,   说话人嵌入
  delta(h_t, h_{t-1})  情绪变化估计
)
```

动作空间：

```text
a_t in {3, 5, 7, all}
```

奖励：

```text
R = task_reward + lambda_sparse * sparsity_bonus + lambda_stable * stability_bonus
```

可实现版本：

| 奖励项 | 实现 |
|---|---|
| task_reward | batch-level `-CE` 或 validation WF1 改善 |
| sparsity_bonus | 窗口越短越稀疏，但不能牺牲任务性能 |
| stability_bonus | 相邻 utterance 的窗口选择不要剧烈抖动 |

验收：

- `RL-Window` 超过 `COGMEN-Ours` 或超过最优固定窗口。
- 至少有 3 个对话案例显示 RL 选择了不同窗口。
- 若没有提升，分析是否状态信息不足或奖励过稀疏。

### 6.7 D2 阶段四：RL-Topo-Soft

完整版动态图结构。

动作：

```text
对当前 utterance u_t，输出每条历史边 e_{i,t} 的连续权重 w_{i,t} in [0,1]
```

为什么用 soft topology：

- 硬 0/1 边不可导，PPO 信号稀疏。
- soft edge 可以让分类 loss 通过消息传递影响边权。
- 可解释性仍保留：边权可视化即可。

模型候选：

```text
history/current sequence
  -> transformer/state encoder
  -> edge scorer
  -> weighted graph message passing
  -> classifier
```

奖励：

```text
R = alpha * task_reward
  + beta * sparsity
  + gamma * emotion_coherence
  - eta * graph_instability
```

解释性输出：

- 每个 utterance 选择的 top-k 历史边。
- 同说话人/不同说话人边权统计。
- 情绪转折点前后的图结构变化。
- 噪声 utterance 是否被降低边权。

### 6.8 D2 主基线矩阵

论文主表建议至少覆盖：

| 类别 | 方法 | 必要性 |
|---|---|---|
| 经典 ERC | DialogueRNN | 基础对话上下文基线 |
| 图 ERC | DialogueGCN | 图结构基础基线 |
| 多模态图 | MMGCN | 多模态 ERC 图基线 |
| 直接前身 | COGMEN | 必做 |
| 近年图方法 | M3Net | 建议 |
| 近年图方法 | AdaGIN | 建议 |
| 近年图方法 | DER-GCN | 建议 |
| 直接竞争 | DGODE | 必做 |
| 补充竞争 | GASMER | 可做 |
| 本文 | FixedWin / RL-Window / RL-Topo-Soft | 主结果 |

R1-Omni、AffectGPT-R1、EMO-RL、AffectAgent 放 Related Work，不强行放主表，除非任务设置、数据集、指标完全对齐。

## 7. 数据集与指标

### 7.1 数据集

| 数据集 | 用途 | 当前策略 |
|---|---|---|
| IEMOCAP 4-class | 主数据集 | D1 用扁平特征；D2 用 COGMEN 对话级数据 |
| MELD | 泛化验证 | 先补齐音频/视频或使用已有对话结构 |
| CMU-MOSI | D1 可选补充 | 使用前清洗 audio 的 `-inf` |

### 7.2 指标

主指标：

- Weighted F1
- Accuracy

辅助指标：

- Macro F1
- per-class precision/recall/F1
- 噪声场景下相对下降率
- 多 seed 均值与标准差
- paired t-test 或 bootstrap confidence interval

实验规范：

- 主结果至少 3 个 seed。
- IEMOCAP 必须明确 4-class 或 6-class。
- 所有表格必须标明特征来源和 split。
- COGMEN 论文引用数值和本地复现数值分开写。

## 8. 当前时间线

### 已完成

| 阶段 | 内容 | 状态 |
|---|---|---|
| P0 | 环境搭建、数据上传、初步特征整理 | 完成 |
| P0-data | IEMOCAP/MELD 原始数据解压 | 完成 |
| P1-fix | D1 噪声生成、训练采样、评测 bug 修复 | 完成 |
| P1-check | 本地/服务器语法检查、噪声数据形状检查 | 完成 |

### 下一阶段

| 阶段 | 内容 | 触发条件 | 预计耗时 |
|---|---|---|---|
| P1-rerun | D1 修复后 Stage A/B 重跑 | GPU 空闲 | 0.5-1 天 |
| P2-env | 安装/适配 COGMEN 依赖 | CPU/环境窗口 | 0.5-1 天 |
| P2-base | 跑 COGMEN-Ours | 依赖就绪 | 0.5 天 |
| P2-win | 固定窗口与 RL-Window | COGMEN-Ours 完成 | 2-4 天 |
| P2-topo | RL-Topo-Soft | RL-Window 有效 | 1-3 周 |
| P3 | 多 seed、消融、可视化、写作 | 主结果稳定 | 3-4 周 |

## 9. 后续命令草案

仅在 GPU 空闲后执行。

D1 重跑：

```bash
cd $ZSY/multimodal_affect
export ZSY=/root/siton-data-2849d4ce327c4ccfb233ce33868fe7fe/zsy
export PYTHONPATH=$ZSY/multimodal_affect
export WANDB_MODE=offline

$ZSY/envs/multimodal_affect/bin/python scripts/preprocess/generate_noise.py \
  --config configs/noise_configs.yaml \
  --data_dir data/iemocap \
  --out_dir data/iemocap_noisy

$ZSY/envs/multimodal_affect/bin/python scripts/train/train_d1.py \
  --stage supervised \
  --dataset IEMOCAP \
  --config configs/d1/stage_a.yaml \
  --output outputs/checkpoints/d1_stageA_fixed \
  --gpus 0

$ZSY/envs/multimodal_affect/bin/python scripts/train/train_d1.py \
  --stage rl \
  --dataset IEMOCAP \
  --checkpoint outputs/checkpoints/d1_stageA_fixed/best.ckpt \
  --config configs/d1/stage_b.yaml \
  --output outputs/checkpoints/d1_stageB_fixed \
  --gpus 0
```

D2 COGMEN-Ours：

```bash
cd $ZSY/multimodal_affect/baselines/COGMEN

# 依赖就绪后：
$ZSY/envs/multimodal_affect/bin/python eval.py \
  --dataset iemocap_4 \
  --modalities atv
```

注意：以上命令是草案，执行前先检查 GPU 占用和依赖状态。

## 10. 风险与应对

| 风险 | 概率 | 影响 | 应对 |
|---|---|---|---|
| D1 修复后仍无收益 | 中 | D1 不能作为贡献 | 写作中定位为负结果和设计反思 |
| COGMEN 依赖安装困难 | 中 | D2 延迟 | 离线 wheels、禁用 comet、优先评测路径 |
| RL-Window 不超过固定窗口 | 中 | 创新不足 | 调整状态与奖励；分析对话长度分组 |
| RL-Topo-Soft 训练不稳定 | 中 | 主结果风险 | 从 RL-Window 热启动，先做 soft edge supervised pretrain |
| MELD 多模态特征提取耗时 | 中 | 泛化实验延迟 | 先 IEMOCAP 完整，MELD 作为补充 |
| 基线过多导致时间失控 | 高 | 写作延期 | 先确保 COGMEN、DGODE、DialogueGCN、MMGCN |

## 11. 论文结构草案

```text
1. Introduction
   - 多模态情感识别中的动态选择问题
   - 模态噪声与对话上下文冗余
   - RL 作为动态决策机制

2. Related Work
   - Multimodal sentiment/emotion recognition
   - Emotion recognition in conversation
   - Graph-based ERC
   - RL for affective computing

3. Method
   - Overview
   - D1: RL adaptive fusion
   - D2: RL graph topology optimization
   - Training objective and reward design

4. Experiments
   - Datasets and metrics
   - Baselines
   - Main results on IEMOCAP
   - Generalization on MELD
   - Ablation study
   - Robustness under noise/missing modality
   - Visualization and case study

5. Analysis
   - Why two-stage D1 is limited
   - How RL graph policy changes with dialogue context
   - Error analysis by emotion class and speaker dynamics

6. Conclusion
```

## 12. 当前执行原则

必须遵守：

- 主方案只维护本文；变更原因只进日志。
- 旧 D1 结果不进入论文正式结果表。
- 不覆盖 `data/iemocap` 预提取特征。
- 不用扁平 `data/iemocap` 训练 D2 图模型。
- 不只拿 COGMEN 论文数值做主对比。
- GPU 忙时只做文档、代码、CPU 检查、依赖准备。

下一步最优先事项：

1. 等 GPU 空闲后重跑 D1 修复版，确认辅助实验结论。
2. 准备 COGMEN 依赖，跑通 `COGMEN-Ours`。
3. 实现 `FixedWin` 与 `RL-Window`，尽快拿到 D2 第一组可写结果。