% ============================================================ \section{引言} \label{sec:intro} % ============================================================ 情感陪伴类AI平台(AI Companion)近年来迅速普及。 以星野(Xingyě)、Character.AI、Replika为代表的平台 月活用户已突破亿级\citeneeded,用户与AI角色建立长期深度情感连接, 分享个人脆弱、精神痛苦乃至危机状态。 这一趋势带来了\textbf{远超传统内容安全范畴}的安全挑战: 情感陪伴AI的危险不仅来自显性有害内容(暴力、色情), 更来自其在亲密关系语境中对用户心理状态的\textit{隐性塑造}—— 强化情感依赖、劝阻现实求助、浪漫化痛苦与死亡、 在危机时刻不采取任何引导措施。 \subsection{研究动机} \textbf{问题一:通用守卫模型对伴侣特有风险系统性漏检。} Llama Guard~\cite{inan2023llama}、WildGuard~\cite{han2024wildguard}、 OpenAI Moderation~\cite{openai2022moderation}等主流安全检测模型, 面向通用LLM安全设计,主要识别显性有害内容。 它们的安全分类体系不包含情感依赖强化(Dependency Reinforcement)、 现实隔离(Isolation Reinforcement)、死亡浪漫化(Romanticization)等 伴侣场景特有的关系性风险范畴。 已有研究表明,通用守卫模型在AI伴侣平台的关系性危害识别上 召回率极低\cite{wei2025ai,juneja2025persona}。 \textbf{问题二:现有方案止步于检测,缺乏干预决策机制。} 现有所有守卫模型均仅输出风险判断(有害/无害或风险类别), 不提供针对当前风险情境"应采取何种干预动作"的决策。 然而在实际平台运营中,\textit{放行、提醒、改写、拒绝、危机引导} 是代价和效益差异巨大的五类响应策略。 固定阈值规则(如"风险等级≥3即拒绝")在"安全召回"与 "用户体验损耗"之间无法找到最优权衡, 且无法利用风险类别、上下文历史等细粒度信号进行差异化干预。 \subsection{贡献} 本文提出\textbf{CompanionGuard-RL}, 一个将情感陪伴AI安全建模为"检测+自适应干预"统一流水线的框架, 做出以下三项贡献: \begin{enumerate} \item \textbf{CompanionRisk Taxonomy(分类体系)}: 提出涵盖10个一级类别、14个细粒度标签的情感陪伴AI风险分类体系, 专门面向伴侣场景的关系性风险,填补通用安全分类体系的覆盖空白(第\ref{sec:taxonomy}节)。 \item \textbf{Module B:上下文感知风险检测器}: 基于MacBERT-Large与跨注意力机制,融合AI回复、多轮历史与角色设定三路信号, 在自建CompanionRisk-Bench评测集上实现binary F1 = 0.9995, FNR = 0.0\%,相比基于关键词/规则的基线提升两个数量级(第\ref{sec:moduleB}节)。 \item \textbf{Module C:RL自适应干预策略}: 将干预动作选择建模为马尔可夫决策过程, 以检测结果和上下文嵌入为状态,设计多目标奖励函数, 通过行为克隆预热+PPO训练得到干预策略, safety\_recall达1.0(规则基线0.908), UX F-score达0.998(规则基线0.952)(第\ref{sec:moduleC}节)。 \end{enumerate} \subsection{论文结构} 本文结构如下: 第\ref{sec:related}节回顾相关工作; 第\ref{sec:taxonomy}节介绍CompanionRisk分类体系; 第\ref{sec:dataset}节描述CompanionRisk-Bench数据集的构建; 第\ref{sec:moduleB}节和第\ref{sec:moduleC}节分别介绍两个模块的方法与实验; 第\ref{sec:discussion}节讨论局限性; 第\ref{sec:conclusion}节总结全文。