Paper Reading · Zero-Shot HOI
CMMP: Conditional Multi-Modal Prompts for Zero-shot HOI Detection
CMMP 的重点是“prompt 不是固定模板，而应该由图像实例和交互语义条件化生成”。CMMP argues that prompts should be conditioned on visual instances and interaction semantics instead of being fixed templates.
arXiv 2024·Zero-shot HOI·Prompt Learning
1. 研究背景
零样本 HOI 的核心挑战是：测试阶段可能出现训练时没见过的交互类别。只依赖封闭集分类器时，模型很难识别这些新组合。CMMP 从 prompt learning 入手，分别在视觉分支和语言分支学习条件化提示，让模型更好地把视觉证据映射到未见交互语义。
问题固定 prompt 不够灵活，难以覆盖实例差异和空间关系。
视觉侧根据人—物实例特征和空间先验生成视觉提示。
语言侧学习与交互语义相关的语言提示，并约束语义一致性。
目标提升未见交互类别的 zero-shot 泛化能力。
2. 方法核心
CMMP 的名字可以拆成三个关键词：Conditional、Multi-Modal、Prompts。Conditional 表示 prompt 要依赖输入样本；Multi-Modal 表示视觉和语言两侧都参与；Prompts 表示不直接重写整个大模型，而是通过可学习提示让预训练知识适配 HOI。
- 条件视觉提示：利用人—物实例特征和全局空间模式作为先验，帮助视觉分支关注交互相关区域。
- 条件语言提示：不只使用简单类别名，而是学习更适合 HOI 任务的语言上下文。
- 语义一致性：让视觉 prompt 和语言 prompt 在交互语义上保持一致，减少两侧表征各学各的情况。
3. 与综述脉络的关系
GEN-VLKT 已经证明 CLIP 语义有帮助，但 prompt 往往较粗。CMMP 更进一步：它认为“好的语义对齐”需要根据图像实例动态调整提示，尤其是 HOI 中同一个动作在不同物体、姿态和空间布局下表现差异很大。
我的理解：CMMP 的本质是把 prompt 从静态文本模板升级为任务适配器。对于 HOI 这种高度组合化的任务，prompt 如果能感知实例和空间关系，就比固定的 “a photo of person verb object” 更有表达力。
4. 面试可讲点
- 它把 zero-shot HOI 的关键问题归结为“跨模态语义对齐不足”。
- 它没有完全依赖大规模重新训练，而是用 prompt learning 做轻量适配。
- 它强调视觉侧的空间先验，这对 HOI 很重要，因为动作往往由人和物的位置关系决定。
5. 可以继续思考
CMMP 的 prompt 主要围绕英文语义和视觉实例展开。如果扩展到多语言语义，是否可以让不同语言描述补充动作细节？如果引入 LLM 生成的细粒度描述，是否能进一步解决相近动作之间的混淆？这些都和后续 SGC-Net、MAHOI 方向有很自然的联系。
Prompt LearningZero-Shot HOICLIPSpatial PriorSemantic Alignment
1. Background
Zero-shot HOI detection must recognize interaction categories unseen during training. CMMP improves prompt learning in both visual and language branches so that visual evidence can better align with unseen interaction semantics.
IssueFixed prompts are not flexible enough for instance-level and spatial variation.
Visual branchGenerate visual prompts from instance features and spatial priors.
Language branchLearn task-aware language prompts for interaction semantics.
GoalImprove zero-shot generalization to unseen HOI classes.
2. Core idea
- Condition visual prompts on human-object instances and spatial patterns.
- Learn language prompts beyond simple class-name templates.
- Encourage semantic consistency between visual and language prompts.
3. Position in the roadmap
CMMP goes beyond static CLIP text prototypes by making prompts adaptive to the input instance, which is valuable for compositional HOI categories.
My take: CMMP treats prompt learning as a task adapter. For HOI, prompts that sense instance and spatial relations are more expressive than fixed text templates.
4. Interview talking points
- Zero-shot HOI is framed as insufficient cross-modal alignment.
- Prompt learning provides lightweight adaptation.
- Spatial priors matter because actions are strongly tied to human-object layouts.
Prompt LearningZero-Shot HOICLIPSpatial PriorSemantic Alignment