LYH卢英豪Yinghao Lu

Paper Reading · Open-Vocabulary HOI

SGC-Net: Exploring Large Foundation Models for Open-Vocabulary HOI Detection

SGC-Net 的核心是：开放词汇 HOI 不能只靠类别名，需要更细粒度的语言描述和更分层的视觉—文本比较。SGC-Net argues that open-vocabulary HOI needs granular language descriptions and hierarchical visual-text comparison.

arXiv 2025·Open Vocabulary·Large Foundation Models
查看论文View paper → 代码仓库Code ← 返回笔记Back to notes

1. 研究背景

开放词汇 HOI 的难点之一是交互类别非常相似：hold、carry、touch、use 等动作之间常常只有细微差别。仅靠类别名很难给模型足够的区分信息。SGC-Net 尝试使用大基础模型生成或提供更丰富的动作描述，再通过细粒度比较提升识别能力。

问题类别名过短，难以区分语义相近的 HOI。
语言侧借助大模型获得更细粒度的交互描述。
视觉侧结合全局交互区域和局部视觉特征进行对齐。
核心机制分层、分粒度地比较视觉证据和文本语义。

2. 方法核心

SGC-Net 可以理解为“语义描述更细 + 比较过程更细”。它不是只把 person ride horse 这样的类别名编码成一个向量，而是让文本侧包含更多动作线索，例如身体姿态、接触关系、物体功能和场景上下文，再和视觉侧的不同粒度特征进行匹配。

  • 细粒度语言描述：大模型能够生成比类别名更丰富的交互解释，为未见类别提供可迁移语义。
  • 多粒度视觉对齐：同时考虑全局人—物交互区域和局部视觉细节，避免只看整块 union 区域导致证据太粗。
  • 分层比较：先粗略判断语义组，再在相近类别之间做更细比较，缓解相似动作混淆。

3. 与前面几篇的联系

GEN-VLKT 证明语言原型有价值，CMMP 让 prompt 条件化，EZ-HOI 关注 VLM 高效适配，而 SGC-Net 进一步强调“语言内容本身要足够细”。这也是开放词汇 HOI 的一个关键趋势：从类别名对齐，走向描述级、属性级和关系级对齐。

我的理解：SGC-Net 对你自己的开放词汇 HOI 研究很有启发。因为它提醒我们，未见类别泛化失败有时不是视觉 backbone 不够强，而是文本标签太贫乏。补充多语言描述、细粒度描述或类别级全局约束，都可以看作解决“语义锚点不足”的方法。

4. 面试可讲点

  1. 开放词汇 HOI 需要从“类别名分类”转向“描述级语义推理”。
  2. 大模型的价值不只是生成标签，还在于提供细粒度动作知识和上下文常识。
  3. 分层比较适合处理语义相近类别，能让模型先分大类，再辨细节。

5. 可以继续思考

如果把 SGC-Net 的细粒度描述扩展为多语言描述，可能进一步增强语义覆盖；如果把描述与视觉证据按部位、接触关系、物体功能进行显式对齐，也可能让模型更具可解释性。

Open VocabularyLLM DescriptionsGranular ComparisonCLIPSemantic Reasoning

1. Background

Open-vocabulary HOI suffers from semantically similar interactions such as hold, carry, touch, and use. Short class names are often insufficient, so SGC-Net uses richer descriptions from large foundation models.

IssueClass names are too short to distinguish subtle interactions.
Language sideUse foundation models to obtain granular interaction descriptions.
Vision sideAlign global interaction regions and local visual details.
MechanismCompare visual evidence and text semantics hierarchically.

2. Core idea

  • Granular text descriptions provide transferable semantics for unseen classes.
  • Multi-granularity visual alignment avoids overly coarse union-region evidence.
  • Hierarchical comparison helps distinguish semantically similar interactions.

3. Relation to other notes

GEN-VLKT shows the value of language prototypes; CMMP conditions prompts; EZ-HOI studies efficient VLM adaptation; SGC-Net further improves the richness of the language side.

My take: open-vocabulary failures are not always due to weak visual backbones. Sometimes the semantic anchor itself is too sparse.

4. Interview talking points

  1. Open-vocabulary HOI should move from class-name classification to description-level reasoning.
  2. Large models provide detailed action knowledge and context priors.
  3. Hierarchical comparison helps handle confusing interaction categories.
Open VocabularyLLM DescriptionsGranular ComparisonCLIPSemantic Reasoning