Pinpointing Trigger Moment for Grounded Video QA: Enhancing Spatio-temporal Grounding in Multimod... 一、文章主要内容总结该研究针对ICCV 2025感知测试挑战赛中的接地视频问答(GVQA)任务,提出了一种三阶段 pipeline 框架,核心目标是解决视频内容的复杂推理、视觉证据关联与目标对象时序跟踪问题。任务背景:GVQA 任务要求模型不仅能对视频内容进行多模态推理,还需将答案与视觉证据绑定,并跟踪目标对象的时序轨迹。现有 VideoQA 模型常依赖语言捷径而非视觉因果信息,因此需要更可靠的视觉接地与跟踪方案。三阶段框架:(1)视频推理与问答(Video Reasoning QA):采用 Gemini 2.5 Pro 模型,通过 CORTEX 提示词策略,识别目标对象并输出详细描述,同时定位“触发时刻”(trigger moment)——目标对象最清晰可见的单帧;(2)时空接地(Spatio-temporal Grounding):使用 Molmo 模型在触发时刻帧中定位目标对象,生成初始边界框;若接地失败,采用滑动窗口、反向播放等 fallback 策略;(3)跟踪(Tracking):基于 SAM2 模型,从初始边界框出发进行双向跟踪,生成目标对象在全视频中的轨迹。实验结果:该方法在测试集上取得 0.4968 的 HOTA 分数,显著超越 2024 年冠军的 0.2704 和基线模型的 0.0574,验证了框架的有效性。局限与展望:当前框架适用于单一事件场景

相关新闻

最新新闻

C++类与对象:从零构建银行账户系统,掌握面向对象编程核心

C++类与对象:从零构建银行账户系统,掌握面向对象编程核心

1. 项目概述:为什么选择C作为我的编程起点很多朋友问我,现在Python、JavaScript这么火,为什么还要从C这种“老古董”开始学编程?我的回答很简单:如果你想真正理解计算机在干什么,而不是仅仅当一个“调包侠”…

2026/7/25 4:24:31
计算机毕业设计之学生宿舍管理和设施服务辅助网站

计算机毕业设计之学生宿舍管理和设施服务辅助网站

学生宿舍管理和设施服务辅助网站采用B/S架构,数据库是MySQL。网站的搭建与开发采用了先进的Nodejs进行编写,使用了Express框架。该系统从两个对象:由管理员和学生来对系统进行设计构建。主要功能包括:个人信息修改,对学…

2026/7/25 4:24:31
AI编程实战:基于Spec Coding与Codex的半小时全栈管理后台开发

AI编程实战:基于Spec Coding与Codex的半小时全栈管理后台开发

“一个月的前端全栈项目,现在半小时搞定?”——这不是标题党,而是我最近用 Codex Spec Coding 真实跑通一个管理后台后的第一感受。 作为一名长期在一线开发的前端工程师,我经历过从 jQuery 到 React/Vue,再到如今 A…

2026/7/25 4:24:31
计算机毕业设计之校园志愿者服务系统

计算机毕业设计之校园志愿者服务系统

目前,我国高等院校青年志愿者工作获得长足发展的同时,也普遍存在着实效性不强、缺乏保障机制、参与者积极性下降等问题,为推动高校大学生志愿者行动的可持续发展,必须避免活动形式简单,增强教育内涵,重视激励措施的运用。为完善公…

2026/7/25 4:24:31
CentOS 7.9运维实战:常见问题排查与优化指南

CentOS 7.9运维实战:常见问题排查与优化指南

1. CentOS 7.9常见问题全景分析作为一款长期支持的企业级Linux发行版,CentOS 7.9在服务器领域拥有广泛的应用基础。但在实际运维中,从基础环境配置到核心服务部署,每个环节都可能遭遇各种"拦路虎"。本文将系统梳理笔者在五年生产环…

2026/7/25 4:24:31
curl、wrk

curl、wrk

1)连通性测试curl -v https://xxx/gate2)压测//安装wrk apt install wrk// 4线程 10个tcp连接 持续60s wrk \ -t4 \ -c10 \ -d60s \ --latency \ https://xxx/gateRunning 1m test https://xxx/gate4 threads and 10 connectionsThread Stats Avg Stdev Max /-…

2026/7/25 4:19:31

月新闻