news 2026/4/16 0:29:16

从 TPAMI 2025 看连续时间目标分割:事件相机驱动的视觉新方向

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从 TPAMI 2025 看连续时间目标分割:事件相机驱动的视觉新方向

一、论文主要贡献

该论文首次提出了一个连续时间(Continuous-Time)视频目标分割框架,充分利用事件相机(Event Camera)提供的高时间分辨率,实现低延迟、高精度的目标分割。主要贡献包括:

提出连续时间目标分割任务(Continuous-Time Object Segmentation)

  • 与传统基于帧的视频分割不同,该任务可在任意时间点对事件流输出前景目标掩膜;
  • 将视频分割的时间粒度提升至亚毫秒级,适用于高速运动和动态交互场景。

设计事件驱动的稀疏监督框架(Sporadic Groundtruth Supervision)

  • 利用离散关键帧的标注,将监督信号传播至整个事件流;

  • 极大降低了标注成本,同时保持连续时间分割精度。

提出基于连续时间神经表示的方法

  • 采用基于时间的 MLP / 递归网络进行隐状态建模;
  • 支持事件序列递归更新目标表示,实现任意时间插值与前景恢复。

构建高质量事件分割数据集与采集平台(MOTChallenge 风格)

  • 数据集具有亚毫秒级时间同步;
  • 使用 DAVIS346 事件相机搭建平台,包含真实场景与稀疏标注;

  • 提供开源采集工具及标准评测代码,便于社区复现。

二、方法框架解读

论文提出的连续时间分割模型(Continuous-Time Segmentation Model)核心组成如下:

  1. 输入数据

  • 事件流:由事件相机产生,格式(x, y, t, p)表示位置、时间戳与极性;

  • 稀疏标注帧:选定关键时间点的图像或伪标签,用于监督训练;

  • 可选 APS / RGB 图像帧:用于可视化或初始化。

  1. 模型组成

a. Event Encoder

  • 将事件块输入卷积或图神经网络,提取局部空间–时间特征;

  • 输出时序嵌入用于隐状态更新。

b. Continuous-Time Latent Memory (CTLM)

  • 类似 LSTM 的递归单元,整合连续时间信息;

  • 支持任意时间点查询和插值,具有时间记忆能力。

c. Segmentation Decoder

  • 输入隐状态,输出前景分割掩膜;

  • 通过稀疏关键帧监督进行训练。

  1. 训练与监督策略

  • 利用稀疏帧监督指导整个时间线的目标位置学习;

  • 引入时间插值损失与事件前后约束,增强时间一致性

三、数据集与实验设置

  1. 数据采集平台

论文构建了高精度事件相机采集系统:

项目配置
事件相机DAVIS346(解析度 346×260)
数据接口USB3 高速传输
时间同步亚毫秒级 (<1ms)
场景类型室内/室外真实动态

设备同时输出:

  • 事件流:由光强变化触发;

  • APS 帧:灰度图,用于可视化和辅助。

  1. 采集方式与标注

  • 每段视频长度 1–5 秒,事件数百万;

  • 每段仅选取 10–15 帧关键时间点进行人工标注;

  • 标注文件包含像素级前景掩膜与时间戳映射表(PNG + JSON/TXT)。

  1. 数据集规模与划分

项目数量
总序列数50+
每序列标注帧10–15
分割目标数1–3
数据划分训练 / 验证 / 测试

四、实验评估指标

针对连续时间事件分割任务,采用多维评价:

  • IoU / mIoU:空间分割精度;

  • Temporal Stability:时间一致性;

  • Latency-aware Accuracy:低延迟条件下的预测精度。

从系统解决方案角度来看,论文方法对输入传感器形态提出了明确工程假设:事件相机需提供高时间分辨率、低延迟事件流,同时在关键时间点提供可对齐图像帧以支撑稀疏监督。

在实验中,DAVIS 系列设备验证了“事件 + 图像”融合输入的可行性。这种输入形式与实际工业和科研系统高度契合,说明连续时间分割方法不仅是算法创新,也具备真实硬件运行潜力

在这一背景下,灵光一号作为RGB + EVS 融合视觉相机,提供了与论文方法天然匹配的硬件能力:

  • 同步输出高分辨率 RGB 图像和高时间分辨率事件流;

  • 硬件级时间对齐保证数据一致性;

  • 可直接支撑稀疏监督训练与连续事件建模。

因此,该方法可在灵光一号平台上直接落地运行,形成完整的“融合感知硬件 + 连续时间目标分割算法”解决方案,适用于高速运动感知、低延迟交互及复杂动态场景。

六、总结

该论文开创性地提出了连续时间目标分割方法,并提供了完整的数据、实验与算法体系;在工程视角下,方法与灵光一号融合视觉相机天然适配,展示了从学术算法到工业落地的可行路径,为下一代高动态、高精度视觉系统提供了理论和实践参考。

申明:本文基于 TPAMI 2025 发表的相关研究进行技术解读与应用分析,论文成果归原作者所有,本文仅从工程与产业视角探讨事件相机(EVS)连续时间目标分割的发展趋势及应用价值。

paper:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10713285

code: •https://github.com/BIT-Vision/ECOS

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/13 1:38:40

《P3228 [HNOI2013] 数列》

题目描述小 T 最近在学着买股票&#xff0c;他得到内部消息&#xff1a;F 公司的股票将会疯涨。股票每天的价格已知是正整数&#xff0c;并且由于客观上的原因&#xff0c;最多只能为 N。在疯涨的 K 天中小 T 观察到&#xff1a;除第一天外每天的股价都比前一天高&#xff0c;且…

作者头像 李华
网站建设 2026/4/15 22:02:59

PO、VO、BO、DTO、DAO、POJO有什么区别?

PO&#xff08;Persistent Object&#xff09;持久化对象&#xff0c;主要用于和数据库交互&#xff0c;是数据库数据在内存中的镜像。 VO&#xff08;View Object&#xff09;视图对象&#xff0c;和前端展示强相关&#xff0c;按需组装前端需要的字段。 BO&#xff08;Busine…

作者头像 李华
网站建设 2026/4/15 22:01:48

大数据领域Zookeeper的集群配置自动化工具推荐

大数据基石的"自动建筑师"&#xff1a;Zookeeper集群配置自动化工具深度解析 关键词 Zookeeper集群、配置自动化、Ansible、Kubernetes Operator、云原生运维、分布式协调、故障容错 摘要 在大数据生态中&#xff0c;Zookeeper作为分布式系统的"协调大脑"&…

作者头像 李华
网站建设 2026/4/15 16:17:27

ArcGIS土地利用现状图制作全流程

将之前《ArcGIS Pro从0到1制作广东省土地利用现状图》直播回重新录制一遍给大家学习。详见下方视频教学 主要涉及的内容包括&#xff1a;ArcGIS土地利用现状图全流程教学&#xff08;从零数据下载、镶嵌、裁剪、属性表连接整理、面积区域汇总计算、地图全流程制作&#xff09; …

作者头像 李华
网站建设 2026/4/15 16:17:21

题解:AT_iroha2019_day3_f 闇のカードゲーム

AT_iroha2019_day3_f 闇のカードゲーム 题目描述 桌上整齐地摆放着 NNN 张卡片&#xff08;NNN 为奇数&#xff09;&#xff0c;每张卡片上有一个正整数。卡片按整数从小到大排列&#xff0c;位于第 iii 张卡片上的整数为 aia_iai​。不同的卡片上不会有相同的整数。 すぬけ君和…

作者头像 李华