真实采集样例 — 从 Ego 视觉原始录制到结构化标注数据集的交付效果。以下数据来自实际采集场景，展示最终交付物的内容与质量。
Ego Vision
全局快门双目鱼眼同步采集，消除运动模糊。左右目精确时间对齐，帧间差异 <0.04ms。
1600x1200 全局快门鱼眼，H165 x V130 超广角视场
与左目硬件级同步，120mm 基线构成立体视觉
左右目拼接展示同步效果，手部区域可见完整立体视差
可选外部相机补充全局视野，自动与 Ego 时间线对齐
Annotation
从原始视频自动提取空间位姿、手部骨架、手物交互状态、语义描述等结构化标注，无需人工逐帧标记。
21 关键点 3D 手部骨架实时覆盖于原始 Ego 视频上，自动检测双手位置、姿态与指尖状态。每帧输出 63 维骨架坐标，覆盖率 >90%。
从双目视觉与惯性数据恢复相机 6DoF 运动轨迹，输出每帧的位置 (x,y,z) 与朝向 (四元数)。
自动识别手与物体的接触状态、抓取类型 (力抓/精捏)，标注每帧的交互关系。
自动生成操作阶段划分、关键帧标记、物体识别与动作描述，输出结构化 JSON。
双手腕部在世界坐标系下的 3D 运动轨迹，逐帧对齐相机位姿，用于策略学习。
可选腕带采集 6 通道肌电与惯性数据，每帧聚合后填充力触觉通道，丰富操作意图信息。
多维度自动校验：时间对齐精度、轨迹完整性、标注一致性、特征值域检查，确保交付数据可靠。
Delivery
输出可直接用于模仿学习训练的标准化数据集，兼容主流训练框架。
多视角同步视频流，帧级时间对齐。
每帧结构化数值特征，覆盖空间、手部、交互三个维度。
用于策略学习的逐帧动作标签。
完整的数据血缘与质量报告。
Retarget Quality
人手动作要转换成机械手关节角才能用于机器人训练。我们对全部 14 段录制的双手（28 组）逐帧重算映射，用正运动学比对机械手指尖与人手指尖的位置，给出可复核的误差数字。
机械手比人手大，按原尺寸直接对应时，手指只能蜷到关节极限去够人手的位置。按手型尺寸比放大 1.6 倍后，指尖误差减半：Allegro 28 组全部改善，LEAP 28 组中 27 组改善；关节卡在极限的帧从 16–22% 降到 2–5%。
映射后偶发的关节突变占有效帧不到 1%，其中 97% 在同一帧人手关键点就已跳变超过 3 cm，来自视频关键点检测的逐帧抖动，而不是映射算法本身。下一步改进是在映射前对关键点做时间平滑。
缩放 1.6 与 1.8 的误差差异小于手长的 0.2%，处于噪声水平；拇指-食指开合与人手的秩相关中位数为 0.96–0.98。关键在于按机械手与人手的尺寸比缩放，而不是逐段调参。
方法：dex-retargeting 位置优化（AnyTeleop, RSS 2023）→ Allegro / LEAP 手 URDF 正运动学；误差为指尖位置误差除以人手长度，逐组取中位数；无检测帧不计分。
完整管线实现细节 — 需授权密码访问。联系我们获取评估权限。
需要评估详细技术指标或定制采集方案？
联系我们获取评估权限