
第一视角(Ego)视频让数据采集从专业场地走进真实生活和工作融资炒股是什么,成为具身智能预训练的重要数据来源。但拍下操作,并不意味着就能获得具身模型预训练所需的4D数据。

10月12日,觅蜂科技宣布,联合西北工业大学、西安交通大学发表论文,提出第一视角运动重建框架“MEgoVista”,用以将Ego视频更精准地转化为4D数据。论文实验结果显示,MEgoVista在Ego视频上具备较高的重建精度,可将无需预先布置场景的第一视角录制数据,有效转化为具有真实尺度的双手动作和头部运动轨迹。
MEgoVista设计了一套离线重建流程:先识别佩戴者的双手,再利用多摄像头测量距离,最后对整段动作进行优化。

首先,识别并持续跟踪佩戴者的双手。MEgoVista在检测手部位置、区分左右手的同时,还会辨别哪些手属于佩戴者,避免在多人互动时跟错对象。以美甲为例,当美甲师和顾客的手靠近或接触时,MEgoVista可以分清双方身份,避免将顾客的手误认成佩戴者的手。
其次,通过多摄像头测量手部距离。MEgoView头戴设备配备三个鱼眼摄像头,系统根据同一只手在不同视角下的位置差异,结合事先标定的相机间距和相对位置,估计手与摄像头之间的实际距离。针对鱼眼镜头畸变和相机安装角度带来的影响,系统先对画面进行校正,再使用Foundation Stereo估计深度,最后综合两组结果,并优先采纳可信度较高的信息,提高距离估计的可靠性。
最后,优化整段动作,减少抖动和姿态异常。逐帧还原的手部姿势,单独看可能没有问题,连起来却可能出现位置突变、手指过度弯折等现象。为此,MEgoVista先筛选可靠的观测结果,再结合前后帧的信息调整整段动作,使运动更连贯、手指姿态更符合人体结构。
除了还原双手动作,MEgoVista还可以减少佩戴者“转头”带来的影响。MEgoVista利用多摄像头画面还原头部运动轨迹,在重建初期确定真实尺度,并结合惯性信息判断上下方向,从而区分手部运动与镜头运动。最终,双手动作和头部轨迹被纳入同一个具有真实尺度的坐标系,呈现它们在空间中的位置和移动距离。
今年9月,觅蜂科技正式推出全球首个全品类高质量物理AI数据众包服务平台“觅蜂派”,并宣布启动亿元补贴计划,覆盖采集任务、设备政策。觅蜂科技正持续推进MEgo系列设备量产,以及数据采集、治理和评测能力建设。
南方+记者 郜小平融资炒股是什么
文章为作者独立观点,不代表炒股期货配资_股票网上开户_线上融资证券观点