社交三维姿态重构

参考 “安装示例代码 > 游乐场”,运行完整代码。

pipeline 原始的多视角视频,经过分割, 关键点重构平滑 之后,获取稳定的3D姿态坐标。

视频: 社交三维姿态重构——通过分割+关键点+平滑

原始视频

视频来自 OBS Studio 录制的9视角相机视频。多相机画面经过了时间同步,误差在1帧及以内,可以忽略。

pipeline

分割

使用Mask-RCNN模型,识别黑、白鼠的身份,并分割像素区域。

pipeline

关键点重构

执行 DANNCE 关键点预测 + 神经网络平滑,获取3D姿态。

pipeline