Facebook最新开源,普通RGB相机即可实时映射3D模型

作者:官方网站  时间:2021-11-13  浏览量:67778

本文摘要:我们早已讲解过很多仅有用RGB照相机展开动作捕猎的研究了,其中大多数是模拟出骨骼展开跟踪,少数则是通过模拟出的骨骼套上一个坚硬的模型,之后可称作3D模型了。

我们早已讲解过很多仅有用RGB照相机展开动作捕猎的研究了,其中大多数是模拟出骨骼展开跟踪,少数则是通过模拟出的骨骼套上一个坚硬的模型,之后可称作3D模型了。近日,FacebookAIReaserch(FAIR)开源了一项将2DRGB图像的所有人类像素动态同构至3D模型的技术——DensePose,而且使用的也不是我们常常讲解的骨骼跟踪,而是一种十分密集的方案跟踪来建构3D模型。在户外和穿著严格衣服的也展现出较好。

OD体育官网

还反对多人同时跟踪。那这个密集如何来解读呢?对于一般的骨骼跟踪,跟踪的点大多在十到二十个之间,再继续也没多少实际的效果。而DensePose所跟踪的点一共有336个,密密麻麻全身都是点。(密集恐惧症退却)之所以要跟踪这么多的点,是建构一个光滑简洁的3D模型所必需的数据。

艰辛的代价也是有一点的,DensePose无论是在户外还是多人下都展现出较好,还能动态替换场景中人的衣服。那就来想到他们是怎么做的吧。为了让机器可以自学,研究人员手动标记了5万张照片中的336个点,光这个步骤就是一个极大的工程了,如果按部就班的标记注解,不告诉要到什么时候已完成了。研究人员将一个人拆卸分为了24个部分,分别为头、躯干上部、躯干下部、大臂、小臂、大腿、小腿、手、脚。

OD体育

每个部分标记14的点。对于头部、手部、脚部都由人手动标记。同时还拒绝注解者在标记的时候标示被衣物掩盖住的部位,比如严格的裙子。

这些工作做完后转入第二阶段,研究人员对每一个进行部位区域展开取样,不会取得6个有所不同的标记图,获取二维座标地图使标记者更加直观的辨别哪个标记是准确的。最后再行将平面重新组合成3D模型,展开最后一步校准。这样两步下来,研究人员以求高效精确的取得了精确的标记。

不过在躯干、背部还有臀部有较小的误差。接下来就是深度自学的阶段了,这时一个好的方案就只不过性能优越的催化剂。研究人员使用与Mask-RCNN架构的DenseReg类似于的方法,包含了DensePose-RCNN系统,还更进一步研发使得训练的准确度提升。首先由外观粗略的估计像素所在的方位,然后将其与精确的座标偏移。


本文关键词:OD体育,OD体育官网,OD体育网址
官方网站