酷应用

云从科技3D人体重建技术刷新3项纪录！仅凭照片即可生成精细模型

百家作者：AI100 2019-03-20 07:40:53

3 月 19 日，根据官方消息，云从科技基于单帧图像的 3D 人体重建技术同时在 Human3.6M、Surreal 和 UP-3D 三大数据集上创造了最新的世界纪录，将原有最低误差记录大幅降低 30%。

Human3.6M 数据集上对比

Surreal 数据集上对比

UP-3D 数据集上对比

3D 重建领域通常以误差（Error）作为衡量算法能力的主要指标，误差就是生成模型与实际图像的差别。一般来说，误差越低，精度越高，意味着技术的性能越好。

云从称，其 3D 人体重建技术全身精度误差（Surface Error）在 Surreal 上从 75.4 毫米降低到 52.7 毫米，关节精度误差（3D Joint Error）从 55.8 毫米降低到 40.1 毫米，Human3.6M 上的关节精度误差（3D Joint Error）从 59.9 毫米降低到 46.7 毫米，技术的执行速度从之前的上百毫秒降低到仅需 5 毫秒。

与传统关键点检测、3D 重建的区别是什么？

传统的人体关键点检测技术往往以 2D 的人体骨骼关节点检测形式出现，即通过技术预测 RGB 图像中人体的十几个关节点的坐标，一方面结果非常稀疏，将人体大为简化成骨骼的形式，另一方面结果往往只包含二维平面上的坐标预测，不能还原深度信息，因此无法体现纵深的感觉。

而基于单帧图像的 3D 重建技术不仅能输出骨骼关节点信息，更能同时预测大量的人体表面关键点信息，预测结果更加丰富，而且每个点的坐标都是 3D 的，能够体现不同躯干的纵深信息。

3D 关键点检测

传统 3D 重建技术大多需要连续的图像序列或是多视角的图像，在硬件设备上一般需要采用双目摄像机或者结构光摄像机等设备，因此在手机等便携设备上往往难以实现；另一方面，专用设备还会增加部署成本，增加大规模普及 3D 重建技术的难度。

上述突破是如何实现的？

据悉，该论文对人体具有丰富多样的姿态和穿着的特点，提出了一套全新的基于人体 3D 纵深预测的 3D 信息表征方式。通过对三原色图像（RGB，不含深度信息）的分析，预测人体的 3D 形态和姿势，并用 6 万多个点完整描绘人体，从而在人体重建技术上取得速度与精度的双突破，呈现出来的模型更精细，帧率高达到 200fps，原本由于受实时显示限制而无法实现的应用可以一一实现。