添加小助理:dddvision,备注:方向+学校/公司+昵称,拉你入群。文末附行业细分群
这篇文章介绍了一种基于像素级和帧级循环的二项式自补偿算法,用于消除四步相移投影三维重建中的运动误差。该算法能够灵活地消除运动误差,不需要任何中间变量辅助。文章通过实验证明了该算法在动态物体上具有较高的绝对重建精度、良好的时间分辨率、对深度不连续场景的鲁棒性以及适用于不同动态物体的通用性。文章还讨论了该算法的局限性,指出了对低频纹理假设和对多个图像进行深度计算的依赖性。文章展望了未来的研究方向,包括将算法扩展到更一般的相移步骤、进一步减小双目基线以提高测量精度等。
下面一起来阅读一下这项工作~
论文题目:Binomial Self-compensation for Motion Error in Dynamic 3D Scanning
作者机构:University of Electronic Science and Technology of China等
相移轮廓测量(PSP)在高精度3D扫描中备受青睐,因为它具有高精度、鲁棒性和像素级特性。然而,PSP的一个基本假设是对象应该保持静止,在动态测量中这一假设被违反,使得PSP容易受到对象移动的影响,在点云中产生类似波纹的误差。我们提出了一种像素级和帧级可循环的二项式自补偿(BSC)算法,可以有效灵活地消除四步相移轮廓测量中的运动误差。我们的数学模型表明,通过对受运动影响的相位帧进行二项式系数加权求和,随着二项式阶数的增加,运动误差呈指数级减小,通过受运动影响的相位序列实现自动误差补偿,而无需任何中间变量的辅助。大量实验证明,我们的BSC在减小运动误差方面优于现有方法,同时实现了深度图帧率等于相机采集率(90 fps),实现了高精度3D重建与准单拍帧率。
我们的系统示意图。
运动误差的二项自补偿。
运动误差的二项自补偿。运动误差随K的增加收敛:(a)三步移与四步移相,(b)四步移相运动误差可视化,相位平均绝对误差随K的增加呈指数递减。
运动误差的二项自补偿。运动误差随K的增加收敛:(a)三步移与四步移相,(b)四步移相运动误差可视化,相位平均绝对误差随K的增加呈指数递减。传统四步移相法测量周期波板运动速度的测量误差,HTC,μ-FTP, PFD, PFS,以及我们的BSC,括号中的值代表平均误差。注意y轴是对数刻度。
移动平面的测量结果(a)传统四步移相,(b) HTC, (c)μ-FTP, (d) PFD, (e) PFS, (f)我们的BSC。移动平面的测量结果(a)传统的四步移相,(b) HTC, (c)μ-FTP, (d) PFD, (e) PFS, (f)我们的BSC。
深度不连续场景(左上)和白色标记的运动区域(左下)。重建结果和边缘误差:(a)传统的四步移相,(b) HTC, (c)μ-FTP, (d)我们的BSC。
在T=0 ms ~ 88 ms期间,木蝴蝶扇动翅膀的测量结果,第1行和第2行:我们的BSC;第3行和第4行:μ-FTP。
四种不同动态物体的测量结果。第一列:振翅的木制蝴蝶模型,第二列:移动的雕像,第三列:挥动的手,第四列:剪刀、石头、布的手势。从上到下:我们的平衡记分卡和传统的四步PSP。
系统架构和频率选择:介绍了一个包括主摄像头、辅助摄像头和投影仪的系统架构,利用主摄像头和投影仪进行精确的三维重建,同时利用主摄像头和辅助摄像头形成一个平行设置以提供相位展开的参考深度。提出了一种新的唯一性约束,允许在相机-投影仪距离方面灵活性,并提高点云精度。
运动误差的二项式自补偿:介绍了一种二项式自补偿(BSC)方法,通过对连续的相位帧进行加权求和,显著减小了运动引起的相位误差。这种方法不仅能够消除谐波,还能够减小高阶差异项的影响。
立体相位展开:通过预设的深度范围,建立了主摄像头每个像素对应的辅助摄像头的视差范围,并利用相位引导的绝对差分算法检索主摄像头和辅助摄像头之间的对应关系,最终计算出相位序列。
这篇文章的基本原理主要围绕着解决动态三维扫描中的相位扫描技术(PSP)受到物体运动影响而产生的相位误差展开的。动态场景下,物体的运动会导致PSP技术无法保持其基本假设,从而产生点云中的波纹状错误。为了解决这一问题,文章提出了一种称为二项式自补偿(BSC)的算法。
BSC算法的关键思想是利用相位序列本身来补偿运动误差,而不依赖于任何额外的中间变量。具体来说,通过对受运动影响的连续相位帧进行加权求和,其中权重由二项式系数决定,运动误差会随着二项式阶数的增加呈指数级减小,从而实现了对运动影响相位序列的自动误差补偿。
通过这种方法,不仅能够消除运动引起的相位误差,还能够保持PSP技术的像素级优势,并且具有高时序分辨率,可以实现准单次拍摄的三维成像帧率。因此,BSC算法为动态三维扫描场景提供了一种高效灵活的误差补偿方法。
本文通过一系列实验验证了提出的基于二项式自补偿(BSC)算法在动态场景下的有效性和灵活性。主要实验内容包括:
绝对精度的3D重建实验:通过测量周期性摆动的板在500 mm距离处的运动,使用BSC(8帧)以及其他五种方法进行比较。结果表明,在处理运动误差时,我们的方法在现有方法中展现了最令人满意的精度。
3D成像的时间分辨率实验:我们的BSC采用了循环π/2相移的条纹模式,任意K+N个连续捕获的图像均可用于重建一个3D点云帧。因此,我们的3D点云帧率与摄像机帧率相同,实现了高时间分辨率的测量。
深度不连续场景下的稳健性实验:设置了一个包含三个静止石膏几何体和一个移动板的场景。结果显示,相比非像素级方法,即μ-FTP和HTC,在处理深度不连续场景时,我们的BSC更加稳健。
不同动态对象的普适性实验:在四种不同的动态对象上捕获400帧图像,并观察到BSC能够有效消除由物体运动引起的严重波纹错误。
我们提出了一种像素级和帧级可循环的二项式自补偿算法,可以在四步PSP中有效灵活地消除运动误差,而无需任何中间变量辅助。像大多数运动补偿算法一样,我们的BSC假设低频纹理,这可能会导致在具有复杂高频纹理的对象中产生伪影。此外,虽然我们的方法可以以摄像机采集帧率生成深度图,但需要多个图像来计算每个深度帧。因此,我们将我们的方法描述为提供准单次拍摄的3D重建,而不是真正的单次拍摄帧率。在本文中,我们发现运动误差可以通过受运动影响的相位帧本身的特性进行自补偿。然而,我们的BSC仅适用于π/2的相移步骤。在未来,通过采用分而治之的策略,我们希望将这一思想扩展到更一般的相移步骤,以抑制非线性误差。目前,我们通过将摄像机并排放置来限制双目基线,受到工业相机的物理尺寸的限制。在随后的迭代中,我们计划通过集成分束器来改进我们的原型,进一步减小双目基线。这一调整将使我们能够利用更高频率的条纹模式,从而提高测量精度。
目前我们已经建立了3D视觉方向多个社群,包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向,细分群包括:
2D计算机视觉:图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型:NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉:相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM:视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建:3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机:四旋翼建模、无人机飞控等
除了这些,还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision,备注:研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 拉你入群。
3D视觉工坊知识星球
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪,无人机等。
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/294839.html