单位：ShanghaiTech University等
1.这篇文章干了啥？
这篇文章提出了两个主要贡献：首先，他们创建了一个名为Anomaly-ShapeNet的合成3D点数据集，用于异常检测任务。这个数据集包含了各种真实且具有挑战性的样本，为研究人员提供了一个用于评估和比较不同异常检测算法的平台。其次，他们引入了一种名为IMRNet的自监督模型，基于3D点掩蔽重建，用于在Anomaly-ShapeNet和Real3D-AD等数据集上进行异常检测。这个模型在实验中表现出了较高的性能，证明了其在3D异常检测领域的有效性和前沿性。
下面一起来阅读一下这项工作~
2. 摘要
异常检测是一个涉及细粒度几何区分的关键问题，越来越受到关注。然而，缺乏丰富的真实3D异常数据限制了当前模型的可扩展性。为了实现可扩展的异常数据收集，我们提出了一个3D异常合成流程，以使现有的大规模3D模型适应3D异常检测。具体来说，我们构建了一个合成数据集，即Anomaly-ShapeNet，基于ShapeNet。Anomaly-ShapeNet包含了40个类别下的1600个点云样本，提供了丰富和多样的数据集合，能够实现高效的训练并增强对工业场景的适应性。同时，为了实现可扩展的3D异常定位表示学习，我们提出了一种自监督方法，即迭代掩码重建网络（IMRNet）。在训练过程中，我们提出了一个几何感知采样模块，在点云降采样过程中保留潜在的异常局部区域。然后，我们随机遮挡点云补丁，并将可见的补丁发送到一个变换器进行基于重建的自监督训练。在测试过程中，点云反复经过掩码重建网络，每次迭代的输出成为下一次输入。通过合并和对比最终重建的点云与初始输入，我们的方法成功定位异常。实验表明，IMRNet优于先前的最新方法，在Anomaly-ShapeNet数据集上实现了66.1%的I-AUC，在Real3D-AD数据集上实现了72.5%的I-AUC。我们的数据集将在https://github.com/Chopper-233/AnomalyShapeNet发布。
3. 效果展示
使用Anomaly-ShapeNet数据集构建的异常合成流程。首先，通过网格细分模块处理选定的正常样本，以获得更均匀的点云分布。我们使用Blender软件向经过细化的样本引入缺陷，并利用CloudCompare软件获取3D异常的实际情况。
在Anomaly-ShapeNet上展示异常定位性能的定性结果可视化。
4. 主要贡献
提出了一个多样化且高质量的合成3D异常数据集Anomaly-ShapeNet，并附有准确的3D注释。
提出了IMRNet，一种新颖的3D点云异常检测方法，具有几何感知点云采样模块、迭代点补丁掩码重建网络和密集特征比较模块，它在Anomaly-ShapeNet和Real3D-AD上优于先前的方法。
证明了所提出的几何感知点云采样可以更有效地提取3D点云中的重要异常点，而所提出的PMR网络可以更好地学习表示3D异常数据集。
5. 基本原理是啥？
这篇文章的基本原理是介绍了一种用于3D异常检测的自监督学习方法。它通过构建一个Anomaly-ShapeNet 3D数据集，包含正常和异常的3D点云样本，然后提出了一种名为IMRNet的自监督表示学习网络，用于检测和定位这些异常。IMRNet包含三个关键模块：Geometry-aware Point Cloud Sampling（几何感知点云采样）、Iterative Mask Reconstruction（迭代掩码重建）和Dense Feature Concatenation and Comparison（密集特征融合与比较）。其中，几何感知点云采样模块负责根据点云的几何特征自适应地采样点，迭代掩码重建模块负责将正常点云进行掩码重建，从而学习正常点云的特征分布，密集特征融合与比较模块负责将重建的点云与原始输入进行特征融合和比较，最终确定点云中的异常。通过这种方式，文章提出的方法能够有效地检测和定位3D点云中的异常。
6. 实验结果
本文主要进行了两项实验：在Anomaly-ShapeNet和Real3D-AD数据集上进行的异常检测实验以及消融实验。
Anomaly-ShapeNet和Real3D-AD数据集上的异常检测实验：
数据集介绍：Anomaly-ShapeNet是作者新提出的合成3D点云异常检测数据集，包含40个类别，每个类别有1600多个正常和异常样本；Real3D-AD是一个新的大规模3D点异常数据集，包含1254个样本，作者将其作为基准数据集。
评估指标：使用IAUROC进行图像级别的异常检测评估，使用相同的曲线进行像素级别的异常分割准确度评估。
实现细节：使用Point-MAE的骨干架构，在ShapeNet-55上进行预训练，然后微调到Anomaly-ShapeNet和Real3D-AD数据集上。
消融实验：
几何感知样本模块的有效性：比较了几种采样方法（FPS、RS、Voxel Down-sampling和作者提出的GPS算法）在异常检测中的表现，结果表明GPS算法在IAUC和P-AUC方面表现更好。
掩蔽率的分析：研究了掩蔽率对重建和特征表示的影响，发现最佳掩蔽率为0.4。
特征区分能力：与先前方法相比，作者的IMRNet有效地从Real3D-AD和Anomaly-ShapeNet数据集中的异常和正常点云中提取特征，这在直方图中有所体现。
综合实验结果表明，作者提出的IMRNet模型在Anomaly-ShapeNet和Real3D-AD数据集上实现了最先进的性能，特别是在IAUROC和P-AUC方面取得了显著提升。
7. 总结&未来工作
这篇论文提出了一个名为Anomaly-ShapeNet的合成3D点数据集，用于异常检测，其中包含现实且具有挑战性的样本。Anomaly-ShapeNet中的多样化点云具有高准确度和合理的数量，使其更适用于各种3D算法。此外，论文还首次介绍了IMRNet，这是一个基于3D点掩蔽重建的自监督模型，实现了在Anomaly-ShapeNet和Real3D-AD数据集上的最先进性能。
目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：
2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。
3D视觉学习知识星球
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。
