基于几何和学习的场景三维结构化建模
基于图像或激光雷达重建的复杂室内外场景三维模型一般具有较高的数据冗余性，其模型表达通常采取稠密三维点云、稠密三角网格、稠密纹理网格等形式。这种表达方式一方面会给存储、传输、渲染等带来较大的计算压力，另一方面也缺乏三维场景的结构化信息。因此，将高度冗余的点云/网格模型转化为高度结构化和轻量化的三维表达，是降低三维模型冗余、提高模型结构化层级的重要手段，也是地理信息、工业孪生、逆向建模等领域的重要需求。针对这一问题，实验室三维视觉研究部开展了深入研究，分别从几何视角和学习视角提出了新的计算框架和解决方案，近期两项研究成果被计算机视觉领域权威国际会议ECCV 2024接收。
研究成果《Consistent 3D Line Mapping》从几何视角出发探索了基于图像的轻量化3D线图的构建方法。传统三维线段建模方法以图像线段匹配和摄像机位姿作为输入，通过三维线段假设聚类生成局部最优三维线段，然后构造直线特征轨迹进行点线融合的捆绑调整优化。虽然一些方法通过多种三角化方式可以缓解三维线段生成的退化情况，但是生成了大量的异常值，影响了线段模型构造的鲁棒性，同时它们没有考虑到3D线段在多视图中的一致性。因此，我们提出了三种3D线段的几何一致性约束，包括最优线段假设的多视角一致性，线段特征轨迹中2D线段元素一致性以及3D空间元素几何拓扑一致性。此外，为了进一步提高3D线模型的轻量化程度，我们在点线模型的基础上提出3D平面模型，使用点、线、面三种混合特征进行场景建模，同时将他们之间的拓扑约束引入到优化过程中。在大量公开的室内外数据上测试表明，我们的方法相比现有的3D线图构造方法在准确性和完整性方面展现出了显著优势。
图1 基于多视图一致性的轻量化3D线段模型构造方法
研究成果《PolyRoom: Room-aware Transformer for Floorplan Reconstruction》从学习视角出发探索了复杂室内场景结构化平面布置图的构建方法。现有的平面布置图生成方法主要分为两类，第一类是深度学习与几何优化相结合的多阶段方法，这类方法首先对点云投影图进行语义分割，在此基础上通过后处理生成平面布置图，其存在非端到端、过度依赖语义先验、优化速度较慢的问题。第二类是基于Transformer的端到端方法，这类方法存在角点缺失或偏离导致轮廓错误的问题。针对平面布置图生成任务中普遍存在的结构表达与数据缺失问题，通过对现有两类方法进行有效结合，利用实例分割网络给出房间先验，并利用Transformer优化坐标；与此同时，为实现对重建的平面布置图轮廓有效监督，沿分割轮廓稠密采样监督点坐标，进而提升了平面布置图的生成效果。在多个室内场景结构化建模数据集上的测试表明，我们的方法相比现有的平面布置图生成方法在房间区域（Room）、角落位置（Corner）、角落拐角（Angle）三个指标上均取得了优异的性能。
图2 PolyRoom整体网络架构图
上述两项研究工作第一作者分别为实验室硕士研究生白旭龙和博士研究生刘昱州，通讯作者为申抒含研究员、崔海楠副研究员、高翔副研究员。上述研究成果分别从几何视角和学习视角为复杂室内外场景的三维结构化建模提供了新的解决思路。
相关论文：
- Xulong Bai, Hainan Cui, Shuhan Shen. Consistent 3D Line Mapping. European Conference on Computer Vision, ECCV 2024.
- Yuzhou Liu, Lingjie Zhu, Xiaodong Ma, Hanqiao Ye, Xiang Gao, Xianwei Zheng, Shuhan Shen. PolyRoom: Room-aware Transformer for Floorplan Reconstruction. European Conference on Computer Vision, ECCV 2024.
（发布时间：2024年7月19日）
