实验室团队获得CVPR 2024城市建筑三维结构化建模国际竞赛冠军

        近日，在计算机视觉顶级国际会议CVPR 2024上，实验室三维视觉研究部参赛团队获得第一届“城市建筑三维结构化建模国际竞赛”（Building3D Challenge）冠军。

       城市场景三维结构化建模旨在将以建筑物为主体的城市要素构建为高度结构化、高度语义化、高度紧致化的三维矢量结构表达。三维结构化建模在数字城市、混合现实、自动驾驶和机器人等领域应用广泛。在面向该任务的各种输入和输出方式中，机载激光雷达（Airborne LiDAR）因其采集高效性和可靠性而被广泛使用，而线框（Wireframe）模型则因其简洁和低内存消耗而备受青睐，上述输入/输出也是此次竞赛任务规定所使用的形式。

        实验室参赛团队在本次比赛中构建了一种新颖的基于Transformer的架构。为避免对3D主干进行降采样，该架构沿垂直轴投影点云以生成高度图，并利用2D主干网络解决3D建筑线框重建问题。在该方法中，首先在高度图中利用像素级角点概率预测2D角点热图，之后用它们初始化3D角点查询。随后，结合高度嵌入利用Transformer网络在较小的搜索空间内预测3D角点查询。最后，基于可变形注意力根据端点坐标和图像特征预测边缘。团队提交的结果在竞赛评据集核心评测指标——平均角点偏移（Average Corner Offset, ACO）上在所有参赛队伍中排名第一，获得冠军。

 本次竞赛所使用的Building3D是一个利用机载激光雷达获取的大规模城市级场景数据集，包含超过16万栋城市建筑，涵盖了爱沙尼亚16个城市，总面积约998平方公里。除了网格模型和真实世界的激光雷达点云外，该数据集还首次发布了线框模型。在定量评估的基础上，本次竞赛还要求参赛队伍提交相关论文与代码以评估算法的理论创新性和可复现性。

实验室参赛队伍成员包括博士研究生刘昱州和博士研究生叶瀚樵，指导老师为申抒含研究员和高翔副研究员。