Home

Awesome

Robust and Efficient 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation

[中文|EN]

概述

现有方法主要依赖传感器标定信息将2D图像映射到3D空间,该步骤一方面导致现有方法容易受到标定噪声影响(例如车辆运行过程中传感器相对位置变化);另一方面该步骤的耗时也比较大,使得现有方法整体上难以达到实时性要求。本工作主要探索一种标定无关的空间变换方式,基于全局注意力机制,将输入传感器信息(包括图像或者点云)映射到一个紧致的BEV平面中,并探索辅助训练任务和高效的空间解码模块,大幅度减少模型计算复杂度。

image-20241118152142577

主要实验结果

image-20241118152243189

使用说明

本仓库在之前开源工作PMF基础上修改,如果你熟悉我们开源的PMF仓库的使用方式,则很容易运行该项目

本仓库完整的代码将会在论文最终发表之后公开...

引用

@article{zhuang2024robust3dsemanticoccupancy,
      title={Robust 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation}, 
      author={Zhuangwei Zhuang and Ziyin Wang and Sitao Chen and Lizhao Liu and Hui Luo and Mingkui Tan},
      journal={arXiv preprint arXiv:2411.12177},
      year={2024}
}