Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

很棒的工作!我有几个问题想要请教大佬 #4

Open
magnetmoment opened this issue Nov 29, 2024 · 2 comments
Open

很棒的工作!我有几个问题想要请教大佬 #4

magnetmoment opened this issue Nov 29, 2024 · 2 comments

Comments

@magnetmoment
Copy link

1.请问大佬有没有试过openpcdet上跑nuscenes多模态的检测网络,我在mmdet3d上训练速度似乎比openpcdet慢很多,调试的时候也需要等挺久。
2.在联合训练的时候,是不是训练image bev以及lidar bev拼接以后的网络(bev backbone以及head这两个部分)。
3.您在论文中提到联合训练的时候不用GBGS,虽说省时间,但是这样会不会效果不好。

希望有时间解答我的问题,祝大佬科研再创辉煌!

@rubbish001
Copy link
Owner

1.修改CustomNuScenesDatasetDebug版本,不进行_fully_initialized 就可以加快调试。
2. 要分开训练点云分支和图像分支的bev,在第三阶段的训练冻结权重拼接2个网络,这种方式我目前测试效果最好的训练方式
3.图像分支可以不进行CBGS,就算进行了CBGS提升效果也非常有限。cbgs也只是提升目标的定位的准确性,这些信息完全是可以通过点云分支提供。第三阶段的训练主要是靠点云分支提供位置信息,图像提供纹理信息。

@magnetmoment
Copy link
Author

1.修改CustomNuScenesDatasetDebug版本,不进行_fully_initialized 就可以加快调试。 2. 要分开训练点云分支和图像分支的bev,在第三阶段的训练冻结权重拼接2个网络,这种方式我目前测试效果最好的训练方式 3.图像分支可以不进行CBGS,就算进行了CBGS提升效果也非常有限。cbgs也只是提升目标的定位的准确性,这些信息完全是可以通过点云分支提供。第三阶段的训练主要是靠点云分支提供位置信息,图像提供纹理信息。
感谢,受益匪浅

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants