计算机视觉实验室近期围绕制造与物流场景中的料箱无序抓取问题，开展了3D视觉引导的抓取位姿估计实验探索。传统2D视觉方案在反光金属件、堆叠遮挡场景下易失效，我们尝试将结构光点云与自监督特征学习结合，以提升复杂工况下的识别稳定性。
阶段性进展：
- 在自建料箱数据集（含反光冲压件、注塑件共约1.2万帧点云）上，抓取位姿估计成功率由基线模型的78%提升至91%，单帧推理耗时降至约120毫秒，可满足常见产线节拍要求；
- 针对金属件反光导致的点云空洞问题，引入多视角点云融合与深度补全网络，有效点云覆盖率提升约35%，遮挡件识别稳定性明显改善。
下一步计划：将模型部署至边缘计算平台开展实机验证，并探索抓取-放置全流程的闭环优化，评估多品种混料场景下的泛化能力。实验室将持续更新实验数据与方法细节，欢迎关注后续进展。
评论