计算机视觉实验室近期围绕线缆插装开展实验性探索。线缆末端连接器存在反光、线体遮挡与柔性形变,传统模板匹配在换型后掉点明显。我们采用眼在手上RGB-D相机,以关键点热力图回归连接器轮廓与插孔中心,结合PnP与手眼标定得到初始位姿;再引入轻量分割网络抑制线体干扰,并用位姿不确定性驱动局部搜索。初步在3种连接器、6种线色上采集约1.2万帧,其中真实图像仅占15%,其余为域随机化合成数据。离线重投影误差中位数由4.8像素降至1.7像素;在产线节拍下,首次插入成功率约91%,失败案例主要来自深色线体与强反光端子。下一步计划加入力觉反馈与在线手眼漂移补偿,验证连续8小时作业的稳定性,并整理跨型号迁移的标注规范。

评论