robot-perception

此技能为机器人感知系统的开发与维护提供了完整的框架。专为机器人工程师与感知研究人员设计，旨在协助构建结合 RGB 相机、结构光深度传感器、激光雷达 (LiDAR) 与惯性测量单元 (IMU) 等多样化硬件的高效能管线。无论您是在移动平台进行传感器融合，或是为机器人手臂实施视觉伺服，此技能皆提供实用的模式，以构建能在真实世界运作的可靠感知堆栈。

此技能涵盖了感知开发的全生命周期，从底层硬件配置与驱动程序整合，到复杂算法的实施皆有涉猎。它强调精准几何校准与信号同步的重要性，并提供关于如何管理多传感器组、处理感知延迟以及确保不同模态间画面校准的指导。您将获得处理计算机视觉任务（如物体检测、语义分割、点云过滤与 3D 重建）的标准化方法。

• 提供相机校准方面的专家指导，包含内参矩阵估计、外参转换以及机器人与相机手眼校准协议。

• 为 OpenCV、Open3D、PCL 与 ROS2 感知套件等业界标准工具与框架提供完整支持。

• 管理传感器数据的最佳实践，包括多线程获取、抖动降低以及异质设备间的时间戳同步。

• 点云处理、ICP 配准与图像去畸变的高级技术，以提升导航与操作任务中的空间精准度。

• 针对边缘运算的生产部署策略，聚焦于 GPU 加速、推理优化以及现场处理感知管线故障的方法。

• 在棋盘格或 Charuco 板校准过程中，请务必优先确保亚像素细化与空间覆盖率，以将重投影误差降至最低。

• 为传感器流实施有界缓冲区 (bounded buffers)，确保感知线程永远不会阻塞硬件驱动，防止延迟累积。

• 尽可能使用硬件同步（如 PTP 或相机间同步线），若不可行，则使用具有严格时间戳窗口的软件同步作为备援。

• 排查未对齐问题时，请使用 tf2 等工具验证坐标转换，确保传感器与机器人基座之间的参考框架定义一致。

• 针对大型点云建议优先使用高效率数据结构；在进行繁重处理或配准前，使用 PCL 的 VoxelGrid 等滤波器进行降采样。