一、实验目标
系统接收用户自然语言指令和室内场景 RGB-D 观测，找到指令对应的一个目标实例，并计算目标相对于机器人机体的位置与距离。基础任务使用单次 RGB-D 观测；学生应完成目标查找与三维定位流程，并选择一个具体难点提出改进，通过实验验证效果。
统一坐标约定
机器人机体坐标系：前方为 x、左方为 y、上方为 z；位置和距离单位均为米。目标位置采用可见表面有效三维点的代表位置，不要求估计物体几何中心或完整六自由度姿态。
场景与指令示例
点击图片放大以下按不同场景展示公开调试图像，涵盖建筑、人物、车辆、交通信号灯与颜色目标。每张图附一条对应指令；展开可查看其余场景。
正在加载场景图片…
二、输入、输出与评测接口
- 一条自然语言指令
- 一组对齐的 RGB 图像和深度图
- 相机内参与相机到机体的外参
- 目标识别与候选匹配结果
- 歧义、未检出或定位失败状态
- 机体坐标系中的代表位置 (x, y, z)
- 目标相对距离（米）
目标已识别但深度不足时，应保留识别结果并明确说明定位失败。单次观测未检出目标时，不应据此认定整个场景不存在目标。在线评测接入时，学生服务接收自然语言指令与 RGB 图像，返回识别状态及单目标掩码；平台负责读取深度、相机参数并统一计算三维位置。课程报告仍需说明完整定位流程与改进方法。
三、实现要求
1. 自然语言目标查找
应支持目标类别、外观属性、文字标识、空间关系，以及其中至少两种信息的组合。基础任务中的左、右、上、下按图像坐标解释；最近、最远按目标与参照物代表位置之间的三维欧氏距离解释。多个候选均符合描述或参照物无法唯一确定时，必须报告歧义。
2. 目标相对定位
根据目标区域和有效深度反投影至相机坐标系，再利用外参转换至机器人机体坐标系。需要处理深度缺失和异常、背景混入、区域内深度不一致、有效深度不足、单位及坐标变换一致性。
3. 聚焦一个问题进行改进
从基线失败案例出发，选择一个与目标查找或相对定位直接相关的问题深入研究。模型微调、几何推理、候选重排序、提示设计、OCR 适配或鲁棒位置估计均可作为方法；不要求同时改进所有模块，也不统一要求训练模型。
四、实验任务清单
- 实现一个可运行的目标查找与相对定位基线。
- 提出一项针对所选问题的改进。
- 在相同测试集上比较基线与改进方法。
- 完成一项与改进机制直接相关的消融实验。
- 分析典型成功案例和失败案例。
五、数据划分与评价
| 维度 | 要求 |
|---|---|
| 测试覆盖 | 建议不少于 40 组“指令—RGB-D 观测”，覆盖属性、文字、空间关系、组合约束、歧义、未检出和深度不足。 |
| 语言鲁棒性 | 至少为 10 条指令增加同义改写；同场景近似观测及同一指令改写须处于同一数据分组。 |
| 数据划分 | 训练、调试与测试数据分离，避免同场景信息泄漏。 |
| 定位评价 | 同时报告成功定位覆盖率和定位误差，并分析误差来源。 |
| 失败归因 | 区分语言理解、目标检测、约束判断、深度质量、坐标变换和位置估计环节。 |
在线平台如何判定
当前数据规模、划分与定位阈值以在线配置为准。
未检出、深度失败和超时均计为未通过。bbox / 掩码只作诊断，不参与评分。参考位置由人工区域结合深度计算，不是独立物理测量；本版本无姿态角。调试集用于开发与排错，不能作为独立测试集的泛化结论。
六、扩展方向（选做）
- 使用多视角观测改善遮挡或定位稳定性。
- 通过澄清问题区分多个合理候选。
- 研究机体坐标系或物体自身坐标系中的空间关系。
- 对语言或视觉模型进行适配训练。
七、提交清单
- 可运行代码、环境配置与启动说明。
- 测试数据、标注、数据划分与评测脚本。
- 系统流程及输入输出接口说明。
- 项目报告：基线、问题分析、改进方法、对比与消融实验、能力边界。
- 目标查找可视化、相对定位结果。
- 失败案例分析与成员分工。