
“ 导航和感知同时破局。
在机器人领域有一个经典困境。
让机器人在抽象层面“理解”指令相对容易,让它在物理世界“执行”动作也日趋成熟,但在开放、动态、非结构化的真实环境中把这两者无缝衔接起来,始终是横亘在实验室与产业化之间的巨大鸿沟。
近期,由星源智团队联合相关高校与研究机构共同完成的两项研究——DA-Nav(Direction-Aware Navigation)和AdaOcc(Adaptive 3D Occupancy Prediction),恰好从“行动”与“感知”两个维度,揭示了具身智能走向实用的关键技术路径。
这两个工作的共同关键词是“适配”。DA-Nav解决的是如何把粗粒度的人类导航指令转化为机器人可执行的空间决策,AdaOcc则瞄准了如何让三维感知模型适配不同算力、不同传感器配置的真实机器人平台。
它们从不同技术栈出发,却殊途同归地指向同一个命题:真正可落地的具身智能,必须学会在不确定的环境中动态调整自己。
换句话说,机器人真正需要的是空间智能。
01.
DA-Nav:把导航变成“图像选点”问题
提起机器人导航,很多人脑海中的第一反应是SLAM——让机器人先建图、再定位、最后规划路径。这套技术路线在室内结构化环境中已经相当成熟,可一旦拓展到城市级室外场景,问题便接踵而来。在城市、公园、园区等开放环境中,道路施工、车辆停放、行人流动等动态因素都会导致地图迅速失效。此外,高精地图的采集和维护成本十分昂贵,也难以覆盖更广泛的开放场景。
近年来,研究人员又开始尝试让机器人利用Google Maps、高德地图等商业导航软件提供的导航信息。这些导航信息对于人类来说足够明确,但对于机器人而言却远远不够,因为机器人需要知道“左转”到底对应画面中的哪个位置,以及应该沿着怎样的轨迹完成动作。
星源智团队的思路很巧妙。他们没有试图让模型直接输出连续的三维坐标或者底层控制指令,因为现有的视觉语言模型在这类任务上容易出现“空间幻觉”——把物体的位置弄错、把距离估偏。

DA-Nav的解法是,把连续导航规划重新定义为离散的图像选点任务。
具体做法是在机器人拍摄的前方画面中,划分出一个29列24行的虚拟网格,模型要做的,就是从网格中选出最优的目标点序列。画面中间偏右的那个格子可能意味着“直行”,左侧边缘的格子可能代表“该左转了”。这种离散化处理,相当于给模型的决策空间加上了结构化的几何约束,让它不容易胡乱预测。
该方法既发挥了VLM在图像空间推理中的优势,又通过结构化约束避免了空间幻觉和不稳定的闭环行为。
更关键的是,DA-Nav引入了思维链推理机制。模型不是一步到位去选点,而是先判断自己有没有偏离预定路径、再决定应该执行什么动作、最后才输出具体的轨迹点。这种“先评估、再决策、后执行”的结构,让模型在出现偏差时具备了自我纠正的可能。

偏差恢复则是传统模仿学习方案最容易翻车的地方。大多数导航模型是用完美的人类示教数据训练出来的,它们只见过“正确”的走法,没见过“出错后怎么补救”。可真实环境中,机器人一旦因为颠簸、遮挡、动态障碍等原因偏离了预定轨迹,就会迅速滑入训练时从未见过的状态,误差累积到一定程度就彻底失控。
为解决这个问题,研究团队专门构建了ReDA数据集。他们在仿真环境中刻意注入扰动,让机器人“故意”偏离路径,然后记录专家如何纠正回来。整个数据集包含约28.6万序列样本,其中约12.8万帧是恢复行为数据,与15.8万帧的正常导航数据混合训练后,模型学会了面对偏离时如何拉回正轨。
在239条长距离闭环轨迹的测试中,DA-Nav的导航成功率达到59.00%,偏差出现后的纠偏成功率高达98.15%,相比之下,其他对比方案的纠偏成功率普遍只有个位数。

更有说服力的是真实场景的零样本迁移。团队把训练好的模型直接部署在厂商四足机器人和人形机器人上,没有在真实数据上做任何微调,就在不同城市环境中完成了超过1200米的稳定导航。
这个结果意味着模型学到的不只是仿真环境的表层特征,而是具备了可迁移的空间推理和偏差修正能力。
02.
AdaOcc:让三维感知变成一种“软”能力
要让机器人在客厅完成“拿起遥控器放在茶几上”这类任务,它需要的不是二维图像,而是一个富含几何与语义信息的三维空间模型。
近年来越来越受到关注的3D Occupancy正是解决这一问题的重要方向。相比传统点云或者深度图,它不仅描述哪些位置被物体占据,还进一步赋予每一个空间位置对应的语义类别,从而形成一个完整的三维数字世界。机器人获得的不再只是“一张图片”,而是一幅能够用于导航、抓取、避障乃至任务规划的空间地图。
然而,现有Occupancy方法距离真正部署到机器人系统仍然存在明显差距。不同机器人采用不同传感器,四足机器人可能只装了一个前视摄像头,人形机器人可能配了多个RGB-D传感器加激光雷达,轮式机器人的机载算力可能比人形机器人弱一个数量级。此外,不同任务对于空间理解精度要求也完全不同,导航更强调速度,而操作任务则需要更加精细的环境建模。
一个只能在特定配置下工作的感知模块,离实际部署还差得远。

AdaOcc的设计动机正是解决这个适配性问题。
它首先构建了一个自适应几何引导的双分支编码器。其中,视觉分支处理RGB图像,几何分支处理从深度估计、深度相机或激光雷达采集的点云数据。无论是哪种几何源,都被统一表达为相机坐标系下的点集,经过归一化处理后共享相同的点集接口,从而与具体传感器解耦。
在预测阶段,AdaOcc不预测密集的体素网格,而是输出稀疏的语义点。这些点携带位置信息和语义标签,然后被体素化做标准评估。采用稀疏点表达有两个好处,一是计算效率高,二是可以通过控制查询点的数量来动态调节精度和延迟。查询点多,重建更精细但推理更慢;查询点少,速度更快但细节会牺牲。这种“预算自适应”的特性,让同一个模型可以在不同算力的平台上平衡性能。

在训练过程中,AdaOcc采用了一种渐进式查询学习策略。早期训练阶段用较少的查询点,随着训练推进逐步增加数量上限。经过这种课程式训练的模型,在推理时既可以跑满预算追求最优精度,也可以用更少的查询点或更浅的解码器层数来满足低延迟场景。
例如,仅使用3层解码器时推理延迟58.2毫秒、显存占用1254.6 MiB,而使用完整6层时延迟64.4毫秒、显存1710.6 MiB,mIoU则从49.46提升至57.97,同一模型无需重新训练即可灵活权衡。
AdaOcc的另一项创新是Containment Loss。点云重建中常见的问题是预测点会“漂浮”在物体表面附近,导致三维边界不够准确。AdaOcc引入了一个巧妙的约束,要求预测点尽可能落在真实占据区域内部,而不是悬浮于空白空间,从而有效减少边界误差,提高整体几何一致性。对于机器人而言,这意味着构建出来的空间地图更加稳定,也更适合作为导航和操作任务的基础环境模型。
实验结果也证明了这一点。在Occ-ScanNet完整数据集上,AdaOcc的mIoU达到59.67,IoU达到65.29,分别比此前最佳方法SplatSSC高出7.84和2.46个百分点。这个提升幅度在3D感知领域算相当显著的跃升。
团队还验证了真实场景的多任务适用性。同一个预训练模型可支持导航中的障碍物地图构建、操作任务中的目标物体定位、移动操作中的语义目标导航加抓取,涉及四足机器狗、人形机器人和机器臂等多种形态。


03.
感知与行动的十字路口
把DA-Nav和AdaOcc放在一起审视,会发现它们捕捉到了具身智能落地的两个核心瓶颈。
一是从语义到空间的转换。DA-Nav把“右转”这类语言指令映射到画面网格位置,AdaOcc把视觉和几何信息映射到三维语义体素。两者本质上都在做同一类事,即在不同粒度的语义空间和几何空间之间建立可执行的对应关系。只不过一个面向2D图像平面的运动规划,一个面向3D空间的结构理解。
二是面对不确定性时的鲁棒性。DA-Nav用恢复数据集和思维链推理来应对执行误差,AdaOcc用传感器自适应和多预算推理来应对感知条件变化。两套方案的共同哲学是“不假设完美”,不假设机器人会完美执行指令,不假设传感器会完美工作,而是把偏差、缺失、异构当作默认前提来设计模型。这种设计思想在此前的导航和感知研究中都较为缺乏。
从工程化角度看,这两项工作也展示了大模型时代机器人研发的一个趋势。DA-Nav基于Qwen2.5-VL视觉语言模型,AdaOcc基于预训练视觉编码器加自定义解码器。它们都没有从零开始训练整个系统,而是充分利用预训练模型的泛化能力,在此基础上做任务特定的适配。这种“站在巨人肩膀上”的策略,显著降低了从仿真到现实的迁移难度。
当然两者都还有明显局限。DA-Nav目前依赖商业导航软件提供指令,在GPS信号不好或者完全没有地图的区域就很难工作;模型的推理还是放在远程GPU服务器上,端侧部署的计算瓶颈尚未解决。AdaOcc对细小和薄型物体的重建不够精细,在遮挡严重或几何输入噪声较大的场景里性能会下降。这些都是后续研究需要啃的硬骨头。
但瑕不掩瑜。这两个工作的价值在于它们各自提供了一套可工程化的技术路径——DA-Nav证明了机器人可以在没有高精地图的情况下,仅靠粗粒度导航指令和视觉推理完成城市级导航;AdaOcc证明了三维占用预测模型可以做到传感器自适应和预算自适应,真正服务于异构机器人平台。
对于正在试图让机器人走出实验室、进入真实场景的从业者来说,这种从“能不能”到“好不好用”的转向,或许比单项指标的突破更有参考意义。
一个能够真正理解真实世界的机器人,正在离我们越来越近。
论文链接:
https://arxiv.org/abs/2607.11638
https://arxiv.org/abs/2609.38864
更新时间:2026-10-30
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034844号