炒股配资之家网李曼玲、李飞飞、吴佳俊等联手：评估具身大模型的新范式！

新智元报道

编辑：LRST

【新智元导读】全新的具身模型空间能力评估范式 Theory of Space 突破了传统静态图文问答的局限，系统性地考察基础模型能否像人一样，在部分可观测的动态环境中，通过自主探索来构建、修正和利用空间信念。该论文已被 ICLR 2026 接收。

当今的多模态大模型（如 GPT-5.2, Gemini-3 Pro）在各类视觉问答榜单上屡破纪录。然而，如果希望将这些能力延伸到更真实的物理场景中，模型在空间理解上可能会面临不小的挑战。为什么会这样？

想象你走进一栋从未去过的公寓。你推开门看到沙发，走进走廊瞥见卧室的床，再往前发现厨房的冰箱。现在问你：「沙发在冰箱的哪个方向？」你通常能回答，因为你在脑海中悄悄地构建了一幅「心理地图」。

人类大多能不假思索地做到这一点。但对当前的基础模型而言，情况可能会有所不同，研究人员发现，现有的评估范式与真实物理世界的需求相比，可能存在一些差异：

从「上帝视角」到「部分可观测」：传统基准测试往往提供涵盖全局的静态图片。但在真实的物理空间中，智能体的视野大多是局部的。它们往往需要通过主动探索，把零散的第一人称视觉线索拼接成全局的「认知地图」。

从「被动回答」到「主动决策」：现有的空间评测通常是向模型提供固定的观察数据。但在更开放的环境中，可能需要系统自主决定探索的方向与目标，以更高效的方式获取环境信息。

从「静态常识」到「动态修正」：物理环境是会发生动态变化的（例如物品位置的变动）。除了构建地图，智能体也许还需要在发现环境变化时适时更新旧的空间记忆。

西北大学李曼玲团队、斯坦福大学李飞飞与吴佳俊团队，以及华盛顿大学Ranjay Krishna团队共同牵头提出了Theory of Space（空间理论），探讨了：当减少对完整给定信息的依赖，要求基础模型通过主动探索来认识环境时，其空间认知能力会有怎样的表现？

论文链接：https://arxiv.org/abs/2602.07055

代码：https://github.com/mll-lab-nu/Theory-of-Space

项目主页：https://theory-of-space.github.io/

数据集：https://huggingface.co/datasets/MLL-Lab/tos-data

Theory of Space：主动探索、信念探测和任务评估。左侧用俯视图展示智能体在多房间局部观测条件下的行动轨迹；中间展示其在文本或视觉环境中通过「移动—转向—观察」的循环，并根据第一人称观测持续更新内部信念；右侧通过空间任务与认知地图探针，评估这些信念的表征及其使用方式。

空间智能中的「心智理论」

在认知科学中，Theory of Mind（心智理论）考察的是一个智能体能否推测他人隐藏的心理状态：「他在想什么？他知不知道这件事？」它关注的是对不可见的心智世界的建模。

Theory of Space（空间理论）作为它在物理世界中的对称概念：考察的是一个智能体能否推测环境中尚未观测到的空间结构：「这个世界长什么样？门后面还有什么？」它关注的是对不可见的物理世界的建模。

两者的共同本质在于：智能体需要基于有限的线索，去推断隐藏的结构，并随着新信息不断地修正自己的信念。

研究人员将 Theory of Space 定义为三个紧密耦合的核心能力：

构建（Construct）：在部分可观测的迷雾中主动迈出脚步，收集局部观察，并在内部表征中拼凑出一张全局一致的「认知地图」。

修正（Revise）：面对动态环境（如物品被悄悄移位），敏锐察觉「旧记忆」与「新证据」的冲突，打破信念的惯性，完成知识的更新（Belief Revision）。

利用（Exploit）：将维护好的认知地图，作为应对复杂下游空间推理任务（如空间导航、视角推演）的最强武器。

Theory of Space的核心：在部分可观测环境中，智能体围绕空间信念的构建、动态修正与利用，完成空间推理与决策。

从构建、修正到利用

对齐三大能力

研究人员围绕Theory of Space的三大核心能力（构建Construct、修正Revise、利用Exploit）设计了一整套评测体系，并引入认知地图显式探测作为核心贡献，实现对模型内部空间信念的直接诊断。

构建（Construct）：主动探索建图

研究人员在程序化生成的多房间室内布局中，提供文本世界（符号化方向/距离）和视觉世界（ThreeDWorld 渲染的第一人称 RGB 图像）两种平行环境。智能体必须自主决定移动、旋转、观察的策略，高效构建空间信念。直觉上你可能会以为这类任务就是「多看看」。但更关键的是，智能体需要用不确定性来驱动行动，去做高效的信息获取。

修正（Revise）：在动态环境中更新过时信念

借鉴发展心理学中经典的「错误信念（False Belief）」范式：在智能体完成初次探索后，偷偷将若干物体移位或旋转，制造「旧信念」与「新现实」的冲突。智能体能否发现变化、推翻旧记忆、建立新信念？

利用（Exploit）：九类空间推理任务

覆盖路径级（Route）（路径推理）和全局级（Survey）（鸟瞰视角地图推理）两个层次，全面评估空间信念的利用价值。

下游空间任务总览

核心贡献：显式认知地图探测

以往评估只看最终对错，内部信念是黑箱。研究人员引入显式认知地图探测（Explicit Cognitive Map Probing）：每一步都要求模型以JSON格式外化其空间信念，度量准确性、感知质量、稳定性和不确定性建模。不仅知道模型答得对不对，更知道它为什么答对、为什么答错。

大模型对空间的理解

究竟卡在了哪里？

研究人员在包括GPT-5.2、Gemini-3 Pro、Claude-4.5 Sonnet等在内的六个前沿多模态大模型上进行了大规模的深度评测。通过白盒探测，深刻揭开了当前大模型在空间认知上的能力边界：

洞察一：主动信息获取是具身智能的阿喀琉斯之踵

让模型自己决定「看什么」，性能大幅下降。

为了区分「探索能力」和「推理能力」，研究人员设计了脚本化的规则代理（Proxy Agent）作为探索基准：视觉世界中的代理在每个位置进行360°扫描以保证完整覆盖，文本世界中的代理则采用信念驱动的策略来最大化消除歧义。模型在被动模式下接收这些代理收集的观测日志进行推理，在主动模式下则需自主规划探索。

结果令人震惊：GPT-5.2从被动57.1降到主动46.0（视觉世界），Gemini-3 Pro从60.5降到57.3，在效率方面，规则代理仅需约9步即可达到目标覆盖，而基础模型常常需要 14 步以上且信念质量并未提升。模型「探索得多」但「探索得差」，高冗余、低效率。随着环境复杂度增加，这种差距进一步扩大。