OpenVLA：开源视觉—语言—动作模型

原文标题：OpenVLA: An Open-Source Vision-Language-Action Model

作者：Moo Jin Kim、Karl Pertsch、Siddharth Karamcheti 等

arXiv：2406.09246

图：OpenVLA 是使用 Open X-Embodiment 数据集97万段机器人轨迹训练的70亿参数开源视觉—语言—动作模型。

摘要

\(^\ast\)：同等贡献
通讯作者：moojink@stanford.edu, pertsch@berkeley.edu, skaramcheti@stanford.edu

$^1$斯坦福大学，$^2$加州大学伯克利分校，$^3$丰田研究院，$^4$Google DeepMind，$^5$Physical Intelligence，$^6$麻省理工学院，$^\dagger$部分工作于任职 Google DeepMind 期间完成

在互联网规模的视觉—语言数据与多样化机器人示范上预训练的大型策略，有望改变机器人技能教学方式：无需从头训练新行为，只需微调视觉—语言—动作模型（Vision-Language-Action Model，VLA），便可得到鲁棒且具泛化能力的视觉运动控制策略。然而，VLA 尚未在机器人领域得到广泛采用，原因有二：1）现有 VLA 大多闭源，公众无法使用；2）以往工作没有研究如何面向新任务高效微调 VLA，而这正是推广应用的关键。为解决这些问题，本文提出 OpenVLA，一个拥有 7B 参数的开源 VLA，使用多样化的97万段真实机器人示范训练。OpenVLA 以 Llama 2 语言模型为基础，并结合融合 DINOv2 与 SigLIP 预训练特征的视觉编码器。得益于更丰富的数据和新的模型组件，OpenVLA 在通用机器人操作上表现出色：面对29项任务和多种机器人本体，其参数量仅为 RT-2-X（55B）的七分之一，任务绝对成功率却高出16.5%。本文还表明，OpenVLA 能够有效微调以适应新环境，在包含多个物体、强调语言落地能力的多任务环境中展现出较强泛化性，并以20.4%的幅度超过从头训练的高表达能力模仿学习方法 Diffusion Policy。 本文还研究了计算效率，并证明通过现代低秩适配方法可在消费级 GPU 上微调 OpenVLA，同时借助量化高效部署，且不降低下游任务成功率。最后，本文发布模型检查点、微调 Notebook 与 PyTorch 代码库，内置对在 Open X-Embodiment 数据集上规模化训练 VLA 的支持。

引言

机器人操作学习策略的一个主要弱点，是无法泛化到训练数据之外。针对单项技能或语言指令训练的现有策略，虽能将行为外推到物体位置、光照等新的初始条件 [rt12022arxiv, chi2023diffusionpolicy]，但面对场景干扰物或新物体时鲁棒性不足 [xie2023decomposing, octo_2023]，也难以执行未见过的任务指令 [walke2023bridgedata, rt22023arxiv]。机器人领域之外，CLIP [radford2021clip]、SigLIP [zhai2023siglip] 和 Llama 2 [touvron2023llama2] 等视觉与语言基础模型却具备这类乃至更强的泛化能力，这源于其互联网规模预训练数据所蕴含的先验知识。机器人领域仍难以复现如此规模的预训练 --- 即便最大的机器人操作数据集 [open_x_embodiment_rt_x_2023, khazatsky2024droid] 也仅有10万至100万个样本 --- 但这种数据规模失衡也带来了机会：将现有视觉与语言基础模型作为训练机器人策略的核心构件，使策略能够泛化到训练数据之外的物体、场景和任务。

为实现这一目标，已有工作尝试将预训练语言模型和视觉—语言模型用于机器人表征学习 [nair2022r3m, Karamcheti2023LanguageDrivenRL, shridhar2022cliport]，或作为模块化任务规划与执行系统的组成部分 [stone2023open, driess2023palm]。近期研究进一步使用这些模型直接学习用于控制的 VLA [rt22023arxiv, open_x_embodiment_rt_x_2023, covariant_ai_2024, wayve_ai_2024]。VLA 是将预训练视觉与语言基础模型用于机器人的一种直接实现：对 PaLI [chen2022pali, chen2023pali3] 等视觉条件语言模型（Visually-Conditioned Language Model，VLM）直接微调，使其生成机器人控制动作。依托互联网规模数据训练的强大基础模型，RT-2 [rt22023arxiv] 等 VLA 展现出较强鲁棒性，并能泛化到新物体和新任务，为通用机器人策略树立了新标准。然而，现有 VLA 难以普及主要有两个原因：1）当前模型 [rt22023arxiv, open_x_embodiment_rt_x_2023, covariant_ai_2024, wayve_ai_2024] 并未开放，模型架构、训练流程与数据混合方案均缺乏透明度；2）已有工作没有提供将 VLA 部署并适配到新机器人、环境和任务的最佳实践，尤其缺乏面向消费级 GPU 等通用硬件的方案。 本文认为，为未来研究与开发奠定充分基础，机器人领域需要支持有效微调和适配的开源通用 VLA，形成类似开源语言模型的生态系统 [wolf-etal-2020-transformers, touvron2023llama, jiang2023mistral, team2024gemma]。

为此，本文提出拥有 7B 参数的开源 VLA OpenVLA，在通用机器人操作策略上刷新了当前最佳性能。（注：OpenVLA 采用多个预训练模型组件：SigLIP [zhai2023siglip] 与 DinoV2 [oquab2023dinov2] 视觉编码器，以及 Llama 2 [touvron2023llama2] 语言模型主干。这三个模型均开放权重，但不开放训练数据或代码。本文发布用于在这些组件上复现 OpenVLA 的训练数据、代码和模型权重。）OpenVLA 由能够捕获多粒度视觉特征的预训练视觉条件语言模型主干构成，并在 Open X-Embodiment [open_x_embodiment_rt_x_2023] 中包含 970k 条机器人操作轨迹的大规模多样化数据集上微调；该数据集涵盖多种机器人本体、任务和场景。得益于更丰富的数据与新的模型组件，OpenVLA 在 WidowX 和 Google Robot 本体的29项评估任务上，绝对成功率比此前最佳的550亿参数 VLA RT-2-X [rt22023arxiv, open_x_embodiment_rt_x_2023] 高16.5%。本文还首次研究面向 VLA 的高效微调策略，覆盖从物体拾放到清洁桌面的7项操作任务。微调后的 OpenVLA 策略显著优于 Octo [octo_2023] 等微调后的预训练策略。与从头训练的扩散策略模仿学习 [chi2023diffusionpolicy] 相比，微调后的 OpenVLA 在多物体、多任务环境中需要将语言落地为行为的任务上提升明显。在此基础上，本文首次证明低秩适配（Low-Rank Adaptation，LoRA） [hu2021lora] 与模型量化 [dettmers2024qlora] 等计算高效微调方法的有效性，使 OpenVLA 无需大型服务器节点即可在消费级 GPU 上适配，且不损失性能。 最后，本文开源全部模型、部署与微调 Notebook，以及用于规模化训练 VLA 的 OpenVLA 代码库，希望这些资源能推动机器人 VLA 的后续研究与适配。

相关工作

视觉条件语言模型

视觉条件语言模型（VLM）在互联网规模数据上训练，根据输入图像与语言提示生成自然语言，已广泛用于从视觉问答 [goyal2017making, hudson2019gqa, singh2019textvqa, bigham2010vizwiz]到物体定位 [kazemzadeh2014refcoco, yu2016refcoco]的众多应用。推动近期 VLM 发展的关键进展之一，是将预训练视觉编码器 [radford2021clip, zhai2023siglip, oquab2023dinov2]的特征与预训练语言模型 [touvron2023llama2, jiang2023mistral, google-gemma, microsoft-phi, bai2023qwen]连接起来的模型架构；这类架构直接结合计算机视觉与自然语言建模的进展，构建出强大的多模态模型。早期工作研究了视觉与语言特征交叉注意的多种架构 [li2022blip, li2023blip2, dai2023instructblip, tan2019lxmert, laurencon2023obelics]，而新的开源 VLM [liu2023llava, liu2023llavav15, chen2023pali3, karamcheti2024prismatic]逐渐统一为更简单的“图像块即词元”方法：将预训练视觉 Transformer 输出的图像块特征视为词元，再投影至语言模型输入空间。这种简洁设计使大规模语言模型训练工具能够方便地复用于 VLM 训练。本文使用这些工具扩展 VLA 训练，并选用 [karamcheti2024prismatic] 的 VLM 作为预训练主干。该模型在多分辨率视觉特征上训练，融合 DINOv2 [oquab2023dinov2] 的低层空间信息与 SigLIP [zhai2023siglip] 的高层语义，以增强视觉泛化能力。

通用机器人策略

机器人领域近期的一项趋势，是在大规模、多样化且涵盖多种机器人本体 [devin2017learning,dasari2019robonet, hu2022know,yang2023polybot,reed2022a,salhotra2023bridging,radosavovic2023robot, shahGNMGeneralNavigation2023,bousmalis2023robocat,shah2023vint,open_x_embodiment_rt_x_2023,octo_2023,yang2024pushing]的数据集 [pinto2016supersizing,mandlekar2018roboturk,kalashnikov2018qt, gupta2018robot,dasari2019robonet,cabi2019, jang2022bc,walke2023bridgedata,rt12022arxiv, fang2023rh20t,bharadhwaj2023roboagent,khazatsky2024droid, open_x_embodiment_rt_x_2023]上训练多任务“通用”机器人策略 [kalashnikov2018qt,mtopt2021arxiv,ebert2021bridge,walke2023bridgedata,rt12022arxiv,ehsani2023imitating,bharadhwaj2023roboagent]。其中，Octo [octo_2023] 训练了一种可直接控制多种机器人、并能灵活微调到新机器人配置的通用策略。这些方法与 OpenVLA 的关键差异在于模型架构。Octo 等以往工作通常组合语言嵌入、视觉编码器等预训练组件与从头初始化的额外模型组件 [walke2023bridgedata, rt12022arxiv, octo_2023]，在策略训练过程中学习将它们“拼接”起来。 OpenVLA 则采用更端到端的方法：把机器人动作视为语言模型词表中的词元，直接微调 VLM 以生成动作。实验表明，这一简洁且可扩展的流程显著优于以往通用策略的性能与泛化能力。

视觉—语言—动作模型

许多工作探索了 VLM 在机器人领域的应用，例如视觉状态表征 [nair2022r3m, Karamcheti2023LanguageDrivenRL]、物体检测 [gadre2023cows]、高层规划 [driess2023palm]和反馈信号生成 [du2023vision, ma2023liv, zhang2023grounding, sontakke2024roboclip]。另一些工作将 VLM 直接集成到端到端视觉运动操作策略中 [shridhar2022cliport, stone2023open]，但在策略架构中加入大量先验结构，或要求相机经过标定，因而限制了适用范围。近期多项研究采用与本文相似的方案，直接微调大型预训练 VLM 以预测机器人动作 [rt22023arxiv,open_x_embodiment_rt_x_2023,huang2023embodied,li2023vision,covariant_ai_2024,wayve_ai_2024,zhen20243dvla]。这类模型将机器人控制动作直接融入 VLM 主干，通常称为视觉—语言—动作模型（VLA）。这一设计有三项主要优势：（1）在互联网规模视觉—语言数据集上对齐预训练视觉与语言组件；（2）采用非专为机器人控制定制的通用架构，从而利用现代 VLM 训练背后的可扩展基础设施 [pytorch_amp,dao2023flashattention,zhao2023pytorch]，仅需少量代码修改即可扩展到十亿参数级策略训练；（3）为机器人领域直接利用 VLM 的快速进步提供路径。现有 VLA 工作要么只关注单机器人或仿真配置下的训练与评估 [huang2023embodied,li2023vision, dorka2024matters,zhen20243dvla]，缺乏通用性；要么保持闭源，不支持高效微调到新的机器人配置 [rt22023arxiv,open_x_embodiment_rt_x_2023,covariant_ai_2024,wayve_ai_2024]。

与本文最相关的是 RT-2-X [open_x_embodiment_rt_x_2023]：它在 Open X-Embodiment 数据集上训练了拥有550亿参数的 VLA 策略，并在通用操作策略上达到此前最佳性能。不过，本文与 RT-2-X 存在多项重要差异：（1）OpenVLA 将强大的开放 VLM 主干与更丰富的机器人预训练数据集结合，模型规模小一个数量级，却在实验中优于 RT-2-X；（2）本文全面研究将 OpenVLA 微调到新目标配置，而 RT-2-X 未研究微调场景；（3）本文首次证明现代参数高效微调与量化方法对 VLA 的有效性；（4）OpenVLA 是首个开源通用 VLA，可支持后续研究 VLA 的训练、数据混合方案、目标函数与推理。

OpenVLA模型

本文提出OpenVLA模型，这是一个拥有7B参数的视觉—语言—动作模型（Vision-Language-Action Model，VLA），在Open X-Embodiment数据集的970k个机器人演示上训练 [open_x_embodiment_rt_x_2023]。 开发VLA模型的最佳实践仍存在许多尚未充分探索的问题，例如，应选择何种模型主干、数据集和超参数进行训练。 下文将详述OpenVLA的开发方法并总结关键经验。具体而言，首先简要概述构成OpenVLA主干的现代视觉条件语言模型（Vision-Language Model，VLM）（[sec:prismatic_preliminaries]）；随后介绍基本训练方案和数据集（[sec:train_procedure]和[sec:data_mix]）；讨论关键设计决策（[sec:train_details]）；最后说明训练和推理所用的基础设施（[sec:infra]）。

图：OpenVLA模型架构。 给定图像观测和语言指令，模型预测7维机器人控制动作。该架构包含三个关键组件：(1) 拼接DINO V2 [oquab2023dinov2]与SigLIP [zhai2023sigmoid]特征的视觉编码器；(2) 将视觉特征映射到语言嵌入空间的投影器；(3) 大语言模型主干，即拥有7B参数的Llama 2大语言模型 [touvron2023llama2]。

预备知识：视觉条件语言模型

近期大多数VLM [liu2023llava, liu2023llavav15, chen2023pali3, karamcheti2024prismatic]的架构由三个主要部分组成（见[fig:architecture]）：(1) 将图像输入映射为若干“图像块嵌入”的视觉编码器；(2) 接收视觉编码器输出嵌入并将其映射到语言模型输入空间的投影器；(3) 大语言模型（Large Language Model，LLM）主干。训练VLM时，模型在从各类互联网来源整理的配对或交错式 视觉—语言数据上，以预测下一个文本词元为目标进行端到端训练。

本文以Prismatic-7B VLM [karamcheti2024prismatic]为基础。Prismatic采用上述标准架构，包括拥有600M参数的视觉编码器、小型两层MLP投影器，以及拥有7B参数的Llama 2语言模型主干 [touvron2023llama2]。Prismatic采用双组件视觉编码器，由预训练的SigLIP [zhai2023sigmoid]和DINOv2 [oquab2023dinov2]模型组成。输入图像块分别通过两个编码器，所得特征向量沿通道维拼接。相比更常用的CLIP [radford2021learning]或仅使用SigLIP的视觉编码器，加入DINOv2特征已被证明有助于提升空间推理能力 [karamcheti2024prismatic]，这对机器人控制尤为有益。

SigLIP、DINOv2和Llama 2均未公开其训练数据细节；这些数据很可能分别包含数万亿个源自互联网的图文、纯图像和纯文本词元。Prismatic VLM在这些组件之上使用LLaVA 1.5数据混合 [liu2023llavav15]进行微调，其中包含来自开源数据集 [sharma2018conceptual, schuhmann2021laion, hudson2019gqa, sidorov2020textcaps, liu2023llava]的约1M个图文和纯文本数据样本。

OpenVLA训练流程

为训练OpenVLA，本文对预训练的Prismatic-7B VLM主干进行微调，使其能够预测机器人动作（见[fig:architecture]）。 动作预测被表述为“视觉—语言”任务：将输入观测图像和自然语言任务指令映射为预测机器人动作的字符串 [rt22023arxiv]。为了使VLM的语言模型主干能够预测机器人动作，本文将连续机器人动作映射为该语言模型分词器使用的离散词元，从而在LLM输出空间中表示动作。遵循[rt22023arxiv]，每个机器人动作维度分别离散为256个区间之一。对于每个动作维度，区间宽度设为均匀划分训练数据中动作第1^st与第99^th分位数之间的范围。[rt22023arxiv]使用最小值—最大值边界，而本文采用分位数，因而可以忽略数据中的离群动作；否则这些动作可能大幅扩张离散化区间并降低动作离散化的有效粒度。

通过这种离散化方式，可得到N个离散整数\(\in [0 \dots 255]\)，用于表示一个\(N\)维机器人动作。 遗憾的是，OpenVLA语言主干使用的分词器，即Llama分词器 [touvron2023llama2]，仅为微调期间新引入的词元预留100个“特殊词元”，不足以容纳动作离散化所需的256个词元。为保持简洁，本文再次沿用[rt22023arxiv]的方法，直接以动作词元覆盖Llama分词器词表中使用频率最低的256个词元（即最后256个词元）。 动作被处理为词元序列后，使用标准的下一词元预测目标训练OpenVLA，且仅在预测的动作词元上计算交叉熵损失。[sec:train_details]讨论了实现该训练流程时的关键设计决策。下文介绍用于训练OpenVLA的机器人数据集。

训练数据

构建OpenVLA训练数据集的目标是覆盖丰富多样的机器人本体、场景和任务，使最终模型既能开箱即用地控制多种机器人，又能高效微调到新的机器人配置。本文以Open X-Embodiment数据集 [open_x_embodiment_rt_x_2023]（OpenX）为基础整理训练数据集。截至本文撰写时，完整OpenX数据集由70多个独立机器人数据集组成，包含超过2M条机器人轨迹；大型社区协作将其汇集为统一且易用的数据格式。为了使这些数据上的训练切实可行，本文对原始数据集执行多步数据整理。

整理的目标是确保：(1) 所有训练数据集具有统一的输入与输出空间；(2) 最终训练混合中的本体、任务和场景保持均衡。（注：Octo [octo_2023]展示了如何在具有异构感知输入的数据集上训练。尽管这一方向很有前景，本文将跨异构传感器模态与动作空间的VLA训练留待未来研究。）为实现目标(1)，本文遵循[open_x_embodiment_rt_x_2023, octo_2023]，将训练数据限制为至少配有一个第3^rd人称相机的操作数据集，并采用单臂末端执行器控制。对于目标(2)，所有通过首轮筛选的数据集均采用Octo [octo_2023]的数据混合权重。Octo采用启发式方法降低权重或移除多样性较低的数据集，并提高任务和场景更多样的数据集权重；详见[octo_2023]。

本文还尝试将Octo发布后新增至OpenX的少数数据集纳入训练混合，其中包括DROID数据集 [khazatsky2024droid]，但为其设置了较为保守的10%混合权重。实践中，DROID上的动作词元准确率在整个训练期间始终较低，表明未来可能需要更高的混合权重或更大模型才能拟合其多样性。为避免损害最终模型质量，本文在最后三分之一训练阶段将DROID从数据混合中移除。[sec:app:data_mix]完整列出了所用数据集及其混合权重。

OpenVLA设计决策

在开发OpenVLA模型时，本文先通过小规模实验探索多项设计决策，再启动最终模型训练。具体而言，为提高迭代速度并降低计算成本，初步实验在BridgeData V2 [walke2023bridgedata]上训练和评估OpenVLA模型，而非使用完整OpenX数据混合。下文总结这些探索所得的关键经验。

VLM主干。 初期实验测试了多个VLM主干。除Prismatic [karamcheti2024prismatic]外，还测试了对IDEFICS-1 [idefics2024]和LLaVA [liu2024visual]进行机器人动作预测微调。 在场景仅包含一个物体的任务上，LLaVA与IDEFICS-1表现相当；但在场景含多个物体、且策略需要操作正确物体时，LLaVA表现出更强的语言定位能力，即，需操作语言指令指定的物体。具体而言，在BridgeData V2水槽环境中的五项语言定位任务上取平均后，LLaVA的绝对成功率比IDEFICS-1高35%。经过微调的Prismatic VLM策略进一步提升了性能：在简单单物体任务和多物体语言定位任务上，其绝对成功率均比LLaVA策略高约10%。本文将这种性能差异归因于融合SigLIP-DINOv2主干带来的更强空间推理能力（见[sec:prismatic_preliminaries]）。除性能优势外，Prismatic还提供模块化且易用的代码库，因此最终选择其作为OpenVLA模型的主干。

图像分辨率。 输入图像分辨率显著影响VLA训练的计算需求，因为更高分辨率会产生更多图像块词元，进而增加上下文长度，使训练计算量呈二次增长。本文比较了输入为\(224 \times 224\)px和\(384 \times 384\)px的VLA，评估中未发现性能差异，但后者训练耗时为前者的3倍。因此，最终OpenVLA模型采用\(224 \times 224\)px分辨率。尽管提高分辨率能改善许多VLM基准上的性能 [karamcheti2024prismatic, mckinzie2024mm1, lin2023vila]，本文尚未在VLA上观察到这一趋势。

微调视觉编码器。 既往VLM研究发现，在VLM训练期间冻结视觉编码器通常会获得更高性能 [karamcheti2024prismatic]。直观而言，冻结视觉编码器可能更有利于保留其从互联网规模预训练中学到的稳健特征。然而，本文发现，在VLA训练期间微调视觉编码器对获得良好VLA性能至关重要。本文推测，预训练视觉主干可能无法捕获场景重要部分足够精细的空间细节，因而难以实现精确机器人控制。

训练轮数。 典型LLM或VLM训练至多遍历训练数据集一至两轮。相比之下，VLA训练需要显著增加数据集遍历次数；在训练动作词元准确率超过95%之前，真实机器人性能会随训练持续提升。最终训练在训练数据集上完成27轮。

学习率。 本文在多个数量级范围内扫描VLA训练学习率，结果表明固定学习率2e-5效果最佳（与VLM预训练所用学习率相同 [karamcheti2024prismatic]）。实验未发现学习率预热带来收益。

训练与推理基础设施

最终OpenVLA模型在由64 张 A100块GPU组成的集群上训练14天，合计21,500个A100小时，批大小为2048。推理时，以bfloat16精度加载（即，不量化）的OpenVLA需要15GB GPU显存，在单块NVIDIA RTX 4090 GPU上的运行频率约为6Hz（未采用编译、推测解码或其他推理加速技巧）。如[sec:quantization_exp]所示，通过量化可进一步降低OpenVLA推理时的内存占用，且不会损害真实机器人任务中的性能。[fig:inference_speed]报告了多种消费级和服务器级GPU上的推理速度。为方便使用，本文实现了远程VLA推理服务器，可将动作预测实时远程流式传输至机器人，因而无需强大的本地计算设备即可控制机器人。该远程推理方案随开源代码一同发布（[sec:code]）。

OpenVLA代码库

除模型外，本文还发布了OpenVLA代码库，这是用于训练VLA模型的模块化PyTorch代码库（见项目主页）。该代码库既支持在单块GPU上微调VLA，也能在多节点GPU集群上训练拥有数十亿参数的VLA，并支持自动混合精度（Automatic Mixed Precision，AMP；[pytorch_amp]）、FlashAttention [dao2023flashattention]和完全分片数据并行（Fully Sharded Data Parallel，FSDP；[zhao2023pytorch]）等现代大型Transformer模型训练技术。OpenVLA代码库原生完整支持Open X数据集训练，集成HuggingFace [wolf-etal-2020-transformers]的AutoModel类，并支持LoRA微调 [hu2021lora]和量化模型推理 [dettmers2022gpt3, dettmers2024qlora]。

实验

实验评测旨在检验 OpenVLA 能否直接作为强大的多机器人控制策略，以及能否作为微调至新机器人任务的良好初始化。具体而言，本文试图回答以下问题： - 在多个机器人和多种泛化类型上评测时，OpenVLA 与以往通用机器人策略相比表现如何？ - OpenVLA 能否在新的机器人配置和任务上有效微调？与当前最先进的数据高效模仿学习方法相比表现如何？ - 能否通过参数高效微调和量化降低 OpenVLA 模型的训练与推理计算需求，使其更易于使用？性能与算力之间存在怎样的权衡？

在多个机器人平台上的直接评测

图：BridgeData V2 WidowX 机器人评测任务与结果。我们在一套涵盖多个泛化维度的综合任务以及专门评估语言条件控制能力的任务上，对 OpenVLA 和以往最先进的通用机器人策略进行评测。OpenVLA 的总体性能最高，除语义泛化外，在所有类别中均优于闭源模型 RT-2-X。每种方法的平均成功率 \(\pm\) 标准误（StdErr）根据总计 170 条试验轨迹计算。详细结果见 [app:tab:bridge_results_detailed]。

机器人配置与任务。我们在两个机器人本体上评估 OpenVLA 的“开箱即用”性能：BridgeData V2 评测所用的 WidowX 机器人 [walke2023bridgedata]（见 [fig:teaser] 左图），以及 RT-1 和 RT-2 评测所用的移动操作机器人 [rt12022arxiv,rt22023arxiv]（“Google robot”；见 [fig:teaser] 中图）。以往工作广泛使用这两个平台评估通用机器人策略 [rt12022arxiv,rt22023arxiv,open_x_embodiment_rt_x_2023,octo_2023]。本文在每个环境中定义了一套综合评测任务，覆盖多个泛化维度，包括视觉泛化（未见过的背景、干扰物体，以及物体颜色/外观）、运动泛化（未见过的物体位置/朝向）、物理泛化（未见过的物体尺寸/形状）和语义泛化（未见过的目标物体、指令和互联网概念）。此外，本文还在包含多个物体的场景中评估语言条件控制能力，检验策略能否按照用户提示操作正确的目标物体。BridgeData V2 和 Google robot 评测的任务示例图像分别见 [fig:bridge_results] 和 [fig:rt1_results] 的底行。总体而言，在 BridgeData V2 实验中，每种方法评测 170 条试验轨迹（17 个任务，每个任务 10 次试验）；在 Google robot 实验中，每种方法评测 60 条试验轨迹（12 个任务，每个任务 5 次试验）。所有任务及其与训练数据差异的详细划分见 [sec:app:detailed_setups]。为确保公平比较，本节及后续章节的所有评测均采用 A/B 评测方式，在相同任务上使用相同的机器人和物体初始状态集合。

对比方法。本文将 OpenVLA 与三种以往的通用操作策略进行比较：RT-1-X [open_x_embodiment_rt_x_2023]、RT-2-X [open_x_embodiment_rt_x_2023] 和 Octo [octo_2023]。RT-1-X（35M 参数）和 Octo（93M 参数）均为在 OpenX 数据集子集上从头训练的 Transformer 策略；Octo 是开源操作策略中当前最先进的模型。RT-2-X（55B 参数）是当前最先进的闭源视觉—语言—动作模型（VLA），采用经互联网数据预训练的视觉和语言骨干网络。

BridgeData V2 和 Google robot 的评测结果分别汇总于 [fig:bridge_results] 和 [fig:rt1_results]（各任务的详细结果见附录 [app:tab:bridge_results_detailed] 和 [app:tab:rt1_robot_results_detailed]）。RT-1-X 和 Octo 在测试任务上均表现不佳，常常无法操作正确的物体，尤其是在存在干扰物体时；某些情况下，机器人甚至会漫无目的地挥动机械臂。为检验经互联网数据预训练的 VLA 模型，本文评测所考察的泛化程度甚至高于这些以往工作。因此，未经互联网数据预训练的模型性能较低符合预期。RT-2-X 明显优于 RT-1-X 和 Octo，表明大型预训练视觉—语言模型（Vision-Language Model, VLM）有利于机器人控制。

图：Google robot 评测结果。本文在 RT-1 和 RT-2 评测所用的移动操作机器人上 [rt12022arxiv,rt22023arxiv]，针对分布内和分布外（OOD）任务评测通用机器人策略。OpenVLA 与 RT-2-X 的性能相当，且总体上显著优于 RT-1-X 和 Octo。每种方法的平均成功率 \(\pm\) 标准误根据总计 60 条试验轨迹计算。详细结果见 [app:tab:rt1_robot_results_detailed]。

尽管 OpenVLA 的规模小一个数量级（7B 参数对 55B 参数），但它在 Google robot 评测中与 RT-2-X 表现相当，在 BridgeData V2 评测中则显著优于 RT-2-X。 从定性结果看，RT-2-X 和 OpenVLA 的行为均明显比其他受测模型更稳健，例如在存在干扰物体时接近正确物体、适当调整机器人末端执行器使其与目标物体朝向对齐，甚至能从抓取不牢等错误中恢复（定性试验轨迹示例见 项目主页）。如 [fig:bridge_results] 所示，RT-2-X 在语义泛化任务上的性能更高。这符合预期，因为它使用了规模更大的互联网预训练数据，并在机器人动作数据和互联网预训练数据上联合微调，从而更好地保留预训练知识；相比之下，OpenVLA 仅在机器人数据上微调。然而，在 BridgeData V2 和 Google robot 评测的所有其他任务类别中，OpenVLA 的表现均相当或更好。性能差异可归因于多项因素：本文为 OpenVLA 整理了包含 970k 条轨迹的更大训练数据集（RT-2-X 为 350k 条）；对训练数据集进行了更细致的清洗，例如， 滤除 Bridge 数据集中的全零动作（详见 [sec:app:rt2x_vs_openvla_in_bridge]）；此外，OpenVLA 使用融合视觉编码器，结合了预训练的语义与空间特征。这些组件的消融分析见 [sec:app:additional_ablation_experiments]。

数据高效地适配新机器人配置

以往工作主要关注直接评测 VLA 的“开箱即用”能力 [driess2023palm,rt22023arxiv,open_x_embodiment_rt_x_2023]，而如何将 VLA 模型有效微调至新任务和机器人配置仍缺乏研究，但这对其广泛应用至关重要。本节研究 OpenVLA 快速适配新的真实世界机器人配置的能力。（仿真环境中的微调实验见 [sec:app:libero_sim_experiments]。）

机器人配置与任务。本文测试一种简单的 OpenVLA 模型微调方案：使用包含目标任务 10--150 个演示的小型数据集，对全部模型参数进行完整微调（见 [fig:finetune_results]；参数高效微调方法见 [sec:param_efficient_finetuning]）。 本文在两种配置中测试 OpenVLA：Franka-Tabletop，即固定安装于桌面的 Franka Emika Panda 7 自由度机械臂；以及 Franka-DROID，即近期发布的 DROID 数据集 [khazatsky2024droid]中的 Franka 机械臂配置，安装在可移动升降桌上。两种配置分别采用 5Hz 和 15 Hz 非阻塞控制器。Franka 机械臂在机器人学习社区中应用广泛，很可能成为 OpenVLA 微调的目标机器人本体，因此本文选择它作为微调实验的目标本体。通过测试不同控制频率的配置，检验 OpenVLA 对多种使用场景的适用性。

图：适配新机器人配置。本文评测在七个 Franka Emika Panda 任务（每个任务 10--150 个演示）上从头训练的当前最先进 Diffusion Policy，以及在相同数据上微调的通用机器人策略 Octo 和 OpenVLA。Diffusion Policy 在范围较窄的单指令任务上表现强劲，而 Octo 和 OpenVLA 在涉及多条指令和干扰物体的多样化微调任务上表现更好。总体而言，OpenVLA 在两种配置上的综合性能最高，表明它可作为下游任务策略学习的有效默认选择。每种方法的平均成功率 \(\pm\) 标准误根据 129 条试验轨迹计算（Franka-Tabletop 任务 99 条，Franka-DROID 任务 30 条）。详细结果见 [app:tab:detailed_finetune_results]。

对比方法。本文与从头训练的当前最先进数据高效模仿学习方法 Diffusion Policy [chi2023diffusionpolicy] 进行比较。此外，还比较了输入和输出规格与 OpenVLA 一致的 Diffusion Policy (matched) 版本。（注：完整的 Diffusion Policy 使用包含图像和本体感知状态的两步观测历史，并通过预测由 \(T\) 个未来动作组成的动作块执行滚动时域控制：先以开环方式执行前 \(X\) 个动作，再预测下一个动作块（对于 15Hz 控制，与 DROID 以往工作 [khazatsky2024droid]相同，设置 \(T=16, X=8\)；对于 5Hz 控制，将动作块大小减小至 \(T=8, X=3\)）。它也是 [sec:finetuning_exp] 中唯一通过预测绝对笛卡尔坐标控制机器人的方法；其他所有方法均采用相对位置控制。Diffusion Policy (matched) 以单张图像作为输入，不使用本体感知信息或观测历史，且不采用动作分块，仅预测一个相对位置控制动作。） 此外，本文评测在目标数据集上微调的 Octo [octo_2023]，因为它是当前支持微调的最佳通用策略（RT-2-X 的推理 API 不支持微调）。本文也在相同目标数据集上微调 OpenVLA，所得策略记为 OpenVLA。 最后，作为消融实验，本文与 OpenVLA (scratch) 进行比较。该方法直接在目标机器人配置上微调底层基础 Prismatic VLM，而非微调经过 OpenX 预训练的 OpenVLA 模型，以评估大规模机器人预训练的收益。

结果见 [fig:finetune_results]（各任务的详细结果见附录 [app:tab:detailed_finetune_results]）。 在“将胡萝卜放入碗中”和“将玉米倒入锅中”等范围较窄的单指令任务上，两个版本的 Diffusion Policy 均可与通用策略 Octo 和 OpenVLA 竞争或优于二者；但在场景中包含多个物体且需要语言条件控制的更多样化微调任务上，预训练通用策略表现更好。 对 Octo 和 OpenVLA 进行 OpenX 预训练，使模型能更好地适应这些注重语言落地的多样化任务；OpenVLA (scratch) 较低的性能为此提供了证据。 总体而言，OpenVLA 的平均性能最高。多数以往方法仅在范围较窄的单指令任务或多样化的多指令任务中的一类任务上表现强劲，因而成功率差异很大。OpenVLA 是唯一在所有受测任务上均达到至少 50% 成功率的方法，表明它可作为模仿学习任务的有力默认选择，尤其适合包含多样化语言指令的任务。对于范围较窄但要求高度灵巧操作的任务，Diffusion Policy 的轨迹仍更平滑、更精确；引入 Diffusion Policy 所采用的动作分块和时序平滑，可能帮助 OpenVLA 达到同等灵巧程度，是值得探索的未来方向（当前局限的详细讨论见 [sec:conclusion]）。

参数高效微调

上一节中 OpenVLA 的完整微调为每个任务使用 8 块 A100 GPU 训练 5-15 小时（取决于数据集规模），取得了较高性能。尽管所需算力远低于 VLA 预训练，本节仍进一步探索算力和参数效率更高的微调方法，并研究其有效性。

表：参数高效微调评测。LoRA 微调实现了最佳的性能—算力权衡，仅训练模型 1.4% 的参数即可达到完整微调的性能。在选定的 Franka-Tabletop 任务上，每种方法的平均成功率 \(\pm\) 标准误根据 33 条试验轨迹计算（详见 [app:tab:detailed_peft_results]）。
\(^\ast\)：使用 FSDP [zhao2023pytorch] 分片至 2 块 GPU。

\begin{wraptable}{r}{0.6\textwidth}
\centering
\vspace{-0.3cm}
\caption{\textbf{参数高效微调评测。}LoRA 微调实现了最佳的性能—算力权衡，仅训练模型 1.4\% 的参数即可达到完整微调的性能。在选定的 Franka-Tabletop 任务上，每种方法的平均成功率 $\pm$ 标准误根据 33 条试验轨迹计算（详见 \cref{app:tab:detailed_peft_results}）。\newline$^\ast$：使用 FSDP~\citep{zhao2023pytorch} 分片至 2 块 GPU。}
\label{tab:partial_finetune_results}
\resizebox{0.6\textwidth}{!}{\begin{tabular}{lccc}
\toprule
策略 & 成功率 & 训练参数量 ($\times 10^6$) & 显存（批量 16） \\
\midrule
完整微调 & \textbf{69.7 $\pm$ 7.2 \%} & 7,188.1 & 163.3 GB* \\
\midrule
仅最后一层 & 30.3 $\pm$ 6.1 \% & 465.1 & 51.4 GB \\
冻结视觉编码器 & 47.0 $\pm$ 6.9 \% & 6,760.4 & 156.2 GB* \\
夹心式微调 & 62.1 $\pm$ 7.9 \% & 914.2 & 64.0 GB \\
LoRA，秩=32 & \textbf{68.2 $\pm$ 7.5\%} & \textbf{97.6} & \textbf{59.7 GB} \\
\hspace{1.05cm}秩=64 & \textbf{68.2 $\pm$ 7.8\%} & 195.2 & 60.5 GB \\
\bottomrule
\end{tabular}}
\end{wraptable}

具体而言，本文比较以下微调方法：完整微调，即如 [sec:finetuning_exp] 所述，在微调期间更新全部权重；仅最后一层，即仅微调 OpenVLA 的 Transformer 骨干网络最后一层和词元嵌入矩阵；冻结视觉编码器，即冻结视觉编码器并微调其他所有权重；夹心式微调，即解冻视觉编码器、词元嵌入矩阵和最后一层；以及低秩适配（LoRA），即采用 [hu2021lora] 提出的常用低秩适配技术，在模型所有线性层上应用多个秩值 \(r\)。

[tab:partial_finetune_results] 给出了多个 Franka-Tabletop 任务上的微调成功率、训练参数量和 GPU 显存需求。（注：在 [sec:param_efficient_finetuning] 和 [sec:quantization_exp] 中，本文实验使用的 OpenVLA 模型版本采用较小的机器人数据混合进行预训练（与 Octo 使用相同的 OpenX 数据集混合），其架构也略小，仅使用 SigLIP [zhai2023sigmoid] 视觉骨干网络，而非融合的 DinoSigLIP 编码器。实验发现，这一较简单的架构在微调任务和“开箱即用”任务上仍表现强劲。）仅微调网络最后一层或冻结视觉编码器都会导致性能不佳，表明进一步使视觉特征适配目标场景至关重要。相比之下，“夹心式微调”会微调视觉编码器，因此性能更好；由于不微调整个大语言模型（Large Language Model, LLM）骨干网络，其 GPU 显存占用也更少。LoRA 在性能与训练显存占用之间实现了最佳权衡：它优于“夹心式微调”，且仅微调 1.4% 的参数便达到完整微调的性能。LoRA 的秩对策略性能影响可忽略不计，因此建议使用默认秩 \(r=32\)。借助 LoRA，仅用一块 A100 GPU 即可在 10-15 小时内将 OpenVLA 微调至新任务，算力需求较完整微调降低 8 倍。

通过量化实现显存高效推理

图：OpenVLA 在不同 GPU 上的推理速度。bfloat16 和 int4 量化均可实现高吞吐量，在采用 Ada Lovelace 架构的 GPU（RTX 4090、H100）上尤为明显。使用 TensorRT-LLM [tensorrt_llm] 等现代 LLM 推理框架还可进一步提速。\(\spadesuit\)：模型分片至两块 GPU 以容纳模型。

表：量化推理性能。4 位量化达到 bfloat16 推理（本文默认方法）的性能，同时将 GPU 显存占用减少一半以上。在 8 个代表性 BridgeData V2 任务 [walke2023bridgedata]上，每种方法的平均成功率 \(\pm\) 标准误根据 80 条试验轨迹计算（详见 [app:tab:detailed_quantized_inference_results]）。

\begin{tabular}{lcc}
        \toprule
        精度 & Bridge 成功率 & 显存 \\
        \midrule
        bfloat16 & 71.3 $\pm$ 4.8\% & 16.8 GB \\
        int8 & 58.1 $\pm$ 5.1\% & 10.2 GB \\
        int4 & 71.9 $\pm$ 4.7\% & 7.0 GB \\
        \bottomrule
    \end{tabular}

OpenVLA 是一个 7B 参数模型，其推理显存占用高于 Octo 等以往开源通用策略；Octo 的参数量为 \(<\)100M。遵循 LLM 服务的最佳实践，本文以 bfloat16 精度保存并加载 OpenVLA 进行推理（默认方法），将显存占用减半，使 OpenVLA 可在仅有 16GB 显存的 GPU 上运行。本节使用为 LLM 服务开发的现代量化技术 [dettmers2022gpt3, dettmers2024qlora]，测试能否进一步降低策略推理所需显存并提高 VLA 策略的可用性。这些方法以较低精度加载网络权重，以潜在的推理速度和准确率下降换取更低的显存需求。

具体而言，本文在 8 个代表性 BridgeData V2 任务上研究以 8 位和 4 位精度部署 OpenVLA 模型。显存占用和试验轨迹性能见 [tab:quantized_results]；不同消费级和服务器级 GPU 可实现的控制频率见 [fig:inference_speed]。由于额外量化操作带来的开销，8 位量化会降低多数 GPU 上的推理速度。4 位推理的吞吐量更高，因为 GPU 显存传输量的减少抵消了量化开销。

推理速度降低使 8 位量化的性能显著下降：在评测所用的 A5000 GPU 上，模型只能以 1.2Hz 运行；与 BridgeData V2 任务所用 5Hz 非阻塞控制器的训练数据集相比，这显著改变了系统动力学。（注：本文将性能下降归因于较低的推理速度，因为在训练数据上离线评测时，8 位和 4 位量化的词元准确率均与 bfloat16 推理相当。支持性细节见 [sec:app:additional_quantized_inference_experiments]。）尽管 4 位量化所需 GPU 显存不到一半，其性能仍与 bfloat16 半精度推理相近。4 位量化模型可在 A5000 上以 3Hz 运行，因此更接近数据采集时的系统动力学。

讨论与局限性

本文提出了当前最佳的开源视觉—语言—动作模型 OpenVLA，无需额外适配即可在跨本体机器人控制中取得较强性能。本文还证明，参数高效微调技术能够轻松将 OpenVLA 适配到新的机器人配置。

当前 OpenVLA 模型存在若干局限。首先，它仅支持单图像观测，而真实世界中的机器人配置具有异构性，可能包含多种感知输入 [octo_2023]。未来的重要方向是扩展 OpenVLA，使其支持多图像、本体感知输入与观测历史。采用在图像与文本交错数据上预训练的 VLM，或有助于实现这种灵活输入形式的 VLA 微调。

其次，提高 OpenVLA 的推理吞吐量，是将 VLA 用于 ALOHA [zhao2023learning] 等50Hz高频控制平台的关键。这也将支持在比本文任务更灵巧的双臂操作任务上测试 VLA。动作分块或推测解码 [leviathan2023fast] 等推理时优化技术可能解决这一问题。

模型性能仍有提升空间。尽管 OpenVLA 优于以往通用策略，但在测试任务上尚未达到很高的可靠性，成功率通常低于90%。

最后，由于计算资源有限，许多 VLA 设计问题仍未得到充分研究：基础 VLM 的规模如何影响 VLA 性能？在机器人动作预测数据与互联网规模视觉—语言数据上联合训练，能否显著提升 VLA 性能？哪些视觉特征最适合 VLA？本文希望 OpenVLA 模型与代码库的发布能够推动社区共同研究这些问题。

数据混合细节

[tab:data_mix]列出了本文使用的数据混合方案。该方案大体遵循[octo_2023]，并增加了少量数据集。

表：OpenVLA训练数据混合方案。数据取自Open X-Embodiment数据集 [open_x_embodiment_rt_x_2023]，整体遵循[octo_2023]并加入少量额外数据集。

\begin{table}[th]
    \centering
       \begin{tabular}{lr}
        \toprule
        \multicolumn{2}{c}{\textbf{\name{}训练数据集混合方案}}\\
        \midrule
        Fractal~\citep{brohan2022rt} & 12.7\% \\
        Kuka~\citep{kalashnikov2018qt} & 12.7\% \\
        Bridge\citep{ebert2021bridge, walke2023bridgedata} & 13.3\% \\
        Taco Play~\citep{rosetebeas2022latent,mees2023grounding} & 3.0\% \\
        Jaco Play~\citep{dass2023jacoplay} & 0.4\% \\
        Berkeley Cable Routing~\citep{luo2023multistage} & 0.2\% \\
        Roboturk~\citep{DBLP:journals/corr/abs-1811-02790} & 2.3\% \\
        Viola~\citep{zhu2023viola} & 0.9\% \\
        Berkeley Autolab UR5~\citep{BerkeleyUR5Website} & 1.2\% \\
        Toto~\citep{zhou2023train} & 2.0\% \\
        Language Table~\citep{lynch2023interactive} & 4.4\% \\
        Stanford Hydra Dataset~\citep{belkhale2023hydra}  & 4.4\% \\
        Austin Buds Dataset~\citep{zhu2022bottom}  & 0.2\% \\
        NYU Franka Play Dataset~\citep{cui2022play}  & 0.8\% \\
        Furniture Bench Dataset~\citep{heo2023furniturebench}  & 2.4\% \\
        UCSD Kitchen Dataset~\citep{ucsd_kitchens}  & <0.1\% \\
        Austin Sailor Dataset~\citep{nasiriany2022sailor}  & 2.2\% \\
        Austin Sirius Dataset~\citep{liu2022robot}  & 1.7\% \\
        DLR EDAN Shared Control~\citep{quere_shared_2020}  & <0.1\% \\
        IAMLab CMU Pickup Insert~\citep{saxena2023multiresolution}  & 0.9\% \\
        UTAustin Mutex~\citep{shah2023mutex} & 2.2\% \\
        Berkeley Fanuc Manipulation~\citep{fanuc_manipulation2023} & 0.7\% \\
        CMU Stretch~\citep{mendonca2023structured} & 0.2\% \\
        BC-Z~\citep{jang2022bc} & 7.5\% \\
        FMB Dataset~\citep{luo2024fmb}  & 7.1\% \\
        DobbE~\citep{shafiullah2023dobbe}  & 1.4\% \\
        DROID~\citep{khazatsky2024droid}  & 10.0\%\footnote{由于学习进展缓慢（见\cref{sec:data_mix}），训练最后三分之一阶段移除DROID，并将其混合权重重新分配给其他所有数据集。} \\
                \bottomrule
        \end{tabular}%
        \caption{\name{}训练数据混合方案。数据取自Open X-Embodiment数据集~\citep{open_x_embodiment_rt_x_2023}，整体遵循\citep{octo_2023}并加入少量额外数据集。}
        \label{tab:data_mix}
\end{table}

评估任务与详细结果

本节进一步介绍[sec:zero_shot_exp]中的BridgeData V2 WidowX和Google机器人评估，以及[sec:finetuning_exp]中的Franka-Tabletop与Franka-DROID微调评估。

BridgeData V2 WidowX评估细节

本节专门讨论[sec:zero_shot_exp]中的BridgeData V2评估。

BridgeData V2评估任务

如[sec:zero_shot_exp]所述，我们在17项任务上评估各通用机器人操控策略，每项任务进行10次试验。本节介绍任务类别及各项任务的细节。

图：BridgeData V2 WidowX机器人评估任务。我们在四类分布外（Out-of-Distribution，OOD）泛化任务上评估各通用机器人策略：视觉、运动、物理和语义泛化（定义见[sec:zero_shot_exp]）。每对图像分别展示起始状态，以及机器人完成任务后的一个示例结束状态。最下方三行任务还严格评估语言落地能力：保持初始状态不变而改变提示，以检验策略能否接近正确的目标物体。

评估共包括5项视觉泛化任务、2项运动泛化任务、3项物理泛化任务、4项语义泛化任务和3项语言落地任务。由于无法获得原始数据集使用的完全相同物体，所有评估任务都引入了某种分布偏移；在不同地点复现实物测试环境时还会自然产生其他分布偏移，详见[sec:app:compare_to_orig_bridge]。全部17项任务如[fig:app:bridge_tasks]所示。每条试验轨迹记为失败（0）或成功（1）；部分较难任务还记录部分成功（0.5），其得分条件见下文任务说明。

下面按[fig:app:bridge_tasks]中的顺序介绍17项任务： - 将茄子放入锅中（简单版）：机器人需拿起茄子并将其放入锅中。这是一项视觉泛化任务，因为无法取得原始锅具，故使用外观不同于BridgeData V2原始训练数据集所用锅具的手工纸锅。与其余16项任务不同，该任务在运行策略前将机器人末端执行器直接初始化到茄子上方，因此称为“将茄子放入锅中”的“简单版”。 - 将茄子放入锅中：任务与上项相同，但末端执行器并不直接初始化在茄子上方，而是在所有试验轨迹中采用同一固定位置，因此机器人必须先水平伸向茄子才能进行操控（下述所有其他任务同样如此）。基于与上项相同的原因，这是一项视觉泛化任务。 - 将台面上的杯子放入水槽：机器人需从厨房台面或沥水架拿起粉色杯子，并放入右侧水槽。这是一项视觉泛化任务，因为此处使用粉色杯子而非原始BridgeData V2数据集中的蓝色杯子；实验发现所有受评方法都无法可靠操控蓝色杯子，最可能的原因是其颜色与水槽颜色混在一起。 - 将茄子放入锅中（含杂物）：任务与“将茄子放入锅中”相同，但多个干扰物体提高了难度。基于普通版本所述原因，这是一项视觉泛化任务；场景中未见过的干扰物进一步加剧了视觉分布偏移。当机器人朝正确目标物体移动时，计部分得分（1分中的0.5分）。 - 将黄色玉米放到粉色盘子上：机器人需拿起黄色玉米并放到粉色盘子上。由于场景中存在未见过的干扰物体，例如水槽后部台面上的绿色恐龙，这是一项视觉泛化任务。当机器人朝正确目标物体移动时，计部分得分（1分中的0.5分）。 - 提起茄子：机器人需抓住茄子并将其提到空中。这是一项运动泛化任务：茄子的初始位置和/或朝向未在训练中出现，机器人必须超出训练位置和/或朝向分布，且常需远距离伸展才能完成任务。原始BridgeData V2示范未在该环境中展示远距离伸展，详见[sec:app:compare_to_orig_bridge]。该任务看似简单，却对许多策略颇具挑战。当机器人接触到茄子时，计部分得分（1分中的0.5分）。 - 将胡萝卜放到盘子上（高度变化）：机器人需拿起胡萝卜并放到黄色盘子上。这是一项运动泛化任务，因为盘子从水槽底部的常规位置被抬高，机器人必须调整轨迹，将胡萝卜正确放到抬高的平台上且不能碰倒盘子。当机器人抓住胡萝卜并用其接触盘子时，计部分得分（1分中的0.5分）。 - 将胡萝卜放到盘子上：任务与上项相同，但盘子位于常规位置，即水槽或沥水架底部。由于所用胡萝卜的尺寸和形状不同于原始BridgeData V2数据集中更短、更细的胡萝卜，因此归为物理泛化任务。严格而言，上一个版本因使用相同胡萝卜也属于物理泛化，但其重点是运动泛化，故列入该类别。 - 将锅翻正：机器人需操控锅具，使其在回合结束时直立于水槽中。由于该锅具的尺寸和形状不同于BridgeData V2原始训练示范中的锅具（本文所用锅具更宽、更矮），这是一项物理泛化任务。 - 提起AAA电池：机器人只需抓住AAA电池并将其提到空中。该电池远小于且薄于BridgeData V2在此环境中的训练示范目标物体，因此归为物理泛化任务，详见[sec:app:compare_to_orig_bridge]。该目标物体也未出现在此环境的原始BridgeData V2示范中，因而也属于“语义泛化”，但此处重点是物理属性，故仅归为物理泛化。 - 将骷髅移入沥水架：机器人需抓住骷髅发条玩具，并将其放入水槽左侧的黄色沥水架。骷髅是未见过的目标物体，未出现在BridgeData V2训练示范中，因此这是一项语义泛化任务。 - 提起白色胶带：机器人需抓住白色胶带卷并将其提到空中。白色胶带卷是未见过的目标物体，未出现在BridgeData V2训练示范中，因此这是一项语义泛化任务。由于其形状不同于此环境训练示范中的物体，也可视为物理泛化；多数策略难以抓取这种环状结构，常将末端执行器直接移向中心区域。 - 从锅中取出紫葡萄：机器人需抓住钢锅内的紫葡萄并将其取出，即提起后放到锅外任意位置。由于该语言指令未曾出现，机器人在原始BridgeData V2训练数据集中从未见过此任务，因此这是一项语义泛化任务。 - 将蓝色杯子叠放到粉色杯子上：机器人需抓住蓝色杯子，并将其稳妥放到粉色杯子上。由于这条语言指令未曾出现，机器人在原始BridgeData V2训练数据集的该环境中从未见过此任务，因此这是一项语义泛化任务。当机器人抓住蓝色杯子并用其接触粉色杯子时，计部分得分（1分中的0.5分）。 - 将{茄子、红瓶}放入锅中：这是一项语言落地任务。机器人需将指定目标物体放入锅中，场景中同时存在茄子和红瓶。采用成对评估：在相同初始状态下，一个回合提示策略以茄子为目标，下一个回合则以红瓶为目标。每种方法针对茄子和红瓶各测试5次，两种目标物体使用相同的5个初始状态。当机器人朝正确目标物体移动时，计部分得分（1分中的0.5分）。 - 提起{奶酪、红辣椒}：这是一项语言落地任务。机器人需抓住并提起指定目标物体，采用与上项任务相同的成对评估。当机器人朝正确目标物体移动时，计部分得分（1分中的0.5分）。 - 将{蓝色杯子、粉色杯子}放到盘子上：这是一项语言落地任务。机器人需抓住指定目标物体并放到盘子上，采用与其他语言落地任务相同的成对评估。当机器人朝正确目标物体移动时，计部分得分（1分中的0.5分）。

评估任务与原始BridgeData V2训练数据的比较

评估在原始BridgeData V2数据集[walke2023bridgedata]使用的水槽环境中进行。复现环境时，粗略估计机器人相对于水槽的位置以及相机相对于场景的位置，以匹配BridgeData V2中的原始环境。原始数据集未提供这些位置的精确测量值，因此无法完全复现环境配置；机器人、水槽和相机位置的细微差异会自然产生分布偏移。此外，机器人策略的评估地点不同于训练示范采集地点，也会产生其他自然分布偏移。例如，照明条件和背景（例如， 水槽后方可见区域）必然不同于训练数据集。由于还无法获得原始BridgeData V2数据集所用的完全相同物体，训练与测试所用物体之间也存在分布偏移。

尽管存在这些挑战，OpenVLA和RT-2-X等部分通用策略仍能泛化，并在无需额外调整的情况下较可靠地完成多种任务。RT-1-X和Octo等其他通用策略也能完成部分任务，但面对BridgeData V2评估套件中难度更高的泛化任务时表现不佳。

原始BridgeData V2数据集在该水槽环境中包含以下七项任务的示范：“Flip Pot Upright”“Put Carrot on Plate”“Put Cup from Counter (or Drying Rack) into Sink”“Put Eggplant into Pot”“Put Knife on Cutting Board”“Put Spoon in Pot”和“Turn Lever Vertical to Front”。[fig:app:original_bridge_tasks]展示了原始数据集中这些任务的示例图像。该环境中采集的所有训练示范都将机器人末端执行器初始化在目标物体正上方。不过，BridgeData V2的其他环境并非全部如此；在某些环境中，机器人初始位置离目标物体较远，必须先水平伸向物体再进行操控。

图：原始BridgeData V2水槽环境任务。原始BridgeData V2数据集水槽环境中的示范样例表明，该环境所有示范的初始状态都将机器人末端执行器置于目标物体正上方。这些初始状态不同于[fig:app:bridge_tasks]所示BridgeData V2评估任务所用状态。评估中始终将末端执行器初始化到水槽上方的固定位置，而非目标物体正上方；唯一例外是“Put Eggplant into Pot (Easy Version)”任务。

BridgeData V2评估套件中，仅“Put Eggplant into Pot (Easy Version)”将机器人末端执行器初始化到目标物体正上方；其余16项任务均将末端执行器初始化到水槽上方的固定位置，机器人必须水平伸向物体。该初始条件与评估套件各类OOD泛化所引入的分布偏移共同增加了通用策略的难度，策略需具备较强鲁棒性才能成功完成任务。因此，RT-1-X和Octo等策略的成功率低于先前工作报告值。然而，面对这些分布偏移与挑战，RT-2-X和OpenVLA等策略仍取得相对较强的性能。

BridgeData V2详细评估结果

完整的BridgeData V2 WidowX评估结果见[app:tab:bridge_results_detailed]。表中列出各方法在17项任务各10次试验中的成功次数。OpenVLA在多数任务上表现最佳，并在通用策略中取得最高总体成功率。RT-2-X也表现良好，优于RT-1-X和Octo，但不及OpenVLA；RT-1-X和Octo通常难以应对这些泛化任务。

表：BridgeData V2 WidowX详细评估结果。报告完整17项任务评估套件（见[sec:zero_shot_exp]）的性能，包括视觉、运动、物理和语义泛化任务以及语言落地任务。部分任务允许部分成功（0.5分），详见[sec:app:bridge_evaluation_tasks]。OpenVLA在多数任务上表现最佳，总体性能最高，RT-2-X次之；RT-1-X和Octo在评估中表现较弱，多项任务仅成功0--2次。全部任务图示见[fig:app:bridge_tasks]。

\begin{table}[h]
\centering
\caption{\textbf{BridgeData~V2 WidowX详细评估结果。}报告完整17项任务评估套件（见\cref{sec:zero_shot_exp}）的性能，包括视觉、运动、物理和语义泛化任务以及语言落地任务。部分任务允许\emph{部分成功}（0.5分），详见\cref{sec:app:bridge_evaluation_tasks}。\name{}在多数任务上表现最佳，总体性能最高，RT-2-X次之；RT-1-X和Octo在评估中表现较弱，多项任务仅成功0--2次。全部任务图示见\cref{fig:app:bridge_tasks}。}
\label{app:tab:bridge_results_detailed}
\resizebox{\textwidth}{!}{%
\begin{tabular}{llccccc}
\toprule
类别 & 任务 & 试验次数 & \makecell{RT-1-X\\成功次数} & \makecell{Octo\\成功次数} & \makecell{RT-2-X\\成功次数} & \makecell{\name{}~（本文）\\成功次数} \\
\midrule
视觉泛化 & Put Eggplant into Pot (Easy Version) & 10 & 1 & 5 & 7 & \textbf{10} \\
视觉泛化 & Put Eggplant into Pot & 10 & 0 & 1 & 5 & \textbf{10} \\
视觉泛化 & Put Cup from Counter into Sink & 10 & 1 & 1 & 0 & \textbf{7} \\
视觉泛化 & Put Eggplant into Pot (w/ Clutter) & 10 & 1 & 3.5 & 6 & \textbf{7.5} \\
视觉泛化 & Put Yellow Corn on Pink Plate & 10 & 1 & 4 & 8 & \textbf{9} \\
运动泛化 & Lift Eggplant & 10 & 3 & 0.5 & 6.5 & \textbf{7.5} \\
运动泛化 & Put Carrot on Plate (w/ Height Change) & 10 & 2 & 1 & \textbf{4.5} & \textbf{4.5} \\
物理泛化 & Put Carrot on Plate & 10 & 1 & 0 & 1 & \textbf{8} \\
物理泛化 & Flip Pot Upright & 10 & 2 & 6 & 5 & \textbf{8} \\
物理泛化 & Lift AAA Battery & 10 & 0 & 0 & 2 & \textbf{7} \\
语义泛化 & Move Skull into Drying Rack & 10 & 1 & 0 & \textbf{5} & \textbf{5} \\
语义泛化 & Lift White Tape & 10 & \textbf{3} & 0 & 0 & 1 \\
语义泛化 & Take Purple Grapes out of Pot & 10 & \textbf{6} & 0 & 5 & 4 \\
语义泛化 & Stack Blue Cup on Pink Cup & 10 & 0.5 & 0 & \textbf{5.5} & 4.5 \\
语言落地 & Put \{Eggplant, Red Bottle\} into Pot & 10 & 2.5 & 4 & \textbf{8.5} & 7.5 \\
语言落地 & Lift \{Cheese, Red Chili Pepper\} & 10 & 1.5 & 2.5 & 8.5 & \textbf{10} \\
语言落地 & Put \{Blue Cup, Pink Cup\} on Plate & 10 & 5 & 5.5 & 8.5 & \textbf{9.5} \\
\midrule
&& 平均成功率 & \cellcolor{lightlightgray}18.5$\pm$2.7\% & \cellcolor{lightlightgray}20.0$\pm$2.6\% & \cellcolor{lightlightgray}50.6$\pm$3.5\% & \cellcolor{lightlightgray}\textbf{70.6$\pm$3.2\%} \\
\bottomrule
\end{tabular}}
\end{table}

此外，[app:tab:detailed_quantized_inference_results]给出了[tab:quantized_results]所概述量化推理实验的完整评估结果。这些评估在8项有代表性的BridgeData V2任务上测试策略，覆盖完整评估套件中的所有任务类别。

表：完整量化推理结果。此处给出[tab:quantized_results]中结果的详细版本。

\begin{table}[h]
\centering
\caption{\textbf{完整量化推理结果。}此处给出\cref{tab:quantized_results}中结果的详细版本。}
\label{app:tab:detailed_quantized_inference_results}
\resizebox{\textwidth}{!}{%
\begin{tabular}{llcccc}
\toprule
类别 & 任务 & 试验次数 & \makecell{bfloat16\\成功次数} & \makecell{int8\\成功次数} & \makecell{int4\\成功次数} \\
\midrule
视觉泛化 & Put Eggplant into Pot (Easy Version) & 10 & \textbf{9} & 7 & \textbf{9} \\
视觉泛化 & Put Eggplant into Pot & 10 & \textbf{7} & \textbf{7} & \textbf{7} \\
视觉泛化 & Put Cup from Counter into Sink & 10 & 5 & 3 & \textbf{7} \\
运动泛化 & Lift Eggplant & 10 & 6 & 4 & \textbf{7.5} \\
物理泛化 & Put Carrot on Plate & 10 & 6 & 5 & \textbf{7} \\
物理泛化 & Lift AAA Battery & 10 & \textbf{7} & 5 & 3 \\
语义泛化 & Take Purple Grapes out of Pot & 10 & 8 & 8 & \textbf{9} \\
语言落地 & Put \{Eggplant, Red Bottle\} into Pot & 10 & \textbf{9} & 7.5 & 8 \\
\midrule
&& 平均成功率 & \cellcolor{lightlightgray}\textbf{71.3 $\pm$ 4.8\%} & \cellcolor{lightlightgray}58.1 $\pm$ 5.1\% & \cellcolor{lightlightgray}\textbf{71.9 $\pm$ 4.7\%} \\
\bottomrule
\end{tabular}}
\end{table}

Google机器人评估细节

本节进一步介绍[sec:zero_shot_exp]中的Google机器人评估。

Google机器人评估任务

图：Google机器人评估任务。在分布内任务和分布外（OOD）泛化任务上评估各通用机器人策略。OOD任务涉及未见过的背景、目标物体、指令/物体关系和语义概念（例如未出现在机器人动作数据中的互联网照片）。

在Google机器人上，每种通用机器人策略均评估12项任务，每项运行5条试验轨迹，共60条。前五项任务测试分布内条件，后七项测试更困难的分布外（OOD）条件。全部任务如[fig:app:rt1_robot_tasks]所示，每条试验轨迹记为失败（0）或成功（1）。

下面介绍12项任务： - 拿起可乐罐（分布内）：机器人位于平台前方，平台上放有一罐可乐；目标是抓住并提起可乐罐。 - 将苹果移到绿色罐旁（分布内）：平台上放有一个苹果和一个绿色汽水罐；机器人需抓住苹果并将其移到绿色罐旁。 - 将蓝色薯片袋移到苹果旁（分布内）：平台上放有蓝色薯片袋和苹果；机器人需抓住薯片袋并将其移到苹果附近。 - 将可乐罐立正（分布内）：平台上的可乐罐侧卧；机器人需抓住可乐罐并将其调整为直立姿态。 - 打开中间抽屉（分布内）：机器人位于一组三层抽屉前，需抓住中间抽屉的把手并将其拉开。 - 将橙子移到棕色薯片袋旁（OOD）：平台上放有棕色薯片袋和橙子，物体下方铺着蓝天白云图案的桌布。机器人需抓住橙子并移到薯片袋旁。该任务属于OOD，因为橙子是训练数据集中未见过的物体，桌布也是未见过的背景。（注：Google机器人评估中OOD条件的详细列表见[rt22023arxiv]附录。） - 拿起百事可乐罐（OOD）：平台上放有一罐百事可乐，其下铺着亮黄/棕色图案桌布。机器人需抓住并提起罐子。百事可乐罐和桌布背景均未见过，因此该任务属于OOD。 - 拿起香蕉（OOD）：平台上放有苹果、可乐罐和香蕉；机器人需抓住并提起香蕉。香蕉是未见过的目标物体，因此该任务属于OOD。 - 拿起绿色杯子（OOD）：平台上放有香蕉、百事可乐罐和绿色杯子；机器人需抓住并提起绿色杯子。场景中所有物体都未出现在训练数据中，因此该任务属于OOD。 - 将苹果放到盘子上（OOD）：平台上放有盘子和苹果；机器人需抓住苹果并移到盘子上。该任务使用描述未见物体关系的新指令，因而属于OOD：训练示范只包含将苹果移到盘子附近，而非放在盘子上方。 - 将香蕉放入平底锅（OOD）：平台上放有平底锅和香蕉；机器人需抓住香蕉并将其移入锅中。香蕉是未见过的目标物体，且该新指令描述了未见过的物体关系，因此该任务属于OOD。 - 将可乐罐移到Taylor Swift照片旁（OOD）：平台上放有可乐罐和三位不同名人的照片，其中包括Taylor Swift。机器人需抓住罐子并移到Taylor Swift的照片旁。名人照片未出现在机器人交互数据中，因此该任务属于OOD。

Google机器人详细评估结果

表：Google机器人详细评估结果。报告[sec:zero_shot_exp]所述Google机器人评估的完整结果。每种通用策略跨12项任务评估60条试验轨迹，涵盖分布内和分布外（OOD）测试条件。底行报告各策略的平均成功率\(\pm\)标准误差。OpenVLA和RT-2-X总体均显著优于RT-1-X和Octo；由于两者误差条重叠，其平均成功率均以粗体标出。全部任务图示见[fig:app:rt1_robot_tasks]。

\begin{table}[h]
\centering
\caption{\textbf{Google机器人详细评估结果。}报告\cref{sec:zero_shot_exp}所述Google机器人评估的完整结果。每种通用策略跨12项任务评估60条试验轨迹，涵盖分布内和分布外（OOD）测试条件。底行报告各策略的平均成功率$\pm$标准误差。OpenVLA和RT-2-X总体均显著优于RT-1-X和Octo；由于两者误差条重叠，其平均成功率均以粗体标出。全部任务图示见\cref{fig:app:rt1_robot_tasks}。}
\label{app:tab:rt1_robot_results_detailed}
\resizebox{\textwidth}{!}{%
\begin{tabular}{llccccc}
\toprule
类别 & 任务 & 试验次数 & \makecell{RT-1-X\\成功次数} & \makecell{Octo\\成功次数} & \makecell{RT-2-X\\成功次数} & \makecell{\name{}~（本文）\\成功次数} \\
\midrule
分布内 & Pick Coke Can & 5 & \textbf{5} & 1 & \textbf{5} & \textbf{5} \\
分布内 & Move Apple near Green Can & 5 & 3 & 3 & 3 & \textbf{5} \\
分布内 & Move Blue Chip Bag near Apple & 5 & 0 & 3 & 4 & \textbf{5} \\
分布内 & Place Coke Can Upright & 5 & 0 & 0 & \textbf{4} & \textbf{4} \\
分布内 & Open Middle Drawer & 5 & 0 & \textbf{4} & 2 & 3 \\
OOD & Move Orange near Brown Chip Bag & 5 & 1 & 2 & \textbf{5} & \textbf{5} \\
OOD & Pick Pepsi Can & 5 & 3 & 0 & \textbf{5} & 4 \\
OOD & Pick Banana & 5 & \textbf{5} & 3 & \textbf{5} & \textbf{5} \\
OOD & Pick Green Cup & 5 & 1 & 0 & \textbf{5} & \textbf{5} \\
OOD & Place Apple on Plate & 5 & 0 & 0 & \textbf{4} & \textbf{4} \\
OOD & Place Banana in Pan & 5 & 0 & 0 & 2 & \textbf{4} \\
OOD & Move Coke Can near Taylor Swift & 5 & 2 & 0 & \textbf{3} & 2 \\
\midrule
&& 平均成功率 & \cellcolor{lightlightgray}33.3$\pm$6.1\% & \cellcolor{lightlightgray}26.7$\pm$5.8\% & \cellcolor{lightlightgray}\textbf{78.3$\pm$5.4\%} & \cellcolor{lightlightgray}\textbf{85.0$\pm$4.6\%}\\
\bottomrule
\end{tabular}}
\end{table}

Google机器人评估的完整结果见[app:tab:rt1_robot_results_detailed]。总体而言，RT-1-X和Octo难以应对评估任务，多项任务在五次试验中一次也未成功。相比之下，RT-2-X和OpenVLA表现较强，每项任务至少在五次试验中成功两次；这两种VLA策略在该评估套件上的表现相当。

数据高效适配实验细节

本节进一步介绍[sec:finetuning_exp]中的数据高效适配实验，考察微调后的OpenVLA策略在Franka-Tabletop和Franka-DROID等新机器人配置上的有效性。

Franka-Tabletop与Franka-DROID任务

针对七项任务分别采集10--150条示范。前六项对应称为“Franka-Tabletop”的机器人配置，即安装在桌面上的Franka Emika Panda机器人；最后一项对应“Franka-DROID”配置。

在Franka-Tabletop配置中，六项任务的前三项是范围较窄的单指令任务，后三项是多指令任务：场景中存在多个物体，机器人必须根据语言指令操控正确物体。

图：Franka-Tabletop微调任务。图中展示[sec:finetuning_exp]数据高效适配实验所用的Franka-Tabletop任务，详细说明见[fig:app:franka_tabletop_tasks]。六项任务的前三项位于上方三行，仅涉及单条指令；后三项位于下方三行，涉及多个物体与多条指令，指令指定目标物体或目标位置。第一列展示符合训练数据分布的初始状态样例，第二列展示分布外（OOD）初始状态（例如， 未见过的背景、目标物体、干扰物以及物体位置/朝向）。[sec:finetuning_exp]中的每种策略均在分布内任务上评估10--12条试验轨迹，在OOD任务上评估5--6条。

下面介绍[fig:app:franka_tabletop_tasks]所示的六项Franka-Tabletop任务： - 将胡萝卜放入碗中（单指令）：机器人需抓住胡萝卜并将其放入碗中。训练数据集包含该任务的50条示范，每个回合将胡萝卜和碗随机放在桌面不同位置，且胡萝卜始终初始化在碗左侧。评估时，每次试验记为成功（1）或失败（0），不设部分得分。 - 将玉米倒入锅中（单指令）：机器人需抓住红碗、移向钢锅，并将碗中物体（一根黄色玉米）倒入锅中。训练数据集包含该任务的50条示范，每个回合将碗和锅随机放在桌面不同位置，且碗始终初始化在锅右侧。评估时，每次试验记为成功（1）或失败（0），不设部分得分。 - 将锅翻正（单指令）：机器人需抓住初始竖置的钢锅，将其旋转至正立姿态并放回桌面。训练数据集仅包含该任务的10条示范，钢锅随机放置在桌面一小块区域内的不同位置。评估时，每次试验记为成功（1）、失败（0）或部分成功（0.5）。抓住锅但未将其翻正，或将其碰倒至正立姿态但未仔细引导，均计为部分成功；回合结束时机器人必须松开锅具才能获得满分。 - 将<物体>移到盘子上（多指令）：机器人需根据语言指令指定的目标，从三个物体中抓取一个，并放到桌面右侧的盘子上。训练数据集包含该任务的150条示范，在桌面随机摆放不同的三物体组合并选择其中一个作为目标；盘子始终初始化在桌面右侧。评估时，每次试验记为成功（1）、失败（0）或部分成功（0.5）。如果机器人首先接触的物体是语言指令指定的正确目标，但未完成任务，则记为部分成功。 - 推倒<物体>（多指令）：机器人需根据语言指令指定的目标接近三个物体中的一个，并将其推倒。训练数据集包含该任务的70条示范，在桌面随机摆放不同的三物体组合并选择其中一个作为目标。评估时，每次试验记为成功（1）、失败（0）或部分成功（0.5）。如果机器人首先接触的物体是语言指令指定的正确目标，但未完成任务，则记为部分成功。 - 用毛巾覆盖<物体>（多指令）：机器人需抓住蓝色毛巾，并根据语言指令指定的目标将其放到三个物体中的一个上。训练数据集包含该任务的45条示范，在桌面随机摆放不同的三物体组合。评估时，每次试验记为成功（1）、失败（0）或部分成功（0.5）。如果毛巾首先接触的是语言指令指定的正确目标，但机器人未完成任务（例如， 将毛巾掉在桌面而非目标物体上），则记为部分成功。只要毛巾任一部分搭在目标物体顶面即可获得满分，无需完全覆盖物体。

对每项Franka-Tabletop任务，各方法均进行10--12次分布内试验和5--6次OOD泛化试验。分布内与OOD测试条件见[fig:app:franka_tabletop_tasks]第二列。

六项任务的OOD测试条件如下： - 将胡萝卜放入碗中（OOD）：用未见过的茄子替换胡萝卜。 - 将玉米倒入锅中（OOD）：桌面铺上未见过的棕色桌布。 - 将锅翻正（OOD）：桌面铺上未见过的白色桌布。 - 将<物体>移到盘子上（OOD）：桌面放置三个未见过的物体。 - 推倒<物体>（OOD）：在三个已见物体后方放置两个未见干扰物体，即红色塑料杯和棕色盒子。 - 用毛巾覆盖<物体>（OOD）：将桌面三个物体倒置并放到未见过的位置。

最后，在Franka-DROID环境中实验一项任务及其变体：擦拭桌面（见[fig:app:droid_wipe_task]）。机器人需抓住刷子，将三个棕色小物体全部扫入簸箕。训练数据集包含该任务的70条示范，并改变所有物体的位置。

图：Franka-DROID微调任务。图中的“擦拭桌面”是[sec:finetuning_exp]数据高效适配实验所用的最后一项任务。左图展示分布内试验的初始条件；右图展示桌面存在未见干扰物体的分布外试验。要完全完成任务，机器人必须抓住刷子，将三个物体全部扫入簸箕。

测试同时覆盖与训练数据匹配的分布内条件（[fig:app:droid_wipe_task]左）和桌面存在干扰物体的分布外（OOD）条件（[fig:app:droid_wipe_task]右）。由于每次试验可能产生多种结果，评分规则如下：每次试验满分2分；机器人将三个物体全部扫入簸箕得2分，成功扫入一个或两个物体得1分，否则得0分。每种策略进行18次分布内试验和12次OOD试验，总分为60分。

Franka-Tabletop与Franka-DROID详细评估结果

Franka-Tabletop和Franka-DROID的完整评估结果见[app:tab:detailed_finetune_results]，评估对象为[sec:finetuning_exp]所述方法。Diffusion Policy在单指令Franka-Tabletop任务（例如， “Put Carrot in Bowl”和“Pour Corn in Pot”）上表现较强，优于其他方法；OpenVLA和Octo则在更多样的多指令任务（“Move