卷5 · 前沿专题
5.3 具身智能与 VLA：从"会说"到"会做"
展开本章目录与同卷章节
1. VLA 是什么：VLM 的动作出口2. 关键设计：动作怎么输出（两大流派）3. 数据：具身的最大瓶颈4. 学生路线：仿真里的 VLA（单卡可做）5. 风险与机会的冷静评估6. 自测题7. 动手作业8. 延伸资源同卷章节5.1 多模态推理与 RL：当前最热的研究现场5.2 数据为中心的 VLM 研究5.3 具身智能与 VLA：从"会说"到"会做"5.4 世界模型与空间智能：学会"预测世界怎么变"5.5 3D 视觉：NeRF → 3DGS → 前馈重建5.6 视觉 Agent 与 Computer Use：让模型操作你的电脑5.7 AI for Science 与医学影像：多模态的"硬价值"赛道5.8 高效化：蒸馏、量化、剪枝与小模型本章目标：讲清 VLA（Vision-Language-Action）——把 VLM 的感知接到机器人动作的完整技术栈，以及学生在仿真环境里的下手处。学完标准：能画出 VLA 的通用架构，说清”动作怎么 token 化/怎么连续化”，能跑通一次仿真里的 VLA 微调。
1. VLA 是什么：VLM 的动作出口
VLA = 视觉-语言-动作模型：以 VLM 为骨干，输入图像+语言指令，输出机器人动作（机械臂关节角、末端位姿、移动底盘速度……）。它回答”多模态的终极形态”问题——理解世界是为了改变世界。本笔记各卷在此汇合：CLIP/DINO（1.5）当视觉塔、Qwen-VL 系（3.5）当骨干、token 化思想（3.4）管动作、RL（2.7/5.1）管后训练、世界模型（4.7）管仿真数据。
2. 关键设计：动作怎么输出（两大流派）
| 流派 | 做法 | 代表 | 取舍 |
|---|---|---|---|
| 离散动作 token | 动作离散成 bin，当词汇表外的”动作词”自回归输出 | RT-2、OpenVLA | 与 LLM 完全同构（一套栈）；精度受 bin 分辨率限制 |
| 连续动作头 | VLM 输出特征，接 flow/diffusion “动作专家”生成连续轨迹 | pi0（flow matching）、RDT（扩散） | 精度高、适合灵巧操作；训练与推理更复杂 |
当前产业前沿（pi0 类）倾向连续头——flow matching（4.5 学的）直接用来生成动作序列，“生成模型”与”控制”在这里合流。指令跟随 + 多任务泛化是 VLM 骨干带来的核心红利：传统机器人策略一个任务一个模型，VLA 一个模型听人话干多任务。
3. 数据：具身的最大瓶颈
- 真机数据（遥操作演示）极贵——Open X-Embodiment（跨 20+ 机构、百万级轨迹）是”具身界的 ImageNet 时刻”尝试；
- 仿真数据（LIBERO、ManiSkill、Isaac Lab 等）便宜但存在 sim2real gap（仿真学到的到真机就水土不服）；
- 生成式数据引擎是最新变量：4.7 的世界模型/视频生成给机器人造训练场景——巨头正在把”视频生成公司”和”机器人公司”合并叙事。
4. 学生路线：仿真里的 VLA（单卡可做）
最小可行项目：
- 环境：LIBERO 或 SimplerEnv（Python 包级安装，4090 跑得动）；
- 底座：OpenVLA-7B 的 LoRA 微调（或更小的 SmolVLA/开源 mini VLA），任务集选 10 个仿真操作任务；
- 流程：下载 Open X-Embodiment 子集/LIBERO 演示数据 → LoRA 微调 → 仿真内评测成功率；
- 研究切口（单变量原则）：视觉塔换 DINOv2 vs SigLIP 对成功率的影响；动作 bin 分辨率消融；语言指令改写（同义指令的鲁棒性——“把杯子放到盘子上” vs “把杯子挪过去”）。
与你的方向的接口：美术/文化领域的具身题（文物抓取的灵巧操作、修复协作机器人）是差异化叙事，但优先级低于先把仿真流程跑通——先 generic，再 domain。
5. 风险与机会的冷静评估
- 机会：产业增长叙事最陡（特斯拉/宇树/智元…），人才缺口真实存在；仿真研究单卡可做；与视频生成/世界模型的人才池重叠度高（你两头都学了）；
- 风险：真机门槛客观存在（学生论文难落地真机 → 顶会评价偏仿真工作量）；行业若进入整合期，纯仿真研究的边际价值会受挤压——对冲方式：把 VLA 当第二专长（你的主赛道仍是 VLM/多模态），简历叙事”多模态全栈 + 具身实践”。
6. 自测题
- VLA 与聊天 VLM 的架构差异一句话？（多了动作输出头——token 或连续轨迹）
- 两大动作流派各自的取舍？（离散同构 LLM 但精度受限；连续精度高但训练复杂）
- pi0 用什么生成动作？你在哪章学过？（flow matching 动作专家；4.5）
- sim2real gap 是什么？数据侧的三个对策？（仿真到真机的迁移鸿沟；真机数据/OXE 规模化/生成式数据引擎）
- 学生版单变量消融举两例？（视觉塔对比/动作 bin 分辨率/指令改写鲁棒性）
- “先 generic 再 domain”为什么是对的课程顺序？（通用流程没跑通前做领域化=在沙地上盖楼）
7. 动手作业
- 安装 LIBERO，跑通一个预训练策略的评测（不训练，先看到机器人在仿真里动起来——仪式感很重要）；
- 用 OpenVLA 的开源 LoRA 脚本在 1 个任务上微调 500 步，对比成功率；
- 精读 pi0 或 OpenVLA 论文一篇（6.1 三遍法），产出配置卡；
- 挑战：设计”指令改写鲁棒性”评测集（每任务 5 种说法），测你的模型掉多少分——这就是一个基准型论文的种子。
8. 延伸资源
- RT-2 / OpenVLA / pi0 论文——离散派、开源派、连续派各一
- Open X-Embodiment 论文——数据版图
- LIBERO / SimplerEnv 文档——仿真起点