5.5 3D 视觉：NeRF → 3DGS → 前馈重建

本章目标：把 3D 这条”算力友好、科研活跃”的赛道讲成一条演化线——神经辐射场、高斯溅射、前馈大模型三代，以及它们与你的多模态主线的连接点。学完标准：能画出三代方法的核心表示，知道用自己照片跑一次 3DGS，能说出学生可做的四个方向。

1. 问题与表示的演化

任务：从一组 2D 照片恢复/重建/生成 3D 场景。三代方法的分歧全在场景用什么表示：

2. 第一代：NeRF（2020）——场景是一个函数

表示：MLP $f: (x, y, z, \theta, \phi) \mapsto (\text{RGB}, \sigma)$——输入空间点坐标和视线方向，输出颜色和体密度；沿视线积分做体渲染，整条管线可微，用多视角照片的重建 loss 训练。

历史意义：3D 重建第一次变成”梯度下降训一个网络”——连续、可微、可接入一切深度学习管线。死穴：每个场景单独训几小时（ MLP 里没存场景，训练过程本身在”记”场景）。

加速史：instant-NGP 用哈希网格把训练压到秒级——表示换成”可学习查找表+小 MLP”，思想延续（查表思路后来遍地开花）。

3. 第二代：3DGS（2023）——场景是一堆高斯

表示：场景 = 数十万个各向异性 3D 高斯（每个存位置、协方差、不透明度、球谐系数表示的视角相关颜色），用光栅化 splatting 渲染——不走神经网络前向，直接”喷”到屏幕上。

为什么赢：训练快百倍（分钟级）、渲染实时（>100fps）、表示显式可编辑（删一个高斯=删一个物体）、文件可嵌入网页。产业界（实景重建、影视预演、数字人）几乎一夜切换。与 NeRF 的关系：体渲染的思路保留，把”黑盒函数”换成了”显式图元”——又一次”简单显式打败优雅隐式”。

动手：nerfstudio/gsplat 框架 + 手机绕拍 30 张照片 + COLMAP 估计相机位姿 → 30 分钟得到可网页漫游的 3D 场景。这个作业的仪式感和收益都极高。

4. 第三代：前馈重建（2023–25）——3D 的”基础模型时刻”

NeRF/3DGS 都是每场景优化（拿照片现场训练）。前馈路线问：能不能像 ViT 一样，一次前向直接出 3D？

• DUSt3R（2024）：两图输入 → 点图（point map）回归，免位姿重建；
• VGGT（2025，Meta）： Transformer 一次前向吃几十张图，同时输出相机参数、深度、点图、3D 点轨迹——3D 领域的 SAM 时刻：从”每场景定制”到”通用即用”。

与本笔记主线的合流：VGGT 本质是”ViT 输出 3D 头”——卷1 的架构 + 5.4 的空间智能在此握手；视频生成模型（4.7）输出的若要有”可漫游的 3D”，也靠这条管线（视频→4D→3DGS）。

5. 生成侧一句话扫盲

文本/图像→3D：TRELLIS 类结构化 latent 生成、Splatter Image（前馈出高斯参数）；视频→4D 动态场景。状态：几何质量可用、纹理仍靠贴图技巧——比 2D 生成落后一代，这正是空间（5.4 空间智能）要补的课。

6. 学生可做的四个方向

1. 稀疏视角重建：只有 3–5 张图（最现实场景）的 3DGS/前馈改良——数据约束下的研究，算力友好；
2. 3DGS 压缩与流式：几十万高斯 → 端侧可渲染（7.1 的显存思维平移）；
3. 文化遗产数字化（8.8 接口）：文物照片 → 3DGS 漫游 + VLM 自动描述/知识挂接——与你导师方向交叉最强的 3D 题；
4. 物理探针的 3D 版：重建场景的几何精度自动评测（A 线思路）。

7. 自测题

1. NeRF 的输入输出和渲染方式？它”记”场景在哪？（坐标+方向→颜色密度；体渲染沿视线积分；场景存于 MLP 权重）
2. 3DGS 换掉了什么、保留了什么？（隐式函数→显式高斯图元；体渲染思路保留、渲染换光栅化）
3. 为什么产业一夜切换 3DGS？（快百倍+实时+显式可编辑+网页可嵌入）
4. “每场景优化 vs 前馈”的分野？VGGT 为什么是”SAM 时刻”？（定制训练 vs 通用即用；一次前向出全套 3D）
5. 3D 与你主线的两个握手点？（VGGT=ViT 输出 3D 头；视频生成→4D→可漫游 3D）
6. 交叉最强的 3D 选题？（文物 3DGS 数字化 + VLM 描述——8.8）

8. 动手作业

1. 完成 §3 的手机拍 + COLMAP + gsplat 全流程，产出网页漫游链接（作品集展示性极强的 3 分钟项目）；
2. 统计你场景的高斯数量与显存占用，试压缩（砍低不透明度高斯）看画质-大小曲线；
3. 用 VGGT 开源权重对你手机照片做前馈重建，与 3DGS 结果并排对比（质量/速度/位姿精度三列）；
4. 挑战：读 VGGT 论文 §1–2，画它的 token 化与输出头结构——对照 1.4 的 ViT 图。

9. 延伸资源

• NeRF / 3DGS 两篇原始论文——各精读一遍（3DGS 的附录可视化极佳）
• instant-NGP / VGGT 论文——加速与前馈两站
• nerfstudio / gsplat 文档——工程直达