卷5 · 前沿专题
5.7 AI for Science 与医学影像：多模态的"硬价值"赛道
展开本章目录与同卷章节
1. 广义图景：AI for Science 的四个层次2. 医学影像：你的技能 90% 平移的赛道任务与数据（全部有公开入口）三条特殊性（与自然图像的本质差异）合规红线（做之前必须懂）3. 学生启动配方（单卡，三个月）4. 与你的主线的连接5. 自测题6. 动手作业7. 延伸资源同卷章节5.1 多模态推理与 RL：当前最热的研究现场5.2 数据为中心的 VLM 研究5.3 具身智能与 VLA：从"会说"到"会做"5.4 世界模型与空间智能：学会"预测世界怎么变"5.5 3D 视觉：NeRF → 3DGS → 前馈重建5.6 视觉 Agent 与 Computer Use：让模型操作你的电脑5.7 AI for Science 与医学影像：多模态的"硬价值"赛道5.8 高效化：蒸馏、量化、剪枝与小模型本章目标：把”AI for Science”从口号变成一张学生可切入的地图——以医学影像为主线（数据公开、任务清晰、与你学过的工具 90% 重合），旁及科学大问题的多模态接口。学完标准：知道医学影像任务的特殊性与公开数据入口，能启动一个合规的小项目。
1. 广义图景：AI for Science 的四个层次
- 结构预测：AlphaFold（蛋白质折叠，诺奖级）——“序列→结构”的生成/判别混合问题；
- 动力学模拟：GraphCast（气象）、分子动力学 surrogate——世界模型（5.4）的物理版；
- 发现与设计：材料筛选（GNoME）、药物分子生成（4.x 生成模型在分子 latent 上开分支）；
- 科学感知：医学影像、显微/天文/遥感图像——本笔记的 CV/VLM 技能直接平移的主场。
共同母题：数据是稀缺、昂贵、带噪声的专家标注——“小数据 + 强先验 + 领域约束”的范式（与互联网大数据的 VLM 主线相反），这正是 CNN/混合架构（1.1 §6）与 U-Net（1.8 加星）仍是主力的原因。
2. 医学影像：你的技能 90% 平移的赛道
任务与数据（全部有公开入口）
- 分类/筛查：胸部 X 光（CheXpert、MIMIC-CXR）、皮肤镜（ISIC）——多标签分类 + 报告生成；
- 分割：器官/病灶分割（AMOS、BTCV； BraTS 脑瘤）——U-Net/nnU-Net 仍是学霸，MedSAM 是基础模型时代的新解；
- VQA/报告：VQA-RAD、SLAKE——医疗多模态对话（VLM 微调，卷3 全套技能）；
- 3D：CT/MRI 体数据——1.9 的几何 + 5.5 的 3D 表示在此交汇。
三条特殊性（与自然图像的本质差异）
- 标签 = 专家知识：标注贵且标准专业（放射科报告是”弱标签”金矿——报告生成任务的天然监督）；
- 分布偏移极端：不同设备/医院的域差（domain shift）比自然图像严重得多——泛化评测必须跨中心；
- 错误的代价不对称：漏诊远贵于误诊——评测要看敏感性/特异性 trade-off 而非单点准确率（8.2 的”分数的医学版”）。
合规红线（做之前必须懂）
患者隐私（HIPAA/个人信息保护法）、数据使用协议（公开数据集 ≠ 任意用途）、研究展示 vs 临床声明的边界——学生项目一律注明”研究用途，非临床决策依据”。
3. 学生启动配方（单卡，三个月）
- 下载 CheXpert 小子集 + nnU-Net 跑一个胸片分类基线（工具全现成）；
- 用 BiomedCLIP（医学域 CLIP，1.6 的域内版）做 zero-shot 病症探针，对比训练基线——“域内基础模型价值”的一手数据；
- MedSAM 在你的分割任务上 vs 从零 U-Net——基础模型 vs 专属模型的老问题（1.7/8.4 同款对照）；
- 升级（论文点）：医疗 VLM 的幻觉评测（幻觉在医疗里是致命题——3.7/5.1 方法的严肃应用）。
4. 与你的主线的连接
- 方法侧：U-Net（1.8）、CLIP 探针（1.6/8.2）、VLM 微调与幻觉评测（卷3/5.1）、3D（1.9/5.5）——没有新知识，全是旧知识的域内组装；
- 方向侧：艺术与医学看似远，实则同构——都是”专家标注稀缺 + 主观性/专业性强的领域评测”（8.2 的美学评分 vs 医疗的敏感性评测是同一类研究形态）——你的方法论迁移成本极低；
- 就业侧：医疗 AI 是监管驱动的稳定赛道（不同于互联网的周期波动）——9.2 四条路里的避险选项。
5. 自测题
- AI for Science 四层次各举一例？（AlphaFold/GraphCast/GNoME/医学影像）
- 为什么医学影像里 CNN/U-Net 仍有主力地位？（小数据强先验——互联网大数据范式失效）
- 三条特殊性分别否定了自然图像的什么默认？（标注廉价/分布同质/错误对称）
- “报告是弱标签金矿”指什么？（放射科报告天然配图——报告生成任务的自监督原料）
- 医疗评测为什么看敏感性/特异性而非准确率？（错误代价不对称——类别极不平衡下准确率说谎）
- 学生项目的合规三件套？（隐私法/数据协议/非临床声明）
6. 动手作业
- 下载 CheXpert 小子集，跑通 nnU-Net 或简单 ResNet 多标签基线；
- 用 BiomedCLIP 做 zero-shot 病症探针（prompt 即病症名），与基线对比——写 200 字发现；
- 读 MedSAM 论文 §1，对比它和 SAM（1.7）的域适配策略；
- 挑战：设计”医疗 VLM 幻觉评测集”的方案页（10 个探针 + 判分协议）——5.1/3.7 的交叉练习。
7. 延伸资源
- nnU-Net 文档——医学分割的事实标准（跑通即懂一半）
- MedSAM / BiomedCLIP 论文——医学基础模型双代表
- CheXpert / MIMIC-CXR 数据卡——合规与结构说明（MIMIC 需认证课程，CheXpert 更易入手）