云镜收藏

稍后阅读

清单保存在当前浏览器,方便下次回来继续阅读。

清单还是空的

在笔记卡片或正文页点击“加入稍后阅读”即可收藏。

卷6 · 科研方法论

6.3 如何选题:价值判断、文献扫描与资源匹配

约 5 分钟阅读
全书目录

展开本章目录与同卷章节1. 好选题的四条标准(缺一不可)2. 文献扫描:从一篇到一张地图3. 资源匹配矩阵(选题的最后一道闸)4. 一页纸 proposal 模板(立项的标准格式)5. 自测题6. 动手作业案例 · 一个文献矩阵长什么样(迷你版)7. 延伸资源同卷章节6.1 如何读论文:三遍法与精读模板6.2 如何复现:最小复现方法论6.3 如何选题:价值判断、文献扫描与资源匹配6.4 如何写作与投稿:从图表到 rebuttal6.5 开源贡献指南:用 PR 说话6.6 学术诚信与 AIGC 时代的科研伦理

本章目标:把”找个好题目”从玄学变成流程。8.9 给了你 20 个现成题,这一章给的是出题的方法——毕业后你 forever 都需要它。学完标准:能独立完成一次文献扫描并产出一页纸 proposal。

1. 好选题的四条标准(缺一不可)

  1. 问题真实:有明确的痛点或空白(不是”没人做过所以做”——没人做可能因为不重要);
  2. 可检验:能设计出对照实验,且结论不会随评测协议的任意选择而翻转(3.7 的教训前置);
  3. 算力可负担:缩放设计后落在你的算力阶梯内(2.10 的三行公式先算再立项);
  4. 故事可讲:三句话能说清”什么问题-为什么难-我们怎么做”——讲不清的故事意味着问题定义还没完成。

新颖性 vs 有用性:初学者高估 novelty、低估 clarity+usefulness。一篇把评测做干净、把偏差量化清楚的分析文(A2 型),价值常高于一个含混的”新框架”。审稿人奖励的是”读者知道了一件事之前不知道”,不是”系统复杂”。

2. 文献扫描:从一篇到一张地图

  1. 种子:从综述/你已精读的论文出发(例:R1、LLaVA-1.5);
  2. backward 引用(它引了谁):找方法源头与领域骨架——顺着 related work 往回爬 2–3 层;
  3. forward 引用(谁引了它):Google Scholar 的 cited by——这个方向的最新动态和未解争端都在引用者里;
  4. 关键词矩阵:行=任务(美学/看画/grounding),列=方法(RL/DPO/数据/评测),格子=论文——空格子与薄格子就是候选题;
  5. 空白点三类信号:①主张无反向消融;②基准单一域(英文/油画)——平移即题;③两个热门方向还没握手(例:美学×RL=E2)。

产出物:一张一页的”文献地图”(矩阵+三类信号标注)——它同时是 proposal 的 related work 初稿。

3. 资源匹配矩阵(选题的最后一道闸)

维度问自己缺了怎么办
数据谁的标注/采集人力?公开集够吗?换公开集多的域,或把”建数据”本身设为题(D1)
算力缩放设计后卡时×单价=?降模型档、缩短周期、选评测型题
合作者导师的领域/艺术学院的接口?优先数据/评测类(对合作门槛低)
兴趣愿意为它熬三个周末吗?不愿意的题做不长——诚实

反模式清单:追热点裸奔(无资源优势地卷最卷赛道);大而全(“统一框架”式题目);纯增量调参(刷点无洞见);X+Y 缝合(两个词拼接但没有真问题);导师不认的题(资源闸门一票否决)。

4. 一页纸 proposal 模板(立项的标准格式)

## 题目(一句话)
## 问题与假设
问题:… ;假设 H:…(可证伪!)
## 方法概述
在 X 基线上加/改 Y,对照 Z(一张图)
## 实验矩阵
| 主实验 | 消融1 | 消融2 | 反向消融 |
(每个实验:数据/指标/预期结论)
## 算力与时间
模型/卡/卡时×单价;周计划(预留 1 周写论文)
## 风险与降级
若 H 不成立 → 最小可交付是什么?(评测集/分析报告兜底)
## 与现有工作的差异
相对 3 篇最近邻论文各差在哪(6.1 笔记的"与我的课题"节直接复用)

“风险与降级”是新手最该学的部分:任何实验都有 50% 概率假设不成立——立项时就写好兜底交付物(数据集、分析、负结果报告),你就永远不会空手。

5. 自测题

  1. 四条标准里新手最容易缺哪条?症状是什么?(可检验——评测协议含混、结论随协议翻转)
  2. 为什么 novelty 不是王?(审稿人奖励”读者知道了新东西”,清晰的分析文同样达标)
  3. 空格子三类信号各举一例?(无反向消融/单域基准/两方向未握手)
  4. forward 引用比 backward 多告诉你什么?(最新动态与未解争端)
  5. 反模式”X+Y 缝合”的病根是什么?(没有真问题——方法拼接替代了问题定义)
  6. 降级交付物的战略意义?(立项即兜底,假设不成立也不空手——科研的止损设计)

6. 动手作业

  1. 以 8.9 的 top1 题为种子,做一次完整文献扫描(backward 10 篇 + forward 10 篇 + 关键词矩阵);
  2. 产出文献地图一页 + 填完一页纸 proposal(找导师面谈的最终版本);
  3. 互相评审:把 proposal 给同学/贴给 AI,要求它找出”不可检验”与”缺对照”处——修到找不出。

案例 · 一个文献矩阵长什么样(迷你版)

案例:艺术×多模态的 3×4 矩阵

行=任务,列=方法,格子填你扫描到的论文(数量即该格的热度):

任务\方法LoRA 微调RAG 增强RL/GRPO评测基准
美学评分▓▓ 较热▓ 少空格▓▓▓ 很热
看画理解▓ 少▓ 少空格▓ 稀缺
grounding▓▓▓ 很热—▓▓ 较热▓▓ 较热

两个空格(美学×RL、看画×RL)+ 一个稀缺行(看画评测)——对照 8.9 选题库:E2(小模型美学 RL)正好填第一个空格,A1 填稀缺行。矩阵的用法就一次:把直觉上的”没人做”变成格子里的”查无此格”。

7. 延伸资源

  • 《How to do Research at MIT AI Lab》类经验文集——老但不过时
  • ICLR/NeurIPS 审稿表(OpenReview 公开)——反向理解”什么题会被拒”