卷6 · 科研方法论
6.3 如何选题:价值判断、文献扫描与资源匹配
展开本章目录与同卷章节
1. 好选题的四条标准(缺一不可)2. 文献扫描:从一篇到一张地图3. 资源匹配矩阵(选题的最后一道闸)4. 一页纸 proposal 模板(立项的标准格式)5. 自测题6. 动手作业案例 · 一个文献矩阵长什么样(迷你版)7. 延伸资源同卷章节6.1 如何读论文:三遍法与精读模板6.2 如何复现:最小复现方法论6.3 如何选题:价值判断、文献扫描与资源匹配6.4 如何写作与投稿:从图表到 rebuttal6.5 开源贡献指南:用 PR 说话6.6 学术诚信与 AIGC 时代的科研伦理本章目标:把”找个好题目”从玄学变成流程。8.9 给了你 20 个现成题,这一章给的是出题的方法——毕业后你 forever 都需要它。学完标准:能独立完成一次文献扫描并产出一页纸 proposal。
1. 好选题的四条标准(缺一不可)
- 问题真实:有明确的痛点或空白(不是”没人做过所以做”——没人做可能因为不重要);
- 可检验:能设计出对照实验,且结论不会随评测协议的任意选择而翻转(3.7 的教训前置);
- 算力可负担:缩放设计后落在你的算力阶梯内(2.10 的三行公式先算再立项);
- 故事可讲:三句话能说清”什么问题-为什么难-我们怎么做”——讲不清的故事意味着问题定义还没完成。
新颖性 vs 有用性:初学者高估 novelty、低估 clarity+usefulness。一篇把评测做干净、把偏差量化清楚的分析文(A2 型),价值常高于一个含混的”新框架”。审稿人奖励的是”读者知道了一件事之前不知道”,不是”系统复杂”。
2. 文献扫描:从一篇到一张地图
- 种子:从综述/你已精读的论文出发(例:R1、LLaVA-1.5);
- backward 引用(它引了谁):找方法源头与领域骨架——顺着 related work 往回爬 2–3 层;
- forward 引用(谁引了它):Google Scholar 的 cited by——这个方向的最新动态和未解争端都在引用者里;
- 关键词矩阵:行=任务(美学/看画/grounding),列=方法(RL/DPO/数据/评测),格子=论文——空格子与薄格子就是候选题;
- 空白点三类信号:①主张无反向消融;②基准单一域(英文/油画)——平移即题;③两个热门方向还没握手(例:美学×RL=E2)。
产出物:一张一页的”文献地图”(矩阵+三类信号标注)——它同时是 proposal 的 related work 初稿。
3. 资源匹配矩阵(选题的最后一道闸)
| 维度 | 问自己 | 缺了怎么办 |
|---|---|---|
| 数据 | 谁的标注/采集人力?公开集够吗? | 换公开集多的域,或把”建数据”本身设为题(D1) |
| 算力 | 缩放设计后卡时×单价=? | 降模型档、缩短周期、选评测型题 |
| 合作者 | 导师的领域/艺术学院的接口? | 优先数据/评测类(对合作门槛低) |
| 兴趣 | 愿意为它熬三个周末吗? | 不愿意的题做不长——诚实 |
反模式清单:追热点裸奔(无资源优势地卷最卷赛道);大而全(“统一框架”式题目);纯增量调参(刷点无洞见);X+Y 缝合(两个词拼接但没有真问题);导师不认的题(资源闸门一票否决)。
4. 一页纸 proposal 模板(立项的标准格式)
## 题目(一句话)
## 问题与假设
问题:… ;假设 H:…(可证伪!)
## 方法概述
在 X 基线上加/改 Y,对照 Z(一张图)
## 实验矩阵
| 主实验 | 消融1 | 消融2 | 反向消融 |
(每个实验:数据/指标/预期结论)
## 算力与时间
模型/卡/卡时×单价;周计划(预留 1 周写论文)
## 风险与降级
若 H 不成立 → 最小可交付是什么?(评测集/分析报告兜底)
## 与现有工作的差异
相对 3 篇最近邻论文各差在哪(6.1 笔记的"与我的课题"节直接复用)
“风险与降级”是新手最该学的部分:任何实验都有 50% 概率假设不成立——立项时就写好兜底交付物(数据集、分析、负结果报告),你就永远不会空手。
5. 自测题
- 四条标准里新手最容易缺哪条?症状是什么?(可检验——评测协议含混、结论随协议翻转)
- 为什么 novelty 不是王?(审稿人奖励”读者知道了新东西”,清晰的分析文同样达标)
- 空格子三类信号各举一例?(无反向消融/单域基准/两方向未握手)
- forward 引用比 backward 多告诉你什么?(最新动态与未解争端)
- 反模式”X+Y 缝合”的病根是什么?(没有真问题——方法拼接替代了问题定义)
- 降级交付物的战略意义?(立项即兜底,假设不成立也不空手——科研的止损设计)
6. 动手作业
- 以 8.9 的 top1 题为种子,做一次完整文献扫描(backward 10 篇 + forward 10 篇 + 关键词矩阵);
- 产出文献地图一页 + 填完一页纸 proposal(找导师面谈的最终版本);
- 互相评审:把 proposal 给同学/贴给 AI,要求它找出”不可检验”与”缺对照”处——修到找不出。
案例 · 一个文献矩阵长什么样(迷你版)
案例:艺术×多模态的 3×4 矩阵
行=任务,列=方法,格子填你扫描到的论文(数量即该格的热度):
任务\方法 LoRA 微调 RAG 增强 RL/GRPO 评测基准 美学评分 ▓▓ 较热 ▓ 少 空格 ▓▓▓ 很热 看画理解 ▓ 少 ▓ 少 空格 ▓ 稀缺 grounding ▓▓▓ 很热 — ▓▓ 较热 ▓▓ 较热 两个空格(美学×RL、看画×RL)+ 一个稀缺行(看画评测)——对照 8.9 选题库:E2(小模型美学 RL)正好填第一个空格,A1 填稀缺行。矩阵的用法就一次:把直觉上的”没人做”变成格子里的”查无此格”。
7. 延伸资源
- 《How to do Research at MIT AI Lab》类经验文集——老但不过时
- ICLR/NeurIPS 审稿表(OpenReview 公开)——反向理解”什么题会被拒”
