Original Note

Structuring a Research Paper(整理版)

  • self_study_notes
  • Original Note
  • Updated: unknown
Source Collection
self_study_notes
Source Path
self_study_notes/cs197n/lec12-Organize paper/整理版Lec12-Organize paper.md
Type
Original Note
Updated At
unknown

Structuring a Research Paper(整理版)

原始资料: CS197 Harvard Lectures 12 & 13 - Structuring a Research Paper created: 2026-06-28 21:45 整理说明: 本版本结合原始笔记与可读取的原始教程重排、补全和翻译,保留 venueRelated WorkMethodsExperimentsablation 等常用英文术语。原始提问式模板已转换为可直接执行的结论式写作清单。

内容简要概括

这节课讲的是如何拆解和组织机器学习研究论文。核心结论是:研究论文不是从空白页开始写,而是先找同一研究方向、相近 venue 的代表论文,抽取它们的全局结构、图表顺序和局部段落功能,再生成自己的写作模板。对于 vision-language pretraining 这类论文,常见结构包括 Abstract、Introduction、Methods 或 Approach、Experiments、Related Work、Broader Impact 或 Limitations、Conclusion,并且各部分承担相对稳定的叙事功能。

Research Paper StructurevenueGlobal StructureLocal StructureAbstractIntroductionRelated WorkMethodsExperimentsBroader ImpactConclusionablation、论文模板、图表顺序、段落功能

目录


1. 核心思想:论文结构可以被拆解

研究论文具有相对稳定的形态。它通常从 AbstractIntroduction 开始,以 ConclusionDiscussion 结束,中间通过方法、实验、相关工作和影响分析支撑主张。

这节课借用了叙事学中的 morphology 类比:童话故事虽然情节各异,但常由有限的叙事元素按可预期顺序组合而成;研究论文也类似,可以“违反风格偏好”,但通常不会真正脱离所在领域和 venue 的结构规则。

实际写作时,最有效的方法不是凭空搭结构,而是先拆解三篇相近论文:

  • 记录论文的全局结构:章节如何排列。
  • 记录图表的出现顺序:哪些图先建立方法直觉,哪些图支撑结果主张。
  • 记录局部结构:每个章节、段落和句子在论文叙事中承担的功能。
  • 把这些结构抽象成适用于自己论文的模板。

2. Global Structure:形式跟随投稿 venue

论文形式首先取决于目标 venue。生物医学类 Nature 论文、机器学习 NeurIPS 论文、CVPR 论文、TMLR 论文在长度、章节命名、补充材料习惯和实验呈现方式上都会不同。同一 venue 内部也会因为论文类型不同而变化,例如数学证明型论文与新数据集评测论文会使用不同结构。

写作前应先找到三篇与自己工作最接近的论文,优先选择相同或相近 venue 的论文。课程示例假设研究方向是 vision-language pretraining,因此选取了三篇代表论文:

示例论文 背景定位
VL-BEIT download
Microsoft 的近期 preprint,当时采用类似 ICLR 2023 submission 的格式。
FLAVA download
Facebook AI Research 发表在 CVPR 2022 的论文。
CoCa Google Research 发表在 Transactions of Machine Learning Research 的论文。

这个选择过程本身就是写作准备:相关论文不仅提供技术背景,也提供目标读者期待的结构样式。

3. Section Sequence:章节顺序的共性

三篇示例论文的章节顺序如下:

论文 章节顺序
VL-BEIT download
Abstract -> Introduction -> Methods -> Experiments -> Related Work -> Conclusion
FLAVA download
Abstract -> Introduction -> Background -> FLAVA: A Foundational Language And Vision Alignment Model -> Experiments -> Conclusion
CoCa Abstract -> Introduction -> Related Work -> Approach -> Experiments -> Broader Impacts -> Conclusion

可以抽取出的共性如下:

  • 全文通常包含 6-7 个主要部分,Abstract 也计入整体结构。
  • AbstractIntroduction 放在开头,用来建立研究背景、缺口、方法与贡献。
  • Conclusion 放在结尾,用来回收主张、总结结果,并指向未来方向。
  • Related WorkBackground 通常放在 Introduction 之后,或放在 Conclusion 之前。
  • MethodsApproach 或具体模型章节负责描述方法本身。
  • Experiments 通常紧跟方法之后,用实验证据支撑论文主张。

4. Figure Sequence:图表顺序的共性

三篇示例论文的图表序列大致遵循“先解释方法,再展示比较,再补充消融和案例”的节奏。

论文 图表顺序
VL-BEIT download
方法总览图 -> 不同任务上的模型比较 -> 更多任务上的模型比较 -> 进一步任务比较 -> ablation 对比
FLAVA download
方法总览图 -> 多模态能力比较 -> 模型低层结构图 -> 预训练数据示例 -> 数据集说明 -> ablation -> 不同 eval setting 比较 -> 与 previous models 比较 -> 单个模型在多任务上的性能差异
CoCa download
方法总览图 -> 架构与目标函数说明 -> 模型规模 ablation -> 视频识别方法图示 -> 多任务模型性能比较 -> image classification scaling -> 更多任务比较 -> 输入输出样例 -> ablation 对比

图表组织的共性如下:

  • 论文通常包含 5-15 个 figures 或 tables。
  • 第一张图通常是 method overview diagram,用来快速建立方法直觉。
  • 方法图之后可以补充更低层的架构图、任务适配图或训练目标图。
  • 结果图表通常按任务组展示,与 previous models 或 baselines 做比较。
  • ablation 用来说明哪些组件真正贡献了性能提升。
  • 输入输出样例用于增强可解释性,尤其适合生成式、多模态或可视化任务。

5. Local Structure:章节内部的写作功能

Global Structure 解释论文如何排列章节,Local Structure 解释每个章节内部如何组织句子和段落。写作时可以把每个章节看成一组功能槽位,而不是自由散文。

5.1 Abstract

Abstract 的功能是用极短篇幅交代论文的核心承诺。三篇示例的 abstract 长度分别约为 116、110 和 254 words,通常包含 5-6 个功能组件,并且通常以主要结果或 takeaways 收尾。

可复用的 abstract 功能槽位如下:

  • 交代研究主题的重要性或模型类别的背景。
  • 概括 previous approaches 的关键缺口。
  • 提出理想方案应满足的核心 desiderata。
  • 明确本文提出的 solution。
  • 用 1-2 句说明 solution 的关键组件。
  • 概括 solution 的优势。
  • 用任务名称、指标和数字呈现 notable results。

5.2 Introduction

Introduction 通常由 4-6 个 paragraphs 组成。它的开头和结尾最稳定:开头建立研究方向已有成功与仍然存在的缺口,结尾介绍本文方法、实验和贡献。

可复用的 introduction 段落功能如下:

  • 概括当前 approach family 已经取得的成功,并给出代表性例子。
  • 解释 previous approaches 的常见机制,以及它们在能力、泛化、规模、模态对齐或数据需求上的局限。
  • 引出另一类可行方向,并说明该方向仍然不足。
  • 提炼一个清晰的 desiderata,说明理想方法需要同时满足哪些约束。
  • 介绍本文 solution,并列出关键组件。
  • 总结实验覆盖的任务类型、主要结果和方法优势。
  • 在需要时用 bullet list 明确 main contributions。

Related Work 的局部结构通常比 Introduction 更松散,但段落功能仍然稳定。它通常包含 2-3 个 groups,section headers 往往就是 approach categories。

可复用的 related work 组织方式如下:

  • 先概括相关方向近期成功,同时点出仍未解决的 gap。
  • 用一段 overview 说明相关方法如何分类,并提前提示后续 subsection。
  • 按 approach types 展开,每一类先讲演化脉络,再讲代表方法。
  • 每一类最后回到本文方法,说明 proposed solution 与 previous approaches 的差异。

5.4 Conclusion 与 Broader Impact

ConclusionAbstract 相似,但不只是重复摘要。它会重新回收本文 solution、关键组件和 notable results,同时加入未来方向、limitations 或 broader impact。

可复用的 conclusion 功能如下:

  • 再次明确本文提出的 solution。
  • 概括 solution 的核心组件和优势。
  • 回顾最能支撑主张的结果。
  • 说明该工作为未来研究打开的方向。
  • Broader ImpactLimitations 中讨论部署前需要考虑的偏差、风险、适用边界和缓解措施。

6. Methods 与 Experiments 的组织方式

MethodsExperiments 是最灵活、也最难写的部分。不同论文可能把同一类信息放在不同章节中,但核心元素高度重叠。

6.1 Methods 的常见元素

Methods 通常负责让读者理解方法如何工作。常见元素包括:

  • overall approach description,并提示后续 subsection。
  • architecture 与 input-to-output flow。
  • objective、loss function 或 training signal。
  • 不同任务上的 model usage。
  • implementation details。
  • dataset 或 pretraining data 说明,有些论文会放在 Experiments 中。

6.2 Experiments 的常见元素

Experiments 通常负责证明方法有效。常见元素包括:

  • overall experiment task setup。
  • datasets 与 evaluation protocol。
  • implementation details 和 training setup。
  • 不同任务类型上的模型使用方式。
  • 每个任务组的主要结果。
  • 与 previous models 或 baselines 的比较。
  • ablation 结果,用来证明组件贡献。

6.3 原始练习的结论式整理

原始教程要求读者继续阅读 methods 和 experiments 并补充观察。整理后的可执行结论如下:

  • 段落之间通常同时具有空间关系和时间关系。空间关系体现为从整体系统到子模块、从高层 architecture 到低层 objective;时间关系体现为从数据准备、训练流程、任务适配到 evaluation 和结果呈现。
  • Methods 可以少量引用结果导向的信息,但主要用途是解释机制。若出现结果,应服务于方法选择的动机或说明,而不是替代 Experiments 的主结果叙述。
  • 结果部分引用 figures 或 tables 时,通常先给出一句核心 takeaways,再用图表承载具体数字、任务组比较和 ablation 细节。
  • previous approaches 的比较应使用统一任务、统一 metric 和尽量公平的 evaluation setting。常见呈现方式包括跨任务表格、能力对比图、单任务 benchmark 表格和 ablation 表格。
  • implementation details 应至少覆盖 model architecture、objective 或 loss、datasets、preprocessing、training schedule、optimizer、learning rate、batch size、hardware、random seed、evaluation protocol、inference setting、parameter count 和 compute budget。
  • MethodsExperiments 中引用的论文通常服务于 baselines、datasets、evaluation protocols 和 reused components,不承担完整文献综述功能;具体引用数量取决于任务和 benchmark 密度。
  • experimental results 的写法应遵循“主张 -> 数字证据 -> 对照对象 -> 解释 -> ablation 或案例支撑”的顺序,避免只堆指标。

7. Resulting Template:相近论文写作模板

写论文时不要从空白页开始,而应从三篇相近论文中抽取结构模板。下面是课程基于三篇 vision-language pretraining 论文总结出的可复用版本。

7.1 Format

  • 明确目标 venue,并使用该 venue 的篇幅、章节、引用和 supplement 习惯。
  • 检查三篇相近论文的 section headers、figure sequence、appendix 或 supplement 组织方式。

7.2 Figures

  • 使用 method overview diagram 作为第一张核心图。
  • 在需要时补充 lower-level methodology diagram。
  • 按任务组展示与 other models 的比较,通常准备 3-5 个主要任务组。
  • 使用 ablation 图表说明关键组件贡献。
  • 在适合的任务中加入输入输出样例,帮助读者理解模型行为。

7.3 Abstract

  • 交代模型类别或研究主题的背景。
  • 概括 previous models 的关键 gap。
  • 提炼 solution 应满足的 desiderata。
  • 介绍本文 solution 和主要 takeaways。
  • 说明 solution 的关键组件。
  • 概括 solution 的优势。
  • 用任务名称、metric 和数字总结 notable results。

7.4 Introduction

  • 先说明当前 approach family 的成功,并概括 previous approaches 如何处理该任务。
  • 接着说明 existing approaches 的限制,并提炼理想方法需要满足的 desiderata。
  • 然后介绍本文 solution,并列出主要组件。
  • 最后说明实验覆盖范围、结果所证明的结论和主要贡献。

7.5 Methods

  • 先给出 overall approach description,并提示各 subsection。
  • 描述 objective 或 loss function。
  • 描述 architecture 与 input-to-output flow。
  • 补充 implementation details,使读者能理解并复现核心设置。

7.6 Experiments

  • 先给出 overall experiment task setup,以及模型如何用于不同任务。
  • 描述 datasets 与 evaluation protocol。
  • 补充 implementation details。
  • 按任务类型报告结果,并与 baselines 或 previous models 比较。
  • 使用 ablation 说明设计选择的必要性。
  • 先概括相关方向的近期成功与剩余 gap。
  • 再给出 related work 的 overall organization,并提示 subsection categories。
  • 按 approach categories 展开,说明方法演化、代表工作和本文方法的差异。

7.8 Broader Impact and Limitations

  • 说明模型部署前需要注意的偏差、风险、滥用可能和适用边界。
  • 说明已有缓解措施及其有效性边界。
  • 将 broader impact 与论文实际任务和数据设置相连,避免泛泛而谈。

7.9 Conclusion

  • 再次概括本文 solution。
  • 总结关键组件和核心优势。
  • 回顾最重要的结果。
  • 说明该工作指向的未来研究方向。
  • 补充 limitations、bias mitigation 和进一步改进空间。

8. 后续核对

  • Google Docs 原始教程已读取,并用于补充课程标题、学习目标、morphology 类比和结论段。
  • 示例论文 PDF、OpenReview 页面和 ablation 说明链接已保留,便于之后逐篇回查具体句子与图表位置;本次整理主要依据原笔记和原始教程中已经抽取出的结构摘要。

Evidence-backed relations

Source Note · Same Topic

切换到中文