Skip to content

审稿心理学

审稿人实际上如何阅读论文,以及他们在哪里停止怀疑。用这个来 优先考虑审计结果:审阅者可靠地发现的问题 可疑的事情比他们永远无法到达的事情更重要。阅读路径和 下面的怀疑排名是跨领域的一般性排名(计算机科学/机器学习/定量科学); 它们与审稿人行为有关,而不是任何单一领域。

审稿人如何阅读(不是从前到后)

审稿人在一个周期内处理 3-5 篇论文,每篇约 3-6 小时,不会线性阅读:

Step 1 (3-5 min):   Title -> Abstract -> Figure 1 -> Conclusion
                    => "is this worth reading deeply?"  (>50% of accept/reject leaning forms here)
Step 2 (10-20 min): skim all figures + captions -> skim key Methods parameters
                    => "does the data support the claims / is the method credible?"
Step 3 (1-3 h):     Results + Discussion in detail
                    => hunt for over-claims, logic gaps, missing experiments
Step 4 (~30 min):   Introduction close read + spot-check appendix -> write the review

针对第 1 步进行优化可以获得最高的回报。审计应权衡以下问题: 审稿人很早就发现了(标题/摘要/图1/结论)上述深埋的问题。

3秒扫描

在第一秒内,审稿人会注册标题(正确的关键字?声称超出范围?), 作者名单和地点。 30 秒内:摘要的第一句话 (清嗓子还是具体的差距?),摘要的最后一句( 声称超出范围?),以及图 1(一眼就能理解?)。

评论家停止怀疑的地方——按照发生的频率排名

按此列表对结果进行排序。更高=审稿人更有可能抓住它并放手 论文沉没,因此它在审计路线图中的排名应该更高(在相同的严重性内)。

  1. 数字与声称不符。“明显更高”但没有数字;这 摘要说184,正文说178; “速度快了 2 倍”,但图中显示的速度要慢一些。 → 审核员:交叉检查摘要/正文/数字/表格中的每个数字;旗帜 每个没有数字的大小词。 (审查通道:notation_and_numeric_consistency, claims_vs_evidence)
  2. 缺少方法参数。 “我们运行了 PCA / 微调”,没有版本,没有 超参数,无阈值,无需多重测试校正。 → Auditor:标记阻止再现的未公开参数。 (审查通道:evaluation_fairness_and_reproducibility)
  3. 引用支持较弱。 仅由评论支持的具体主张;一个引文,其 实际结论恰恰相反;没有引用的整个段落。 → Auditor:标记没有主要来源锚点的声明。 (审查通道:prior_art_and_novelty_grounding)
  4. 过度主张。“首先”(当它不是时),相关证据上的因果语言, 从一种设置“普遍”,未经证实的下游应用程序。 → 审计师:参见OVER_CLAIM_GUARD.md;标志性的措辞超出了证据的范围。 (审查通道:claims_vs_evidence)
  5. 故事尚未结束。 简介承诺 A、B、C;结果仅提供 A 和 B。 摘要 强调X;身体勉强覆盖X。 → Auditor:端到端地检查对结果的贡献。 (审查通道:claims_vs_evidence、分段审查通道)
  6. **图与文本无关。**文本引用了不存在的“图 2A”;丢失的 轴单位/图例/比例尺;颜色选择对色盲读者不利。 →审计员:交叉检查图形参考和自包含性。 (审查通道:分段审查通道,notation_and_numeric_consistency)
  7. **阻碍理解的语言。**长的多重否定句; 紧张的误用 (方法/结果不是过去时态)模糊了方法与结果与推理;不明确的 首次使用时的缩写。 → Auditor:标记清晰度障碍;时态被写作技巧的去AI时态覆盖 检查并在妨碍阅读时予以注意。 (审查通道:分段审查通道)
  8. 结果“太干净”。 每个 p 值 < 0.001;预测方向上的每一个效应; 每次比较时样本量都足够。 →审计员:注意不存在负面/边际/不一致的结果和限制。 (审查通道:evaluation_fairness_and_reproducibility)

审阅者在面板上键入内容

一篇论文通常会有 2-3 个这样的审稿人——为所有三个审稿人撰写(和审核):

  • 领域专家 — 关心您的数据是否与已发表的作品冲突以及您是否 引用核心文献。审核:文献扎根,诚实定位。
  • 方法专家——关心方法选择是否合理、参数是否合理。 审计:方法细节、比较的公平性、消融。
  • 通才/编辑 — 关心“那又怎样”以及非专家是否可以遵循 摘要和引言。审核:摘要/介绍的可访问性、重要性框架。

使论文“防拒绝”

审稿人通常首先做出决定,然后寻找证据来证明其合理性。防守动作 审核应检查是否存在:

  1. 标题+摘要没有过度声称的味道(OVER_CLAIM_GUARD.md).
  2. 图 1 很快就能看懂。
  3. 关键参数已完全公开(杀死“这可以重现吗?”)。
  4. 作者指出了局限性(杀死“他们忽略了明显的弱点”)。
  5. 数据+代码+补充齐备(秒杀“这个可信吗?”)。

当这些都存在时,唯一需要攻击的是核心主张本身——即 这正是一篇有实力的论文想要的高层讨论。

该技能如何使用

  • 批评者按照上面的怀疑排名(最高的第一个)对其挑战进行排序。
  • 综合通过怀疑等级打破严重性等级内的联系,因此修订 路线图显示了真正的审阅者首先点击的内容。
  • 此文件更改了顺序和强调,而不是严重性定义 - 严重性仍然 跟随REVIEW_CRITERIA.md / editorial_decision_standards.md.

基于 MIT 许可发布