Skip to content

审核标准

paper-audit现在使用深度审查优先标准。

有两层:

  1. 问题分类针对实际审稿人的发现
  2. 准备情况总结和门的分数映射

核心原则

  • 在标记问题之前了解作者的意图。
  • 优先考虑有证据支持的发现而不是风格评论。
  • 仅当歧义可能误导细心的读者时才标记它。
  • 将分数作为指标;将发行包视为主要产品。
  • 保持[Script][LLM]调查结果分开。

深入审查分类法

检查:

  1. 数学或推导错误
  2. 符号不一致
  3. 散文与方程/表格/形式定义不匹配
  4. 数值不一致
  5. 对于重要的选择或推导没有足够的理由
  6. 声称不准确或过度声称
  7. 含糊不清可能会误导细心的读者
  8. 缺少方法细节或重复性关键信息
  9. 各部门内部矛盾
  10. 标准的自我一致性

计分层

4维总结

  • 质量
    • 主张的合理性
    • 评价的公平性
    • 推导、统计和比较的正确性
  • 明晰
    • 符号一致性
    • 组织
    • 缺少定义和方法细节
  • 意义
    • 如果属实,贡献是否重要
    • 权利要求的范围是否诚实
  • 独创性
    • 相对于之前的工作有新颖性
    • 与接近的基线或先例的诚实区别

9维学者评估层

根据要求使用 ScholarEval,但不要让分数生成取代问题查找。该问题包仍然是主要的。

严重性校准

  • 主要的
    • 威胁论文级的主张、方法、比较或结论
  • 缓和
    • 真正的问题,本地化且可修复,但不会造成论文致命
  • 次要的
    • 仍然值得关注的框架或清晰度问题

剧本与审稿人的判断

通常由脚本支持

  • 未定义的参考/标签/标题
  • 期刊或会议清单失败
  • 视觉布局问题
  • 一些横截面闭合启发式
  • 一些文献基础或引文堆叠启发法

通常是审稿人的判断

  • 过度主张
  • 证据充分性
  • 比较的公平性
  • 标准的自我一致性
  • 现有技术重叠意义
  • 歧义严重性

宽大处理规则

宽容对待:

  • 介绍性简化
  • 转发稍后解决的引用
  • 有意解释正式陈述的散文摘要
  • 当 PDF 解析不完善时,OCR 伪影或孤立的符号噪声

请勿标记:

  • 格式化琐事
  • 仅大写问题
  • 领域明显的简写,任何细心的审阅者都不会误解

基于 MIT 许可发布