审核标准
paper-audit现在使用深度审查优先标准。
有两层:
- 问题分类针对实际审稿人的发现
- 准备情况总结和门的分数映射
核心原则
- 在标记问题之前了解作者的意图。
- 优先考虑有证据支持的发现而不是风格评论。
- 仅当歧义可能误导细心的读者时才标记它。
- 将分数作为指标;将发行包视为主要产品。
- 保持
[Script]和[LLM]调查结果分开。
深入审查分类法
检查:
- 数学或推导错误
- 符号不一致
- 散文与方程/表格/形式定义不匹配
- 数值不一致
- 对于重要的选择或推导没有足够的理由
- 声称不准确或过度声称
- 含糊不清可能会误导细心的读者
- 缺少方法细节或重复性关键信息
- 各部门内部矛盾
- 标准的自我一致性
计分层
4维总结
- 质量
- 主张的合理性
- 评价的公平性
- 推导、统计和比较的正确性
- 明晰
- 符号一致性
- 组织
- 缺少定义和方法细节
- 意义
- 如果属实,贡献是否重要
- 权利要求的范围是否诚实
- 独创性
- 相对于之前的工作有新颖性
- 与接近的基线或先例的诚实区别
9维学者评估层
根据要求使用 ScholarEval,但不要让分数生成取代问题查找。该问题包仍然是主要的。
严重性校准
- 主要的
- 威胁论文级的主张、方法、比较或结论
- 缓和
- 真正的问题,本地化且可修复,但不会造成论文致命
- 次要的
- 仍然值得关注的框架或清晰度问题
剧本与审稿人的判断
通常由脚本支持
- 未定义的参考/标签/标题
- 期刊或会议清单失败
- 视觉布局问题
- 一些横截面闭合启发式
- 一些文献基础或引文堆叠启发法
通常是审稿人的判断
- 过度主张
- 证据充分性
- 比较的公平性
- 标准的自我一致性
- 现有技术重叠意义
- 歧义严重性
宽大处理规则
宽容对待:
- 介绍性简化
- 转发稍后解决的引用
- 有意解释正式陈述的散文摘要
- 当 PDF 解析不完善时,OCR 伪影或孤立的符号噪声
请勿标记:
- 格式化琐事
- 仅大写问题
- 领域明显的简写,任何细心的审阅者都不会误解