Original Note
Harness Design for Long-Running Application Development（整理版） - Outline
Outline
- Harness Design for Long-Running Application Development（整理版）
- 内容简要概括
- 目录
- 1. 文章背景与核心问题
- 2. 前端设计：把主观审美转成可评估标准
- 2.1 评分标准示例
- 2.2 Few-shot calibration
- 2.3 Playwright MCP 的作用
- 2.4 Prompt wording 会塑造生成方向
- 2.5 迭代不是越多越好
- 3. Full-stack coding 的三 Agent 架构
- 4. Planner：从短需求生成产品规格
- 4.1 Planner 应补全的内容
- 4.2 重点定义“做什么”，避免过度规定“怎么做”
- 4.3 Scope 要有野心，但不能失控
- 4.4 输出结构要稳定
- 5. Generator：按规格和 sprint contract 实现
- 5.1 Generator 的基本原则
- 5.2 文件化状态管理
- 6. Evaluator：用真实交互和硬阈值做 QA
- 6.1 评分维度和 hard threshold
- 6.2 Evaluator 要测试什么
- 6.3 Evaluator 也需要被调教
- 7. Sprint contract：在实现前定义完成标准
- 7.1 工作流程
- 7.2 好的 sprint contract 应具备什么
- 8. 迭代与调参：让 Evaluator 变得更严格
- 9. Harness 复杂度：组件不是越多越好
- 9.1 最简单可行方案原则
- 10. 模型升级后的 Harness 简化
- 10.1 Removing the sprint construct
- 10.2 Harness 不是固定答案
- 11. 实践启发
- 12. 可复用模板汇总
- 12.1 Planner 输出结构模板
- 12.2 Sprint contract 文件流
- 12.3 Evaluator hard threshold 示例
- 12.4 QA prompt 强化规则