全文转载 · 收藏阅读
韩先凯 著(笔名:离谱) · byoungd and contributors
原文来源 · GitHub · CC BY-NC 4.0 · English edition
非商业转载,保留原文;仅适配排版与站内链接。收录于 2026-10-13 · 原文更新 2026-10-03 · f13ff2de
本章目录
AI 评测记录模板
配合 AI 评测与可靠性 使用。先填写标准,再运行案例。空表用于记录一个版本比较;示例数字不代表模型性能或通用上线门槛。
可复制记录
# AI Evaluation — 日期 / 任务
## 范围
- 用户和要完成的动作:
- 输入材料、权限和去标识方式:
- 人工基线及总耗时:
- 不支持的任务:
## 测试设置(运行前固定)
- 当前版本 / 候选版本:
- 模型、提示、检索材料、工具版本:
- 运行日期、地区、记忆设置;无法固定的服务版本:
- 本轮只改变什么:
- 开发样本 / 未参与调优的保留样本:
- 每例运行次数及时间、调用、费用上限:
- 必须全部通过的条件:
- 可比较的质量与人工评分说明:
- 评分人 / 争议如何解决:
- 相关失败场景:来源缺失 / 提示注入 / 越权 / 失控重试或重复副作用 / 转写或识图错误:
## 逐例记录(每个版本分别复制本区)
- 本区版本:
- ID 使用“案例编号 / 尝试序号”,例如 07 / 2;输入指向固定的案例材料。
### 案例(每次尝试复制一份)
- 案例编号 / 尝试序号:
- 类型与固定输入材料位置:
- 预期行为 / 判断依据:
- 支持结论的原文位置 / 音视频时间段 / 图片区域:
- 实际行为 / 产物位置:
- 过程记录 / 工具调用 / 授权记录位置:
- 最终环境结果(文件、数据库或用户可见状态):
- 首次是否合格 / 硬性条件失败:
- 人工修改分钟 / 修改内容:
- 最终状态(失败与超时也保留):
## 汇总(每个版本单独计算,失败与超时保留在分母中)
- 首次合格数 / 全部尝试数:
- 必须条件失败及具体案例:
- 人工修改后合格数 / 全部尝试数:
- 准备、运行、核验、返工总分钟:
- 工具费用及工时估值口径:
- 本批总过程成本 / 最终合格数量:
- 证据限制与不支持的推断:
## 决定与后续
- 采用 / 维持现状 / 修复复测 / 停止:
- 支持这个决定的案例:
- 新增回归案例及重跑范围:
- 模型、资料、工具或记忆变化后的复测触发;上次合格版本:
- 允许使用范围 / 人工接管 / 撤回触发:
- 换供应商、关闭记忆或断开工具后的退出演练结果:
- 负责人、复查日期、记录位置:
若最终合格数量为零,每份合格结果成本写“无法计算”,保留已经发生的总支出,不用零替代。
填写示例:公开资料比较表
以下是假设案例,与章节示例一致:十条案例各运行一次,当前版本 A 首次合格 8 条,候选 B 首次合格 9 条;两版经人工修订后各合格 10 条。
| 字段 | 示例填写 |
|---|---|
| 本轮改变 | 只修改提取提示,材料与工具相同 |
| 必须条件 | 关键数字有出处;缺失价格不得推断 |
| 失败记录 B-07 | 原文未提供价格;B 写成“免费”;人工改回“未提供” |
| A 的成本 | 总工时 120 分钟,按 60 元/小时估值,工具 6 元;共 126 元 |
| B 的成本 | 总工时 100 分钟,同样估值,工具 8 元;共 108 元 |
| 决定 | 保留当前范围;B 先修复,不扩大使用 |
| 下一步 | 加入缺价、价格过期、价格冲突案例,同时重跑此前合格案例 |
| 证据限制 | 小样本且每例一次;不能推断线上错误率;修订后正确不等于自主可靠 |
把实际结果保存在可复查的文件中。记录“已完成”时,附上文件、测试输出或系统状态,而不只贴模型的完成声明。
从记录到行动
一轮只修复一个主要错误模式,并检查旧案例是否退步。流程仍不清楚时回到 AI 任务简报;项目准备对外服务时,再填写 创业实验卡,分别验证结果质量与真实需求。