平台评测功能交互设计
本稿画的是整页：顶栏、左侧约 224px 的导航栏，加内容区，按 1440px 宽绘制。原型能点：左侧菜单、表格行、按钮会跳到对应页面；页面上方的切换条可以直达任一页；点「平铺全部页面」后，所有页面会从上到下依次展开。
数据说明。 「告警治理技能 · 治理标准集」这个方案的分数、耗时、轮数、token，都是本机评测台 2026-10-12 在开发集上跑出来的真实结果（1.0.0 与 1.0.1 两版）。用例名做了泛化处理，样本内容是编的，不含客户数据。 单条用例的耗时、每天几点几分、其余四个评测方案、评估器统计，都是为演示补画的，页面上标了 示意。 「现在」按 10-13 10:23 画。
1. 已定的前提
| # | 前提 | 出处 |
|---|---|---|
| 1 | 评测是 AIMP 的通用功能，用来持续管理智能体、技能在版本更新后，在测试评测集上的表现 | 用户 2026-10-12 |
| 2 | 一次运行跑的是一个组合（智能体、技能、工具、模型）。「评单个部件」= 组合里只换这一个部件，其余固定 | 用户 2026-10-13 |
| 3 | 先做智能体和技能。工具不单独评测，只作为组合的部件、提供数据的环境、过程指标的来源 | 用户 2026-10-13 |
| 4 | 不用 Flowise 继承的评测模块 | 用户 2026-10-13（Q9） |
| 5 | 工具改了以后，列出受影响的评测方案，由人勾选要不要跑；工具的回放模式由各工具自己支持；测试壳属于评测方案，换壳就是另一个方案 | 用户 2026-10-13，按推荐 |
第 5 条里「测试壳属于评测方案」与 2026-10-13 讨论时说的「壳是评测集的一部分」略有不同：画页面时发现同一个评测集要能同时给技能评测和智能体评测用：壳放在评测集上，这个评测集就只能评技能。所以本稿把壳挂在评测方案上，待讨论时确认（第 7 节第 2 条）。
2. 概念
| 词 | 含义 | 和 Datadog 的对应 |
|---|---|---|
| 评测集 | 一组用例，带版本。改用例先存草稿，提交后版本号加 1；实验只能用已提交的版本 | Dataset（Datadog 每次修改自动加版本） |
| 用例 | 输入（问题模板 + 素材文件）、标准答案、标签、分组（开发集 / 留出集） | Record |
| 评估器 | 给一次运行打分的规则。类型：外部接口、代码、裁判模型、人工、内置的过程指标 | Evaluator |
| 评测方案 | 固定被测入口、评测集、评估器和通过标准；同一个方案下的历次实验可以直接比。底稿里叫「评测线」 | 流水线名（experiment 字段） |
| 实验 | 方案的一次执行，记下组合清单、评测集版本、范围、次数 | Experiment |
| 组合清单 | 智能体版本、技能版本、工具定义摘要、模型。对比时自动标出和基线不同的部件 | config（Datadog 由人填） |
| 运行 | 一个用例的一次执行 | 实验里的一条 span |
| 通过率 / 至少一次过 / 每次都过 | 通过的运行占比 / 跑 k 次至少过一次的用例占比（pass@k）/ k 次都过的用例占比（pass^k） | 产品只有平均值和众数 |
| 回归子集 | 方案里「一直过」的用例，自动维护，供审核触发的快速回归使用 | 无 |
3. 页面原型
共 11 屏：菜单「评测」下有 4 个页面，另有 7 个从页面里点开的详情、抽屉、对话框。还有两屏接在已有页面上：技能审核单、工具保存后的提示。
AIMP当前团队：数据库团队qiuyun
智能调用
技能管理
技能审核
工具管理
工具列表
评测
评测方案
评测集
评估器
运行队列
运维台
平台管理
评测方案
一个评测方案固定被测对象、评测集和评估器，历次实验都挂在方案下，换了版本就和基线比。
导入评测集新建评测方案
评测方案
5
技能 2 · 智能体 3
进行中的实验
2
另有 1 个排队
近 7 天完成的实验
7
其中审核触发 1
待人工评分
6
运维知识问答
受工具变更影响
1
证据查询 10-13 修改
被测类型全部 ▾被测对象全部 ▾状态全部 ▾搜索方案名称
| 评测方案 | 被测 | 评测集 | 最近一次实验 | 通过率（主看范围） 最新 / 基线 | 每次都过 | 平均耗时 | 历次通过率 | 状态 |
|---|---|---|---|---|---|---|---|---|
| 告警治理技能 · 治理标准集 主看：开发集 6 用例 | 技能 alert_parse_rules 1.0.1 测试壳 gov-rules v7 | 治理标准集 v3 40 用例 | #5 10-13 10:05 留出集 34 × 1 | 83% / 67% +16 个百分点 | — 只跑过 1 次 | 92 s | 12/34 | |
| 告警治理智能体 · 删 object 列 主看：全部 31 用例 | 智能体 gov-rules v7 | 删列集（object）v1 31 用例 · 派生 | #1 排队中 31 × 1 | — | — | — | — | 排队 |
| K8s 排障技能 · 合成案例 示意 主看：全部 12 用例 | 技能 ops-k8s 1.2.0 测试壳 ops-runner v2 | K8s 合成案例 v2 12 用例 | #8 10-13 10:12 全部 12 × 3 | 75% / 67% +8 个百分点 | 58% 7/12 用例 | 64 s | 20/36 | |
| 根因定界智能体 · 注入场景 示意 主看：全部 8 用例 | 智能体 rca-locate v3 | 注入场景 v1 8 用例（F1–F8） | #5 10-09 15:20 全部 8 × 3 | 50% / 38% +12 个百分点 | 38% 3/8 用例 | 410 s | 工具已变更 | |
| 运维知识问答 · 常见问题 示意 主看：全部 60 用例 | 智能体 ops-qa v12 | 常见问题集 v5 60 用例 | #21 10-10 16:02 全部 60 × 1 | 88% / 90% −2 个百分点 | — 只跑过 1 次 | 18 s | 待人工评分 6 |
评测方案 / 告警治理技能 · 治理标准集
告警治理技能 · 治理标准集 技能评测
给一个告警模板写解析规则的能力；规则在模板的全部样本上执行，按对象键、对象类型、谓词打分。
编辑方案发起实验
被测技能 alert_parse_rules：当前 1.0.1，1.0.2 待审核
测试壳智能体 gov-rules v7 · 模型 Qwen3.8-27B-MTP · 节点超时 1800 s
评测集治理标准集 v3 · 40 用例（开发集 6、留出集 34）· 样本 515 · 含客户数据
评估器告警规则执行（kb 算法包 2.4.0）· 过程指标
通过标准对象键（认可）≥ 95%，对象类型 ≥ 95%，谓词正确
基线#2（技能 1.0.0 · 开发集）更换
自动触发技能提交审核时：回归子集 3 用例 × 3 次，结果附在审核单上，不阻断审核
主看范围开发集（留出集跑完后改为全部）
各次实验的通过率 柱色 = 范围开发集回归子集其他
开发集用例的稳定性 #2 → #3
一直过
3
自动进回归子集
新通过
2
挂 → 过
新失败
1
过 → 挂
一直挂
0
回归子集由「一直过」的用例组成，方案设置里可以手工增删。
实验（5）用例稳定性方案设置
| 实验 | 开始时间 | 与上一次相比换了什么 | 评测集 · 范围 | 次数 | 通过率 | 对象键（认可） | 平均耗时 | 平均生成 token | 状态 | |
|---|---|---|---|---|---|---|---|---|---|---|
| #5 | 10-13 10:05 | 无（组合同 #3） | v3 · 留出集 34 | 1 | — | — | — | — | 12/34 · 剩约 34 分钟 | 查看 |
| #4 审核触发 | 10-13 09:40 | 技能 1.0.1 → 1.0.2 | v3 · 回归子集 3 | 3 | 100% 每次都过 3/3 | 100% | 85 s | 4410 | 完成 | 审核单 |
| #3 | 10-12 11:30 | 技能 1.0.0 → 1.0.1 | v3 · 开发集 6 | 1 | 83% 5/6 | 83% | 92 s | 4690 | 完成 | 对比基线 |
| #2 基线 | 10-12 09:05 | 评测集 v2 → v3；节点超时 600 → 1800 s | v3 · 开发集 6 | 1 | 67% 4/6 | 83% | 133 s | 6636 | 完成 | 查看 |
| #1 | 10-12 06:40 | 首次 | v2 · 3 用例 | 1 | 33% 1/3 | — | — | — | 完成 · 1 条超时 | 查看 |
#1 的通过率与 #4 的耗时、token 是示意；#2、#3 是真实结果。
评测方案 / 告警治理技能 · 治理标准集 / 实验 #3
实验 #3 对比 基线 #2
10-12 11:30 开始，用时 9 分 12 秒 · 6 个运行 · 发起人 qiuyun
基线#2 ▾设为基线重跑失败用例导出
组合清单
| 部件 | 基线 #2 | 本次 #3 |
|---|---|---|
| 技能 alert_parse_rules | 1.0.0 | 1.0.1 |
| 测试壳 gov-rules | v7 | v7 |
| 模型 | Qwen3.8-27B-MTP | 同左 |
| 平台工具 | 未引用 | 同左 |
| 评测集 | 治理标准集 v3 · 开发集 6 | 同左 |
| 评估器 | 告警规则执行 · 算法包 2.4.0 | 同左 |
| 次数 | 1 | 1 |
分数与过程
| 指标 | 基线 #2 | 本次 #3 | 变化 |
|---|---|---|---|
| 通过率 | 67%（4/6） | 83%（5/6） | +16 个百分点 |
| 对象键（认可） | 83% | 83% | 持平 |
| 对象类型 | 83% | 100% | +17 个百分点 |
| 谓词 | 100% | 100% | 持平 |
| 平均耗时 | 133 s | 92 s | −31% |
| 平均轮数 | 20.7 | 17.0 | −18% |
| 平均生成 token | 6636 | 4690 | −29% |
只跑了 1 次、6 个用例，差异不显著；要确认请跑留出集或加次数。
全部6新失败1新通过2一直过3一直挂0按标签分段不分段 ▾
| 用例 | 基线 #2 | 本次 #3 | 变化 | 对象键（认可） | 对象类型 | 耗时 | 本次的主要问题 |
|---|---|---|---|---|---|---|---|
| 应用巡检（数据库连接串） | 过 | 挂 | 新失败 | 100% → 0% | 100% → 100% | 136 → 101 s | 对象键写成「主机:端口:库名」，认可写法是「主机:端口/库名」 |
| 应用日志报错 | 挂 | 过 | 新通过 | 0% → 100% | 100% → 100% | 150 → 86 s | 基线只取了主机名，没带应用名 |
| 磁盘使用率恢复 | 挂 | 过 | 新通过 | 100% → 100% | 0% → 100% | 147 → 108 s | 基线没写对象类型，留成了全局的 Linux |
| 主机系统日志（qemu-ga） | 过 | 过 | 一直过 | 100% → 100% | 100% → 100% | 110 → 74 s | — |
| 专线丢包（RPING） | 过 | 过 | 一直过 | 100% → 100% | 100% → 100% | 115 → 88 s | — |
| 容器服务远程调用失败 | 过 | 过 | 一直过 | 100% → 100% | 100% → 100% | 140 → 95 s | — |
单条用例的耗时是示意（各列之和与平均值一致）；「过 / 挂」和问题描述是真实结果。
应用巡检（数据库连接串）新失败打开会话记录 ↗上一条下一条✕
实验 #3 · 第 1 次 · 10-12 11:38 · 用时 101 s · 会话 gov-rules-3f9a12c0
评分产出过程输入
| 评估器 · 分项 | 本次 | 基线 #2 同用例 | 达标线 | 结果 |
|---|---|---|---|---|
| 告警规则执行 · 对象键（认可） | 0%（0/12 样本） | 100% | ≥ 95% | 未达标 |
| 告警规则执行 · 对象键（标准） | 0% | 100% | 参考，不计入 | — |
| 告警规则执行 · 对象数 | 3 | 3 | 不超过 3 | 达标 |
| 告警规则执行 · 对象类型 | 100% | 100% | ≥ 95% | 达标 |
| 告警规则执行 · 谓词 | 对 | 对 | 正确 | 达标 |
样本对照（12 条样本取到 3 个对象，下表每个对象列一条）
| 样本 | 本次取到的对象键 | 认可写法的对象键 |
|---|---|---|
| 巡检失败：jdbc 连接 db-app01:1521/ORCL 超时… | db-app01:1521:ORCL | db-app01:1521/ORCL |
| 巡检失败：jdbc 连接 db-app02:1521/ORCL 超时… | db-app02:1521:ORCL | db-app02:1521/ORCL |
| 巡检失败：jdbc 连接 db-rpt01:1522/RPT 拒绝… | db-rpt01:1522:RPT | db-rpt01:1522/RPT |
规则与基线的差异（产出 proposal.json）
"objectId": {
- "template": "{host}:{port}/{db}",
+ "template": "{host}:{port}:{db}",
"from": "message",
"pattern": "jdbc 连接 (?<host>[^:]+):(?<port>\\d+)/(?<db>\\w+)"
},
过程
轮数
18基线 22
生成 token
4980基线 7010
执行命令
9
读写文件
6
试算 try.py
3
过程数字是示意。工具调用的明细在「过程」页签，按轮次列出每次调用与结果。
加入审阅队列人工改判标为口径问题
发起实验 · 告警治理技能 · 治理标准集✕
被测组合 默认填当前版本，改哪个就是在评哪个
| 部件 | 基线 #2 | 本次实验 |
|---|---|---|
| 技能 alert_parse_rules | 1.0.0 | 1.0.1（当前）▾ 可选 1.0.2 待审核、1.0.1、1.0.0 |
| 测试壳 | gov-rules v7 | gov-rules v7 方案固定，换壳要新建方案 |
| 模型 | Qwen3.8-27B-MTP | Qwen3.8-27B-MTP ▾ 评测集含客户数据，只列私有部署的模型 |
| 平台工具 | 未引用 | 未引用 |
评测集与范围
治理标准集 v3 ▾全部 40开发集 6留出集 34回归子集 3按标签选…
次数与基线
每个用例跑 135 次2 次以上，结果页给「至少一次过」和「每次都过」对比基线#2 ▾
预估
运行数
10234 × 3
单次平均
92 s
取最近一次同组合实验 #3
并发
1
该模型在队列里的上限
预计耗时
2 小时 36 分
预计开始
11:45
排在 2 个实验之后
取消加入队列
评测集 / 治理标准集
治理标准集 v3 ▾ 含客户数据 草稿：2 处修改未提交
从语义库待治理清单分层抽样的 40 个告警模板，每个模板带一套人写的认可写法。
导入用例导出提交为 v4
来源语义库待治理清单分层抽样 · 语义库 2026-10-11 版 · 稳定键 groupKey（库重建后按它重新对上）
输入问题模板 + 3 个素材文件（context、item、group），经预签名链接下发
标准答案认可写法集合（第一条为标准写法）+ 认可的对象类型、谓词
派生删列集（object）v1：31 用例，删掉 object 列后按语义库算法重算
可见范围数据库团队；留出集内容只对评测集管理员可见 待讨论
使用方评测方案 1 个：告警治理技能 · 治理标准集
用例
40
开发集
6
调技能时可看
留出集
34
只用来打分
样本
515
40 个模板合计
监控系统
26
分层的第一维
标准答案待定
4
口径问题未定
留出集 · 对象覆盖
留出集 · 告警数
版本
| v3 | 10-12 12:40 | 5 个用例补了不从 object 列取的写法；专线用例按口径问题 1 改认可写法 |
| v2 | 10-12 03:10 | 首版 40 用例（开发 6、留出 34） |
| v1 | 10-11 23:50 | 开发集 6 用例 |
用例（40）分层版本（3）设置
全部 40开发集 6留出集 34回归子集 3标签全部 ▾标准答案全部 ▾
| 用例 | 分组 | 标签 | 样本 | 认可写法 | 标准答案 | 最近 5 次运行 过挂超时 |
|---|---|---|---|---|---|---|
| 专线丢包（RPING） | 开发集 | 网络监控 全有对象 | 69 | 3 | 已定 | |
| 应用巡检（数据库连接串） | 开发集 | 应用巡检 全有对象 | 12 | 2 | 已定 | |
| 应用日志报错 | 开发集 | 日志分析 部分无对象 | 25 | 2 | 待定 · 问题 3 | |
| Pod 服务日志报错 | 留出集 | 日志分析 全有对象 | 18 | 4 | 待定 · 问题 2 | |
| 批处理作业失败 | 留出集 | 作业调度 全无对象 | 7 | 2 | 待定 · 问题 4 | |
| 采集代理离线 | 留出集 | IT 基础设施监控 全有对象 | 31 | 2 | 待定 · 问题 5 | |
| … 其余 34 个用例 | ||||||
专线丢包（RPING）开发集已定✕
输入标准答案历次结果修改记录
对象键：认可写法
标准写法object 列，取第一个逗号前的整段对象 5 个
first_of(object) | split(",")[0]
也算对正文，线路编号对象 4 个
message | regex("运营商\w*_(\d+)\)")
也算对正文，目标 IP对象 4 个
message | regex("目标 (\d+\.\d+\.\d+\.\d+)")
添加写法在全部样本上执行告警规则执行 · 算法包 2.4.0 · 69 条样本
执行结果（69 条样本，下表列 3 条）
| 样本 | 标准写法 | 线路编号 | 目标 IP |
|---|---|---|---|
| 单位A(运营商X_专线_0012),RPING 目标 10.0.0.1 丢包率 100% | 单位A(运营商X_专线_0012) | 0012 | 10.0.0.1 |
| 单位A股份公司(运营商X_专线_0012),RPING 目标 10.0.0.1 丢包率 60% | 单位A股份公司(运营商X_专线_0012) | 0012 | 10.0.0.1 |
| 单位B(运营商Y_专线_0031),RPING 目标 10.0.3.7 丢包率 100% | 单位B(运营商Y_专线_0031) | 0031 | 10.0.3.7 |
第 2 行：同一条线路被两台设备探测，单位名写法不同，标准写法会拆成两个对象。按口径问题 1 的决定，这种拆分仍算满分。
其他分项
| 分项 | 认可的取值（第一个为标准） |
|---|---|
| 对象类型 | 专线、网络链路 |
| 谓词 | 丢包 |
| kind、layer | 不计分 |
口径
取消保存到草稿
评估器
给一次运行打分的规则。能用代码判的不用裁判模型；裁判模型先和人工评分对齐再用。
新建评估器 ▾
外部接口
2
kb、证据网关
代码
2
平台内执行
裁判模型
2
1 个未校准
人工评分
1
待评 6
内置
1
过程指标
| 评估器 | 类型 | 当前版本 | 输出的分项 | 用在几个方案 | 与人工一致 | 更新 |
|---|---|---|---|---|---|---|
| 告警规则执行 在模板全部样本上执行规则 | 外部接口 · kb | 算法包 2.4.0（冻结） | 对象键（认可 / 标准）、对象数、对象类型、谓词 | 2 | 不适用 | 10-11 |
| 过程指标 从执行记录算 | 内置 | — | 耗时、轮数、生成 token、各类工具调用次数 | 5 | 不适用 | — |
| 关键词检查 | 代码 | v2 | 必含词、禁用词 | 1 | 不适用 | 10-07 |
| 诊断字段比对 示意 | 代码 | v1 | 责任对象、故障域、排除对象、第三态缺口 | 1 | 不适用 | 10-08 |
| 证据回放 示意 | 外部接口 · 证据网关 | v0.3 | 依据可回放比例 | 1 | 不适用 | 10-08 |
| 排障结论裁判 示意 | 裁判模型 | 提示词 v2 · deepseek-v4-flash | 结论正确（是 / 否）+ 理由 | 1 | 17/20（85%） | 10-09 |
| 根因结论裁判 示意 | 裁判模型 | 提示词 v1 · Qwen3.8-27B-MTP | 定界得分 1–5、证据扎实度、泄题 | 1 | 未校准 | 10-09 |
| 回答人工评分 示意 | 人工 | 标签结构 v1 | 回答正确、可执行、引用正确 | 1 | — | 09-30 |
所有评估器共用的接口
| 方向 | 字段 |
|---|---|
| 输入 | 用例输入、被测产出（回答、产出文件）、标准答案、用例标签、执行记录 |
| 输出 | 每个分项一条：名称、类型（布尔 / 分数 / 分类 / JSON）、值、是否达标、理由；不适用时标「跳过」 |
运行队列
实验按模型分道排队。并发上限在「平台管理 › 对接模型」里按模型设置。
Qwen3.8-27B-MTP私有部署并发上限 1 · 可接含客户数据的评测集现在 10:23
| 实验 | 评测方案 | 运行数 | 进度 | 时间 | |
|---|---|---|---|---|---|
| #5 运行中 | 告警治理技能 · 治理标准集 | 34 | 12/34 · 失败 0 | 10:05 开始 · 预计 10:57 完成 | 暂停 取消 |
| #1 排队 1 | 告警治理智能体 · 删 object 列 | 31 | — | 预计 10:57 开始，约 48 分钟 | 上移 取消 |
| #20 已中断 示意 | 运维知识问答 · 常见问题 | 60 | 41/60 | 10-09 22:14 平台重启中断 | 续跑 |
deepseek-v4-flash外部接口并发上限 4 · 只接不含客户数据的评测集
| 实验 | 评测方案 | 运行数 | 进度 | 时间 | |
|---|---|---|---|---|---|
| #8 运行中 示意 | K8s 排障技能 · 合成案例 | 36 | 20/36 · 失败 1 | 10:12 开始 · 剩约 4 分钟 | 暂停 取消 |
最近完成
| 实验 | 评测方案 | 运行数 | 用时 | 结果 |
|---|---|---|---|---|
| #4 审核触发 | 告警治理技能 · 治理标准集 | 9 | 13 分钟 | 回归子集每次都过 3/3 |
| #3 | 告警治理技能 · 治理标准集 | 6 | 9 分 12 秒 | 通过率 83%（5/6） |
| #21 示意 | 运维知识问答 · 常见问题 | 60 | 21 分钟 | 通过率 88%，待人工评分 6 |
技能管理 / 技能审核 / alert_parse_rules 1.0.2
alert_parse_rules 1.0.2 待审核
提交人 qiuyun · 10-13 09:38 · 变更说明：应用巡检的对象键格式改回「主机:端口/库名」
驳回通过
审核助手
风险等级：低 · 未发现读取凭证、外发数据的脚本 （已有功能，不变）
评测结果 不阻断审核发起能力评测
| 评测方案 | 类型 | 范围 | 结果 | 相对 1.0.1 | 结论 | |
|---|---|---|---|---|---|---|
| 告警治理技能 · 治理标准集 | 回归（自动） | 回归子集 3 × 3 | 每次都过 3/3 | 新失败 0 | 回归通过 | 实验 #4 |
| 告警治理技能 · 治理标准集 | 能力（人工发起） | 开发集 6 × 1 | 未跑 | — | — | 发起 |
回归子集 = 方案里「一直过」的用例。回归不通过时卡片标红，审核人仍可以通过。
文件差异
（已有功能，不变）
工具「证据查询」已保存✕
定义摘要
7c2e41 → b91a03
返回字段增加 source_ref
引用它的智能体
1
rca-locate
受影响的评测方案
1
| 评测方案 | 被测 | 上次实验 | 建议范围 | 运行数 | 预计耗时 | |
|---|---|---|---|---|---|---|
| 根因定界智能体 · 注入场景 | rca-locate v3 | #5 10-09 · 通过率 50% | 回归子集 3 × 3 ▾ | 9 | 约 1 小时 2 分 |
工具没有版本号；实验的组合清单记下每个工具定义的内容摘要，对比时能看出换没换。
稍后再说加入队列
4. 各屏的设计取舍
| 屏 | 取舍 | 依据 |
|---|---|---|
| ① 方案列表 | 首页放「评测方案」而不是「实验」：用户关心的是某个被测对象有没有变好，实验只是过程。通过率只在主看范围内比较，避免开发集和回归子集的分数混在一起比 | Datadog 用流水线名串起历次实验；底稿 1.2 第 10 条 |
| ② 方案详情 | 每次实验写「与上一次相比换了什么」，由组合清单自动算出，不靠人写备注 | Datadog 的 config 由人填，AIMP 有版本可自动取 |
| ③ 实验对比 | 先看组合清单的差异，再看分数和过程两张表，最后看用例翻转；默认把「新失败」排最前 | 底稿 1.2 第 8、9 条；Datadog 跟踪新过、新挂 |
| ④ 运行详情 | 评分并排显示基线同用例；直接给出样本对照；自检与实际不一致单独标出；人工改判写成一条来源为「人工」的分数 | 底稿 2.1 的「自检可信度」；统一分数记录 |
| ⑤ 发起实验 | 组合清单默认当前版本，只改一个部件；测试壳不可改；按模型并发和历史耗时预估开始时间与时长；含客户数据时模型下拉只列私有模型 | 用户 2026-10-13 前提 2、5；底稿 Q6、Q8 |
| ⑥ 评测集 | 修改先存草稿，提交成新版本才能用于实验；来源记下语义库版本和稳定键；分层分布画成条形图 | AgentArts 的「提交成版本」；底稿 1.2 第 5 条 |
| ⑦ 标准答案 | 标准答案是认可写法集合；每条写法能在全部样本上执行预览，用的是评估器同一个算法包版本 | 底稿 1.2 第 2、3、4 条 |
| ⑧ 评估器 | 五种类型共用一个接口；裁判模型显示与人工一致率，未校准标橙 | Anthropic 指南、Datadog、Braintrust |
| ⑨ 运行队列 | 按模型分道，各道并发上限独立；中断的实验可续跑 | 本机实测：私有模型并行没有吞吐收益 |
| ⑩ 技能审核单 | 提交审核时自动跑回归子集，结果只展示不阻断 | 用户 2026-10-13 按推荐（软门禁） |
| ⑪ 工具变更 | 保存工具后列出受影响方案，由人勾选；不勾也留下标记 | 用户 2026-10-13 按推荐 |
5. 影响面
| 仓库 / 部件 | 要动的地方 |
|---|---|
| 平台前端 | 新增菜单组「评测」下 4 个页面（评测方案、评测集、评估器、运行队列）；改 2 处已有页面：技能审核单加「评测结果」卡片，工具保存后加受影响方案的提示 |
| 平台服务端 | 新增评测集、用例、评估器、评测方案、实验、运行、分数等表；新增按模型分道的运行队列（排队、限并发、续跑）；实验记录组合清单（含工具定义摘要） |
| 网关 | 运行器按用例新建会话、收回答与产出文件、读执行记录、删会话 |
| aimp-kb | 新增「按指定算法包版本，在模板全部样本上执行规则」的接口（现在的试算只覆盖一部分样本）；从待治理清单分层抽样导出评测集 |
| 平台继承的 Flowise 评测模块 | 删除（Q9），连同它的表、路由、权限类别、前端页面 |
6. 本稿没画的
| 内容 | 原因 |
|---|---|
| 口径问题的界面（问题、支撑数据、选项、决定后重算分） | 放在哪还没定；本稿只在用例上标「待定 · 问题 N」 |
| 人工评分队列的审阅页 | 第二期；本稿只画了入口（待人工评分 6、加入审阅队列） |
| 线上回流（语义管理「待确认」里的修改变成用例）、线上抽样打分 | 第二期 |
| 新建评测方案、新建评测集、导入用例的向导 | 字段已在详情页体现，向导等对象定稿后再画 |
| 趋势页签、用例稳定性页签、方案设置页签 | 先看主路径 |
| 根因诊断的案例快照、工具回放的配置 | 依赖证据网关，第三期 |
7. 讨论时要定的
- 名称：「评测方案」「评测集」「评估器」「实验」「运行」这套叫法是否合适。底稿里的「评测线」本稿改叫「评测方案」。
- 测试壳挂在评测方案上还是评测集上（第 1 节第 5 条后的说明）。
- 「通过率」按运行算还是按用例算；次数大于 1 时，列表上显示哪个数。
- 留出集的内容要不要对技能开发者隐藏。
- 评测集的版本，是「草稿 + 提交」（本稿）还是每次修改自动加版本（Datadog）。
- 菜单位置：单独一组「评测」（本稿），还是放进「技能管理」「智能调用」下面。