多轮对话Agent评测集构建与基线测试
AI 数据与评测 / 多轮对话与智能体评测
任务详情
| 分类 | AI 数据与评测 / 多轮对话与智能体评测 |
|---|---|
| 任务描述 | 现有客服场景的多轮对话Agent在意图澄清和上下文保持上表现不稳定,需要一套覆盖典型业务路径的评测集来量化问题。请基于提供的业务文档(下单、退换货、投诉三类场景)设计并实现200组多轮对话测试用例,每组至少5轮交互,标注期望的Agent回复类型和关键信息点。同时搭建自动化评测脚本,对现有Agent做基线测试,输出准确率、上下文保持率和意图澄清成功率三项指标报告。交付物包括:测试用例JSON文件(含场景标签、对话历史、预期回复要点)、评测脚本(Python,可配置Agent端点)、基线测试报告(含指标定义和逐用例结果)。用例需覆盖边界情况(如用户中途改主意、信息缺失、多意图混合),脚本需支持后续扩展新用例。 |
| 截止日期 | 2026/12/06 |
| 发包方 | 灰雁南飞 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 多轮对话Agent评测集构建与基线测试 |
| 预计投入周期 | 2 周 |
| 现金预算 | ¥25,000 |
验收标准
1. 成果与范围 测试用例文件需为合法JSON,包含至少200组对话,每组不少于5轮,覆盖下单、退换货、投诉三类场景,每类占比不低于25%。 边界情况用例至少20组,其中用户中途改主意、信息缺失、多意图混合各不少于5组。 每组用例需标注场景标签、完整对话历史、每轮期望的Agent回复类型(如澄清、确认、提供信息)及关键信息点列表。 2. 质量与文件 评测脚本需为可执行Python文件,支持通过配置文件指定Agent端点,能自动运行全部用例并计算准确率、上下文保持率、意图澄清成功率三项指标,输出逐用例结果和汇总报告。 基线测试报告需包含指标定义、测试环境说明、逐用例结果表格和总体指标数值,且指标数值需与脚本输出一致。 交付物为测试用例JSON、评测脚本、基线测试报告三个文件。 3. 节点与交付 修改范围仅限新增文件,不得改动现有业务代码。 所有文件需通过基本语法检查,脚本在标准Python环境下可无错运行。
发包方情况
灰