平台公告
1 / 2

多轮对话Agent评测集构建与基线测试

招募中

AI 数据与评测 / 多轮对话与智能体评测

任务详情
分类AI 数据与评测 / 多轮对话与智能体评测
任务描述现有客服场景的多轮对话Agent在意图澄清和上下文保持上表现不稳定,需要一套覆盖典型业务路径的评测集来量化问题。请基于提供的业务文档(下单、退换货、投诉三类场景)设计并实现200组多轮对话测试用例,每组至少5轮交互,标注期望的Agent回复类型和关键信息点。同时搭建自动化评测脚本,对现有Agent做基线测试,输出准确率、上下文保持率和意图澄清成功率三项指标报告。交付物包括:测试用例JSON文件(含场景标签、对话历史、预期回复要点)、评测脚本(Python,可配置Agent端点)、基线测试报告(含指标定义和逐用例结果)。用例需覆盖边界情况(如用户中途改主意、信息缺失、多意图混合),脚本需支持后续扩展新用例。
截止日期2026/12/06
发包方灰雁南飞
项目预算
结算方式按里程碑结算
项目当前阶段多轮对话Agent评测集构建与基线测试
预计投入周期2 周
现金预算¥25,000
验收标准

1. 成果与范围 测试用例文件需为合法JSON,包含至少200组对话,每组不少于5轮,覆盖下单、退换货、投诉三类场景,每类占比不低于25%。 边界情况用例至少20组,其中用户中途改主意、信息缺失、多意图混合各不少于5组。 每组用例需标注场景标签、完整对话历史、每轮期望的Agent回复类型(如澄清、确认、提供信息)及关键信息点列表。 2. 质量与文件 评测脚本需为可执行Python文件,支持通过配置文件指定Agent端点,能自动运行全部用例并计算准确率、上下文保持率、意图澄清成功率三项指标,输出逐用例结果和汇总报告。 基线测试报告需包含指标定义、测试环境说明、逐用例结果表格和总体指标数值,且指标数值需与脚本输出一致。 交付物为测试用例JSON、评测脚本、基线测试报告三个文件。 3. 节点与交付 修改范围仅限新增文件,不得改动现有业务代码。 所有文件需通过基本语法检查,脚本在标准Python环境下可无错运行。

发包方情况
灰
天津1K