多轮对话评测集构建与智能体对话质量评估
AI 数据与评测 / 多轮对话与智能体评测
任务详情
| 分类 | AI 数据与评测 / 多轮对话与智能体评测 |
|---|---|
| 任务描述 | 手头有一个面向客服场景的智能体，需要一套覆盖多轮对话的评测集，检验它的意图理解、上下文保持和任务完成能力。想外包完成评测集设计、构建和初步评估报告。具体包括：设计至少5个典型客服场景（退换货、订单查询、产品咨询、投诉处理、售后跟进）的多轮对话脚本，每个场景不少于10轮交互；基于脚本构造对话数据，标注每轮的预期意图和槽位；设计评估指标（意图准确率、槽位F1、任务完成率、对话连贯性评分），编写评估脚本；对智能体实际测试并产出评估报告。交付物为评测集数据文件（JSON）、评估脚本（Python）和评估报告（PDF）。评测集要注意多样性，避免重复模式；指标需可量化；报告需包含错误分析和改进建议。3周内完成。 |
| 截止日期 | 2026/11/21 |
| 发包方 | 灰雁南飞 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 多轮对话评测集构建与智能体评估 |
| 预计投入周期 | 3 周 |
| 现金预算 | ¥17,000 |
验收标准
交付物要完整：评测集为JSON，至少5个场景，每个场景至少10轮对话，每轮标注意图和槽位。；评估脚本为Python，能独立运行并输出各指标数值。；评估报告为PDF，含指标结果、错误分析和改进建议。 质量上，场景要覆盖客服典型需求，对话自然多样，标注抽查准确率不低于95%。；指标定义清楚、计算逻辑正确，脚本运行不报错。；报告结构完整，错误分析落到具体对话轮次，改进建议可操作。 格式上，JSON符合规范，脚本带注释和运行说明，报告排版清晰。；交付后一周内提供一次免费修改，按验收反馈调整评测集或脚本。；交付清单：评测集JSON、评估脚本.py、评估报告.pdf、README说明文档。 所有成果需实际运行验证，指标结果可复现。
发包方情况
灰