大模型Agent工具调用准确率优化与自动化评测脚本编写
智能体与自动化 / 模型调优与工程评测
任务详情
| 分类 | 智能体与自动化 / 模型调优与工程评测 |
|---|---|
| 任务描述 | 最近在做一个客服场景的Agent,需要调用订单查询、退款、物流跟踪等工具,但模型经常选错工具或参数填错,导致对话流程中断。手头有200条真实用户query的标注数据(工具名和参数标准答案),希望基于这些数据做系统性的badcase分析,给出prompt优化或微调建议,并写一套可复用的自动化评测脚本,能随时跑出工具选择准确率和参数填充准确率,方便后续迭代验证。交付物包括:badcase分析报告(含错误分类和优化建议)、优化后的prompt或微调方案、Python评测脚本(支持自定义测试集,输出准确率指标和错误明细)。数据不能外传,脚本需在本地运行。一周内完成。 |
| 截止日期 | 2026/12/05 |
| 发包方 | 未央生 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 开发实施 |
| 预计投入周期 | 1 周 |
| 现金预算 | ¥3,000 |
验收标准
交付物需包含三部分且完整:1)badcase分析报告需覆盖全部200条测试数据,按工具选择错误、参数缺失、参数值错误等维度分类,每类附典型示例和根因分析,并给出至少3条可操作的prompt优化或微调建议。 2)优化后的prompt或微调方案需在测试集上验证,工具选择准确率相比基线提升不低于10个百分点,参数填充准确率提升不低于5个百分点,并提供前后对比数据。 3)Python评测脚本需支持通过命令行指定测试集路径和模型接口,自动输出整体准确率、各工具准确率及错误明细CSV,脚本需包含README说明运行环境和依赖。 所有文件打包为zip提交,代码需有清晰注释,确保在本地Python3.8+环境可复现运行。 修改范围限于提供的测试集和prompt/微调方案,不得引入外部数据。
发包方情况
