平台公告
1 / 2

大模型Agent工具调用准确率优化与自动化评测脚本编写

招募中

智能体与自动化 / 模型调优与工程评测

任务详情
分类智能体与自动化 / 模型调优与工程评测
任务描述最近在做一个客服场景的Agent,需要调用订单查询、退款、物流跟踪等工具,但模型经常选错工具或参数填错,导致对话流程中断。手头有200条真实用户query的标注数据(工具名和参数标准答案),希望基于这些数据做系统性的badcase分析,给出prompt优化或微调建议,并写一套可复用的自动化评测脚本,能随时跑出工具选择准确率和参数填充准确率,方便后续迭代验证。交付物包括:badcase分析报告(含错误分类和优化建议)、优化后的prompt或微调方案、Python评测脚本(支持自定义测试集,输出准确率指标和错误明细)。数据不能外传,脚本需在本地运行。一周内完成。
截止日期2026/12/05
发包方未央生
项目预算
结算方式按里程碑结算
项目当前阶段开发实施
预计投入周期1 周
现金预算¥3,000
验收标准

交付物需包含三部分且完整:1)badcase分析报告需覆盖全部200条测试数据,按工具选择错误、参数缺失、参数值错误等维度分类,每类附典型示例和根因分析,并给出至少3条可操作的prompt优化或微调建议。 2)优化后的prompt或微调方案需在测试集上验证,工具选择准确率相比基线提升不低于10个百分点,参数填充准确率提升不低于5个百分点,并提供前后对比数据。 3)Python评测脚本需支持通过命令行指定测试集路径和模型接口,自动输出整体准确率、各工具准确率及错误明细CSV,脚本需包含README说明运行环境和依赖。 所有文件打包为zip提交,代码需有清晰注释,确保在本地Python3.8+环境可复现运行。 修改范围限于提供的测试集和prompt/微调方案,不得引入外部数据。

发包方情况
佛山2K