佛山智能体模型调优与工程评测,预算9000元
智能体与自动化 / 模型调优与工程评测
任务详情
| 分类 | 智能体与自动化 / 模型调优与工程评测 |
|---|---|
| 任务描述 | 现有一个对话式智能体项目,基于开源模型微调后在多轮任务中表现不稳定,需要针对佛山本地业务场景进行调优并建立自动化评测流程。工作内容包括:分析现有模型在意图识别、槽位填充和回复生成上的薄弱环节;设计并实施参数高效微调方案(如LoRA),优化训练数据质量和提示模板;搭建基于pytest的评测流水线,覆盖准确率、响应延迟和鲁棒性指标;提供调优前后对比报告和可复现的评测脚本。交付物包括:调优后的模型权重或适配器、评测代码库、测试数据集和详细报告。注意事项:需在2周内完成,远程协作,每周同步进展;数据需脱敏处理,不得泄露任何真实用户信息。 |
| 截止日期 | 2026/11/22 |
| 发包方 | 未央生 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 模型调优与工程评测 |
| 预计投入周期 | 2 周 |
| 现金预算 | ¥9,000 |
验收标准
1. 成果与范围 交付物需包含调优后的模型适配器文件、完整评测代码库、测试数据集及对比报告。 模型在测试集上的意图识别准确率相对基线提升不低于5个百分点,槽位填充F1值提升不低于3个百分点,平均响应延迟增加不超过10%。 评测代码需支持一键运行,输出包含准确率、F1、延迟等指标的JSON报告,且代码注释清晰、无重大缺陷。 2. 质量与文件 测试数据集需覆盖至少5类业务场景,每类不少于50条样本,并附数据说明文档。 对比报告应详细说明调优方法、实验设置、结果分析及局限性,并提供可复现步骤。 所有文件需打包为zip提交,目录结构清晰,包含README说明安装与运行方式。 3. 节点与交付 修改范围限于模型微调参数、提示模板和评测代码,不得改动原始业务逻辑。 交付前需通过代码审查和测试验证,确保功能完整。
发包方情况
