大模型输出偏好对比标注任务（上海地区）
AI 数据与评测 / 模型输出偏好对比
任务详情
| 分类 | AI 数据与评测 / 模型输出偏好对比 |
|---|---|
| 任务描述 | 有一批大模型生成的对话回复，需要做人类偏好对比标注，用来优化模型输出质量。具体内容是：对给定的500组对话（每组两个模型回复A和B），从帮助性、准确性、流畅性、安全性四个维度独立评估，判断哪个回复更好或平局，并写一段简短理由。交付物为CSV表格，包含对话ID、偏好选择（A/B/平局）、理由（不少于20字）。标注需独立完成，不参考外部资料；每组对话控制在3分钟内完成；需签署保密协议。项目启动后7天内完成全部标注并提交。 |
| 截止日期 | 2026/11/20 |
| 发包方 | Nina Brooks |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 数据标注与交付 |
| 预计投入周期 | 1 周 |
| 现金预算 | ¥17,000 |
验收标准
标注需覆盖全部500组对话，不能有遗漏。；CSV包含对话ID、偏好选择（A/B/平局）、理由四列，格式正确。；偏好选择只能填A、B或平局，不能为空。 理由不少于20字，且与偏好选择逻辑一致。；判断时综合帮助性、准确性、流畅性、安全性四个维度，理由里至少体现两个维度。；7天内完成并提交。 文件命名为“偏好标注_姓名_日期.csv”。；标注过程独立完成，不参考外部资料，不相互讨论。；需签署保密协议并随成果提交。
发包方情况
