建立模型或提示词回归评测
LangSmith
LangSmith 为大模型应用提供追踪、数据集、评测和线上质量监控。
工具概览
简要说明
LangSmith 为大模型应用提供追踪、数据集、评测和线上质量监控。它主要面向开发和运维生成式 AI 应用的技术团队,可用于建立模型或提示词回归评测、跟踪智能体和检索链路执行过程、分析延迟、成本和失败原因等任务。页面信息依据官方公开资料整理;具体功能、可用地区、额度和商业授权可能调整,使用前应再次查看官方网站。
应用场景
跟踪智能体和检索链路执行过程
分析延迟、成本和失败原因
对比不同模型和版本的效果
监控线上质量并定位异常样本
核心能力
数据集与自动化评测
调用链追踪和可视化
提示词与版本对比
质量、延迟和成本指标
人工反馈与线上监控
使用说明
- 1
先定义与业务目标一致的评测指标
- 2
准备包含正常、边界和失败样例的数据集
- 3
记录模型、提示词和依赖版本后执行对比
- 4
结合人工复核设置发布门禁和持续监控