Skip to main content
重要
自托管LangSmith是针对我们最大、最注重安全的客户设计的Enterprise计划的附加功能。有关详细信息,请参阅定价。如需获取LangSmith试用许可证密钥,请联系我们的销售团队[(https://www.langchain.com/contact-sales)]。
LangSmith根据您的规模、安全和基础设施需求支持不同的自托管配置。本页提供了支持的自我托管模型的概述:
  • LangSmith: 在UI和API中部署LangSmith应用程序的实例,包括可观察性、跟踪和评估。最适合希望自托管监控和评估而不部署智能体的团队。
  • LangSmith with deployment: 通过控制平面将一个_graph_部署到LangGraph服务器。控制平面和数据平面共同构成完整的LangSmith平台,为运行和监控智能体提供UI和API管理。这包括可观察性、评估和部署管理。
  • Standalone server: 直接部署LangGraph服务器,无需控制平面UI。适用于运行一个或几个智能体作为独立服务的轻量级设置,可完全控制扩展和集成。
模型包含内容适用于方法
LangSmith
  • LangSmith 应用程序(UI + API)
  • 后端服务(队列、游乐场、ACE)
  • 数据存储:PostgreSQL、Redis、ClickHouse,可选的 blob 存储
  • 需要自托管可观察性、跟踪和评估的团队
  • 在不部署智能体/图的情况下运行 LangSmith 应用程序
  • Docker Compose(开发/测试)
  • Kubernetes + Helm(生产)
带有部署的 LangSmith
  • LangSmith 的所有内容
  • 控制平面(部署 UI、版本管理、工作室)
  • 数据平面(LangGraph 服务器 pod)
  • 用于编排的 Kubernetes 操作员
  • 需要私有 LangChain 云的企业团队
  • 集中式 UI/API,用于管理多个智能体/图
  • 集成可观察性和编排
  • 带有 Helm 的 Kubernetes(必需)
  • 运行于 EKS、GKE、AKS 或自管理的集群
独立服务器
  • LangGraph 服务器容器
  • 需要 PostgreSQL + Redis(共享或专用)
  • 可选的 LangSmith 集成以进行跟踪
  • 单个或少数智能体的轻量级部署
  • 将 LangGraph 服务器作为微服务集成
  • 偏好自行管理扩展和 CI/CD 的团队
  • Docker / Docker Compose(开发/测试)
  • Kubernetes + Helm(生产)
  • 任何容器运行时或虚拟机(ECS、EC2、ACI 等)
有关部署指南,请参阅:支持的计算平台:Kubernetes(用于控制平面),任何计算平台(仅用于独立服务器)

LangSmith

部署一个包含UI和API中的可观察性、跟踪和评估功能的LangSmith应用程序实例——但具备通过控制平面部署智能体的能力。 这包括: 服务:
  • LangSmith 前端 UI
  • LangSmith 后端 API
  • LangSmith 平台后端
  • LangSmith 操场
  • LangSmith 队列
  • LangSmith ACE(任意代码执行)后端
存储服务:
  • ClickHouse(跟踪和反馈数据)
  • PostgreSQL(运营数据)
  • Redis(队列和缓存)
  • Blob存储(可选,但推荐用于生产)
LangSmith架构展示服务和数据存储 要访问 LangSmith UI 并发送 API 请求,您需要公开 LangSmith 前端 服务。根据您的安装方法,这可以是一个负载均衡器或主机机器上公开的端口。

服务

服务描述
LangSmith 前端前端使用 Nginx 提供 LangSmith UI 服务,并将 API 请求路由到其他服务器。这是应用程序的入口点,也是唯一必须向用户公开的组件。
LangSmith 后端后端是 CRUD API 请求的主要入口点,处理应用程序的大部分业务逻辑。这包括处理来自前端和 SDK 的请求,准备数据包以供摄取,以及支持中心 API。
LangSmith 队列队列处理传入的数据包和反馈,确保它们异步地被摄取并持久化到数据包和反馈数据存储中,处理数据完整性的检查,并确保成功插入数据存储,处理数据库错误或暂时无法连接到数据库等情况的重试。
LangSmith 平台后端平台后端是另一个关键服务,主要处理身份验证、运行摄取和其他高流量任务。
LangSmith 操场操场是一个服务,用于处理将请求转发到各种 LLM API,以支持 LangSmith 操场功能。这也可以用于连接到您自己的自定义模型服务器。
LangSmith ACE(任意代码执行)后端ACE 后端是一个服务,用于在安全环境中执行任意代码。这用于在 LangSmith 中运行自定义代码。

存储服务

LangSmith 默认将捆绑所有存储服务。您可以配置它使用所有存储服务的外部版本。在生产环境中,我们强烈建议使用外部存储服务
服务描述
ClickHouseClickHouse 是一种高性能、列式 SQL 数据库管理系统 (DBMS),适用于在线分析处理 (OLAP)。

LangSmith 使用 ClickHouse 作为痕迹和反馈(高容量数据)的主要数据存储。
PostgreSQLPostgreSQL 是一个强大、开源的对象关系型数据库系统,它使用并扩展了 SQL 语言,结合了许多功能,可以安全地存储和扩展最复杂的数据工作负载。

LangSmith 使用 PostgreSQL 作为事务工作负载和运营数据(除痕迹和反馈之外几乎所有内容)的主要数据存储。
RedisRedis 是一种强大的内存键值数据库,数据持久化在磁盘上。通过在内存中存储数据,Redis 为缓存等操作提供了高性能。

LangSmith 使用 Redis 来支持队列和缓存操作。
Blob 存储LangSmith 支持多个 blob 存储提供商,包括 AWS S3Azure Blob StorageGoogle Cloud Storage

LangSmith 使用 blob 存储来存储大型文件,例如痕迹工件、反馈附件和其他大型数据对象。Blob 存储是可选的,但强烈推荐用于生产部署。

设置方法

  • Docker Compose(仅限开发/测试)
  • Kubernetes + Helm(推荐用于生产)

安装指南

LangSmith 部署

LangSmith 部署版 基于 LangSmith 选项构建。启用部署对于希望拥有一个集中式、UI 驱动的平台以部署和管理多个智能体和图的企业团队来说非常理想,所有基础设施、数据和编排都完全受他们控制。 这包括来自 LangSmith 的所有内容,以及:
组件责任运行位置管理者
  • 创建部署和修订的 UI
  • 部署管理的 API
您的云
  • 协调部署的操作员/监听器
  • LangGraph 服务器(智能体/图)
  • 后端服务(Postgres、Redis 等)
您的云
您完全在自己的基础设施内运行控制平面和数据平面。您负责提供和管理所有组件。
了解更多关于控制平面数据平面架构概念。
全平台架构,包含控制平面和数据平面

需求

  1. 您必须已经在您的云环境中安装了自托管LangSmith实例
  2. Kubernetes集群(用于控制平面和数据平面)
  3. 使用 langgraph-cliStudio 在本地测试您的图
  4. 使用 langgraph build 构建Docker镜像
  5. 通过LangSmith控制平面UI或通过您选择的容器工具部署您的LangGraph服务器
  6. 所有智能体都作为配置在您的LangSmith实例后的ingress的Kubernetes服务部署

支持的计算平台

  • Kubernetes: LangSmith 部署支持在任何 Kubernetes 集群上运行控制平面和数据平面基础设施。

安装指南

如果您想在您的LangSmith实例上启用此功能,请按照自托管完整平台部署指南进行操作。

独立服务器

独立服务器选项是运行LangSmith最轻量级和最灵活的方式。与其他模型不同,您只需管理由LangGraph服务器及其所需的后备服务(PostgreSQL、Redis等)组成的简化版 这包括:
组件责任运行位置管理者
控制平面n/an/an/a
数据平面
  • LangGraph 服务器
  • Postgres, Redis 等
您的云平台
此选项让您完全控制扩展、部署和CI/CD管道,同时仍允许可选集成LangSmith进行跟踪和评估。
在无服务器环境中不要运行独立服务器。缩放到零可能导致任务丢失,而扩展将无法可靠工作。
独立服务器架构

工作流程

  1. 使用 langgraph-cliStudio 在本地定义和测试您的图
  2. 将您的智能体打包成Docker镜像
  3. 将LangGraph服务器部署到您选择的计算平台(Kubernetes、Docker、VM)
  4. 可选,配置LangSmith API密钥和端点,以便服务器将跟踪和评估结果反馈给LangSmith(自托管或SaaS)

支持的计算平台

  • Kubernetes:使用 LangSmith Helm 图表在 Kubernetes 集群中运行 LangGraph 服务器。这是生产级部署的推荐选项。
  • Docker:可在任何支持Docker的计算平台上运行(本地开发机器、虚拟机、ECS等)。这最适合开发或小规模工作负载。

安装指南

要设置 LangGraph 服务器,请参阅 操作指南