连接至外部 ClickHouse 数据库

• 由 LangSmith 管理的 ClickHouse
• 直接或通过云提供商市场供应一个 ClickHouse Cloud：
  • Azure 市场
  • Google Cloud 市场
  • AWS 市场
• 在您云提供商的虚拟机上

​

要求

• 一个已供应的、您的 LangSmith 应用将有网络访问权限的 ClickHouse 实例（选项见上文）。
• 一个拥有 ClickHouse 数据库管理员权限的用户。此用户将用于创建必要的表、索引和视图。
• 我们支持独立的 ClickHouse 和外部管理的集群部署。对于集群部署，请确保所有节点运行相同的版本。请注意，与 ClickHouse 捆绑的安装不支持集群设置。
• 我们仅支持 ClickHouse 版本 >= 23.9。使用 ClickHouse 版本 >= 24.2 需要 LangSmith v0.6 或更高版本。

• 我们依赖于您的 ClickHouse 实例上设置的几个配置参数。详细信息如下：

<profiles>
  <default>
      <async_insert>1</async_insert> # 开启异步插入
      <async_insert_max_data_size>25000000</async_insert_max_data_size> # 每 25MB 刷新数据到磁盘。您可能需要根据工作负载调整此值。
      <wait_for_async_insert>0</wait_for_async_insert> # 默认禁用等待异步插入
      <parallel_view_processing>1</parallel_view_processing> # 启用并行视图处理
      <materialize_ttl_after_modify>0</materialize_ttl_after_modify> # 禁用修改后的 TTL 物化
      <wait_for_async_insert_timeout>120</wait_for_async_insert_timeout> # 设置等待异步插入的超时时间
      <lightweight_deletes_sync>0</lightweight_deletes_sync> # 禁用轻量级删除同步
      <allow_materialized_view_with_bad_select>1</allow_materialized_view_with_bad_select> # 允许包含导致 CH 失败的旧版 SELECT 语句的物化视图
  </default>
</profiles>

​

高可用复制 ClickHouse 集群

• 您需要拥有一个已设置 Keeper 或 Zookeeper 进行数据复制及相应配置的 ClickHouse 集群。参见 ClickHouse 复制设置文档。
• 您需要在 LangSmith 配置 部分设置集群参数，具体来说，是将 cluster 设置为匹配您的 ClickHouse 集群名称。这将在运行 ClickHouse 迁移时使用 Replicated 表引擎。
• 如果除了高可用性之外，您还希望在 ClickHouse 节点之间进行负载均衡（以分散读或写操作），我们建议使用负载均衡器或 DNS 负载均衡，在您的 ClickHouse 服务器之间进行轮询。
• 注意：您需要在首次启动 LangSmith 并运行 ClickHouse 迁移之前启用 cluster 设置。这是必须的，因为表引擎需要创建为 Replicated 表引擎，而非非复制引擎类型。

​

由 LangSmith 管理的 ClickHouse

• 如果使用由 LangSmith 管理的 ClickHouse，您需要在 LangSmith VPC 和 ClickHouse VPC 之间建立 VPC 对等连接。如需更多信息，请通过 support.langchain.com 联系支持团队。
• 您还需要设置 Blob 存储。您可以在 Blob 存储文档 中了解更多信息。

​

参数

• 主机 (Host)：ClickHouse 数据库的主机名或 IP 地址
• HTTP 端口 (HTTP Port)：ClickHouse 数据库监听 HTTP 连接的端口
• 原生端口 (Native Port)：ClickHouse 数据库监听 原生连接 的端口
• 数据库 (Database)：LangSmith 应使用的 ClickHouse 数据库名称
• 用户名 (Username)：用于连接 ClickHouse 数据库的用户名
• 密码 (Password)：用于连接 ClickHouse 数据库的密码
• 集群 (可选) (Cluster (Optional))：如果使用外部 ClickHouse 集群，这是 ClickHouse 集群的名称。设置后，LangSmith 将在集群上运行迁移并在实例间复制数据。

​

配置

clickhouse:
  external:
    enabled: true
    host: "host"
    port: "http port"
    nativePort: "native port"
    user: "default"
    password: "password"
    database: "default"
    tls: false
    cluster: "my_cluster_name"  # 可选：如果使用外部 ClickHouse 集群，请设置此项

​

ClickHouse 的 TLS 配置

​

服务器 TLS（单向）

• 在配置中设置 tls: true（或使用 tlsSecretKey 指定外部 secret）。
• 使用适当的 TLS 端口（通常 HTTP 为 8443，原生 TCP 连接为 9440）。
• 如果使用内部 CA，请通过 config.customCa.secretName 和 config.customCa.secretKey 提供 CA 包。

config:
  customCa:
    secretName: "langsmith-custom-ca"  # 包含您的 CA 包的 Secret
    secretKey: "ca.crt"    # Secret 中包含 CA 包的键
clickhouse:
  external:
    enabled: true
    host: "your-clickhouse-host.example.com"
    port: "8443"
    nativePort: "9440"
    user: "default"
    password: "password"
    database: "default"
    tls: true

apiVersion: v1
kind: Secret
metadata:
  name: langsmith-custom-ca
type: Opaque
stringData:
  ca.crt: |
    -----BEGIN CERTIFICATE-----
    <ROOT_OR_INTERMEDIATE_CA_CERT_CHAIN>
    -----END CERTIFICATE-----

​

带有客户端认证的双向 TLS (mTLS)

• 提供包含您的客户端证书和密钥的 Secret。
• 通过 clickhouse.external.clientCert.secretName 引用它，并使用 certSecretKey 和 keySecretKey 指定键。

clickhouse:
  external:
    enabled: true
    host: "your-clickhouse-host.example.com"
    port: "8443"
    nativePort: "9440"
    user: "default"
    password: "password"
    database: "default"
    tls: true
    clientCert:
      secretName: "clickhouse-client-cert"
      certSecretKey: "tls.crt"
      keySecretKey: "tls.key"

apiVersion: v1
kind: Secret
metadata:
  name: clickhouse-client-cert
type: Opaque
stringData:
  tls.crt: |
    -----BEGIN CERTIFICATE-----
    <CLIENT_CERT>
    -----END CERTIFICATE-----
  tls.key: |
    -----BEGIN PRIVATE KEY-----
    <CLIENT_KEY>
    -----END PRIVATE KEY-----

​

用于迁移的非 TLS 原生端口

backend:
  clickhouseMigrations:
    extraEnv:
      - name: CLICKHOUSE_MIGRATE_NATIVE_PORT
        value: "9000"  # 更改为您的非 TLS 原生端口

​

用于证书卷的 Pod 安全上下文

commonPodSecurityContext:
  fsGroup: 1000