使用 LangChain 构建语义搜索引擎

概述

使用 LangChain 嵌入模型和向量存储在 PDF 文档上构建语义搜索引擎。用它来检索与查询相似的段落，然后将检索器接入检索增强生成 (RAG) 或其他 LLM 工作流。本教程涵盖：

从 PDF 创建 Document 对象。
生成嵌入向量。
加载和分割 PDF。
在向量存储中索引文档块并通过相似性进行查询。
将存储包装成检索器。

本指南还在搜索引擎的基础上包含了一个最小化的 RAG 实现。

核心概念

本教程专注于文本检索，涵盖以下概念：

设置

安装依赖

本教程使用 pdf-parse 包来读取 PDF：

npm i pdf-parse

yarn add pdf-parse

pnpm add pdf-parse

更多详情，请参阅安装指南。

配置 LangSmith

你使用 LangChain 构建的许多应用将包含多个步骤和多次 LLM 调用。随着这些应用变得越来越复杂，能够检查链或智能体内部到底发生了什么就变得至关重要。最佳方式是使用 LangSmith。在上面的链接注册后，请确保设置你的环境变量以开始记录追踪轨迹：

export LANGSMITH_TRACING="true"
export LANGSMITH_API_KEY="..."

创建文档

LangChain 实现了一个 Document 抽象，用于表示一个文本单元及其关联的元数据。它有三个属性：

pageContent: 表示内容的字符串。
metadata: 包含任意元数据的字典。
id: （可选）文档的字符串标识符。

metadata 可以捕获文档的来源、与其他文档的关系以及其他信息。一个单独的 Document 通常代表更大文档中的一个块。以下代码创建了示例文档：

import { Document } from "@langchain/core/documents";

const documents = [
  new Document({
    pageContent:
      "Dogs are great companions, known for their loyalty and friendliness.",
    metadata: { source: "mammal-pets-doc" },
  }),
  new Document({
    pageContent: "Cats are independent pets that often enjoy their own space.",
    metadata: { source: "mammal-pets-doc" },
  }),
];

生成嵌入向量

向量搜索存储与文本关联的数值向量。将查询嵌入为相同维度的向量，然后使用相似性度量（如余弦相似度）来查找相关文本。 LangChain 支持来自众多提供商的嵌入模型。选择一个模型来指定如何将文本转换为数值向量：

npm i @langchain/openai

yarn add @langchain/openai

pnpm add @langchain/openai

import { OpenAIEmbeddings } from "@langchain/openai";

const embeddings = new OpenAIEmbeddings({
  model: "text-embedding-3-large"
});

npm i @langchain/openai

yarn add @langchain/openai

pnpm add @langchain/openai

AZURE_OPENAI_API_INSTANCE_NAME=<YOUR_INSTANCE_NAME>
AZURE_OPENAI_API_KEY=<YOUR_KEY>
AZURE_OPENAI_API_VERSION="2024-02-01"

import { AzureOpenAIEmbeddings } from "@langchain/openai";

const embeddings = new AzureOpenAIEmbeddings({
  azureOpenAIApiEmbeddingsDeploymentName: "text-embedding-ada-002"
});

npm i @langchain/aws

yarn add @langchain/aws

pnpm add @langchain/aws

BEDROCK_AWS_REGION=your-region

import { BedrockEmbeddings } from "@langchain/aws";

const embeddings = new BedrockEmbeddings({
  model: "amazon.titan-embed-text-v1"
});

npm i @langchain/google-vertexai

yarn add @langchain/google-vertexai

pnpm add @langchain/google-vertexai

GOOGLE_APPLICATION_CREDENTIALS=credentials.json

import { VertexAIEmbeddings } from "@langchain/google-vertexai";

const embeddings = new VertexAIEmbeddings({
  model: "gemini-embedding-001"
});

npm i @langchain/mistralai

yarn add @langchain/mistralai

pnpm add @langchain/mistralai

MISTRAL_API_KEY=your-api-key

import { MistralAIEmbeddings } from "@langchain/mistralai";

const embeddings = new MistralAIEmbeddings({
  model: "mistral-embed"
});

npm i @langchain/cohere

yarn add @langchain/cohere

pnpm add @langchain/cohere

COHERE_API_KEY=your-api-key

import { CohereEmbeddings } from "@langchain/cohere";

const embeddings = new CohereEmbeddings({
  model: "embed-english-v3.0"
});

const vector1 = await embeddings.embedQuery(documents[0].pageContent);
const vector2 = await embeddings.embedQuery(documents[1].pageContent);

assert vector1.length === vector2.length;
console.log(`Generated vectors of length ${vector1.length}\n`);
console.log(vector1.slice(0, 10));

Generated vectors of length 1536

[-0.008586574345827103, -0.03341241180896759, -0.008936782367527485, -0.0036674530711025, 0.010564599186182022, 0.009598285891115665, -0.028587326407432556, -0.015824200585484505, 0.0030416189692914486, -0.012899317778646946]

接下来，将嵌入向量存储在支持高效相似性搜索的向量存储中。

选择向量存储

LangChain 的 VectorStore 对象可以将文本和 Document 对象添加到存储中，并使用相似性度量进行查询。它们通常使用嵌入模型进行初始化，该模型将文本转换为数值向量。 LangChain 包含与多种向量存储技术的集成。有些是托管的，需要凭据，有些运行在独立的基础设施（本地或第三方），另一些则在内存中运行，适用于轻量级工作负载。选择一个向量存储：

Memory
MongoDB
Pinecone
Qdrant
Redis

npm i @langchain/classic

yarn add @langchain/classic

pnpm add @langchain/classic

import { MemoryVectorStore } from "@langchain/classic/vectorstores/memory";

const vectorStore = new MemoryVectorStore(embeddings);

npm i @langchain/mongodb

yarn add @langchain/mongodb

pnpm add @langchain/mongodb

import { MongoDBAtlasVectorSearch } from "@langchain/mongodb"
import { MongoClient } from "mongodb";

const client = new MongoClient(process.env.MONGODB_ATLAS_URI || "");
const collection = client
  .db(process.env.MONGODB_ATLAS_DB_NAME)
  .collection(process.env.MONGODB_ATLAS_COLLECTION_NAME);

const vectorStore = new MongoDBAtlasVectorSearch(embeddings, {
  collection: collection,
  indexName: "vector_index",
  textKey: "text",
  embeddingKey: "embedding",
});

npm i @langchain/pinecone

yarn add @langchain/pinecone

pnpm add @langchain/pinecone

import { PineconeStore } from "@langchain/pinecone";
import { Pinecone as PineconeClient } from "@pinecone-database/pinecone";

const pinecone = new PineconeClient({
  apiKey: process.env.PINECONE_API_KEY,
});
const pineconeIndex = pinecone.Index("your-index-name");

const vectorStore = new PineconeStore(embeddings, {
  pineconeIndex,
  maxConcurrency: 5,
});

npm i @langchain/qdrant

yarn add @langchain/qdrant

pnpm add @langchain/qdrant

import { QdrantVectorStore } from "@langchain/qdrant";

const vectorStore = await QdrantVectorStore.fromExistingCollection(embeddings, {
  url: process.env.QDRANT_URL,
  collectionName: "langchainjs-testing",
});

npm i @langchain/redis

yarn add @langchain/redis

pnpm add @langchain/redis

import { RedisVectorStore } from "@langchain/redis";

const vectorStore = new RedisVectorStore(embeddings, {
  redisClient: client,
  indexName: "langchainjs-testing",
});

加载和分割 PDF

从 PDF 加载内容，然后在索引前将其分割成更小的块。本示例使用 2023年 Nike 10-K 报告样本。

import { readFileSync } from "node:fs";
import { Document } from "@langchain/core/documents";
import { PDFParse } from "pdf-parse";

// Below is a minimal helper for demonstration purposes.
async function loadPdfPages(filePath: string): Promise<Document[]> {
  const parser = new PDFParse({
    data: new Uint8Array(readFileSync(filePath)),
  });
  try {
    const { pages } = await parser.getText();
    return pages.map(
      (page) =>
        new Document({
          pageContent: page.text,
          metadata: { source: filePath, page: page.num - 1 },
        })
    );
  } finally {
    await parser.destroy();
  }
}

const filePath = "../../data/nke-10k-2023.pdf";
const docs = await loadPdfPages(filePath);
console.log(docs.length);

对于检索来说，一整页内容往往粒度太粗。进一步分割页面，这样相关的段落就不会被周围的文本稀释。RecursiveCharacterTextSplitter 在通用分隔符（如换行符）上递归分割，直到每个块达到目标大小。这是通用文本用例的推荐文本分割器。

import { RecursiveCharacterTextSplitter } from "@langchain/textsplitters";

const textSplitter = new RecursiveCharacterTextSplitter({
  chunkSize: 1000,
  chunkOverlap: 200,
});

const allSplits = await textSplitter.splitDocuments(docs);

console.log(allSplits.length);

索引文档

将文档块索引到向量存储中：

await vectorStore.addDocuments(allSplits);

大多数向量存储集成也支持连接到现有存储（例如通过客户端或索引名称）。详情请参阅特定集成的文档。

查询向量存储

在将文档添加到 VectorStore 后，你可以查询它：

同步和异步方式
通过字符串查询和通过向量查询
带或不带相似性分数
通过相似性或最大边际相关性（以平衡相似性与多样性）

这些方法通常返回一个 Document 对象的列表。

按字符串搜索

嵌入模型将文本映射到密集向量，因此语义相似的文本在几何空间上也相近。这意味着你可以通过传递一个自然语言问题来检索相关段落：

const results1 = await vectorStore.similaritySearch(
  "When was Nike incorporated?"
);

console.log(results1[0]);

Document {
    pageContent: 'direct to consumer operations sell products...',
    metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125}
}

返回分数

你可以同时返回文档及其相似性分数。分数的含义因提供商而异。在这个例子中，分数是一个距离度量，与相似性成反比：

const results2 = await vectorStore.similaritySearchWithScore(
  "What was Nike's revenue in 2023?"
);

console.log(results2[0]);

Score: 0.23699893057346344

Document {
    pageContent: 'Table of Contents...',
    metadata: {'page': 35, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0}
}

按向量搜索

自行嵌入查询，然后使用得到的向量进行搜索：

const embedding = await embeddings.embedQuery(
  "How were Nike's margins impacted in 2023?"
);

const results3 = await vectorStore.similaritySearchVectorWithScore(
  embedding,
  1
);

console.log(results3[0]);

Document {
    pageContent: 'FISCAL 2023 COMPARED TO FISCAL 2022...',
    metadata: {
        'page': 36,
        'source': '../example_data/nke-10k-2023.pdf',
        'start_index': 0
    }
}

了解更多：

使用检索器

LangChain 的 VectorStore 对象不是 Runnable 的子类。@[检索器] 是 Runnables，因此它们支持标准方法，如同步和异步的 invoke 和 batch。你也可以从向量存储构建检索器，检索器也可以包装非向量来源（如外部 API）。向量存储实现了 as_retriever 方法，该方法返回一个 VectorStoreRetriever。这些检索器暴露 search_type 和 search_kwargs 来选择和参数化底层存储方法。使用以下方式复现上面的示例：

const retriever = vectorStore.asRetriever({
  searchType: "mmr",
  searchKwargs: {
    fetchK: 1,
  },
});

await retriever.batch([
  "When was Nike incorporated?",
  "What was Nike's revenue in 2023?",
]);

[
    [Document {
        metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125},
        pageContent: 'direct to consumer operations sell products...',
    }],
    [Document {
        metadata: {'page': 3, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0},
        pageContent: 'Table of Contents...',
    }],
]

你可以在更复杂的应用中使用检索器，例如检索增强生成 (RAG)，它将问题与检索到的上下文结合到提示中，供 LLM 使用。要了解更多关于构建此类应用的信息，请查看 RAG 教程。

后续步骤

你现在已经了解了如何在 PDF 文档上构建语义搜索引擎。更多信息请参阅：

关于 RAG 的更多信息：

Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

Edit this page on GitHub or file an issue.

Tutorials

Conceptual overviews

LangChain Academy

Additional resources

使用 LangChain 构建语义搜索引擎

概述

核心概念

设置

安装依赖

配置 LangSmith

创建文档

生成嵌入向量

选择向量存储

加载和分割 PDF

索引文档

查询向量存储

按字符串搜索

返回分数

按向量搜索

使用检索器

后续步骤

​概述

​核心概念

​设置

​安装依赖

​配置 LangSmith

​创建文档

​生成嵌入向量

​选择向量存储

​加载和分割 PDF

​索引文档

​查询向量存储

​按字符串搜索

​返回分数

​按向量搜索

​使用检索器

​后续步骤

概述

核心概念

设置

安装依赖

配置 LangSmith

创建文档

生成嵌入向量

选择向量存储

加载和分割 PDF

索引文档

查询向量存储

按字符串搜索

返回分数

按向量搜索

使用检索器

后续步骤