Skip to main content
import EmbeddingsTabsPy from '/snippets/embeddings-tabs-py.mdx';
import EmbeddingsTabsJS from '/snippets/embeddings-tabs-js.mdx';
import VectorstoreTabsPy from '/snippets/vectorstore-tabs-py.mdx';
import VectorstoreTabsJS from '/snippets/vectorstore-tabs-js.mdx';

​
概述

本教程将使您熟悉LangChain的文档加载器、嵌入和向量存储抽象。这些抽象旨在支持从（向量）数据库和其他来源检索数据，以便与LLM工作流程集成。对于需要作为模型推理一部分进行推理的应用程序，例如检索增强生成（RAG）或检索增强生成，它们非常重要。 在这里，我们将构建一个在PDF文档上的搜索引擎。这将使我们能够检索与输入查询相似的PDF中的段落。指南还包括在搜索引擎之上的最小化RAG实现。

​
概念

本指南专注于文本数据的检索。我们将涵盖以下概念：

​
安装

​
安装

本指南需要 @langchain/community 和 pdf-parse： 
npm i @langchain/community pdf-parse
有关详细信息，请参阅我们的安装指南。

​
LangSmith

许多您使用LangChain构建的应用程序将包含多个步骤，涉及多次调用LLM调用。 随着这些应用程序变得越来越复杂，能够检查您的链或智能体内部究竟发生了什么变得至关重要。 最佳方式是使用LangSmith。 在您通过上述链接注册后，请确保设置环境变量以开始记录跟踪信息： 
export LANGSMITH_TRACING="true"
export LANGSMITH_API_KEY="..."

​
1. 文档和文档加载器

LangChain 实现了一个 文档 抽象，旨在表示一个文本单元及其相关元数据。它有三个属性：
  • pageContent：表示内容的字符串；
  • metadata：包含任意元数据的字典；
  • id：（可选）文档的字符串标识符。
metadata 属性可以捕获有关文档来源、与其他文档的关系以及其他信息。请注意，一个单独的 Document 对象通常代表一个较大文档的一部分。 我们可以根据需要生成示例文档： 
import { Document } from "@langchain/core/documents";

const documents = [
  new Document({
    pageContent:
      "Dogs are great companions, known for their loyalty and friendliness.",
    metadata: { source: "mammal-pets-doc" },
  }),
  new Document({
    pageContent: "Cats are independent pets that often enjoy their own space.",
    metadata: { source: "mammal-pets-doc" },
  }),
];
然而，LangChain生态系统实现了文档加载器，它们与数百个常见来源集成。这使得将来自这些来源的数据整合到您的AI应用中变得容易。

​
加载文档

让我们将一个PDF文件加载成一系列Document对象。这是一个示例PDF——耐克2023年的10-K文件。我们可以查阅LangChain文档了解可用的PDF文档加载器。 
import { PDFLoader } from "@langchain/community/document_loaders/fs/pdf";

const loader = new PDFLoader("../../data/nke-10k-2023.pdf");

const docs = await loader.load();
console.log(docs.length);

107
PDFLoader 在每页PDF中加载一个 Document 对象。对于每个对象，我们可以轻松访问：
  • 页面的字符串内容；
  • 包含文件名和页码的元数据。
console.log(docs[0].pageContent.slice(0, 200));

Table of Contents
UNITED STATES
SECURITIES AND EXCHANGE COMMISSION
Washington, D.C. 20549
FORM 10-K
(Mark One)
☑ ANNUAL REPORT PURSUANT TO SECTION 13 OR 15(D) OF THE SECURITIES EXCHANGE ACT OF 1934
FO

console.log(docs[0].metadata);

{
  source: '../../data/nke-10k-2023.pdf',
  pdf: {
    version: '1.10.100',
    info: {
      PDFFormatVersion: '1.4',
      IsAcroFormPresent: false,
      IsXFAPresent: false,
      Title: '0000320187-23-000039',
      Author: 'EDGAR Online, a division of Donnelley Financial Solutions',
      Subject: 'Form 10-K filed on 2023-07-20 for the period ending 2023-05-31',
      Keywords: '0000320187-23-000039; ; 10-K',
      Creator: 'EDGAR Filing HTML Converter',
      Producer: 'EDGRpdf Service w/ EO.Pdf 22.0.40.0',
      CreationDate: "D:20230720162200-04'00'",
      ModDate: "D:20230720162208-04'00'"
    },
    metadata: null,
    totalPages: 107
  },
  loc: { pageNumber: 1 }
}

​
分割

为了信息检索和下游问答的目的，一个页面可能是一个过于粗糙的表示。我们的最终目标将是检索Document对象，这些对象可以回答输入查询，进一步拆分我们的PDF将有助于确保文档相关部分的含义不会被周围文本“冲淡”。 我们可以使用文本分割器来实现这个目的。在这里，我们将使用一个简单的基于字符的文本分割器。我们将我们的文档分割成1000个字符的块，块与块之间有200个字符的重叠。重叠有助于减少将一个陈述与其相关的重要上下文分开的可能性。我们使用RecursiveCharacterTextSplitter，它将递归地使用常见的分隔符（如换行符）来分割文档，直到每个块达到适当的大小。这是通用文本用例推荐的文本分割器。 
import { RecursiveCharacterTextSplitter } from "@langchain/textsplitters";

const textSplitter = new RecursiveCharacterTextSplitter({
  chunkSize: 1000,
  chunkOverlap: 200,
});

const allSplits = await textSplitter.splitDocuments(docs);

console.log(allSplits.length);

514

​
2. 嵌入

向量搜索是存储和搜索非结构化数据（如非结构化文本）的一种常见方式。其基本思想是存储与文本相关联的数值向量。给定一个查询，我们可以将其嵌入为一个相同维度的向量，并使用向量相似度度量（如余弦相似度）来识别相关文本。 LangChain 支持来自 数十个提供商 的嵌入。这些模型指定了如何将文本转换为数值向量。让我们选择一个模型： 
const vector1 = await embeddings.embedQuery(allSplits[0].pageContent);
const vector2 = await embeddings.embedQuery(allSplits[1].pageContent);

assert vector1.length === vector2.length;
console.log(`Generated vectors of length ${vector1.length}\n`);
console.log(vector1.slice(0, 10));

Generated vectors of length 1536

[-0.008586574345827103, -0.03341241180896759, -0.008936782367527485, -0.0036674530711025, 0.010564599186182022, 0.009598285891115665, -0.028587326407432556, -0.015824200585484505, 0.0030416189692914486, -0.012899317778646946]
利用用于生成文本嵌入的模型，我们接下来可以将它们存储在一个支持高效相似性搜索的特殊数据结构中。

​
3. 向量存储

LangChain@[VectorStore]对象包含向存储库添加文本和Document对象的方法，并使用各种相似性指标查询它们。它们通常使用嵌入模型初始化，这些模型决定了文本数据如何转换为数值向量。 LangChain 包含一套 集成，支持不同的向量存储技术。一些向量存储由提供商托管（例如，各种云提供商），并需要特定的凭证才能使用；一些（如 Postgres) 在独立的基础设施中运行，可以本地运行或通过第三方运行；其他可以在内存中运行，适用于轻量级工作负载。让我们选择一个向量存储： 实例化我们的向量存储后，我们现在可以索引文档了。 
await vectorStore.addDocuments(allSplits);
请注意，大多数向量存储实现都允许您连接到现有的向量存储——例如，通过提供客户端、索引名称或其他信息。有关特定集成的详细信息，请参阅文档。 一旦实例化了一个包含文档的 @[VectorStore]，我们就可以对其进行查询。@[VectorStore] 包含以下查询方法：
  • 同步和异步；
  • 通过字符串查询和通过向量；
  • 带有和没有返回相似度分数；
  • 通过相似度和@[最大边际相关性][VectorStore.max_marginal_relevance_search]（以平衡相似度与查询的多样性，从而在检索结果中实现平衡）。
方法通常会在其输出中包含一个文档对象的列表。 用法 嵌入通常将文本表示为“密集”向量，使得具有相似意义的文本在几何上是接近的。这使得我们只需输入一个问题，无需了解文档中使用的任何特定关键词，就能检索相关信息。 根据字符串查询的相似度返回文档： 
const results1 = await vectorStore.similaritySearch(
  "When was Nike incorporated?"
);

console.log(results1[0]);

Document {
    pageContent: 'direct to consumer operations sell products...',
    metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125}
}
返回分数： 
const results2 = await vectorStore.similaritySearchWithScore(
  "What was Nike's revenue in 2023?"
);

console.log(results2[0]);

Score: 0.23699893057346344

Document {
    pageContent: 'Table of Contents...',
    metadata: {'page': 35, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0}
}
根据嵌入查询的相似度返回文档： 
const embedding = await embeddings.embedQuery(
  "How were Nike's margins impacted in 2023?"
);

const results3 = await vectorStore.similaritySearchVectorWithScore(
  embedding,
  1
);

console.log(results3[0]);

Document {
    pageContent: 'FISCAL 2023 COMPARED TO FISCAL 2022...',
    metadata: {
        'page': 36,
        'source': '../example_data/nke-10k-2023.pdf',
        'start_index': 0
    }
}
了解更多：

​
4. 检索器

LangChain @[VectorStore] 对象不继承自 @[Runnable]。LangChain @[Retrievers] 是可运行的，因此它们实现了一套标准方法（例如，同步和异步的 invoke 和 batch 操作）。尽管我们可以从向量存储中构建检索器，但检索器也可以与数据源的非向量存储接口（如外部API）进行交互。 向量存储实现了一个 as_retriever 方法，该方法将生成一个检索器，具体为 VectorStoreRetriever。这些检索器包括特定的 search_type 和 search_kwargs 属性，用于标识要调用底层向量存储的哪些方法，以及如何参数化它们。例如，我们可以用以下方式复制上述操作： 
const retriever = vectorStore.asRetriever({
  searchType: "mmr",
  searchKwargs: {
    fetchK: 1,
  },
});

await retriever.batch([
  "When was Nike incorporated?",
  "What was Nike's revenue in 2023?",
]);

[
    [Document {
        metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125},
        pageContent: 'direct to consumer operations sell products...',
    }],
    [Document {
        metadata: {'page': 3, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0},
        pageContent: 'Table of Contents...',
    }],
]
智能体可以轻松集成到更复杂的应用中，例如将给定问题与检索到的上下文结合成一个用于LLM的提示的检索增强生成（RAG）应用。要了解更多关于构建此类应用的信息，请查看RAG教程。

​
下一步

您现在已经看到了如何在PDF文档上构建一个语义搜索引擎的方法。 关于文档加载器的更多信息： 关于嵌入体的更多信息： 关于向量存储的更多信息： 关于RAG的更多信息，请参阅：
在GitHub上编辑此页面的源代码。
通过MCP将这些文档编程连接到Claude、VSCode等，以获取实时答案。