PGvector

本节将指导您完成 PGvector 的设置VectorStore来存储文档嵌入并执行相似性搜索。spring-doc.cadn.net.cn

PGvector 是 PostgreSQL 的开源扩展,支持存储和搜索机器学习生成的嵌入。它提供了不同的功能,使用户能够识别精确和近似的最近邻。它旨在与其他 PostgreSQL 功能无缝协作,包括索引和查询。spring-doc.cadn.net.cn

先决条件

首先,您需要在启用 PostgreSQL 的情况下访问 PostgreSQL 实例vector,hstoreuuid-ossp扩展。spring-doc.cadn.net.cn

您可以通过 Docker ComposeTestcontainers 将 PGvector 数据库作为 Spring Boot 开发服务运行。或者,设置本地 Postgres/PGVector 附录显示了如何使用 Docker 容器在本地设置数据库。

启动时,PgVectorStore将尝试安装所需的数据库扩展并创建所需的vector_storetable 中带有索引(如果不存在)。spring-doc.cadn.net.cn

或者,您可以手动执行此作,如下所示:spring-doc.cadn.net.cn

CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";

CREATE TABLE IF NOT EXISTS vector_store (
	id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
	content text,
	metadata json,
	embedding vector(1536) // 1536 is the default embedding dimension
);

CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);
1536替换为实际嵌入维度(如果您使用的是其他维度)。PGvector 最多支持 2000 个 HNSW 索引维度。

接下来,如果需要,EmbeddingModel 的 API 密钥,用于生成由PgVectorStore.spring-doc.cadn.net.cn

自动配置

然后将 PgVectorStore 启动Starters依赖项添加到您的项目中:spring-doc.cadn.net.cn

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-pgvector-store-spring-boot-starter'
}

矢量存储实现可以为您初始化所需的架构,但您必须通过指定initializeSchemaboolean 或设置…​initialize-schema=trueapplication.properties文件。spring-doc.cadn.net.cn

这是一个突破性的变化!在早期版本的 Spring AI 中,默认情况下会进行此架构初始化。

Vector Store 还需要EmbeddingModel实例来计算文档的嵌入。 您可以选择一个可用的 EmbeddingModel Implementationsspring-doc.cadn.net.cn

例如,要使用 OpenAI EmbeddingModel,请将以下依赖项添加到您的项目中:spring-doc.cadn.net.cn

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 请参阅 Repositories 部分,将 Milestone 和/或 Snapshot Repositories 添加到您的构建文件中。

要连接并配置PgVectorStore,您需要提供实例的访问详细信息。 可以通过 Spring Boot 的application.yml.spring-doc.cadn.net.cn

spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/postgres
    username: postgres
    password: postgres
  ai:
	vectorstore:
	  pgvector:
		index-type: HNSW
		distance-type: COSINE_DISTANCE
		dimensions: 1536
如果您通过 Docker ComposeTestcontainers 将 PGvector 作为 Spring Boot 开发服务运行,则 您无需配置 URL、用户名和密码,因为它们是由 Spring Boot 自动配置的。
检查配置参数列表以了解默认值和配置选项。

现在,您可以自动连接PgVectorStore在您的应用程序中并使用它spring-doc.cadn.net.cn

@Autowired VectorStore vectorStore;

// ...

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to PGVector
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

配置属性

您可以在 Spring Boot 配置中使用以下属性来自定义 PGVector 矢量存储。spring-doc.cadn.net.cn

财产 描述 默认值

spring.ai.vectorstore.pgvector.index-typespring-doc.cadn.net.cn

最近邻搜索索引类型。选项包括NONE- 精确最近邻搜索,IVFFlat- index 将向量划分为列表,然后搜索最接近查询向量的列表子集。与 HNSW 相比,它具有更快的构建时间并使用更少的内存,但查询性能较低(在速度-召回率权衡方面)。HNSW- 创建多层图。与 IVFFlat 相比,它的构建时间较慢,使用的内存更多,但具有更好的查询性能(在速度-召回率权衡方面)。没有像 IVFFlat 这样的训练步骤,因此可以在表中没有任何数据的情况下创建索引。spring-doc.cadn.net.cn

高净值偏南spring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.distance-typespring-doc.cadn.net.cn

搜索距离类型。默认为COSINE_DISTANCE.但是,如果向量被规范化为长度 1,则可以使用EUCLIDEAN_DISTANCENEGATIVE_INNER_PRODUCT以获得最佳性能。spring-doc.cadn.net.cn

COSINE_DISTANCEspring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.dimensionsspring-doc.cadn.net.cn

嵌入维度。如果未明确指定,则 PgVectorStore 将从提供的EmbeddingModel.维度设置为表上创建的嵌入列。如果更改维度,则还必须重新创建 vector_store 表。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.remove-existing-vector-store-tablespring-doc.cadn.net.cn

删除现有的vector_storetable 的 intent 值。spring-doc.cadn.net.cn

spring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.initialize-schemaspring-doc.cadn.net.cn

是否初始化所需的 schemaspring-doc.cadn.net.cn

spring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.schema-namespring-doc.cadn.net.cn

矢量存储架构名称spring-doc.cadn.net.cn

publicspring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.table-namespring-doc.cadn.net.cn

矢量存储表名称spring-doc.cadn.net.cn

vector_storespring-doc.cadn.net.cn

spring.ai.vectorstore.pgvector.schema-validationspring-doc.cadn.net.cn

启用 Schema 和 Table 名称验证,以确保它们是有效的现有对象。spring-doc.cadn.net.cn

spring-doc.cadn.net.cn

如果配置自定义架构和/或表名称,请考虑通过设置spring.ai.vectorstore.pgvector.schema-validation=true. 这样可以确保名称的正确性,并降低 SQL 注入攻击的风险。

元数据筛选

您可以将通用的可移植元数据过滤器与 PgVector 存储结合使用。spring-doc.cadn.net.cn

例如,您可以使用文本表达式语言:spring-doc.cadn.net.cn

vectorStore.similaritySearch(
    SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression("author in ['john', 'jill'] && article_type == 'blog'"));

或者以编程方式使用Filter.ExpressionDSL:spring-doc.cadn.net.cn

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()));
这些筛选表达式将转换为等效的 PgVector 筛选条件。

手动配置

除了使用 Spring Boot 自动配置,您还可以手动配置PgVectorStore. 为此,您需要添加 PostgreSQL 连接和JdbcTemplateauto-configuration 依赖项添加到项目中:spring-doc.cadn.net.cn

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>org.postgresql</groupId>
	<artifactId>postgresql</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store</artifactId>
</dependency>
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。

要在应用程序中配置 PgVector,您可以使用以下设置:spring-doc.cadn.net.cn

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
	return new PgVectorStore(jdbcTemplate, embeddingModel);
}

在本地运行Postgres和PGVector DB

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres pgvector/pgvector

您可以像这样连接到此服务器:spring-doc.cadn.net.cn

psql -U postgres -h localhost -p 5432