侏罗纪 2 聊天

AI21 Labs Jurassic on Amazon Bedrock Jurassic 是 AI21 Labs 面向企业的可靠 FM 系列,为数千个实时应用程序中的复杂语言生成任务提供支持,例如问答、文本生成、搜索和摘要。spring-doc.cadn.net.cn

先决条件

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅 Repositories 部分,将这些存储库添加到您的构建系统中。spring-doc.cadn.net.cn

为了帮助进行依赖项管理,Spring AI 提供了一个 BOM(物料清单),以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖项管理部分,将 Spring AI BOM 添加到您的构建系统中。spring-doc.cadn.net.cn

自动配置

添加spring-ai-bedrock-ai-spring-boot-starter依赖项添加到项目的 Mavenpom.xml文件:spring-doc.cadn.net.cn

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。

启用 Jurassic-2

默认情况下,Bedrock Jurassic-2 模型处于禁用状态。 要启用它,请将spring.ai.bedrock.jurassic2.chat.enabledproperty 设置为true. 导出环境变量是设置此配置属性的一种方法:spring-doc.cadn.net.cn

export SPRING_AI_BEDROCK_JURASSIC2_CHAT_ENABLED=true

聊天属性

前缀spring.ai.bedrock.aws是用于配置与 AWS Bedrock 的连接的属性前缀。spring-doc.cadn.net.cn

财产 描述 违约

spring.ai.bedrock.aws.regionspring-doc.cadn.net.cn

要使用的 AWS 区域。spring-doc.cadn.net.cn

us-east-1 (美国东部-1)spring-doc.cadn.net.cn

spring.ai.bedrock.aws.timeoutspring-doc.cadn.net.cn

要使用的 AWS 超时。spring-doc.cadn.net.cn

5 分钟spring-doc.cadn.net.cn

spring.ai.bedrock.aws.access-keyspring-doc.cadn.net.cn

AWS 访问密钥。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

spring.ai.bedrock.aws.secret-keyspring-doc.cadn.net.cn

AWS 密钥。spring-doc.cadn.net.cn

-spring-doc.cadn.net.cn

前缀spring.ai.bedrock.jurassic2.chat是配置 Jurassic-2 的聊天模型实现的属性前缀。spring-doc.cadn.net.cn

财产 描述 违约

spring.ai.bedrock.jurassic2.chat.enabledspring-doc.cadn.net.cn

启用或禁用对 Jurassic-2 的支持spring-doc.cadn.net.cn

spring-doc.cadn.net.cn

spring.ai.bedrock.jurassic2.chat.modelspring-doc.cadn.net.cn

要使用的模型 ID(见下文)spring-doc.cadn.net.cn

AI21.j2-mid-v1spring-doc.cadn.net.cn

spring.ai.bedrock.jurassic2.chat.options.temperaturespring-doc.cadn.net.cn

控制输出的随机性。值的范围可以超过 [0.0,1.0] 和 [0.0,1.0]。接近 1.0 的值将产生变化较大的响应,而接近 0.0 的值通常会导致来自模型的响应不那么令人惊讶。此值指定后端在调用模型时使用的 default。spring-doc.cadn.net.cn

0.7spring-doc.cadn.net.cn

spring.ai.bedrock.jurassic2.chat.options.top-pspring-doc.cadn.net.cn

采样时要考虑的 token 的最大累积概率。该模型使用 Top-k 和原子核采样的组合。Nucleus 采样考虑概率和至少为 topP 的最小标记集。spring-doc.cadn.net.cn

AWS Bedrock 默认spring-doc.cadn.net.cn

spring.ai.bedrock.jurassic2.chat.options.max 代币spring-doc.cadn.net.cn

指定要在生成的响应中使用的最大令牌数。一旦生成的文本超过 maxTokens,模型就会截断响应。spring-doc.cadn.net.cn

500spring-doc.cadn.net.cn

查看 Ai21Jurassic2ChatBedrockApi#Ai21Jurassic2ChatModel 以获取其他模型 ID。支持的另一个值是ai21.j2-ultra-v1. 模型 ID 值也可以在 AWS Bedrock 文档中找到基本模型 IDspring-doc.cadn.net.cn

所有前缀为spring.ai.bedrock.jurassic2.chat.options可以通过将特定于请求的运行时选项添加到Prompt叫。

运行时选项

BedrockAi21Jurassic2ChatOptions.java 提供了模型配置,例如 temperature、topP、maxTokens 等。spring-doc.cadn.net.cn

启动时,可以使用BedrockAi21Jurassic2ChatModel(api, options)constructor 或spring.ai.bedrock.jurassic2.chat.options.*性能。spring-doc.cadn.net.cn

在运行时,您可以通过向Prompt叫。 例如,要覆盖特定请求的默认温度:spring-doc.cadn.net.cn

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        BedrockAi21Jurassic2ChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的 BedrockAi21Jurassic2ChatOptions 之外,您还可以使用通过 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。

Samples控制器

创建一个新的 Spring Boot 项目并添加spring-ai-bedrock-ai-spring-boot-starter添加到您的 POM(或 Gradle)依赖项中。spring-doc.cadn.net.cn

添加application.properties文件中的src/main/resources目录中,以启用和配置 Jurassic-2 聊天模型:spring-doc.cadn.net.cn

spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}

spring.ai.bedrock.jurassic2.chat.enabled=true
spring.ai.bedrock.jurassic2.chat.options.temperature=0.8
regions,access-keysecret-key替换为您的 AWS 凭证。

这将创建一个BedrockAi21Jurassic2ChatModel实现,您可以将其注入到您的类中。 下面是一个简单的示例@Controller使用 Chat 模型生成文本的类。spring-doc.cadn.net.cn

@RestController
public class ChatController {

    private final BedrockAi21Jurassic2ChatModel chatModel;

    @Autowired
    public ChatController(BedrockAi21Jurassic2ChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

}

手动配置

BedrockAi21Jurassic2ChatModel 实现了ChatModel使用 Low-level Client 连接 Bedrock Jurassic-2 服务。spring-doc.cadn.net.cn

添加spring-ai-bedrock依赖项添加到项目的 Mavenpom.xml文件:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-bedrock</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。

接下来,创建一个 BedrockAi21Jurassic2ChatModel 并将其用于文本生成:spring-doc.cadn.net.cn

Ai21Jurassic2ChatBedrockApi api = new Ai21Jurassic2ChatBedrockApi(Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
    EnvironmentVariableCredentialsProvider.create(),
    Region.US_EAST_1.id(),
    new ObjectMapper(),
    Duration.ofMillis(1000L));

BedrockAi21Jurassic2ChatModel chatModel = new BedrockAi21Jurassic2ChatModel(this.api,
    BedrockAi21Jurassic2ChatOptions.builder()
        .withTemperature(0.5)
        .withMaxTokens(100)
        .withTopP(0.9).build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

低级客户端

Ai21Jurassic2ChatBedrockApi 在 AWS Bedrock Jurassic-2 和 Jurassic-2 Chat 模型之上提供轻量级 Java 客户端。spring-doc.cadn.net.cn

Ai21Jurassic2ChatBedrockApi支持ai21.j2-mid-v1ai21.j2-ultra-v1模型,并且仅支持同步 (chatCompletion()).spring-doc.cadn.net.cn

以下是有关如何以编程方式使用 API 的简单代码段:spring-doc.cadn.net.cn

Ai21Jurassic2ChatBedrockApi jurassic2ChatApi = new Ai21Jurassic2ChatBedrockApi(
        Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
        Region.US_EAST_1.id(),
        Duration.ofMillis(1000L));

Ai21Jurassic2ChatRequest request = Ai21Jurassic2ChatRequest.builder("Hello, my name is")
        .withTemperature(0.9)
        .withTopP(0.9)
        .withMaxTokens(20)
        .build();

Ai21Jurassic2ChatResponse response = this.jurassic2ChatApi.chatCompletion(this.request);

有关详细信息,请遵循 Ai21Jurassic2ChatBedrockApi.java 的 JavaDoc。spring-doc.cadn.net.cn