侏罗纪 2 聊天
AI21 Labs Jurassic on Amazon Bedrock Jurassic 是 AI21 Labs 面向企业的可靠 FM 系列,为数千个实时应用程序中的复杂语言生成任务提供支持,例如问答、文本生成、搜索和摘要。
先决条件
请参阅 Amazon Bedrock 上的 Spring AI 文档以设置 API 访问。
添加存储库和 BOM
Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅 Repositories 部分,将这些存储库添加到您的构建系统中。
为了帮助进行依赖项管理,Spring AI 提供了一个 BOM(物料清单),以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖项管理部分,将 Spring AI BOM 添加到您的构建系统中。
自动配置
添加spring-ai-bedrock-ai-spring-boot-starter
依赖项添加到项目的 Mavenpom.xml
文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>
或发送到您的 Gradlebuild.gradle
build 文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 |
启用 Jurassic-2
默认情况下,Bedrock Jurassic-2 模型处于禁用状态。
要启用它,请将spring.ai.bedrock.jurassic2.chat.enabled
property 设置为true
.
导出环境变量是设置此配置属性的一种方法:
export SPRING_AI_BEDROCK_JURASSIC2_CHAT_ENABLED=true
聊天属性
前缀spring.ai.bedrock.aws
是用于配置与 AWS Bedrock 的连接的属性前缀。
财产 | 描述 | 违约 |
---|---|---|
spring.ai.bedrock.aws.region |
要使用的 AWS 区域。 |
us-east-1 (美国东部-1) |
spring.ai.bedrock.aws.timeout |
要使用的 AWS 超时。 |
5 分钟 |
spring.ai.bedrock.aws.access-key |
AWS 访问密钥。 |
- |
spring.ai.bedrock.aws.secret-key |
AWS 密钥。 |
- |
前缀spring.ai.bedrock.jurassic2.chat
是配置 Jurassic-2 的聊天模型实现的属性前缀。
财产 | 描述 | 违约 |
---|---|---|
spring.ai.bedrock.jurassic2.chat.enabled |
启用或禁用对 Jurassic-2 的支持 |
假 |
spring.ai.bedrock.jurassic2.chat.model |
要使用的模型 ID(见下文) |
AI21.j2-mid-v1 |
spring.ai.bedrock.jurassic2.chat.options.temperature |
控制输出的随机性。值的范围可以超过 [0.0,1.0] 和 [0.0,1.0]。接近 1.0 的值将产生变化较大的响应,而接近 0.0 的值通常会导致来自模型的响应不那么令人惊讶。此值指定后端在调用模型时使用的 default。 |
0.7 |
spring.ai.bedrock.jurassic2.chat.options.top-p |
采样时要考虑的 token 的最大累积概率。该模型使用 Top-k 和原子核采样的组合。Nucleus 采样考虑概率和至少为 topP 的最小标记集。 |
AWS Bedrock 默认 |
spring.ai.bedrock.jurassic2.chat.options.max 代币 |
指定要在生成的响应中使用的最大令牌数。一旦生成的文本超过 maxTokens,模型就会截断响应。 |
500 |
查看 Ai21Jurassic2ChatBedrockApi#Ai21Jurassic2ChatModel 以获取其他模型 ID。支持的另一个值是ai21.j2-ultra-v1
.
模型 ID 值也可以在 AWS Bedrock 文档中找到基本模型 ID。
所有前缀为spring.ai.bedrock.jurassic2.chat.options 可以通过将特定于请求的运行时选项添加到Prompt 叫。 |
运行时选项
BedrockAi21Jurassic2ChatOptions.java 提供了模型配置,例如 temperature、topP、maxTokens 等。
启动时,可以使用BedrockAi21Jurassic2ChatModel(api, options)
constructor 或spring.ai.bedrock.jurassic2.chat.options.*
性能。
在运行时,您可以通过向Prompt
叫。
例如,要覆盖特定请求的默认温度:
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.4)
.build()
));
除了特定于模型的 BedrockAi21Jurassic2ChatOptions 之外,您还可以使用通过 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。 |
Samples控制器
创建一个新的 Spring Boot 项目并添加spring-ai-bedrock-ai-spring-boot-starter
添加到您的 POM(或 Gradle)依赖项中。
添加application.properties
文件中的src/main/resources
目录中,以启用和配置 Jurassic-2 聊天模型:
spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}
spring.ai.bedrock.jurassic2.chat.enabled=true
spring.ai.bedrock.jurassic2.chat.options.temperature=0.8
将regions ,access-key 和secret-key 替换为您的 AWS 凭证。 |
这将创建一个BedrockAi21Jurassic2ChatModel
实现,您可以将其注入到您的类中。
下面是一个简单的示例@Controller
使用 Chat 模型生成文本的类。
@RestController
public class ChatController {
private final BedrockAi21Jurassic2ChatModel chatModel;
@Autowired
public ChatController(BedrockAi21Jurassic2ChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", this.chatModel.call(message));
}
}
手动配置
BedrockAi21Jurassic2ChatModel 实现了ChatModel
使用 Low-level Client 连接 Bedrock Jurassic-2 服务。
添加spring-ai-bedrock
依赖项添加到项目的 Mavenpom.xml
文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock</artifactId>
</dependency>
或发送到您的 Gradlebuild.gradle
build 文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-bedrock'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。 |
接下来,创建一个 BedrockAi21Jurassic2ChatModel 并将其用于文本生成:
Ai21Jurassic2ChatBedrockApi api = new Ai21Jurassic2ChatBedrockApi(Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
EnvironmentVariableCredentialsProvider.create(),
Region.US_EAST_1.id(),
new ObjectMapper(),
Duration.ofMillis(1000L));
BedrockAi21Jurassic2ChatModel chatModel = new BedrockAi21Jurassic2ChatModel(this.api,
BedrockAi21Jurassic2ChatOptions.builder()
.withTemperature(0.5)
.withMaxTokens(100)
.withTopP(0.9).build());
ChatResponse response = this.chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
低级客户端
Ai21Jurassic2ChatBedrockApi 在 AWS Bedrock Jurassic-2 和 Jurassic-2 Chat 模型之上提供轻量级 Java 客户端。
这Ai21Jurassic2ChatBedrockApi
支持ai21.j2-mid-v1
和ai21.j2-ultra-v1
模型,并且仅支持同步 (chatCompletion()
).
以下是有关如何以编程方式使用 API 的简单代码段:
Ai21Jurassic2ChatBedrockApi jurassic2ChatApi = new Ai21Jurassic2ChatBedrockApi(
Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
Region.US_EAST_1.id(),
Duration.ofMillis(1000L));
Ai21Jurassic2ChatRequest request = Ai21Jurassic2ChatRequest.builder("Hello, my name is")
.withTemperature(0.9)
.withTopP(0.9)
.withMaxTokens(20)
.build();
Ai21Jurassic2ChatResponse response = this.jurassic2ChatApi.chatCompletion(this.request);
有关详细信息,请遵循 Ai21Jurassic2ChatBedrockApi.java 的 JavaDoc。