Azure OpenAI 听录

先决条件

获取 Azure OpenAIendpointapi-keyAzure 门户上的 Azure OpenAI 服务部分。 Spring AI 定义了一个名为spring.ai.azure.openai.api-key,您应该设置为API Key从 Azure 获得。 还有一个名为spring.ai.azure.openai.endpoint应将其设置为在 Azure 中预配模型时获取的终结点 URL。 导出环境变量是设置该配置属性的一种方法:spring-doc.cadn.net.cn

自动配置

Spring AI 为 Azure OpenAI 听录生成客户端提供 Spring Boot 自动配置。 要启用它,请将以下依赖项添加到项目的 Maven 中pom.xml文件:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-azure-openai-spring-boot-starter</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-azure-openai-spring-boot-starter'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。

转录属性

前缀spring.ai.openai.audio.transcription用作属性前缀,允许您为 OpenAI 图像模型配置重试机制。spring-doc.cadn.net.cn

财产 描述 违约

spring.ai.azure.openai.audio.transcription.enabledspring-doc.cadn.net.cn

启用 Azure OpenAI 听录模型。spring-doc.cadn.net.cn

spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.modelspring-doc.cadn.net.cn

要使用的模型的 ID。目前只有 whisper 可用。spring-doc.cadn.net.cn

耳语spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.deployment-namespring-doc.cadn.net.cn

部署模型的部署名称。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.response-formatspring-doc.cadn.net.cn

脚本输出的格式,采用以下选项之一:json、text、srt、verbose_json 或 vtt。spring-doc.cadn.net.cn

JSON 格式spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.promptspring-doc.cadn.net.cn

一个可选文本,用于引导模型的样式或继续上一个音频片段。提示应与音频语言匹配。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.languagespring-doc.cadn.net.cn

输入音频的语言。以 ISO-639-1 格式提供输入语言将提高准确性和延迟时间。spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.temperaturespring-doc.cadn.net.cn

采样温度,介于 0 和 1 之间。较高的值(如 0.8)将使输出更加随机,而较低的值(如 0.2)将使其更加集中和确定。如果设置为 0,则模型将使用对数概率自动增加温度,直到达到某些阈值。spring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

spring.ai.azure.openai.audio.transcription.options.timestamp-granularitiesspring-doc.cadn.net.cn

要为此转录填充的时间戳粒度。必须verbose_json response_format 设置为使用时间戳粒度。支持以下选项中的一个或两个:word 或 segment。注意:段时间戳没有额外的延迟,但生成单词时间戳会产生额外的延迟。spring-doc.cadn.net.cn

spring-doc.cadn.net.cn

运行时选项

AzureOpenAiAudioTranscriptionOptionsclass 提供进行转录时要使用的选项。 启动时,由spring.ai.azure.openai.audio.transcription,但您可以在运行时覆盖这些 ID。spring-doc.cadn.net.cn

AzureOpenAiAudioTranscriptionOptions.TranscriptResponseFormat responseFormat = AzureOpenAiAudioTranscriptionOptions.TranscriptResponseFormat.VTT;

AzureOpenAiAudioTranscriptionOptions transcriptionOptions = AzureOpenAiAudioTranscriptionOptions.builder()
    .language("en")
    .prompt("Ask not this, but ask that")
    .temperature(0f)
    .responseFormat(this.responseFormat)
    .build();
AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(audioFile, this.transcriptionOptions);
AudioTranscriptionResponse response = azureOpenAiTranscriptionModel.call(this.transcriptionRequest);

手动配置

添加spring-ai-openai依赖项添加到项目的 Mavenpom.xml文件:spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-azure-openai</artifactId>
</dependency>

或发送到您的 Gradlebuild.gradlebuild 文件。spring-doc.cadn.net.cn

dependencies {
    implementation 'org.springframework.ai:spring-ai-azure-openai'
}
请参阅 Dependency Management 部分,将 Spring AI BOM 添加到您的构建文件中。

接下来,创建一个AzureOpenAiAudioTranscriptionModelspring-doc.cadn.net.cn

var openAIClient = new OpenAIClientBuilder()
    .credential(new AzureKeyCredential(System.getenv("AZURE_OPENAI_API_KEY")))
    .endpoint(System.getenv("AZURE_OPENAI_ENDPOINT"))
    .buildClient();

var azureOpenAiAudioTranscriptionModel = new AzureOpenAiAudioTranscriptionModel(this.openAIClient, null);

var transcriptionOptions = AzureOpenAiAudioTranscriptionOptions.builder()
    .responseFormat(TranscriptResponseFormat.TEXT)
    .temperature(0f)
    .build();

var audioFile = new FileSystemResource("/path/to/your/resource/speech/jfk.flac");

AudioTranscriptionPrompt transcriptionRequest = new AudioTranscriptionPrompt(this.audioFile, this.transcriptionOptions);
AudioTranscriptionResponse response = this.azureOpenAiAudioTranscriptionModel.call(this.transcriptionRequest);