单步批处理作业Starters

本节介绍如何开发 Spring BatchJob使用单个Step通过使用 starter 包含在 Spring Cloud Task 中。此 Starter 允许您使用配置 要定义ItemReader一ItemWriter或完整的单步 Spring BatchJob. 有关 Spring Batch 及其功能的更多信息，请参阅 Spring Batch 文档。spring-doc.cadn.net.cn

要获取 Maven 的 starter，请将以下内容添加到您的构建中：spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-single-step-batch-job</artifactId>
    <version>2.3.0</version>
</dependency>

要获取 Gradle 的 starter，请将以下内容添加到您的构建中：spring-doc.cadn.net.cn

compile "org.springframework.cloud:spring-cloud-starter-single-step-batch-job:2.3.0"

13. 定义作业

您可以使用 starter 定义ItemReader或ItemWriter或多达一个完整的Job. 在本节中，我们将定义配置Job.spring-doc.cadn.net.cn

13.1. 属性

首先，Starter 提供了一组属性，允许您通过一个 Step 配置 Job 的基础知识：spring-doc.cadn.net.cn

表 1.作业属性
财产 类型 默认值 描述

spring.batch.job.jobNamespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

作业的名称。spring-doc.cadn.net.cn

spring.batch.job.stepNamespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

步骤的名称。spring-doc.cadn.net.cn

spring.batch.job.chunkSizespring-doc.cadn.net.cn

Integerspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

每个交易要处理的项目数。spring-doc.cadn.net.cn

配置上述属性后，您将拥有一个具有单个基于块的步骤的作业。 此基于数据块的步骤读取、处理和写入Map<String, Object>实例作为 项目。但是，该步骤尚未执行任何作。您需要配置ItemReader一 自选ItemProcessor和ItemWriter给它一些事情做。配置一个 其中，您可以使用 properties 并配置已提供的 auto配置，或者您可以使用标准的 Spring 配置来配置自己的 机制。spring-doc.cadn.net.cn

如果您配置自己的类型，则输入和输出类型必须与步骤中的其他类型匹配。 这ItemReaderimplementations 和ItemWriter此 Starter 中的 implementations 都使用 一个Map<String, Object>作为 Input 和 Output 项。

14. ItemReader 实现的自动配置

此Starters为四种不同的ItemReader实现：AmqpItemReader,FlatFileItemReader,JdbcCursorItemReader和KafkaItemReader. 在本节中，我们将概述如何使用提供的 autoconfiguration 的spring-doc.cadn.net.cn

14.1. AmqpItemReader

您可以使用 AMQP 从 AMQP 的队列或主题中读取AmqpItemReader.这 autoconfiguration 的ItemReaderimplementation 依赖于两组 配置。第一个是AmqpTemplate.您可以 自己配置或使用 Spring Boot 提供的自动配置。请参阅 Spring Boot AMQP 文档。 配置AmqpTemplate中，您可以启用 Batch 功能来支持它 通过设置以下属性：spring-doc.cadn.net.cn

表 2.AmqpItemReader性能
财产 类型 默认值 描述

spring.batch.job.amqpitemreader.enabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果true，将执行自动配置。spring-doc.cadn.net.cn

spring.batch.job.amqpitemreader.jsonConverterEnabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示Jackson2JsonMessageConverter应注册以解析消息。spring-doc.cadn.net.cn

有关更多信息，请参阅AmqpItemReader文档.spring-doc.cadn.net.cn

14.2. FlatFileItemReader

FlatFileItemReader允许您从平面文件（如 CSV 和其他文件格式）。要从文件中读取数据，您可以提供一些组件 您自己通过正常的 Spring 配置 （LineTokenizer,RecordSeparatorPolicy,FieldSetMapper,LineMapper或SkippedLinesCallback).您还可以使用 以下属性来配置读取器：spring-doc.cadn.net.cn

表 3.FlatFileItemReader性能
财产 类型 默认值 描述

spring.batch.job.flatfileitemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重新启动。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

名称 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.maxItemcountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

Integer.MAX_VALUEspring-doc.cadn.net.cn

要从文件中读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.currentItemCountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

已读取的项目数。在重新启动时使用。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.commentsspring-doc.cadn.net.cn

List<String>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

一个 Strings 列表，指示文件中的注释行（要忽略的行）。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.resourcespring-doc.cadn.net.cn

Resourcespring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要读取的资源。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.strictspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true时，如果找不到资源，则读取器将引发异常。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.encodingspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemReader.DEFAULT_CHARSETspring-doc.cadn.net.cn

读取文件时要使用的编码。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.linesToSkipspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

指示在文件开头要跳过的行数。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.delimitedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示文件是否为带分隔符的文件 （CSV 和其他格式）。只有此属性之一或spring.batch.job.flatfileitemreader.fixedLength可以是true同时。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.delimiterspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

DelimitedLineTokenizer.DELIMITER_COMMAspring-doc.cadn.net.cn

如果读取分隔文件，则指示要解析的分隔符。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.quoteCharacterspring-doc.cadn.net.cn

charspring-doc.cadn.net.cn

DelimitedLineTokenizer.DEFAULT_QUOTE_CHARACTERspring-doc.cadn.net.cn

用于确定用于引用值的字符。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.includedFieldsspring-doc.cadn.net.cn

List<Integer>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

一个索引列表，用于确定要包含在项目中的记录中的哪些字段。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.fixedLengthspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示是否按列号解析文件的记录。只有此属性之一或spring.batch.job.flatfileitemreader.delimited可以是true同时。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.rangesspring-doc.cadn.net.cn

List<Range>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

用于解析固定宽度记录的列范围列表。请参阅 Range 文档。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.namesspring-doc.cadn.net.cn

String []spring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

从记录中解析的每个字段的名称列表。这些名称是Map<String, Object>在从此返回的项中ItemReader.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.parsingStrictspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true，如果无法映射字段，则映射将失败。spring-doc.cadn.net.cn

请参阅FlatFileItemReader文档.spring-doc.cadn.net.cn

14.3. JdbcCursorItemReader的

这JdbcCursorItemReader对关系数据库运行查询并迭代 生成的游标 （ResultSet） 以提供生成的项。此 autoconfiguration 允许您提供PreparedStatementSetter一个RowMapper和/或两者。你 还可以使用以下属性来配置JdbcCursorItemReader:spring-doc.cadn.net.cn

表 4.JdbcCursorItemReader性能
财产 类型 默认值 描述

spring.batch.job.jdbccursoritemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重新启动。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

名称 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.maxItemcountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

Integer.MAX_VALUEspring-doc.cadn.net.cn

要从文件中读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.currentItemCountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

已读取的项目数。在重新启动时使用。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.fetchSizespring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

对驱动程序的提示，用于指示每次调用数据库系统要检索的记录数。为了获得最佳性能，您通常需要将其设置为与 chunk 大小匹配。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.maxRowsspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

要从数据库中读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.queryTimeoutspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

查询超时的毫秒数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.ignoreWarningsspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定读取器在处理时是否应忽略 SQL 警告。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.verifyCursorPositionspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示是否应在每次读取后验证游标的位置，以验证RowMapper未使光标前进。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.driverSupportsAbsolutespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示驱动程序是否支持游标的绝对定位。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.useSharedExtendedConnectionspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示连接是否与其他处理共享（因此是事务的一部分）。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.sqlspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要从中读取的 SQL 查询。spring-doc.cadn.net.cn

请参阅JdbcCursorItemReader文档.spring-doc.cadn.net.cn

14.4. KafkaItemReader

从 Kafka 主题中提取数据分区非常有用，而这正是KafkaItemReader可以做到。要配置KafkaItemReader、两件 的配置是必需的。首先，使用 Spring Boot 的 Kafka 配置 Kafka autoconfiguration 是必需的（请参阅 Spring Boot Kafka 文档）。 从 Spring Boot 配置 Kafka 属性后，您可以配置KafkaItemReader本身：spring-doc.cadn.net.cn

表 5.KafkaItemReader性能
财产 类型 默认值 描述

spring.batch.job.kafkaitemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

名称 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.topicspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要从中读取的主题的名称。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.partitionsspring-doc.cadn.net.cn

List<Integer>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

要从中读取的分区索引列表。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.pollTimeOutInSecondsspring-doc.cadn.net.cn

longspring-doc.cadn.net.cn

30spring-doc.cadn.net.cn

超时poll()操作。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重新启动。spring-doc.cadn.net.cn

请参阅KafkaItemReader文档.spring-doc.cadn.net.cn

15. ItemProcessor 配置

单步批处理作业自动配置接受ItemProcessor如果一个 在ApplicationContext.如果找到正确类型的 (ItemProcessor<Map<String, Object>, Map<String, Object>>），则它是自动装配的 进入步骤。spring-doc.cadn.net.cn

16. ItemWriter 实现的自动配置

此 starter 为ItemWriter实现 匹配支持的ItemReader实现：AmqpItemWriter,FlatFileItemWriter,JdbcItemWriter和KafkaItemWriter.本节 介绍如何使用 autoconfiguration 配置支持的ItemWriter.spring-doc.cadn.net.cn

16.1. AmqpItemWriter

要写入 RabbitMQ 队列，您需要两组配置。首先，您需要一个AmqpTemplate.最简单的方法是使用 Spring Boot 的 RabbitMQ 自动配置。请参阅 Spring Boot RabbitMQ 文档。 配置AmqpTemplate中，您可以配置AmqpItemWriter通过设置 以下属性：spring-doc.cadn.net.cn

表 6.AmqpItemWriter性能
财产 类型 默认值 描述

spring.batch.job.amqpitemwriter.enabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果true，则自动配置将运行。spring-doc.cadn.net.cn

spring.batch.job.amqpitemwriter.jsonConverterEnabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示Jackson2JsonMessageConverter应注册以转换消息。spring-doc.cadn.net.cn

16.2. FlatFileItemWriter

要将文件写入步骤的输出，您可以配置FlatFileItemWriter. 自动配置接受已明确配置的组件（例如LineAggregator,FieldExtractor,FlatFileHeaderCallback或FlatFileFooterCallback） 和 通过设置指定的以下属性来配置的组件：spring-doc.cadn.net.cn

表 7.FlatFileItemWriter性能
财产 类型 默认值 描述

spring.batch.job.flatfileitemwriter.resourcespring-doc.cadn.net.cn

Resourcespring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要读取的资源。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.delimitedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示输出文件是否为带分隔符的文件。如果true,spring.batch.job.flatfileitemwriter.formatted必须是false.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.formattedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示输出文件是否为格式化文件。如果true,spring.batch.job.flatfileitemwriter.delimited必须是false.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.formatspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

用于为格式化文件生成输出的格式。格式化是使用String.format.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.localespring-doc.cadn.net.cn

Localespring-doc.cadn.net.cn

Locale.getDefault()spring-doc.cadn.net.cn

这Locale在生成文件时使用。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.maximumLengthspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

记录的最大长度。如果为 0，则大小不受限制。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.minimumLengthspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

最小记录长度。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.delimiterspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

,spring-doc.cadn.net.cn

这String用于分隔文件中的字段。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.encodingspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemReader.DEFAULT_CHARSETspring-doc.cadn.net.cn

写入文件时要使用的编码。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.forceSyncspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示是否应在刷新时将文件强制同步到磁盘。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.namesspring-doc.cadn.net.cn

String []spring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

从记录中解析的每个字段的名称列表。这些名称是Map<String, Object>对于此接收的项目ItemWriter.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.appendspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示在找到输出文件时是否应追加文件。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.lineSeparatorspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemWriter.DEFAULT_LINE_SEPARATORspring-doc.cadn.net.cn

什么String用于分隔输出文件中的行。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

名称 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重新启动。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.shouldDeleteIfEmptyspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果设置为true，则在作业完成时将删除空文件（没有输出）。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.shouldDeleteIfExistsspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true并在输出文件应位于的位置找到文件，则在步骤开始之前将其删除。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.transactionalspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

FlatFileItemWriter.DEFAULT_TRANSACTIONALspring-doc.cadn.net.cn

指示读取器是否为事务性队列（指示读取的项目在失败时返回到队列）。spring-doc.cadn.net.cn

请参阅FlatFileItemWriter文档.spring-doc.cadn.net.cn

16.3. JdbcBatchItemWriter

要将步骤的输出写入关系数据库，此Starters提供了以下功能 要自动配置JdbcBatchItemWriter.自动配置允许您提供 有ItemPreparedStatementSetter或ItemSqlParameterSourceProvider和 配置选项：spring-doc.cadn.net.cn

表 8.JdbcBatchItemWriter性能
财产 类型 默认值 描述

spring.batch.job.jdbcbatchitemwriter.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

名称 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.jdbcbatchitemwriter.sqlspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

用于插入每个项目的 SQL。spring-doc.cadn.net.cn

spring.batch.job.jdbcbatchitemwriter.assertUpdatesspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

是否验证每个插入是否导致至少更新一条记录。spring-doc.cadn.net.cn

请参阅JdbcBatchItemWriter文档.spring-doc.cadn.net.cn

16.4. KafkaItemWriter

要将步骤输出写入 Kafka 主题，您需要KafkaItemWriter.这个Starters 为KafkaItemWriter通过使用两个地方的设施。 第一个是 Spring Boot 的 Kafka 自动配置。（请参阅 Spring Boot Kafka 文档。 其次，此 starter 允许您在 writer 上配置两个属性。spring-doc.cadn.net.cn

表 9.KafkaItemWriter性能
财产 类型 默认值 描述

spring.batch.job.kafkaitemwriter.topicspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要写入的 Kafka 主题。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemwriter.deletespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

传递给编写器的项目是否全部作为 delete 事件发送到主题。spring-doc.cadn.net.cn

有关KafkaItemWriter，请参阅KafkaItemWiter文档.spring-doc.cadn.net.cn