springcloud kafka如何进行消费者限流

在 Spring Cloud Kafka 中,可以使用 KafkaMessageListenerContainer 和 RateLimiter 来实现消费者限流。以下是一个简单的示例:

首先,需要在 pom.xml 文件中添加 Spring Cloud Kafka 依赖:


    org.springframework.cloud
    spring-cloud-starter-kafka

在 application.yml 或 application.properties 文件中配置 Kafka 相关属性:

spring:
  cloud:
    kafka:
      consumer:
        group-id: my-group
        auto-offset-reset: earliest
        key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
        value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      listener:
        type: parallel
        concurrency: 3

创建一个配置类,用于配置 KafkaMessageListenerContainer 和 RateLimiter:

@Configuration
public class KafkaConsumerConfig {
    @Autowired
    private KafkaTemplate kafkaTemplate;
    @Bean
    public KafkaMessageListenerContainer kafkaMessageListenerContainer() {
        KafkaMessageListenerContainer container = new KafkaMessageListenerContainer<>();
        container.setConsumerFactory(consumerFactory());
        container.setConcurrency(3);
        container.setMessageListener(messageListener());
        return container;
    }
    @Bean
    public ConsumerFactory consumerFactory() {
        Map props = new HashMap<>();
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        return new DefaultKafkaConsumerFactory<>(props);
    }
    @Bean
    public MessageListener messageListener() {
        return new KafkaMessageListenerAdapter<>(kafkaTemplate, "myTopic");
    }
    @Bean
    public RateLimiter rateLimiter() {
        return RateLimiter.create(10); // 每秒最多处理 10 条消息
    }
}

在这个示例中,我们创建了一个 KafkaMessageListenerContainer Bean,并设置了消费者的并发数为 3。同时,我们创建了一个 RateLimiter Bean,用于限制每秒处理的消息数量。这里我们设置为每秒最多处理 10 条消息。

创建一个消费者类,用于处理接收到的消息:

@Service
public class MyKafkaConsumer {
    @KafkaListener(topics = "myTopic", groupId = "my-group")
    public void listen(ConsumerRecord record) {
        // 处理消息的逻辑
    }
}

在这个示例中,我们创建了一个名为 MyKafkaConsumer 的服务类,并使用 @KafkaListener 注解监听 myTopic 主题。当接收到消息时,listen 方法将被调用。

现在,MyKafkaConsumer 服务类的消费者将受到 RateLimiter 的限流。每秒最多处理 10 条消息。如果需要调整限流速率,只需修改 rateLimiter() Bean 中的参数即可。