kafka同消费者组多消费者锁争抢解决方案
背景
多个租户的消息推送到kafka,同一个消费者组的多个消费者消费。导致同一时间多个消费者消费到同一个租户的信息,造成数据库行级锁等待。
解决方案
把同一个租户的消息发送到kafka时,取模路由到同一个分区,这样同一个租户的消息只会被一个消费者消费,避免数据库多个事务中对同一个租户操作造成行级锁等待。
spring.cloud.stream.bindings.billChargeRecordVoiceRobotOutput.producer.partitionKeyExtractorName
=billVoiceRobotPartitionKeyExtractor
spring.cloud.stream.bindings.billChargeRecordVoiceRobotOutput.producer.partitionSelectorName
=billVoiceRobotPartitionSelector
// 提取message的key
public class BillVoiceRobotPartitionKeyExtractor implements PartitionKeyExtractorStrategy {
private static final Logger logger = LoggerFactory.getLogger(BillVoiceRobotPartitionKeyExtractor.class);
@Override
public Object extractKey(Message<?> message) {
Object payload = message.getPayload();
if (payload instanceof String) {
MealResourceVoiceRobotEventDto eventDto = JSON.parseObject(payload.toString(), MealResourceVoiceRobotEventDto.class);
if (StringUtils.isBlank(eventDto.getTenantId()) || null == eventDto.getCallType()) {
return null;
}
String str = eventDto.getTenantId() eventDto.getCallType().toString();
return str.hashCode();
}
return null;
}
}
//根据key,选择路由到哪个partition
public class BillVoiceRobotPartitionSelectorClass implements PartitionSelectorStrategy {
private static final Logger logger = LoggerFactory.getLogger(BillVoiceRobotPartitionSelectorClass.class);
@Override
public int selectPartition(Object key, int partitionCount) {
//logger.info("消息载荷的key:{},partitionCount:{}", key, partitionCount);
return key == null ? 0 : ((int)key % partitionCount);
}
}
原理
kafka一个分区的数据只会被同一个消费者组的某一个消费者消费。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgfgbff
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01