请选择 进入手机版 | 继续访问电脑版

kafka开源版本quota限流功能缺陷

[复制链接]
东方龙头 发表于 2021-1-2 17:44:23 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
1.当前quota维度如下

  1. /config/users//clients//config/users//clients//config/users//config/users//clients//config/users//clients//config/users//config/clients//config/clients/
复制代码
2.存在问题

2.1.quota维度不敷精致。
2.2.当同一个broker上的多个用户同时产生和消耗大量数据时,如果希望broker正常运行,必须使所有用户quota字节之和不高出broker的吞吐量上限。
2.3.纵然所有的用户速率没有到达broker的上限,但是所有的用户流量都会集在几个磁盘上,高出了磁盘的读写负载,所有的生产和消费请求也会被阻塞。
2.4.有时候只是某个用户下,一个topic流量突增,所以我们只需要限制topic流量突增。
3.改进发起

3.1. 改造源码,添加单个broker的quota字节的上限限制。
3.2. 改造源码,在broker上添加单个磁盘配quota的上限。
3.3. 改造源码,添加topic维度的quota。
issue地点:https://issues.apache.org/jira/projects/KAFKA/issues/KAFKA-10897?filter=reportedbyme

来源:https://blog.csdn.net/yangyijun1990/article/details/112062837
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )