请选择 进入手机版 | 继续访问电脑版

kafka-eagle监控界面搭建

[复制链接]
黎平 发表于 2020-12-31 20:25:46 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
kafka-eagle监控界面搭建



一、配景

上一节中,我们搭建了一个kafka集群,但是kafka集群在运行的过程中会产生各种数据,好比broker信息、集群信息、主题信息、消费者信息等等,而kafka自身没有提供一个图形化的监控界面,此处我们使用kafka-eagle来搭建一个kafka的管理监控界面。
二 、mac上安装kafka-eagle

1、安装JDK


2、安装eagle

1、下载eagle


下载链接:http://download.kafka-eagle.org/
2、解压并设置情况变量

1、解压
  1. tar -zxvf kafka-eagle-bin-2.0.3.tar.gz && cd kafka-eagle-bin-2.0.3 && tar -zxvf kafka-eagle-web-2.0.3-bin.tar.gz
复制代码
2、重命名
  1. mv kafka-eagle-web-2.0.3 kafka-eagle  
复制代码
3、设置情况变量
  1. vim /etc/profileexport KE_HOME=/Users/huan/soft/kafka/kafka-eagleexport PATH=$PATH:$KE_HOME/binsource /etc/profilecd ${KE_HOME}/binchomd +x ke.sh
复制代码
KE_HOME 为eagle情况变量的名字。
3、启用kafka的JMX

此设置是可选的,放开可以看到更多的监控信息。
1、cd ${KAFKA_HOME}/bin
2、vim kafka-server-start.sh
  1. if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then    # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"    export JMX_PORT="9099"fi
复制代码
JMX_PORT 的端口可以给个没有占用的端口既可。
4、设置eagle

1、cd ${KE_HOME}/conf
2、vim system-config.properties
  1. ####################################### multi zookeeper & kafka cluster list# 设置kafka的多集群,此处只需要给zk的所在既可######################################kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=localhost:2181,localhost:3181,localhost:4181####################################### zookeeper enable acl######################################cluster1.zk.acl.enable=falsecluster1.zk.acl.schema=digestcluster1.zk.acl.username=testcluster1.zk.acl.password=test123####################################### broker size online list######################################cluster1.kafka.eagle.broker.size=20####################################### zk client thread limit######################################kafka.zk.limit.size=25####################################### kafka eagle webui port# kafka eagle 的前端访问端口######################################kafka.eagle.webui.port=9090####################################### kafka jmx acl and ssl authenticate######################################cluster1.kafka.eagle.jmx.acl=falsecluster1.kafka.eagle.jmx.user=keadmincluster1.kafka.eagle.jmx.password=keadmin123cluster1.kafka.eagle.jmx.ssl=falsecluster1.kafka.eagle.jmx.truststore.location=/Users/dengjie/workspace/ssl/certificates/kafka.truststorecluster1.kafka.eagle.jmx.truststore.password=ke123456####################################### kafka offset storage# kafka集群的offset生存的位置,0.10及以后的kafka集群是生存在kafka中,之前的是生存在zookeeper中######################################cluster1.kafka.eagle.offset.storage=kafka####################################### kafka metrics, 15 days by default# 开启性能监控,数据默认生存的天数######################################kafka.eagle.metrics.charts=truekafka.eagle.metrics.retain=15####################################### kafka sql topic records max######################################kafka.eagle.sql.topic.records.max=5000####################################### delete kafka topic token# 删除kafka topic 时,需要输入的token值######################################kafka.eagle.topic.token=keadmin####################################### kafka sasl authenticate######################################cluster1.kafka.eagle.sasl.enable=falsecluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXTcluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";cluster1.kafka.eagle.sasl.client.id=cluster1.kafka.eagle.blacklist.topics=cluster1.kafka.eagle.sasl.cgroup.enable=falsecluster1.kafka.eagle.sasl.cgroup.topics=cluster2.kafka.eagle.sasl.enable=falsecluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXTcluster2.kafka.eagle.sasl.mechanism=PLAINcluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";cluster2.kafka.eagle.sasl.client.id=cluster2.kafka.eagle.blacklist.topics=cluster2.kafka.eagle.sasl.cgroup.enable=falsecluster2.kafka.eagle.sasl.cgroup.topics=####################################### kafka ssl authenticate######################################cluster3.kafka.eagle.ssl.enable=falsecluster3.kafka.eagle.ssl.protocol=SSLcluster3.kafka.eagle.ssl.truststore.location=cluster3.kafka.eagle.ssl.truststore.password=cluster3.kafka.eagle.ssl.keystore.location=cluster3.kafka.eagle.ssl.keystore.password=cluster3.kafka.eagle.ssl.key.password=cluster3.kafka.eagle.blacklist.topics=cluster3.kafka.eagle.ssl.cgroup.enable=falsecluster3.kafka.eagle.ssl.cgroup.topics=####################################### kafka sqlite jdbc driver address#######################################kafka.eagle.driver=org.sqlite.JDBC#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db#kafka.eagle.username=root#kafka.eagle.password=www.kafka-eagle.org####################################### kafka mysql jdbc driver address# eagle数据生存的数据库,此处使用mysql######################################kafka.eagle.driver=com.mysql.jdbc.Driverkafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullkafka.eagle.username=rootkafka.eagle.password=root
复制代码
5、启动 eagle

  1. ke.sh start
复制代码


三、ke.sh的用法

命令解释ke.sh start启动eagleke.sh stop停止eagleke.sh restart重新启动eagleke.sh status查察eagle的状态四、参考文档

1、eagle下载链接
2、mac或linux上安装kafka-eagle
3、window上安装kafka-eagle
4、kafka-eagle的设置属性
5、KSQL的使用

来源:https://blog.csdn.net/fu_huo_1993/article/details/111982652
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )