首页
编程随笔
Java笔记
Html/Css/Js
Android
后端笔记
服务器搭建
BUG收集
Java异常
Android异常
在线工具
Json格式化
编码/解码
Epub在线编辑
登录
发布文章
个人文章
退出登录
首页
技术教程
BUG收集
在线工具
资源下载
登录
发布文章
退出登录
搜索
当前位置:
首页
-
博客
- 正文
关闭
Kafka可视化工具Kafka Eagle安装
更新时间:2023-06-24 11:57:04
阅读数:714
发布者:落幕
Kafka Eagle(英文kafka鹰,又名EFAK) 是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息,并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。 本文以Kafka Eagle 3.0.1为例,安装路径为/opt/efak ### 1、首先需要安装mysql,没有可以直接使用sqllite http://blog.speechb.com/detail/64e6f6cd3d3645d7976572ae17858246 ### 2、下载Eagle 官网链接 http://www.kafka-eagle.org/ ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle1.png "Kafka Eagle安装") ### 3、解压Eagle tar -xvzf kafka-eagle-bin-2.1.0.tar.gz tar -xvzf efak-web-3.0.1-bin.tar.gz # 移动到目标路径 mv efak-web-3.0.1-bin /opt/efak ### 4、配置Kafka,开启jmx端口用来监控kafka集群的。 ```shell if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export JMX_PORT="9999" fi ``` ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle2.png "Kafka Eagle安装") ### 5、配置Kafka Eagle #### 进入Kafka Eagle所在路径,编辑system-config.properties文件 vi ./conf/system-config.properties #### 配置kafka集群(假如有cluster2需要删除,cluster2是用来监控第二个集群,本文只有一个) ```conf efak.zk.cluster.alias=cluster1 # test1:2181,test2:2181,test3:2181为zookeeper集群/kafka为kafka注册在zookeeper的根路径 cluster1.zk.list=test1:2181,test2:2181,test3:2181/kafka ``` ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle3.png "Kafka Eagle安装") #### Kafka Offset配置,有cluster2需要删除 cluster1.efak.offset.storage=kafka ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle4.png "Kafka Eagle安装") #### 配置数据库,有mysql配置mysql数据源,否则用sqllite ```conf efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://test1:3306/ke?characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT efak.username=root efak.password=123456 ``` ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle5.png "Kafka Eagle安装") ### 6、启动和停止Eagle ./bin/ke.sh start ./bin/ke.sh stop #### 启动以后就能看到能访问的url和登录信息 ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle7.png "Kafka Eagle安装") #### 最终效果 ![Kafka Eagle安装](https://www.speechb.com/blog/eagle/eagle6.png "Kafka Eagle安装") 7、遇到的问题 如果启动有问题,需要查看日志定位具体问题,本次遇到比较多的是数据库连接失败 1、数据库找不到 create database ke; 2、时区不一致(情况很多) 编辑配置文件 ```shell vi /etc/my.cnf [mysqld] default-time_zone = '+8:00' ``` 实时监控失败日志 tail -f ./logs/error.log