kafka 모니터링

 

 

 

cmak 

카프카 클러스터 모니터링 및 관리 툴

야후

클러스터 상태 상태 관리

클러스터 상태 확인

토픽 삭제 생성

 

 

브로커 리스트

 

요즘 관리 안됨!!!

 

https://github.com/yahoo/CMAK

 

==================

AKHQ

카프카 클러스터 모니터링 및 관리 툴

Kafka GUI for Apache Kafka to manage topics, topics data, consumers group, schema registry, connect and more...

https://github.com/tchiotludo/akhq

 

이전에 KafKaHQ로 알려진

 

컨슈머그룹도 볼 수 있고 컨슈머 랙도 볼 수 있음

live tail로 실시간 레코드 모니터링 가능!!!

 

토픽관리, 파티션관리 <--- AKHQ 는 이게 가능한데 ..  상용이나 자체 모니터링시스템은  이걸 못한다!!!!

토픽데이터 서치

브로커 컨피그 수정가능

토픽내용 브라우징~

토픽 내용 search 필터가능

 

 

==================

prometheus:  잠깐 로그  관리
ELK 로그:  저장 장기간 대용량 로그 관리

poll 넘 많이 늘리면 브로커가 나 죽었다고 생각할 수 있다.
broker <—fetcher(요기서 잘림)<—poll


Console: Jmx port를 오픈해서 사용(기본 ui)

JMXTERM:  JMX 불필요. 터미널에서 바로 조회 가능

CMAK 주키퍼 바라봄 

akhq:브로커 바라봄


브로커 ->jmx->logstash-> elasticSearch->kibana <-5106 port <-admin


브로커 ->Metricbeat->elasticSearch->kibana <-5106 port <-admin

 

==카프카 고승범 설치==
7개 다 동일 vpc 내부임

배포서버(바스천)  peter-ansible01   퍼블릭 
 
ec2 의 etc/hosts 수정

172.31.3.209 peter-ansible01.foo.bar peter-ansible01
172.310.186 peter-zk-1.foo.bar peter-zk01
…
172.31.5..59 peter-kafka01.foo.bar peter-kafka01
…

ping -c 2 peter-zk01.foo.bar


==카프카 로그 단계 변경==

user/local/kafka/config/log4j.properties

log4j.logger.kafka=INFO
log4j.logger.org.apache.kafka=INFO


==카프카 고승범 모니터렁 JMX->JMX EXPORTER —>prometheus->grafana


JMX는 자바로 만든 애플리케이션 모니터링을 위한 도구를 제공하는 자바 API . 

1.브로커에 JMX 포트 오픈
2. JMX가 제공하는 메트릭 정보를 관리자가 GUI형으로 볼 수  있도록 프로메테우스와 익스포터를 이용해 JMX 모니터링 시스템 구현

여러 방법중 systemd의 환경 변수 옵션을 추가하는 방법으로
cat /usr/local/kafka/config/jmx     
JMX_PORT=9999 

netstat -ntl | grep 9999
LISTEN으로 나올것

3.프로메테우스 도커
모니터링 방식이 push가아닌 pull 방식이라
 대상 서버에 자신의 메트릭 정보를 보여줄 수 있는 익스포터를 설치해야함
4.그라파나 도커

5.JMX 익스포터 설치
카프카 관련 로그 모니터링을 위해 JMX 익스포터 설치
https://chhanz.github.io/linux/2019/01/18/linux-how-to-create-custom-systemd-service/
https://fmd1225.tistory.com/93


6.노드 익스포터
브로커 서버의 하드웨어 리소스 모니터링을 위해 노드 익스포터 설치


7.노드 익스포로 얻어서 프로메테우스로 get한  그라파나 대시보드1

https://grafana.com/grafana/dashboards/1860 이걸로 설치


8. JMX 익스포터로 얻어서 프로메테우스로 get한  카프카 모니터링위한 그라파나 대시보드 2
본인꺼 kafka_metrics.json
그라파나에서 upload json File 말고
import via panel json으로 해서 넣어라!!!


컨슈머 LAG을 위한 카프카 익스포터
데니얼 첸의 깃허브 페이즈통해 컨슈머LAG 모니터링 가능
https://github.com/danielqsj/kafka_exporter

1. 카프카 익스포터 다운로드
2. 카프카 익스포터 실행
3. 프로메테우스 환경 설정 파일에서 카프카 익스포터 추가
4. 그라파나에서 대시보드 추가

 

 

참고

https://docs.confluent.io/platform/current/kafka/monitoring.html

https://www.datadoghq.com/blog/monitoring-kafka-performance-metrics/