시그마 삽질==six 시그마

카프카 스키마 레지스트리 데이터를 만들어내는 Producer와 데이터를 사용하는 Consumer 간의 계약으로 사용 • 스키마가 없으면 시간이 지남에 따라, 제어된 방식으로 데이터 구조를 발전시킬 수단이 없게 됨 • 데이터 구조는 항상 비즈니스에 따라서 진화하는데, 이것을 Schema Evolution(스키마 진화)라고 함 AVRO Data Serialization System • Avro는 Apache Open Source Software 프로젝트 • 데이터 Serialization 제공 • Java를 포함한 많은 프로그래밍 언어에서 지원 • 데이터구조형식제공 • Avro 데이터는 바이너리이므로 데이터를 효율적으로 저장 https://avro.apache.org/docs/1.11.1/specificat..

컨플루언트 플랫폼 다운로드 압축해제 ksqlDB • Event Streaming Database(또는 SQL 엔진) -RDBMS/NoSQL DB 가 아님 • Confluent Community License(2017) • 간단한 Cluster 구축 방법 - 동일한 ksql.service.id 로 ksqlDB를 여러 개 기동 • 여러 개의 Cluster는 ksql.service.id 값을 서로 다르게 하기만 하면 됨 • SQL과 유사한 형태로 ksqlDB에 명령어를 전송하여 스트림 프로세싱 수행 SQL을 사용하여 실시간 이벤트 스트리밍 처리용 애플리케이션을 작성하기 위한 Apache Kafka® 스트리밍 DB(SQL 엔진) KSQL 쿼리 작성 실시간 결과 확인 가능 https://docs.ksqldb.io..

카프카 스트림즈: 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리다. Database에 저장 후 분석 및 처리하는 것이 아니라,Kafka에 있는 움직이는 데이터(Data in Motion)를 바로 분석 및 처리하는 것이 핵심! 실시간 이벤트 스트림을 실시간으로 분석하여, 실시간으로 빠르게 대응하기 위한 기술 Java 및 Scala로 실시간 이벤트 스트리밍 처리용 애플리케이션 및 마이크로 서비스를 작성하기 위한 Apache Kafka® Streams 라이브러리 기존 카프카 pub/sub에 비해 코드 간결화!! ->ksqlDB 사용시 더욱 간결화!!(sql!!) (KStream, KTable) → KStream KStream & KStream -> only window *소스토픽과..

카프카 커넥트 System간 메시지 전송이 필요할 때마다 producer consume Application을 개발할 것인가?(개발인력,비용,소요시간,유지보수...) System간 메시지 전송이 필요할 때, 이미 잘 만들어진 Kafka Connector를 손쉽게 사용하자! Kafka Connect는 Apache Kafka 안팎으로 데이터를 쉽게 스트리밍하기 위한 Framework Kafka Connect는 다른 데이터 시스템을 Kafka와 통합하는 과정을 표준화한 Framework 통합을 위한 Connector 개발, 배포, 관리를 단순화 소스애플리케이션-> 소스 커넥터(컨슈머 역할 / task->transform->converter) -> 카프카 -> 싱크 커넥트(프로듀서 역할/ converter->t..

cmak 카프카 클러스터 모니터링 및 관리 툴 야후 클러스터 상태 상태 관리 클러스터 상태 확인 토픽 삭제 생성 브로커 리스트 요즘 관리 안됨!!! https://github.com/yahoo/CMAK ================== AKHQ 카프카 클러스터 모니터링 및 관리 툴 Kafka GUI for Apache Kafka to manage topics, topics data, consumers group, schema registry, connect and more... https://github.com/tchiotludo/akhq 이전에 KafKaHQ로 알려진 컨슈머그룹도 볼 수 있고 컨슈머 랙도 볼 수 있음 live tail로 실시간 레코드 모니터링 가능!!! 토픽관리, 파티션관리 elasti..

Throughtput 최대화 방안(처리하는 작업의 양) Throughput : 처리량으로 불리우며, 카프카가 얼마나 많은 데이터를 처리할 수 있는지에 대한 메트릭이다. 프로듀서 약간의 메시지 전송 지연 또는 유실을 감수하고, 초당 처리량을 높이기 위한 설정 파티션 수 증가 batch.size 증가(기본 16KB) : 한번에 보내는 양을 증가시켜 전송 횟수 감소 Linger.ms 증가 : 프로듀서가 전송전 대기 시간으로 batch.size 가 가득 찰 수 있도록 조정 asks =0 (운영은 원래 1 배는 all) : 데이터를 수집하는 순간 broker 로 전송 (지연 시간, 처리량 감소) compression.type : 메시지 압축 buffer.memory(기본32MB)증가 : 프로듀서가 보내지 못한 메..

springboot docker-compose kafka 연동+grafaha+prometheus (성공한 예제코드!!) https://github.com/streamthoughts/kafka-monitoring-stack-docker-compose Docker kafka 설정에서 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092 이처럼 설정하여 컨테이너 내부에선 kafka:29092 외부에선 localhost:9092접속하도록 설정 https://github.com/apache/kafka/blob/trunk/config/server.properties listeners=PLAINTEXT://:9092 //..

카프카에서 중요한건 관련 서비스에 가장 적합한 전략을 찾고(어디까지 감내 가능한지 trade-off) 그것을 조화롭게 적용하는것이다. Throughtput(처리하는 작업의 양) ,Latency(작업을 처리하는데 소요되는 시간) ,Durability(메시지 유실 최소화) ,Availability(신속한 장애복구),중복 여부, 순서 중요 여부도 고려사항이다. 1.카프카가 정의 아파치 카프카(Apache Kafka)는 분산 이벤트 스트리밍 플랫폼이며 데이터 파이프 라인을 만들 때 주로 사용되는 오픈소스 솔루션 pub-sub모델의 메세지 큐이고, 분산환경에 특화되어 설계되어 있다는 특징을 가짐 카프카는 소스 애플리케이션과 타켓 애플리케이션의 커플링을 느슨하게 하기위해 나옴(역할과 책임이 분리되어 서비스 의존도 ..