ddu programming

오늘은 카프카 클러스터를 운영하는 방법에 대해 알아보려고 합니다. 저는 회사에서 사용하기 때문에 설치할 일이 필요하진 않지만 그래도 어떤 방법들이 존재하는지 알아보도록 하겠습니다. 1. 카프카 클러스터 운영 방법 아파치 카프카 클러스터를 서버에 직접 설치하고 운영하는 것은 가장 전통적이고 기본적인 방법입니다. 이 방법으로 각종 설정을 직접 컨트롤하여 세부적인 서버 설정을 통해 최고의 성능으로 최적의 클러스터를 활용할 수 있습니다. 그러나 그만큼 최적화된 카프카 클러스터를 사용하기 위해서는 노하우가 필요하기 때문에 수많은 시행착오를 거쳐야 합니다. 특히 각종 보안 설정이나 모니터링 도구를 선택하고 설치, 운영할 때는 수많은 선택지 때문에 어려움을 겪을 수도 있습니다. 이러한 운영상 시행착오를 줄이면서 최고..

오늘은 카프카 생태계에 대해 알아보려고 합니다. 카프카의 구조를 이해해야 개발을 할 때 사용할 수 있을 테니 자세히 알아봅시다. 1. 카프카 생태계 카프카 생태계는 아래 그림으로 표현할 수 있습니다. 기본적으로 카프카 클러스터를 중심으로 토픽이 각각의 목적에 맞게 생성이 됩니다. 데이터를 넣는 역할을 하는 것이 카프카 프로듀서 입니다. 프로듀서가 넣은 데이터는 토픽에 들어가게 되고, 토픽을 바탕으로 데이터를 가져가는 것은 컨슈머입니다. 스트림즈는 프로세싱을 통해 토픽에 있는 데이터를 처리하여 다시 토픽에 저장하는 것입니다. 커넥트는 데이터 파이프라인을 운영하는 가장 핵심적인 툴 중 하나입니다. 소스 커넥스는 프로듀서 역할, 싱크 커넥트는 컨슈머 역할이라고 보면 됩니다. 특정 데이터 베이스가 소스 애플리케..