
오늘은 카프카 생태계에 대해 알아보려고 합니다. 카프카의 구조를 이해해야 개발을 할 때 사용할 수 있을 테니 자세히 알아봅시다. 1. 카프카 생태계 카프카 생태계는 아래 그림으로 표현할 수 있습니다. 기본적으로 카프카 클러스터를 중심으로 토픽이 각각의 목적에 맞게 생성이 됩니다. 데이터를 넣는 역할을 하는 것이 카프카 프로듀서 입니다. 프로듀서가 넣은 데이터는 토픽에 들어가게 되고, 토픽을 바탕으로 데이터를 가져가는 것은 컨슈머입니다. 스트림즈는 프로세싱을 통해 토픽에 있는 데이터를 처리하여 다시 토픽에 저장하는 것입니다. 커넥트는 데이터 파이프라인을 운영하는 가장 핵심적인 툴 중 하나입니다. 소스 커넥스는 프로듀서 역할, 싱크 커넥트는 컨슈머 역할이라고 보면 됩니다. 특정 데이터 베이스가 소스 애플리케..
Kafka
2023. 1. 14. 14:38