[Kafka] Connect와 Connector

 

 

# Ref

• https://scorpio-mercury.tistory.com/30
• https://bagbokman.tistory.com/8
• https://marrrang.tistory.com/91
• https://velog.io/@ehdrms2034/Kafka-
• [Kafka] 카프카 개요 (이전 글)

 

 

# Kafka Connect 개요

---

• Producer : Kafka Message 생산
• Consumer : Kafka Message 소비
• Broker : Kafka Message 저장 Server

 

• 각 Broker는 여러 Topic을 가지고 있으며, 이 Topic에 Message가 저장됨

 

• 연동해야 할 애플리케이션과 DB가 늘어난다면?

• 개발해야 할 Producer와 Consumer도 동일하게 늘어나게 됨...
  -> Kafka Connect 사용

 

# Kafka Connect

---

• 데이터 소스와 Kafka를 연결해주는 매개체
• 데이터를 어디서 복사하는지와 어디에 붙여넣는지를 정의
• -> Connector를 이용해 데이터 소스와 연결 (Connect는 프레임워크, Connector는 Plugin)
• => Connector가 Producer / Consumer 역할을 함 (각각이 Source/Sink Connector)

 

# Open Source Connector

---

• 직접 Connector를 만들 필요가 없으며, jar 파일을 다운받아 사용 가능
• 종류 : HDFS, Amazon S3, JDBC Connector, ElasticSearch Connector 등
• 자료 : https://www.confluent.io/hub/

https://debezium.io/documentation/reference/1.3/architecture.html

 

 

 

끝