kafka4 [MSK Connector] Bigquery용 Connector 구성 BigQuery용 MSK Connector를 만드는 레퍼런스가 거의 없어서 챗지피티 도움을 많이 받았다. GCP Key File을 AWS Secret Manager에 등록해둔 후 Connector에서 해당 시크릿을 읽어오는 식으로 만들면 된다. Connector configuration file connector.class=com.wepay.kafka.connect.bigquery.BigQuerySinkConnector autoCreateTables=true tasks.max=2 topics={TOPIC명} project={PROJECT명} gcp.secret={SECRET MANAGER ARN} defaultDataset={DATASET명} MSK Connector용 IAM Role에 해당 시크릿을 D.. 2023. 5. 9. [Kafka] Connect와 Connector # Ref https://scorpio-mercury.tistory.com/30 https://bagbokman.tistory.com/8 https://marrrang.tistory.com/91 https://velog.io/@ehdrms2034/Kafka- [Kafka] 카프카 개요 (이전 글) # Kafka Connect 개요 Producer : Kafka Message 생산 Consumer : Kafka Message 소비 Broker : Kafka Message 저장 Server 각 Broker는 여러 Topic을 가지고 있으며, 이 Topic에 Message가 저장됨 연동해야 할 애플리케이션과 DB가 늘어난다면? 개발해야 할 Producer와 Consumer도 동일하게 늘어나게 됨... -> K.. 2022. 7. 24. [Kafka] Kafka Broker, Zookeeper, Cluster Ref https://engkimbs.tistory.com/691 https://waspro.tistory.com/645 https://devbksheen.tistory.com/entry/Kafka-Broker-Zookeeper https://epicdevs.com/17 [공부/Kafka] - [Kafka] 카프카 개요 (이전 글) Broker Kafka에서 데이터를 수신, 전달하는 서비스이자 실행되는 Kafka Application Server 하나의 Server 당 하나의 데몬 프로세스로 동작 보통 가용성을 위해 3 Node Broker로 구성함 Zookeeper 분산 코디네이션 시스템, Broker와 1:1 로 구성 (마찬가지로 주로 3 Node Zookeeper 구성) 하는 일 Broker는 상태.. 2022. 7. 19. [Kafka] 카프카 개요 Ref 실전 아파치 카프카 (사사키 도루 외 4인) 책 (아래 포스팅에 있는 내용(1장)만 추가 정리) https://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS9400468504 https://kuckjwi0928.tistory.com/14 Apache Kafka란? 실시간으로 데이터 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 대용량/대규모 메시지 데이터를 빠르게 처리하는 분산 메시징 시스템(플랫폼) 아래 4가지 실현 가능 확장성 (Scale Out) : 데이터 양에 따라 시스템 확장 가능 영속성 (Persistence) : 언제라도 데이터를 읽을 수 있음 유연성 (Flexibility) : 연계할 수 있는 제품이 많.. 2022. 7. 19. 이전 1 다음
