Connector2 [MSK Connector] Bigquery용 Connector 구성 BigQuery용 MSK Connector를 만드는 레퍼런스가 거의 없어서 챗지피티 도움을 많이 받았다. GCP Key File을 AWS Secret Manager에 등록해둔 후 Connector에서 해당 시크릿을 읽어오는 식으로 만들면 된다. Connector configuration file connector.class=com.wepay.kafka.connect.bigquery.BigQuerySinkConnector autoCreateTables=true tasks.max=2 topics={TOPIC명} project={PROJECT명} gcp.secret={SECRET MANAGER ARN} defaultDataset={DATASET명} MSK Connector용 IAM Role에 해당 시크릿을 D.. 2023. 5. 9. [Kafka] 카프카 개요 Ref 실전 아파치 카프카 (사사키 도루 외 4인) 책 (아래 포스팅에 있는 내용(1장)만 추가 정리) https://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS9400468504 https://kuckjwi0928.tistory.com/14 Apache Kafka란? 실시간으로 데이터 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 대용량/대규모 메시지 데이터를 빠르게 처리하는 분산 메시징 시스템(플랫폼) 아래 4가지 실현 가능 확장성 (Scale Out) : 데이터 양에 따라 시스템 확장 가능 영속성 (Persistence) : 언제라도 데이터를 읽을 수 있음 유연성 (Flexibility) : 연계할 수 있는 제품이 많.. 2022. 7. 19. 이전 1 다음
