[MSK Connector] Bigquery용 Connector 구성

 

BigQuery용 MSK Connector를 만드는 레퍼런스가 거의 없어서 챗지피티 도움을 많이 받았다.

GCP Key File을 AWS Secret Manager에 등록해둔 후 Connector에서 해당 시크릿을 읽어오는 식으로 만들면 된다.

 

Connector configuration file

connector.class=com.wepay.kafka.connect.bigquery.BigQuerySinkConnector
autoCreateTables=true
tasks.max=2
topics={TOPIC명}
project={PROJECT명}
gcp.secret={SECRET MANAGER ARN}
defaultDataset={DATASET명}

 

MSK Connector용 IAM Role에 해당 시크릿을 Decrypt할 수 있는 권한도 넣어줘야 한다.

 

끝!