S320 [AWS] Session Manager 중앙 집중식 로깅 구현 : SSM Session Manager Cross Account S3 Logging Session Manager Logging은 세션 접속한 동안의 명령까지도 모두 로깅으로 남는다. Multi Account AWS 환경에서 각 계정의 Session Manager Logging을 로깅 계정의 S3로 쌓도록 설정해보자. Encrypt 설정은 하지 않는다. 하게 되면 S3 Bucket 정책 등이 달라져야 할 것이다. # Architecture # 1. SSM Logging 설정 Console에서 하는 법 Systems Manager > Session Manager > Preferences 에서 설정 가능 (CLI, IaC등 API로는 불가) Bucket 이름과 Prefix를 지정해준다 API(CLI or IaC)로 하는 법 SSM-SessionManagerRunShell 문서를 직접 수정 C.. 2022. 8. 28. [DataDog] Ingested/Indexed Log + Archiving 정리 우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다 Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다 그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다 -> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다 -> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다 자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management Index는 Logs > .. 2022. 5. 14. [Terraform] 다른 backend의 state가 업데이트가 안돼요..?! (terraform_remote_state 불러오는 방식) terraform backend 설정에 관한 글 : [Terraform] 실행 환경 분리와 Backend 설정 (AWS/Terraform Cloud) terraform import에 관한 글 : [Terraform] Terraform import와 terraforming (AWS) 태초에....A 환경과 B 환경이 있었습니다 A와 B는 S3를 backend로 사용하고 있고...서로의 output을 받아오기 위해 data로 remote_state 블럭을 설정해 두었습니다 A 환경에서 실제 리소스들을 잔뜩 import를 해야 하는데, B 환경에서의 output을 사용할 일이 생겨서 아래와 같은 코드들을 추가했습니다 ## a/main.tf locals { test = data.terraform_remote_s.. 2022. 4. 30. [AWS S3] API Call로 S3 Access Logging 설정 시 유의할 점 (boto3) 상황 : 계정 내의 모든 버킷들에 access log 설정을 해두려고 한다 -> python boto3로 진행 1. 먼저 access log를 받을 버킷을 만든다 => access log는 cross region이 지원되지 않는다 https://docs.aws.amazon.com/AmazonS3/latest/userguide/ServerLogs.html 따라서 계정 내 버킷의 리전 종류가 여러개라면, 각 리전별로 액세스로그용 버킷을 만들어야 한다 2. ACL 설정 ACL 의 S3 로그 전달 그룹에 대해 객체 쓰기/버킷 ACL 읽기 권한을 부여해야 한다 만약 ACL 수정이 불가하다면 위의 객체 소유권을 수정해줘야 한다 3. boto3 활용 1) 계정 내의 모든 버킷 리스트 담아오기 : client.list.. 2022. 2. 23. [AWS] Private하게 DataSync 사용하기 AWS DataSync란? https://aws.amazon.com/ko/datasync/ 온라인 데이터 전송 및 마이그레이션—AWS DataSync—Amazon Web Services AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. DataSync는 NFS(Network File System) 공유, SMB(Server Message Block) 공유, Hadoop 분 aws.amazon.com NFS/SMB 등의 파일 시스템 + AWS S3/EFS/FSx 들 간의 데이터 마이그레이션 서비스이다 https://docs.aws.amazon.com/ko_kr/datasync/latest/userguide/datasync-.. 2021. 12. 11. [Terraform] 실행 환경 분리와 Backend 설정 (AWS/Terraform Cloud) Terraform Backend에 대해 썼던 기존 글 [Terraform] 테라폼 backend의 이해 [Terraform on AWS] 테라폼 backend, 상태 잠금 설정해보기 위 글들은 잘 모르는 상태에서 책 내용을 정리만 해 놓은 것이었다 테라폼을 실무에서 쓰게 되면서 깨닫고 느낀 것들을 다시 정리해 보겠다 Terraform 실행 환경 분리 & Backend 설정의 필요성 참고한 글 : https://rampart81.github.io/post/terraform-directory-structure/ Terraform은 기본적으로 apply가 일어나는 폴더 내의 .tf 파일들을 모두 실행시킨다 VPC/EC2와 같은 기본적인 인프라만 프로비저닝할거라면 상관없지만, Database/Directory/.. 2021. 10. 10. [AWS S3] 다른 계정 간 S3 Bucket Sync 출처 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/copy-s3-objects-account/ 1. 정보 source bucket : honglab-source-bucket destination bucket : honglab-destination-bucket source 버킷엔 대충 아무 이미지를 5개 넣어두었고, destination 버킷엔 아무것도 없다 2. destination bucket 버킷 정책 Destination 버킷의 권한 > 버킷 정책 > 편집 아래의 정책을 넣어주자 { "Version": "2012-10-17", "Id": "Policy1611277539797", "Statement": [ { "Sid": "Stmt1611.. 2021. 8. 13. [AWS SageMaker] Ground Truth 사용해보기 (Private 작업자) 0. SageMaker Ground Truth란? ML을 위한 완전 관리형 데이터 레이블링 서비스 레이블링 방식 Amazon Mechanical Turk : 쉽게 말해 외주 맡기는 일. 전 세계 500,000명 정도의 독립 계약자들에 온디맨드 24/7 방식 액세스를 제공한다고 함 (데이터가 민감하지 않아야 사용 가능) Private 인력 : 직접 지정한 사람이 작업 (자체 직원 또는 계약자) 공급업체 인력 : AWS Marketplace를 통해 전문적인 데이터 레이블 지정 서비스를 제공하는 제 3자 공급업체 목록에 액세스 참고 : https://aws.amazon.com/ko/getting-started/hands-on/build-training-datasets-amazon-sagemaker-ground.. 2021. 7. 31. [AWS] goofys로 Linux에 AWS S3 마운트 https://github.com/kahing/goofys kahing/goofys a high-performance, POSIX-ish Amazon S3 file system written in Go - kahing/goofys github.com * AWS 자격 증명은 알아서... (aws confiugure 또는 IAM role) ** AWS EC2에서 진행 Amazon Linux 2 mkdir [마운트할 경로] yum install -y fuse wget https://github.com/kahing/goofys/releases/latest/download/goofys chmod +x goofys ./goofys [마운트할 경로] [S3버킷 이름] CentOS 7 mkdir [마운트할 경로] yu.. 2021. 7. 13. [AWS] Amazon Lookout for Vision 사용해보기 (AWS Workshop) 💡 Amazon Lookout for Vision이란? 산업 환경에서 고객이 생산 단위 및 장비의 외관 결함을 쉽고 비용 효율적으로 감지할 수 있도록 지원하는 AWS의 기계 학습 (ML) 서비스 생산 프로세스의 결함을 실시간으로 줄일 수 있으며, 대시보드에서 시각적 이상을 식별하고 보고하므로 더 많은 결함이 발생하지 않도록 신속하게 조치를 취하여 생산 품질을 높이고 비용을 절감할 수 있다고 한다 잘 모르는 분야이지만, 일단 워크샵을 보고 따라해봤다 📌 Reference 진행하는 워크샵 - https://lookout-for-vision.workshop.aws/ https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide/what-is.htm.. 2021. 7. 1. 이전 1 2 다음
