본문 바로가기

S320

[AWS] Session Manager 중앙 집중식 로깅 구현 : SSM Session Manager Cross Account S3 Logging Session Manager Logging은 세션 접속한 동안의 명령까지도 모두 로깅으로 남는다. Multi Account AWS 환경에서 각 계정의 Session Manager Logging을 로깅 계정의 S3로 쌓도록 설정해보자. Encrypt 설정은 하지 않는다. 하게 되면 S3 Bucket 정책 등이 달라져야 할 것이다. # Architecture # 1. SSM Logging 설정 Console에서 하는 법 Systems Manager > Session Manager > Preferences 에서 설정 가능 (CLI, IaC등 API로는 불가) Bucket 이름과 Prefix를 지정해준다 API(CLI or IaC)로 하는 법 SSM-SessionManagerRunShell 문서를 직접 수정 C.. 2022. 8. 28.
[DataDog] Ingested/Indexed Log + Archiving 정리 우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다 Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다 그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다 -> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다 -> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다 자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management Index는 Logs > .. 2022. 5. 14.
[Terraform] 다른 backend의 state가 업데이트가 안돼요..?! (terraform_remote_state 불러오는 방식) terraform backend 설정에 관한 글 : [Terraform] 실행 환경 분리와 Backend 설정 (AWS/Terraform Cloud) terraform import에 관한 글 : [Terraform] Terraform import와 terraforming (AWS) 태초에....A 환경과 B 환경이 있었습니다 A와 B는 S3를 backend로 사용하고 있고...서로의 output을 받아오기 위해 data로 remote_state 블럭을 설정해 두었습니다 A 환경에서 실제 리소스들을 잔뜩 import를 해야 하는데, B 환경에서의 output을 사용할 일이 생겨서 아래와 같은 코드들을 추가했습니다 ## a/main.tf locals { test = data.terraform_remote_s.. 2022. 4. 30.
[AWS S3] API Call로 S3 Access Logging 설정 시 유의할 점 (boto3) 상황 : 계정 내의 모든 버킷들에 access log 설정을 해두려고 한다 -> python boto3로 진행 1. 먼저 access log를 받을 버킷을 만든다 => access log는 cross region이 지원되지 않는다 https://docs.aws.amazon.com/AmazonS3/latest/userguide/ServerLogs.html 따라서 계정 내 버킷의 리전 종류가 여러개라면, 각 리전별로 액세스로그용 버킷을 만들어야 한다 2. ACL 설정 ACL 의 S3 로그 전달 그룹에 대해 객체 쓰기/버킷 ACL 읽기 권한을 부여해야 한다 만약 ACL 수정이 불가하다면 위의 객체 소유권을 수정해줘야 한다 3. boto3 활용 1) 계정 내의 모든 버킷 리스트 담아오기 : client.list.. 2022. 2. 23.
[AWS] Private하게 DataSync 사용하기 AWS DataSync란? https://aws.amazon.com/ko/datasync/ 온라인 데이터 전송 및 마이그레이션—AWS DataSync—Amazon Web Services AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. DataSync는 NFS(Network File System) 공유, SMB(Server Message Block) 공유, Hadoop 분 aws.amazon.com NFS/SMB 등의 파일 시스템 + AWS S3/EFS/FSx 들 간의 데이터 마이그레이션 서비스이다 https://docs.aws.amazon.com/ko_kr/datasync/latest/userguide/datasync-.. 2021. 12. 11.
[Terraform] 실행 환경 분리와 Backend 설정 (AWS/Terraform Cloud) Terraform Backend에 대해 썼던 기존 글 [Terraform] 테라폼 backend의 이해 [Terraform on AWS] 테라폼 backend, 상태 잠금 설정해보기 위 글들은 잘 모르는 상태에서 책 내용을 정리만 해 놓은 것이었다 테라폼을 실무에서 쓰게 되면서 깨닫고 느낀 것들을 다시 정리해 보겠다 Terraform 실행 환경 분리 & Backend 설정의 필요성 참고한 글 : https://rampart81.github.io/post/terraform-directory-structure/ Terraform은 기본적으로 apply가 일어나는 폴더 내의 .tf 파일들을 모두 실행시킨다 VPC/EC2와 같은 기본적인 인프라만 프로비저닝할거라면 상관없지만, Database/Directory/.. 2021. 10. 10.
[AWS S3] 다른 계정 간 S3 Bucket Sync 출처 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/copy-s3-objects-account/ 1. 정보 source bucket : honglab-source-bucket destination bucket : honglab-destination-bucket source 버킷엔 대충 아무 이미지를 5개 넣어두었고, destination 버킷엔 아무것도 없다 2. destination bucket 버킷 정책 Destination 버킷의 권한 > 버킷 정책 > 편집 아래의 정책을 넣어주자 { "Version": "2012-10-17", "Id": "Policy1611277539797", "Statement": [ { "Sid": "Stmt1611.. 2021. 8. 13.
[AWS SageMaker] Ground Truth 사용해보기 (Private 작업자) 0. SageMaker Ground Truth란? ML을 위한 완전 관리형 데이터 레이블링 서비스 레이블링 방식 Amazon Mechanical Turk : 쉽게 말해 외주 맡기는 일. 전 세계 500,000명 정도의 독립 계약자들에 온디맨드 24/7 방식 액세스를 제공한다고 함 (데이터가 민감하지 않아야 사용 가능) Private 인력 : 직접 지정한 사람이 작업 (자체 직원 또는 계약자) 공급업체 인력 : AWS Marketplace를 통해 전문적인 데이터 레이블 지정 서비스를 제공하는 제 3자 공급업체 목록에 액세스 참고 : https://aws.amazon.com/ko/getting-started/hands-on/build-training-datasets-amazon-sagemaker-ground.. 2021. 7. 31.
[AWS] goofys로 Linux에 AWS S3 마운트 https://github.com/kahing/goofys kahing/goofys a high-performance, POSIX-ish Amazon S3 file system written in Go - kahing/goofys github.com * AWS 자격 증명은 알아서... (aws confiugure 또는 IAM role) ** AWS EC2에서 진행 Amazon Linux 2 mkdir [마운트할 경로] yum install -y fuse wget https://github.com/kahing/goofys/releases/latest/download/goofys chmod +x goofys ./goofys [마운트할 경로] [S3버킷 이름] CentOS 7 mkdir [마운트할 경로] yu.. 2021. 7. 13.
[AWS] Amazon Lookout for Vision 사용해보기 (AWS Workshop) 💡 Amazon Lookout for Vision이란? 산업 환경에서 고객이 생산 단위 및 장비의 외관 결함을 쉽고 비용 효율적으로 감지할 수 있도록 지원하는 AWS의 기계 학습 (ML) 서비스 생산 프로세스의 결함을 실시간으로 줄일 수 있으며, 대시보드에서 시각적 이상을 식별하고 보고하므로 더 많은 결함이 발생하지 않도록 신속하게 조치를 취하여 생산 품질을 높이고 비용을 절감할 수 있다고 한다 잘 모르는 분야이지만, 일단 워크샵을 보고 따라해봤다 📌 Reference 진행하는 워크샵 - https://lookout-for-vision.workshop.aws/ https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide/what-is.htm.. 2021. 7. 1.
[AWS] AWS Transfer 사용해보기 (Serverless SFTP 구현) 참고 https://techblog.kr/2021/05/10/serverless-sftp/ https://aws.amazon.com/ko/blogs/korea/new-aws-transfer-for-ftp-and-ftps-in-addition-to-existing-sftp/ 목차 1. AWS Transfer란? + FTP, FTPS, SFTP 2. 사전 준비 사항(SSH 퍼블릭 키, S3 버킷, IAM 역할) 3. AWS Transfer 생성 4. 사용해보기 1. AWS Transfer란? + FTP, FTPS, SFTP AWS Transfer Family란, AWS 스토리지 안팎으로 파일을 전송할 수 있는 보안 전송 서비스이다 FTP, FTPS, SFTP 프로토콜을 사용할 수 있으며, S3 또는 EFS와.. 2021. 6. 1.
[Terraform on AWS] 테라폼 backend, 상태 잠금 설정해보기 참조 책 Terraform Up & Running 코드 : github.com/stitchlabio/terraform-up-and-running-code terraform101.inflearn.devopsart.dev/advanced/backend/ 이전 글 : 테라폼 backend의 이해 Requirements S3, DynamoDB 권한이 있는 IAM User 목차 1. S3 버킷, DynamoDB 테이블 생성 2. Backend 설정 1. S3 버킷, DynamoDB 테이블 생성 테라폼의 상태를 저장하기 위한 S3 Bucket과 Lock을 걸기 위한 DynamoDB 테이블을 생성해 보겠다 resources.tf provider "aws" { region = "us-east-1" } resource .. 2021. 3. 21.
[Terraform] 테라폼 backend의 이해 + 21.10.10 더 이해 많이 하고 쓴 글 : https://honglab.tistory.com/199 [Terraform] 실행 환경 분리와 Backend 설정 (AWS/Terraform Cloud) Terraform Backend에 대해 썼던 기존 글 [Terraform] 테라폼 backend의 이해 [Terraform on AWS] 테라폼 backend, 상태 잠금 설정해보기 위 글들은 잘 모르는 상태에서 책 내용을 정리만 해 놓은 것이었다 테라폼.. honglab.tistory.com 참조 책 Terraform Up & Running terraform101.inflearn.devopsart.dev/preparation/terraform-basic/ 목차 1. 테라폼 상태 & backend 2... 2021. 3. 19.
[AWS WAF] #5 실습 마무리 : 로깅 확인 & 리소스 삭제 목차 1. 로깅 확인 2. 리소스 삭제 1. AWS WAF 로깅 확인 S3로 들어가서 waf-s3bucket-어쩌고의 버킷의 가장 최근 파일을 받아봤다 첫번째줄은 curl -i -H "x-value: bot" $waf_url 명령의 결과라서 x-value값이 bot이다 두번째줄은 curl -i -X POST -d ... 명령의 결과라서 메소드 형태가 POST이다 (파라미터 값은 안보임) 2. 리소스 삭제 순서 1) WAF Web ACL의 Associate AWS resources 탭에서 ALB와의 연결 해제 2) WAF Web ACL 삭제 3) S3 bucket 비운 후 삭제 (안비우면 삭제 안됨) (둘 다 지워야됨) 4) CloudFormation 스택 삭제 끝 WAF 실습 시리즈 #0 실습 전 준비 .. 2021. 2. 26.
[AWS WAF] #1 사전 리소스들과 WAF 구성 목차 1. 사전 리소스 구성 2. 만들어진 DVWA 확인 3. WAF Web ACL 구성 1. 사전 리소스 구성 위 템플릿 파일을 다운받아 CloudFormation 스택을 생성해보자 인스턴스 타입과 VPC 대역은 변경 가능하다 디폴트값으로 진행했을 때 생성되는 리소스들은 아래와 같다 준비된 환경에 WAF까지 구현한 아키텍처는 다음과 같다 2. 만들어진 DVWA 확인 스택 배포로 생성된 ALB의 DNS로 접속해보면 DVWA의 로그인 페이지로 접속된다 초기 ID : admin / 비밀번호 : password 왼쪽의 메뉴들 중 DVWA Security 탭으로 이동해 Security Level을 Low로 설정한 후 Submit을 해주자 취약점을 공격하기 쉬운 단계로 낮추는 것이다 (레벨별로 공격하는 방법이 다.. 2021. 2. 25.

티스토리툴바