티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

honglab
검색하기
블로그 홈

블로그 홈

honglab

honglab.tistory.com/m

haejang 님의 블로그입니다.

구독자
63
방명록 방문하기
공지 Terraform 질문공부방 오픈카톡 모두보기

주요 글 목록

  • [AWS] 콘솔 상단 색 변경 Extension https://aws.amazon.com/ko/about-aws/whats-new/2025/01/aws-management-console-simultaneous-sign-in-multiple-accounts/ The AWS Management Console now supports simultaneous sign-in for multiple AWS accounts - AWSToday, AWS announces multi-session support, which enables AWS customers to access multiple AWS accounts simultaneously in the AWS Console. AWS Customers can sign-in to up to 5 sessions in a.. 공감수 0 댓글수 0 2025. 1. 19.
  • [aws-load-balancer-controller] failed calling webhook "mtargetgroupbinding.elbv2.k8s.aws" # 사전 설명폐쇄망에서 eks 구축을 하고 있었다.A 계정의 A 클러스터를 먼저 만들어보고, 테라폼 모듈을 완성해 다른 B, C, D 계정에도 똑같이 만들려고 하는데...Internal error occurred: failed calling webhook "mtargetgroupbinding.elbv2.k8s.aws": failed to call webhook: Post "https://aws-load-balancer-webhook-service.kube-system.svc:443/mutate-elbv2-k8s-aws-v1beta1-targetgroupbinding?timeout=10s": context deadline exceeded TargetGroupBinding 객체를 만드려고 시도할 때 마다 이.. 공감수 1 댓글수 0 2024. 7. 17.
  • [AWS/EC2] Proxy Setup user_data (Linux, Windows) # Linux# linux.sh#!/bin/bashPROXY_URL="http://proxy.domain:3128"NO_PROXY="169.254.169.254,localhost,127.0.0.1,.svc.cluster.local,.amazonaws.com,172.16.0.0/12,10.0.0.0/8,192.168.0.0/16,.internal"echo "export http_proxy=$PROXY_URL" | tee -a /etc/profile.d/proxy.shecho "export https_proxy=$PROXY_URL" | tee -a /etc/profile.d/proxy.shecho "export no_proxy=$NO_PROXY" | tee -a /etc/profile.d/proxy.shso.. 공감수 1 댓글수 0 2024. 7. 9.
  • [AWS EKS] 보안그룹 최소 필요사항 정리 - 폐쇄망 기준- VPC Endpoint는 필요한 것 모두 생성되어 있다고 가정- inbound / outbound 모두 제어 (any는 없음)- Node의 보안그룹 / Cluster의 보안그룹은 각자의 클러스터 아키텍처에 맞게 생각 보안그룹typeprotocolport대상설명Node 보안그룹ingresstcp443, 10250Cluster 보안그룹필수 통신 포트Node 보안그룹egresstcp443, 10250Cluster 보안그룹필수 통신 포트Node 보안그룹egresstcp, udp53Cluster 보안그룹DNSNode 보안그룹egresstcp443VPC Endpoint 보안그룹endpoint 통신Node 보안그룹egresstcp443S3 Prefix Listendpoint 통신      Clust.. 공감수 4 댓글수 0 2024. 7. 1.
  • [Terraform/AWS ECR] 외부 이미지 ECR에 캐싱하기 (Pull Through Cache Rule) # ECR Pull Through Cache Rule 이란?쉽게 말해, 외부의 도커 이미지 레지스트리(ex - docker.io, ghcr.io, public.ecr.aws) 에 있는 도커 이미지를 내 AWS 계정의 ECR로 가져올 수 있게 규칙을 생성해 두는 것이다.공식 도큐 - https://docs.aws.amazon.com/AmazonECR/latest/userguide/pull-through-cache-creating-rule.html Creating a pull through cache rule in Amazon ECR - Amazon ECRThe AWS Management Console only displays Secrets Manager secrets with names using the .. 공감수 1 댓글수 0 2024. 6. 30.
  • [AWS EKS] CoreDNS Addon을 FARGATE로 띄우기 (w. Terraform) # 0. 서론eks의 모든 노드들을 카펜터로 띄우기 시작했다.카펜터가 아닌 노드가 없기 때문에 karpenter 자체는 fargate로 띄워야만 했다.여기까지는 managed node group > karpenter로 마이그레이션하다가 알게 된 것이고.. 카펜터만 띄우는 설정으로 새로 클러스터를 띄우다보니 coredns가 karpenter보다 먼저 떠야 한다는 것을 알게 되었다.(카펜터도 내부 dns에 의존하는 무언가가 있나보다. 더 자세히 알아보진 않았다.) 따라서 karpenter와 마찬가지로 coredns도 fargate로 띄우도록 설정을 변경하게 되었다.이 때 필요한 과정을 terraform으로 설명하겠다. # 1. coredns fargate profile 생성locals { cluster_n.. 공감수 4 댓글수 0 2024. 4. 28.
  • [AWS EKS] 클러스터 보안그룹 vs 추가 보안그룹 (Cluster SG vs Additional SG) # 결론클러스터 보안그룹과 추가 보안그룹은 다르다.클러스터 보안그룹 (EKS 생성 시 자동 생성되며, self rule도 자동으로 생성되어 있음) 은 eks api로 만든 컴퓨팅 리소스 (fargate, managed ec2 node group) 들에 적용된다.즉,컨트롤플레인의 cross-eni : 클러스터 보안그룹 & 추가 보안그룹 사용fargate, managed node group 노드 : 클러스터 보안그룹 사용자체 런치템플릿 사용한 managed node group, self managed 노드 : 커스텀 보안그룹 사용 (내가 지정하는걸로) # 일단 용어정리클러스터 보안그룹 : eks 클러스터 생성 시 자동으로 생성되는 "Cluster security group"추가 보안그룹 : eks 클러스터 .. 공감수 5 댓글수 1 2024. 4. 28.
  • [AWS/EC2/Quota] You have requested more vCPU capacity than your current vCPU limit of 64 allows for the instance bucket that the specified instance type belongs to. p4d.24xlarge EC2를 만들 일이 있었는데, 아래와 같은 에러가 났다. Instance launch failed You have requested more vCPU capacity than your current vCPU limit of 64 allows for the instance bucket that the specified instance type belongs to. Please visit http://aws.amazon.com/contact-us/ec2-request to request an adjustment to this limit. Instance launch failed You have requested more vCPU capacity than your current vCPU.. 공감수 4 댓글수 1 2024. 4. 11.
  • [AWS SNS/꼼수] Confirm되지 않은 Email Subscription 의 ARN 알아내기 # 상황 SNS Topic과 Email 구독 등을 만들어보고, 테라포밍을 진행하려고 한다. 이 때 이미 만들어진 리소스들은 import를 해야하고, SNS Subscription 의 import를 위해서는 ARN을 알아야 한다. 그러나 안타깝게도 아직 confirm되지 않은 구독은 ARN을 확인할 수 없다. 그러나 그냥 Request confirmation (컨펌 해달라고 메일 또 보내는건듯) 을 눌러보면... 위에 ARN이 뜬다.. 별거 아니지만 나름 꿀팁(?) 이라 정리.... 끝 공감수 3 댓글수 1 2023. 11. 20.
  • [Lambda/Python/Slack] 가볍게 슬랙 메세지 보내기 Slack App을 만들고, Incoming Webhook을 원하는 채널에 생성해둔다. import json import urllib3 SLACK_URL = "https://hooks.slack.com/services/.../.../..." MESSAGE = "Lambda Trigger Test" def lambda_handler(event, context): message = { 'text': MESSAGE } http = urllib3.PoolManager() response = http.request('POST', SLACK_URL, body=json.dumps(message).encode('utf-8'), headers={'Content-Type': 'application/json'}) if re.. 공감수 3 댓글수 0 2023. 5. 30.
  • [AWS] ELB Target Group - IP & Instance Type 억까 https://docs.aws.amazon.com/ko_kr/elasticloadbalancing/latest/network/load-balancer-target-groups.html#registered-targets Network Load Balancer 대상 그룹 - Elastic Load Balancing Network Load Balancer 대상 그룹 각 대상 그룹은 하나 이상의 등록된 대상에 요청을 라우팅하는 데 사용됩니다. 리스너를 생성할 때 기본 작업에 대한 대상 그룹을 지정합니다. 트래픽은 리스너 규칙 docs.aws.amazon.com IP & Instance Type : C1, CC1, CC2, CG1, CG2, CR1, G1, G2, HI1, HS1, M1, M2, M3, T1 인스.. 공감수 2 댓글수 0 2023. 5. 24.
  • [MSK Connector] Bigquery용 Connector 구성 BigQuery용 MSK Connector를 만드는 레퍼런스가 거의 없어서 챗지피티 도움을 많이 받았다. GCP Key File을 AWS Secret Manager에 등록해둔 후 Connector에서 해당 시크릿을 읽어오는 식으로 만들면 된다. Connector configuration file connector.class=com.wepay.kafka.connect.bigquery.BigQuerySinkConnector autoCreateTables=true tasks.max=2 topics={TOPIC명} project={PROJECT명} gcp.secret={SECRET MANAGER ARN} defaultDataset={DATASET명} MSK Connector용 IAM Role에 해당 시크릿을 D.. 공감수 2 댓글수 2 2023. 5. 9.
  • [AWS] Session Manager 중앙 집중식 로깅 구현 : SSM Session Manager Cross Account S3 Logging Session Manager Logging은 세션 접속한 동안의 명령까지도 모두 로깅으로 남는다. Multi Account AWS 환경에서 각 계정의 Session Manager Logging을 로깅 계정의 S3로 쌓도록 설정해보자. Encrypt 설정은 하지 않는다. 하게 되면 S3 Bucket 정책 등이 달라져야 할 것이다. # Architecture # 1. SSM Logging 설정 Console에서 하는 법 Systems Manager > Session Manager > Preferences 에서 설정 가능 (CLI, IaC등 API로는 불가) Bucket 이름과 Prefix를 지정해준다 API(CLI or IaC)로 하는 법 SSM-SessionManagerRunShell 문서를 직접 수정 C.. 공감수 4 댓글수 0 2022. 8. 28.
  • [AWS] ElastiCache RI API로 구매하기 (AWSCLI, Python boto3) AWS Console에서 ElastiCache RI 구입 시엔 아래와 같이 Engine, Node type, Term, Offering Type만 지정해주면 된다 (node ID : 그냥 이름 정할거면 정하라는 것) 그러나 CLI나 SDK로 다량구매를 하고싶어 찾아보니,,,, https://docs.aws.amazon.com/ko_kr/AmazonElastiCache/latest/red-ug/reserved-nodes-purchasing.html 예약 노드 구입 - Amazon ElastiCache for Redis 예, 구매를 선택하면 선택한 예약 노드에 요금이 부과됩니다. 요금이 부과되지 않도록 하려면 [Cancel]을 선택합니다. docs.aws.amazon.com engine이나 node type.. 공감수 4 댓글수 0 2022. 5. 29.
  • [AWS 리소스 초기화] aws-nuke in MAC aws-nuke 란? AWS 내의 리소스들을 한꺼번에 날릴 수 있는 오픈소스 https://github.com/rebuy-de/aws-nuke GitHub - rebuy-de/aws-nuke: Nuke a whole AWS account and delete all its resources. Nuke a whole AWS account and delete all its resources. - GitHub - rebuy-de/aws-nuke: Nuke a whole AWS account and delete all its resources. github.com MAC에서 사용하기 여러 방법이 있지만,,,더 편하게 사용하기 위해 MacPorts를 받았다 https://www.macports.org/install.. 공감수 4 댓글수 0 2022. 5. 19.
  • [AWS S3] API Call로 S3 Access Logging 설정 시 유의할 점 (boto3) 상황 : 계정 내의 모든 버킷들에 access log 설정을 해두려고 한다 -> python boto3로 진행 1. 먼저 access log를 받을 버킷을 만든다 => access log는 cross region이 지원되지 않는다 https://docs.aws.amazon.com/AmazonS3/latest/userguide/ServerLogs.html 따라서 계정 내 버킷의 리전 종류가 여러개라면, 각 리전별로 액세스로그용 버킷을 만들어야 한다 2. ACL 설정 ACL 의 S3 로그 전달 그룹에 대해 객체 쓰기/버킷 ACL 읽기 권한을 부여해야 한다 만약 ACL 수정이 불가하다면 위의 객체 소유권을 수정해줘야 한다 3. boto3 활용 1) 계정 내의 모든 버킷 리스트 담아오기 : client.list.. 공감수 6 댓글수 0 2022. 2. 23.
  • [AWS] Private하게 DataSync 사용하기 AWS DataSync란? https://aws.amazon.com/ko/datasync/ 온라인 데이터 전송 및 마이그레이션—AWS DataSync—Amazon Web Services AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. DataSync는 NFS(Network File System) 공유, SMB(Server Message Block) 공유, Hadoop 분 aws.amazon.com NFS/SMB 등의 파일 시스템 + AWS S3/EFS/FSx 들 간의 데이터 마이그레이션 서비스이다 https://docs.aws.amazon.com/ko_kr/datasync/latest/userguide/datasync-.. 공감수 5 댓글수 2 2021. 12. 11.
  • [AWS Windows] Windows EC2 비밀번호 복구 (EC2Config & EC2Rescue) 문제 상황 Windows EC2는 key pair를 해독한 비밀번호로 접속할 수 있다. 이런 윈도우 서버들에 Sysprep 설정을 하지 않은 채로 AMI를 뜬 후 복구를 하게 된다면, 암호를 사용할 수 없게 된다 따라서 윈도우 EC2는 AMI를 뜨기 전에 Sysprep을 설정해 비밀번호를 초기화 시켜놔야 한다 -> 참조 : [AWS Windows] Windows EC2 AMI 뜨기 전 Sysprep 설정 (비밀번호 초기화) 그러나 Sysprep 없이 이미 AMI를 떴더라도 복구 방법은 다 있다 해결 방법 암호를 복구해야 하는 AMI가 윈도우 2016 이전인 경우 : https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/WindowsGuide/ResettingAdminPas.. 공감수 5 댓글수 0 2021. 11. 20.
  • [AWS] gossm으로 Local(Windows)에서 Session Manager 사용하기 (핵꿀) 참고 : https://medium.com/@gjbae1212/aws-ssm-%EC%9D%B4%EC%9A%A9%ED%95%B4-ec2-%EC%A0%91%EC%86%8D%ED%95%98%EB%8A%94-cli-%EA%B0%9C%EB%B0%9C-62c2f7357fb8 gossm 다운 : https://github.com/gjbae1212/gossm/releases MAC 쓰는 사람들은 더 쉽게 다운받을 수 있다 (brew 사용) 난 윈도우니까 위 다운 페이지에서 윈도우 버전을 받은 후 환경변수 PATH에 등록된 경로에 옮겨줬다 다음으로 Session Manager를 실행할 수 있는 환경을 구성해 보았다 자세한 설명은 아래 글들을 확인하자 2021.03.15 - [공부/AWS] - [AWS] Session M.. 공감수 3 댓글수 0 2021. 11. 5.
  • [AWS Windows] Windows EC2 AMI 뜨기 전 Sysprep 설정 (비밀번호 초기화) 문제 상황 Windows EC2 의 AMI를 뜨게 되면, 해당 AMI로 EC2를 시작할 때 Key를 지정해준다 한들 기존 서버에 접속하던 비밀번호로만 접속할 수 있다 -> AMI 뜨기 전 Sysprep을 설정해주면 된다 Sysprep? : https://docs.microsoft.com/ko-kr/windows-hardware/manufacture/desktop/sysprep-process-overview 잘 설명할 순 없지만, 일단 초기화 같은 느낌이라고 생각하면 될 것 같다 하는 법 EC2LaunchSettings 검색 후 실행 Shutdown with Sysprep 이후 AMI를 뜨면 새 키를 지정하는 대로 해당 서버를 시작할 수 있다 끝 공감수 3 댓글수 0 2021. 11. 5.
  • [AWS] 아예 인터넷 통신이 없는 VPC에 EKS를 구성하기 위한 VPC Endpoint NAT조차 없는 서브넷에선 Cluster를 만들 순 있어도, Node를 연결할 수가 없다 이런 경우엔 VPC Endpoint를 몇 개 생성해주면 된다 https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/private-clusters.html 프라이빗 클러스터 - Amazon EKS 프라이빗 클러스터 이 주제에서는 아웃바운드 인터넷 액세스 없이 프라이빗 클러스터를 배포하는 방법에 대해 설명합니다. Amazon EKS 네트워킹에 익숙하지 않은 경우 Amazon EKS 작업자 노드에 대한 docs.aws.amazon.com 위의 4개만 필수고, 나머지는 필요에 따라 만들면 된다 ec2, ecr.api, ecr.dkr, s3(gateway), elasticloadb.. 공감수 2 댓글수 0 2021. 11. 5.
  • [Windows PowerShell] Get-AWSPublicIpAddressRange 사용하기 https://docs.aws.amazon.com/ko_kr/general/latest/gr/aws-ip-ranges.html#filter-json-file AWSIP 주소 범위 - AWS 일반 참조 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com AWS의 IP 범위를 Windows PowerShell의 Get-AWSPublicIpAddressRange 를 통해 불러올 수 있다고 한다 위 cmdlet을 근데 쉽게 사용할 순 없었는데,,,어떤 분이 올려둔 글을 보고 쉽게 했다 참조 : https://namtop.tistory.com/110 PowerShell.. 공감수 7 댓글수 0 2021. 10. 24.
  • [AWS] WorkSpaces에서 VPC Endpoint 찾기 (DNS Forwarding) 문제 상황 VPC Endpoint를 만들었고, 해당 VPC 안의 EC2에선 해당 Endpoint의 사설 IP를 잘 찾아오나, 같은 Subnet 안의 WorkSpaces에서는 퍼블릭 IP로만 찾아옴 (VPC Endpoint를 통한 사설 통신을 못함) 해결 WorkSpace는 Directory Service 밑에 있기 때문에, VPC DNS가 아닌 DS의 DNS를 통한다 따라서 VPC 내의 DNS 리소스를 찾을 수 없었던 것 -> DNS Forwarding을 해줘야 한다 Active Directory Management 서버로 들어가서, Win+R -> dnsmgmt.msc 로 들어가준다 (DNS는 Directory Service DNS 중 아무거나 입력해주면 됨) 입력한 DNS 주소 밑 Conditiona.. 공감수 2 댓글수 0 2021. 9. 20.
  • [AWS] Code Series로 Terraform CI/CD 환경 구성해보기 들어가면서 AWS Code Series란? AWS의 CodeCommit, CodeBuild, CodeDeploy, CodePipeline을 통칭하는 단어 CodeCommit : AWS의 GitHub (버전 관리 서비스) - [AWS] CodeCommit 사용법 참고 CodeBuild : 소스코드 컴파일해주고 빌드해주는 서비스 (Source Repository의 buildspec.yml 파일대로 빌드) CodeDeploy : 배포하고자 하는 대상(Application)을 Deployment Group으로 배포시켜줌 (appspec.yml 파일대로) 가능 배포 대상 : EC2/On-premis, Lambda, ECS CodePipeline : Source - Build - Deploy 과정을 관리해주는 서비.. 공감수 3 댓글수 1 2021. 9. 18.
  • [AWS] CodeCommit 사용법 AWS CodeCommit이란? + GRC AWS에서 호스팅하는 버전 관리 서비스 AWS에서 관리하는 GitHub이라고 생각하면 쉽다 CodeCommit Repository를 만들고 사용하는건 Git으로 하는거라 어렵진 않지만, HTTPS 방식이나 SSH 방식이 아닌 HTTPS (GRC)라는 git-remote-codecmmit이란 유틸을 사용하는 새로운 방식이 있다 이는 아마존에서 권장하는 방법이며, Git 자격 증명 설정 필요 없이 IAM 또는 SSO 사용자로 바로 접근할 수 있다 자세한 내용 : https://docs.amazonaws.cn/en_us/codecommit/latest/userguide/setting-up-git-remote-codecommit.html GRC (git-remote-c.. 공감수 3 댓글수 0 2021. 9. 17.
  • [AWS WorkSpaces] PCoIP용 AD GPO Template 설정 AWS 공식 Guide https://docs.aws.amazon.com/workspaces/latest/adminguide/group_policy.html#gp_install_template Manage your Windows WorkSpaces - Amazon WorkSpaces If the domain backing the WorkSpaces is an AWS Managed Microsoft AD directory, you cannot use the Default Domain Policy to create your GPO. Instead, select the yourdomainname OU (or any OU under that one), open the context (right-click) me.. 공감수 4 댓글수 0 2021. 9. 2.
  • [AWS Rekognition CLI] detect-custom-labels : Unknown options 에러 (Windows) 문제 상황 Rekognition Custom Label Model 돌리는데 콘솔에 적힌대로 명령을 내려도 Unkwon options라며 실행이 안됨 aws rekognition detect-custom-labels ^ --project-version-arn "[project ARN]" ^ --image '{"S3Object": {"Bucket": "[버킷이름]","Name": "[데이터 path]"}}" ^ --region ap-northeast-2 해결 https://forums.aws.amazon.com/thread.jspa?threadID=322303 윈도우 명령줄에서 작은따옴표가 허용되지 않아서 아래와 같이 변경해서 사용 aws rekognition detect-custom-labels ^ --p.. 공감수 3 댓글수 0 2021. 8. 29.
  • [AWS] Directory Service & WorkSpaces 생성하고 사용해보기 AWS Directory Service란? AWS의 Microsoft Active Directory 완전관리형 서비스이다 AWS의 다양한 리소스들에 AD를 쉽게 연동할 수 있는 장점이 있다 AWS Directory Service에는 3가지 서비스 옵션이 있다 AWS Managed Microsoft AD : 실제 Microsoft의 AD 서비스를 AWS에서 사용해야 하는 경우 사용 뭐 근데...실제 Microsoft AD와 기능상 차이가 분명히 존재한다... 없는 기능들은 AWS의 다른 서비스를 사용하라는 큰그림인것 같기도.... AD Connector : 온프레미스나 다른 계정 등의 AD를 땡겨와서 사용할 때 사용 Simple AD : AD 호환성이 있는 소규모 디렉터리가 필요하거나 LDAP 호환성이 필.. 공감수 4 댓글수 0 2021. 8. 28.
  • [AWS S3] 다른 계정 간 S3 Bucket Sync 출처 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/copy-s3-objects-account/ 1. 정보 source bucket : honglab-source-bucket destination bucket : honglab-destination-bucket source 버킷엔 대충 아무 이미지를 5개 넣어두었고, destination 버킷엔 아무것도 없다 2. destination bucket 버킷 정책 Destination 버킷의 권한 > 버킷 정책 > 편집 아래의 정책을 넣어주자 { "Version": "2012-10-17", "Id": "Policy1611277539797", "Statement": [ { "Sid": "Stmt1611.. 공감수 5 댓글수 1 2021. 8. 13.
  • [AWS SageMaker] Ground Truth 사용해보기 (Private 작업자) 0. SageMaker Ground Truth란? ML을 위한 완전 관리형 데이터 레이블링 서비스 레이블링 방식 Amazon Mechanical Turk : 쉽게 말해 외주 맡기는 일. 전 세계 500,000명 정도의 독립 계약자들에 온디맨드 24/7 방식 액세스를 제공한다고 함 (데이터가 민감하지 않아야 사용 가능) Private 인력 : 직접 지정한 사람이 작업 (자체 직원 또는 계약자) 공급업체 인력 : AWS Marketplace를 통해 전문적인 데이터 레이블 지정 서비스를 제공하는 제 3자 공급업체 목록에 액세스 참고 : https://aws.amazon.com/ko/getting-started/hands-on/build-training-datasets-amazon-sagemaker-ground.. 공감수 3 댓글수 0 2021. 7. 31.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.