본문 바로가기

AWS139

[Chaos Engineering] 카오스 엔지니어링 in AWS 먼저 카오스 엔지니어링이란 무엇인가? 서비스를 운영하면, 장애(Failure)와는 필연적으로 마주치게 된다 장애는 항상 언제 어디서든 일어날 수 있기 때문에, 장애가 일어나더라도 빨리 복원하거나 고객들이 알아채지 못하는 인프라를 구성하는 것이 중요하다 카오스 엔지니어링(Chaos Engineering)은 시스템이 각종 장애들을 견딜 수 있는지를 테스트하기 위해 분산 시스템을 실험하고 배우는 분야이다 통제된 환경에서 의도적으로 구성된 실험을 통해 잠재적인 문제를 선제적으로 발견하는 것이 목표 실제 프로덕션 환경에서 장애를 주입(Failure Injection)해 약점을 식별하고, 장애를 미리 탐지할 수 있는 복원성 높은 아키텍처를 만들어내야 한다 벨만 울리는 화재 비상 대피 훈련이 아닌, 실제로 화재를 일.. 2020. 12. 21.
[AWS] AWS Cloud Shell linux 기반의 클라우드 쉘이다 콘솔에서 서비스 > Cloud Shell을 검색해 들어갈 수 있다 아직 서울은 지원하지 않는다 시작하면 나오는 화면 오른쪽 상단의 Actions을 눌러보면 여러 기능들도 있다 아무 파일을 하나 upload 해보겠다 1GB까지만 된다고 한다. 아무튼 업로드를 하니 업로드가 잘 된다 검색창 옆의 아이콘을 눌러도 바로 CloudShell로 들어갈 수 있다 끝 2020. 12. 21.
[AWS] AWS 주요 ML 서비스들 정리 Amazon SageMaker (완전관리형) 완전관리형 ML서비스 Amazon SageMaker 서비스들 정리 [AWS] 완전관리형 ML서비스 Amazon SageMaker 서비스들 정리 Amazon SageMaker란? 모든 개발자 및 Data Scientist들이 ML(Machine Learning) 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 모듈식의 완전 관리형 서비스 사용 서비스들 ML 모델 "준비" Part Amazon Sa.. honglab.tistory.com Amazon Polly (텍스트 -> 음성) 텍스트를 생생한(실제 말하는것 같은) 음성으로 변환하는 서비스 고급 딥러닝 기술을 사용해 자연스러운 사람의 음성을 합성함 Amazon Polly Brand Voice 를 사용해서 .. 2020. 12. 10.
[AWS] 완전관리형 ML서비스 Amazon SageMaker 서비스들 정리 Amazon SageMaker란? 모든 개발자 및 Data Scientist들이 ML(Machine Learning) 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 모듈식의 완전 관리형 서비스 사용 서비스들 # ML 모델 [준비] Part Amazon SageMaker Ground Truth AI가 예측을 하려면 수많은 데이터에 라벨링 작업을 해야 한다 이는 노가다성이 굉장히 짙고 시간이 오래걸린다 -> Ground Truth로 자동화 ML을 위한 고도로 정확한 훈련 데이터 세트를 손쉽게 구축할 수 있게 해주는 완전관리형 데이터 레이블링 서비스 Amazon SageMaker Data Wrangler (NEW) ML 위한 데이터 전처리 시간 단축(데이터 특성 파악, 가공 및 집계) 데이터를 가져오기.. 2020. 12. 8.
[AWS] AWS의 무료 IDE인 Cloud9 사용해보기 AWS Cloud9은 브라우저만으로 코드를 작성, 실행 및 디버깅할 수 있는 클라우드 기반 IDE(통합 개발 환경)이다 같이 사용되는 ec2나 이를 이용해 만드는 리소스의 비용을 제외하고는 cloud9 자체는 무료이다 직접 사용해볼건데, 시작하기 전에 VPC와 Subnet이 먼저 준비되어있어야 한다 난 그냥 기본 VPC로 진행했다 aws console에서 서비스 > cloud9 > Create environment 를 누른다 이름을 대충 정해주고 Next step을 누른다 Configure Setting은 그냥 기본값 그대로 가도 되겠지만, Instance type만 t3.small로 바꾸고 진행하겠다 나머진 모두 기본값 그대로 두고 다음을 계속 눌러 생성을 시작하겠다 참고로 새 ec2가 생성되며, 그 .. 2020. 12. 4.
[AWS] AWS S3 스토리지 클래스 update ver. 2020/07/02 - [자격증/AWS] - [AWS-SAA] 스토리지 - Amazon S3 [AWS-SAA] 스토리지 - Amazon S3 S3 : Simple Storage Service 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 "객체 스토리지 서비스" 주요 개념 객체 : S3에 저장되는 기본 개체. 객체 데이터와 메타데이터로 구성됨 버 honglab.tistory.com 이 글에선 S3의 Standard, Standard-IA, OneZone-IA, Glacier에 대해서만 다루었다 오늘은 최신 스토리지 클래스인 Intelligent-Tiering과 Glacier Deep Archive에 대해서 알아보겠다 S3 Intelligent-Tiering 클라우드 스토리지 관리 혁신 r.. 2020. 12. 3.
[Ansible] Role 사용법과 변수 파일(vars) 설정, 암호화 * AWS EC2 amazon linux 2에서 진행 일단 얘네들을 설치하고 시작하겠다 amazon-linux-extras enable ansible2 yum clean metadata yum install -y ansible yum install -y python-pip yum install -y python3-pip pip install boto pip intsall boto3 yum install -y tree 2020/11/08 - [공부/Ansible] - [Ansible] Ansible 기초 개념과 AWS에서 사용하기(VPC, EC2) [Ansible] Ansible 기초 개념과 AWS에서 사용하기(VPC, EC2) 1. 앤서블이란? IaC(Infrastructure as Code)를 실천하는.. 2020. 11. 11.
[Ansible] Ansible 기초 개념과 AWS에서 사용하기(VPC, EC2) 1. 앤서블이란? IaC(Infrastructure as Code)를 실천하는 자동화 관리 도구 YAML 형식의 플레이북을 실행시키는 형식으로 자동화 구현 2. 멱등성 앤서블은 멱등성(Idempotency)이란 특징을 가진다 이는 여러 번 적용해도 결과가 바뀌지 않으며, 수정된 부분이 있다면 그 부분만 새롭게 반영되는 특징이다 3. Playbook YAML 형식으로 작성된 각각의 Playbook들은 하나 이상의 Play를 가지며, 각각의 Play는 하나 이상의 task(앤서블 모듈)을 실행한다 4. 앤서블 설치 조건 리눅스/유닉스 계열의 OS 환경 파이썬(일반적인 리눅스 배포판에는 기본으로 내장) 5. 앤서블 설치(Amazon Linux 2에서 진행) * AWS EC2 Amazon Linux 2에서 진행.. 2020. 11. 8.
[Boto3] 윈도우에서 Python으로 AWS 리소스 프로비저닝하기 먼저 python 3을 다운받고 설치하자 (이미 있으면 생략) www.python.org/downloads/windows/ Python Releases for Windows The official home of the Python Programming Language www.python.org 잘 설치되었는지 확인하기 위해 cmd에서 python과 pip버전을 확인 python --version pip3 --version aws cli를 설치하고 최신 버전으로 업그레이드하자 pip3 install awscli pip3 install --user --upgrade awscli --user : 사용자 설치 디렉토리에 설치 --upgrade, -U : 지정된 모든 패키지를 최신으로 업그레이드 이제 환경 변수를.. 2020. 10. 22.
[Boto3] Linux에서 Python으로 AWS 리소스 프로비저닝하기 (IAM, Key Pair, VPC, EC2) 먼저 Linux에서 필요한 패키지들을 받는다 yum -y update yum -y install epel-release yum -y install python3 yum -y install vim python3 --version 파이썬 3.6.8로 해야한다 pip3 install awscli pip3 install awscli --upgrade pip pip install boto3 which aws aws의 위치를 확인했으면, 이를 이제 환경변수 PATH에 추가해줘야 한다 export PATH=$PATH:/usr/local/bin/aws echo $PATH PATH에 경로가 추가된 것을 확인할 수 있다 aws 버전도 확인해보면 aws --version 이렇게 뜬다 이제 aws 설정을 해줘야 한다 aws .. 2020. 8. 18.
[AWS] IAM 사용자 생성, MFA 설정 후 웹서버 EC2로 RDS 제어 1. 관리 목적의 IAM 사용자 생성 후 MFA 설정 -> 그 사용자로 실습 마저 진행 2. VPC를 만들어서 EC2와 RDS 서비스 이용. RDS는 웹서버용 EC2를 통해서만 접속 가능 3. 웹 서버의 AMI 생성 후 이 이미지로 Auto Scaling Groups 생성(ELB로 로드 분산) 1. IAM 사용자 생성(관리자) 후 MFA 설정 서비스 >> IAM >> 사용자 >> 사용자 추가 콘솔로 액세스할 수 있도록 해주고, 사용자 지정 비번을 정해주자 비밀번호 재설정 필요는 루트가 사람들에게 사용자를 만들어 나눠줄 때 직접 사용하는 사용자들이 자신들의 비밀번호로 바꿔 쓸 수 있도록 하는 서비스다. 지금은 안해도 된다 기존 정책 직접 연결 >> AdministratorAccess 를 선택해준다 Admi.. 2020. 8. 13.
[AWS] AWS 리소스 배포 자동화와 로드 분산을 통한 자동 확장 환경 구성 할 일 정리 1. 주어진 JSON 파일을 가지고 CLoudFormation 스택을 생성해 기본 VPC, EC2(Command Host)를 마련한다 2. CommandHost 인스턴스에서 CLI로 Auto Scaling Group용 AMI 를 만들 WebServerBaseImage란 인스턴스(웹서버)를 생성한다 3. AMI를 생성하고, Application Load Balancer와 Launch Configuration을 생성한다 4. Auto Scaling Group을 생성하고, CPU 지표가 일정 이상 넘어가면 자동으로 인스턴스가 더 생성되는지 확인 시작하기 전에, 미리 만들어둔 키 페어가 있어야 한다 만약 없으면 EC2를 생성하는 척 하며 키 페어를 만들고 EC2는 취소하자 키 페어 탭에서 키 페어를.. 2020. 8. 2.
[AWS] S3 CLI로 관리하기(+IAM 정책 생성/연결) 먼저 대충 연결할 수 있는 VPC와 EC2를 만들어보자 만들어져있는게 있다면 그걸 사용해도 된다 그냥 S3 CLI 명령이 궁금한거면 아래 글을 보자 2020/07/31 - [공부] - [AWS] S3 버킷 CLI 사용(버전 관리, 동기화, 복구) [AWS] S3 버킷 CLI 사용(버전 관리, 동기화, 복구) 1. 버전 관리 활성화 aws s3api put-bucket-versioning --bucket 버킷이름 --versioning-configuration Status=Enabled 2. 동기화 aws s3 sync 동기화할위치 s3://버킷이름 3. 삭제한거 동기화 aws s3 sync 동기.. honglab.tistory.com VPC랑 EC2 만드는 자세한 과정이 궁금하면 아래 글을 보자 2020.. 2020. 8. 1.
[AWS] S3 버킷 CLI 명령어(버전 관리, 동기화, 복구) 1. 버전 관리 활성화 aws s3api put-bucket-versioning --bucket 버킷이름 --versioning-configuration Status=Enabled 2. 동기화 aws s3 sync 동기화할위치 s3://버킷이름 3. 삭제한거 동기화 aws s3 sync 동기화한위치 s3://버킷이름 --delete 4. 삭제한 파일 복구 aws s3api list-object-versions --bucket 버킷이름 이거로 "Versions"의 Key와 VersionId 확인 후 aws s3api get-object --bucket 버킷이름 --key 키이름 다시저장할이름 --version-id 버전ID 2020. 7. 31.
[AWS] EC2 CLI로 접속하기(cmd, PuTTy) 2020/07/22 - [공부] - [AWS] VPC랑 EC2 만들어보기 [AWS] VPC랑 EC2 만들어보기 먼저 아마존에 로그인한 후 계좌를 등록해야한다 1달러 빠져나가면 그 때부터 시작할 수 있다 https://aws.amazon.com/ko/ 클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services 피트니스 글로벌 �� honglab.tistory.com 여기서 이어서 해보겠다 EC2 >> 만들어놓은 EC2 선택하고 연결을 누르면 이렇게 친절하게 연결하는 법을 알려준다 먼저 cmd(윈도우)로 바로 접속해보겠다 1. cmd로 접속하기 일단 만들어둔 키 페어의 접근 권한을 설정해줘야 한다 나만 접속 가능해야 하므로 일단 내가 누군지 알아보자 whoami 그리고 저장해둔 키 페어.. 2020. 7. 24.

티스토리툴바