AWS

[AWS] ECS에서 firelens를 이용한 컨테이너 로그 아카이빙

회사에서는 ECS Anywhere를 사용중이며 컨테이너의 로그는 NAS와 마운트된 디렉토리를 볼륨 마운트로 해당 디렉토리에 로그를 적재 하고 있다. IDC → AWS로 이관한다면 NAS는 동일하게 사용할 수 없으므로 firelens를 사용해 S3에 로그를 저장하는 방법이 있다. 1. ECS firelens란FireLens는 AWS에서 제공하는 컨테이너 로그 라우팅 및 수집 기능이다. ECS(Elastic Container Service)와 EKS(Kubernetes Service)에서 사용할 수 있으며, Fluent Bit과 Fluentd를 사용하여 로그를 다양한 대상(예: Amazon CloudWatch, Amazon S3, Amazon Kinesis Data Firehose, Elasticsearch..

[AWS] RDS 인스턴스, Aurora RDS audit로그 활성화

Amazon RDS의 Audit Log는 데이터베이스 활동에 대한 자세한 기록을 제공하는 기능이다. 이 로그를 사용하면 데이터베이스에 대한 접근, 실행된 쿼리, 데이터베이스 관리 작업 등과 같은 이벤트를 추적할 수 있다. Audit Log를 활용하면 보안 감사, 데이터베이스 사용 모니터링, 문제 해결 및 컴플라이언스 요구사항을 충족하는 데 도움이 된다.  1. Audit Log의 주요 사용 사례보안 감사: 누가 언제 어떤 데이터베이스 작업을 수행했는지 추적하여 보안 감사를 수행할 수 있다.활동 모니터링: 데이터베이스 사용 패턴을 이해하고, 비정상적인 활동이나 예상치 못한 접근을 식별할 수 있다.문제 해결: 데이터베이스 성능 문제나 애플리케이션 오류의 원인을 파악하는 데 도움된다.규제 준수: 많은 산업 분..

[회고록] DevOps 3기 파이널 프로젝트

드디어 길고 길었던 데브옵스 부트캠프 파이널 프로젝트가 끝났다... 프로젝트한다고 바빠서 근 2주동안 블로깅을 못했는데 회고로 작성해보려한다. 시나리오 글로벌 트래픽이 증가하였으며, 특정 국가의 이용자로부터 웹사이트 로딩이 느리다는 불만이 나오고 있습니다. K-POP 아이돌로부터 발생하는 각종 사안에 따라, 순간적으로 트래픽이 급증하는 형태를 보입니다. 종종 다운 타임이 발생합니다. 가장 큰 문제 중 하나는 모니터링 시스템의 부재입니다. 개발 조직도 큰 문제입니다. 이전에는 전문 개발자가 투입되지 않았던 터라, 개발 중인 제품이 곧바로 production 수준에 배포되거나, 충분한 테스트를 거치지 못한 채로 릴리즈되는 경우가 많았습니다. 요구사항 게시판 개발을 담당하는 개발 조직이 DevOps 문화에 잘..

[AWS] 인스턴스의 버스트기능(번역)

Amazon 버스트 가능 인스턴스란 무엇인가? Amazon burstable 인스턴스는 차이점이 있는 AWS 인스턴스 제품군이다. 다른 AWS 인스턴스 제품군과 마찬가지로 일정 수준의 CPU 성능을 보장하지만 워크로드가 필요한 높은 CPU 성능 수준을 유지하기 위해 "기준" 수준의 성능을 버스트할 수 있는 능력도 있다. 최적으로 사용될 때 Amazon 버스터블 인스턴스는 "클라우드에서는 사용한 만큼만 비용을 지불한다"라는 주장에 가장 근접한다. 2010년에 Amazon은 t1.micro 인스턴스를 도입했으며 이 인스턴스는 호스트에 사용되지 않은 리소스가 충분할 경우 필요한 경우 짧은 "주기적" 급증을 허용하는 낮은 백그라운드 수준에서 작동하도록 설계된 인스턴스이다. Amazon 최초의 버스트 가능 인스턴..

[자격증 후기] AWS SAA-C03 솔루션즈 아키텍트 어소시에이트 합격후기(2023-02-27)

요즘 글 포스팅을 못한 이유 이녀석 때문이다... AWS자격증을 딴 이유는 데브옵스 관련 지식을 공부하면서 실습하는데 좀더 전문적인 지식이 필요하다 생각도하고 무엇보다 취업시장에서 자격증을 필요로하는곳이 많은거같아 스스로 증명해보고싶어서 준비하게되었다 필자는 준비기간을 12일을 잡고 준비했다 이렇게 타이트하게 잡은이유로는 이미 ec2, 람다, rds등 리소스등을 사용해본경험있기 때문에 준비하게되었다 그래도 뭐 별거있겠어? 라는 생각을 했는데 처음 공부를 시작할때 내가 정말 모르는 이론들과 아키텍쳐의 구성들이 나오니 정말 머리가 아팠다.. 필자는 아래의 유데미강의를 보고 공부를 시작했다 https://www.udemy.com/course/best-aws-certified-solutions-architect..

[프로젝트 회고] 코드스테이츠 DOB 3번째project

벌써 3번째 프로젝트가 끝났다는게 사실 믿기지는 않는다... 정말 이번이 마지막이라는 마음으로 해왔는데 얼추 성장 하고 있다는 생각은 든다 이번에 끝낸 프로젝트가 마이크로서비스 아키텍쳐를 서버리스로 구현하는건데 몇주 전 이였으면 이게뭐지... 이벤트를 어떻게 받는다고?? 이랬을건데 아무 트러블 없이 팀원분들과의 협업이 문제없이 끝났다.. 프로젝트의 내용으론 주어진 시나리오를 보고 마이크로 서비스 아키텍쳐를 구성해서 서버리스로 구현 하는것이였다 다이어그램을 설명하자면 세일즈 API를 통해 도넛을 구매하다가 제고가 떨어진다면 SNS로 제고가 떨어졌다는 이벤트가 날아가게되어서 정해진 수량만큼 sqs대기열로 메세지를 폴링해서 stock lambda에게 공장으로 만들어 달라고 메세지를 보내게된다 보냈다면 공장은 ..

[Terraform] 테라폼으로 aws VPC구성하고 오토스케일링으로 EC2 프로비저닝

이번 포스팅은 아래의 아키텍쳐를 테라폼 코드로 만들어 보겠다(항상 테라폼 코드로 작성하기전 관련리소스들을 직접 aws 콘솔에서 구현 해보고 어떤 리소스들이 필요한지 확인하고 코드로 작성하는걸 추천한다. VPC관련 구현은 이링크를 통해 만들어보자) 프로젝트 구성은 아래의 그림과같다 # variable.tf variable "server_port" { type = string description = "app-port" default = 8080 } # 로컬에서 export TF_VAR_db_username=로 민감정보 보호 variable "db_username" { type = string description = "admin" } # 로컬에서 export TF_VAR_db_password=로 민감정보 ..

[AWS] GitHub Actions로 AWS ECS 배포 자동화 하기

이번 포스팅은 바로 저번 GitHub Actions를 이용한 ECR배포에서 이어지는 포스팅이므로 참고하면 되겠다 [AWS] GitHub Actions으로 private ECR에 이미지 push 자동화하기 이번 포스팅에서는 Docker Hub가 아닌 AWS의 ECR에 이미지를 push 하기 까지를 GitHub Actions로 자동화를 해보려한다 먼저 테스트를 하기위한 간단한 express를 만들고 시작해보겠다 Express 어플리케이션 생 john721.tistory.com fastify.js 애플리케이션 먼저 이번 코드와 다른 점은 express.js가 아닌 fastify.js로 만들어보겠다 $ npm i --global fastify-cli $ fastify generate my-ecs-test 위의 ..