[AWS] ECS에서 firelens를 이용한 컨테이너 로그 아카이빙

회사에서는 ECS Anywhere를 사용중이며 컨테이너의 로그는 NAS와 마운트된 디렉토리를 볼륨 마운트로 해당 디렉토리에 로그를 적재 하고 있다. IDC → AWS로 이관한다면 NAS는 동일하게 사용할 수 없으므로 firelens를 사용해 S3에 로그를 저장하는 방법이 있다. 1. ECS firelens란FireLens는 AWS에서 제공하는 컨테이너 로그 라우팅 및 수집 기능이다. ECS(Elastic Container Service)와 EKS(Kubernetes Service)에서 사용할 수 있으며, Fluent Bit과 Fluentd를 사용하여 로그를 다양한 대상(예: Amazon CloudWatch, Amazon S3, Amazon Kinesis Data Firehose, Elasticsearch..

[AWS] RDS 인스턴스, Aurora RDS audit로그 활성화

Amazon RDS의 Audit Log는 데이터베이스 활동에 대한 자세한 기록을 제공하는 기능이다. 이 로그를 사용하면 데이터베이스에 대한 접근, 실행된 쿼리, 데이터베이스 관리 작업 등과 같은 이벤트를 추적할 수 있다. Audit Log를 활용하면 보안 감사, 데이터베이스 사용 모니터링, 문제 해결 및 컴플라이언스 요구사항을 충족하는 데 도움이 된다.  1. Audit Log의 주요 사용 사례보안 감사: 누가 언제 어떤 데이터베이스 작업을 수행했는지 추적하여 보안 감사를 수행할 수 있다.활동 모니터링: 데이터베이스 사용 패턴을 이해하고, 비정상적인 활동이나 예상치 못한 접근을 식별할 수 있다.문제 해결: 데이터베이스 성능 문제나 애플리케이션 오류의 원인을 파악하는 데 도움된다.규제 준수: 많은 산업 분..

[ElasticSearch] ElasticSearch Query DSL 검색

Elasticsearch의 Query DSL (Domain Specific Language)은 Elasticsearch에서 데이터를 검색하기 위해 사용되는 강력하고 유연한 쿼리 언어입니다. DSL은 '도메인 특화 언어'를 의미하며, 이 경우 도메인은 데이터 검색과 관련된 작업이다. Elasticsearch의 Query DSL은 JSON 형식으로 쿼리를 작성하며, 다양한 검색 요구 사항을 표현할 수 있는 다양한 타입의 쿼리를 제공한다. Full-Text Query 텍스트 데이터를 검색할 때 사용되는 쿼리 유형이다. 이들은 일반적으로 자연 언어 텍스트에서 단어나 문구를 검색하는 데 사용되며, 각 쿼리 유형은 텍스트 검색을 다른 방식으로 수행하며 주요 Full-Text Queries에 대해 자세히 설명해보겠다..

[ElasticSearch] ElaticSearch란 무엇인가, CRUD

오랜만에 블로그에 글을 쓰는거같은데 입사한지 7개월 만인거같다.. 회사에서도 ELK를 Poc 하면서 간단하게 APM 모니터링이나 인프라 스트럭쳐등 만 사용하고있는데 이렇게만 사용하기에는 아쉽다는 생각이 들어 따로 ElasticSearch를 공부해서 활용하기위해 공부하려한다. Elasticsearch는 오픈 소스, 분산형 검색 및 분석 엔진으로, 대량의 데이터를 빠르고 효율적으로 검색, 분석 및 시각화할 수 있게 해준다. Elasticsearch는 주로 텍스트 검색, 로그 분석, 실시간 분석 등 다양한 용도로 널리 사용된다. 아래에 Elasticsearch의 주요 특징과 기능을 자세히 설명하겠다. 주요 특징 분산형 구조: Elasticsearch는 자연스럽게 분산되어 있어, 데이터를 여러 노드에 걸쳐 저장..

[회고록] DevOps 3기 파이널 프로젝트

드디어 길고 길었던 데브옵스 부트캠프 파이널 프로젝트가 끝났다... 프로젝트한다고 바빠서 근 2주동안 블로깅을 못했는데 회고로 작성해보려한다. 시나리오 글로벌 트래픽이 증가하였으며, 특정 국가의 이용자로부터 웹사이트 로딩이 느리다는 불만이 나오고 있습니다. K-POP 아이돌로부터 발생하는 각종 사안에 따라, 순간적으로 트래픽이 급증하는 형태를 보입니다. 종종 다운 타임이 발생합니다. 가장 큰 문제 중 하나는 모니터링 시스템의 부재입니다. 개발 조직도 큰 문제입니다. 이전에는 전문 개발자가 투입되지 않았던 터라, 개발 중인 제품이 곧바로 production 수준에 배포되거나, 충분한 테스트를 거치지 못한 채로 릴리즈되는 경우가 많았습니다. 요구사항 게시판 개발을 담당하는 개발 조직이 DevOps 문화에 잘..