분류 전체보기
[JAVA] Java 힙 메모리 설정 및 cgroup v2 이슈 해결
회사에서 개발 IDC 이중화 서버와 운영IDC가 이중화 되어있다.개발 IDC중 하나의 서버만 cgroup만 v2가 아니여서 openjdk8 이미지를 사용해도 JVM 메모리 설정이 자동으로 적용되지만나머지 서버에서는 해당 컨테이너에 설정한 메모리에 맞게 메모리가 적용되지 않는다고 생각을 했다또한-Xmx, -Xms 설정이 적용되지 않은걸로 유추했는데 적용이 정말 안되어있는지 검증이다. 1. 어플리케이션 세팅1.1. 상세베이스이미지: openjdk:8-jre-slim실행된 서버: 개발 IDC 서버1번 서버는 cgroup2, 2번 서버는 cgroup1간단하게 어플리케이션 실행시 설정한 -Xmx, -Xms 값을 로그에 찍을 수 있도록 세팅 package com.example.java8_test;import ja..
[AWS] ECS에서 firelens를 이용한 컨테이너 로그 아카이빙
회사에서는 ECS Anywhere를 사용중이며 컨테이너의 로그는 NAS와 마운트된 디렉토리를 볼륨 마운트로 해당 디렉토리에 로그를 적재 하고 있다. IDC → AWS로 이관한다면 NAS는 동일하게 사용할 수 없으므로 firelens를 사용해 S3에 로그를 저장하는 방법이 있다. 1. ECS firelens란FireLens는 AWS에서 제공하는 컨테이너 로그 라우팅 및 수집 기능이다. ECS(Elastic Container Service)와 EKS(Kubernetes Service)에서 사용할 수 있으며, Fluent Bit과 Fluentd를 사용하여 로그를 다양한 대상(예: Amazon CloudWatch, Amazon S3, Amazon Kinesis Data Firehose, Elasticsearch..
[AWS] RDS 인스턴스, Aurora RDS audit로그 활성화
Amazon RDS의 Audit Log는 데이터베이스 활동에 대한 자세한 기록을 제공하는 기능이다. 이 로그를 사용하면 데이터베이스에 대한 접근, 실행된 쿼리, 데이터베이스 관리 작업 등과 같은 이벤트를 추적할 수 있다. Audit Log를 활용하면 보안 감사, 데이터베이스 사용 모니터링, 문제 해결 및 컴플라이언스 요구사항을 충족하는 데 도움이 된다. 1. Audit Log의 주요 사용 사례보안 감사: 누가 언제 어떤 데이터베이스 작업을 수행했는지 추적하여 보안 감사를 수행할 수 있다.활동 모니터링: 데이터베이스 사용 패턴을 이해하고, 비정상적인 활동이나 예상치 못한 접근을 식별할 수 있다.문제 해결: 데이터베이스 성능 문제나 애플리케이션 오류의 원인을 파악하는 데 도움된다.규제 준수: 많은 산업 분..
[ElasticSearch] ElasticSearch Query DSL 검색
Elasticsearch의 Query DSL (Domain Specific Language)은 Elasticsearch에서 데이터를 검색하기 위해 사용되는 강력하고 유연한 쿼리 언어입니다. DSL은 '도메인 특화 언어'를 의미하며, 이 경우 도메인은 데이터 검색과 관련된 작업이다. Elasticsearch의 Query DSL은 JSON 형식으로 쿼리를 작성하며, 다양한 검색 요구 사항을 표현할 수 있는 다양한 타입의 쿼리를 제공한다. Full-Text Query 텍스트 데이터를 검색할 때 사용되는 쿼리 유형이다. 이들은 일반적으로 자연 언어 텍스트에서 단어나 문구를 검색하는 데 사용되며, 각 쿼리 유형은 텍스트 검색을 다른 방식으로 수행하며 주요 Full-Text Queries에 대해 자세히 설명해보겠다..
[ElasticSearch] ElaticSearch란 무엇인가, CRUD
오랜만에 블로그에 글을 쓰는거같은데 입사한지 7개월 만인거같다.. 회사에서도 ELK를 Poc 하면서 간단하게 APM 모니터링이나 인프라 스트럭쳐등 만 사용하고있는데 이렇게만 사용하기에는 아쉽다는 생각이 들어 따로 ElasticSearch를 공부해서 활용하기위해 공부하려한다. Elasticsearch는 오픈 소스, 분산형 검색 및 분석 엔진으로, 대량의 데이터를 빠르고 효율적으로 검색, 분석 및 시각화할 수 있게 해준다. Elasticsearch는 주로 텍스트 검색, 로그 분석, 실시간 분석 등 다양한 용도로 널리 사용된다. 아래에 Elasticsearch의 주요 특징과 기능을 자세히 설명하겠다. 주요 특징 분산형 구조: Elasticsearch는 자연스럽게 분산되어 있어, 데이터를 여러 노드에 걸쳐 저장..
[회고록] DevOps 3기 파이널 프로젝트
드디어 길고 길었던 데브옵스 부트캠프 파이널 프로젝트가 끝났다... 프로젝트한다고 바빠서 근 2주동안 블로깅을 못했는데 회고로 작성해보려한다. 시나리오 글로벌 트래픽이 증가하였으며, 특정 국가의 이용자로부터 웹사이트 로딩이 느리다는 불만이 나오고 있습니다. K-POP 아이돌로부터 발생하는 각종 사안에 따라, 순간적으로 트래픽이 급증하는 형태를 보입니다. 종종 다운 타임이 발생합니다. 가장 큰 문제 중 하나는 모니터링 시스템의 부재입니다. 개발 조직도 큰 문제입니다. 이전에는 전문 개발자가 투입되지 않았던 터라, 개발 중인 제품이 곧바로 production 수준에 배포되거나, 충분한 테스트를 거치지 못한 채로 릴리즈되는 경우가 많았습니다. 요구사항 게시판 개발을 담당하는 개발 조직이 DevOps 문화에 잘..
[AWS] 인스턴스의 버스트기능(번역)
Amazon 버스트 가능 인스턴스란 무엇인가? Amazon burstable 인스턴스는 차이점이 있는 AWS 인스턴스 제품군이다. 다른 AWS 인스턴스 제품군과 마찬가지로 일정 수준의 CPU 성능을 보장하지만 워크로드가 필요한 높은 CPU 성능 수준을 유지하기 위해 "기준" 수준의 성능을 버스트할 수 있는 능력도 있다. 최적으로 사용될 때 Amazon 버스터블 인스턴스는 "클라우드에서는 사용한 만큼만 비용을 지불한다"라는 주장에 가장 근접한다. 2010년에 Amazon은 t1.micro 인스턴스를 도입했으며 이 인스턴스는 호스트에 사용되지 않은 리소스가 충분할 경우 필요한 경우 짧은 "주기적" 급증을 허용하는 낮은 백그라운드 수준에서 작동하도록 설계된 인스턴스이다. Amazon 최초의 버스트 가능 인스턴..
[자격증 후기] AWS SAA-C03 솔루션즈 아키텍트 어소시에이트 합격후기(2023-02-27)
요즘 글 포스팅을 못한 이유 이녀석 때문이다... AWS자격증을 딴 이유는 데브옵스 관련 지식을 공부하면서 실습하는데 좀더 전문적인 지식이 필요하다 생각도하고 무엇보다 취업시장에서 자격증을 필요로하는곳이 많은거같아 스스로 증명해보고싶어서 준비하게되었다 필자는 준비기간을 12일을 잡고 준비했다 이렇게 타이트하게 잡은이유로는 이미 ec2, 람다, rds등 리소스등을 사용해본경험있기 때문에 준비하게되었다 그래도 뭐 별거있겠어? 라는 생각을 했는데 처음 공부를 시작할때 내가 정말 모르는 이론들과 아키텍쳐의 구성들이 나오니 정말 머리가 아팠다.. 필자는 아래의 유데미강의를 보고 공부를 시작했다 https://www.udemy.com/course/best-aws-certified-solutions-architect..