monitoring14 [DevOps] powerpipe 써보기 # powerpipe란? https://powerpipe.io/ Powerpipe | Dashboards for DevOps. Visualize cloud configurations. Assess security posture against a massive library of benchmarks. Build custom dashboards with code. powerpipe.io devops를 위한 dashboard 오픈소스라고 한다. aws같은 클라우드 서비스들 또는 쿠버네티스, 테라폼 등에 대한 보안 컴플라이언스/비용 매니징/여러 인사이트 등을 대시보드로 제공한다. 너무 좋아보여서 일단 해봤다. # 그 전에 steampipe부터 https://github.com/turbot/steampipe Gi.. 2024. 4. 14. [Grafana Mimir] Mimir Helm 설치/셋업 도중 트러블슈팅 # Ref https://wlsdn3004.tistory.com/50 Grafana Mimir란? 개념부터 설치까지 Prometheus는 쿠버네티스 환경에서 많이 사용하는 인기 있는 오픈소스 모니터링 도구이다. 하지만 몇 가지 치명적인 단점이 있다. 확장 및 고가용성 문제 프로메테우스는 단일 서버로 동작하게 구 wlsdn3004.tistory.com Mimir가 뭔지와 컴포넌트에 대한 자세한 설명은 위를 확인하자. 나는 Mimir를 설치하고, Prometheus 연동 중 트슛 과정만 설명한다. # 권한 설정 먼저 일단 mimir의 데이터는 s3에 담을 것이다. iam policy는 아래처럼 구성하면 된다. { "Statement": [ { "Action": [ "s3:ListBucket", "s3:Put.. 2024. 3. 28. [Grafana/helm] Google Oauth 붙이기 https://artifacthub.io/packages/helm/grafana/grafana grafana 7.0.1 · grafana/grafana The leading tool for querying and visualizing time series and metrics. artifacthub.io # 1. Google OAuth 2.0 Client 만들기 승인된 자바스크립트 원본 : [grafana url] 승인된 리디렉션 URI : [grafana url]/login/google # 2. grafana helm value 추가 grafana.ini: server: root_url: [그라파나 url] ##Enable google auth auth.google: enabled: true clien.. 2023. 10. 29. [grafana] provisioned Datasource/ContactPoint 제거 Provisioned Data Source? -> 콘솔 작업이 아닌, Config를 통해 Provisioning된 Data Source. (Contact Point도 마찬가지) 나같은 경우, grafana 공식 helm chart에서 바로 프로메테우스를 등록시켜주고 있었다. datasources: datasources.yaml: apiVersion: 1 datasources: - name: {Prometheus-Name} type: prometheus access: proxy url: {Prometheus-Url} 그러나 작성해둔 datasource를 지우고 재 배포해봐도 실제로는 삭제되지 않는다. 콘솔에서 삭제 시도 시.. Provisioned data source는 콘솔에서 못지운단다. 그럼 어떻게 .. 2023. 9. 5. [Grafana Loki] Errors loading rules # 상황 - 중앙 EKS 클러스터에 grafana chart를 사용해 Grafana가 설치되어 있음 - 각 EKS 클러스터별로 loki-stack chart를 사용해 Loki와 promtail이 설치되어 있음 - 각 EKS 클러스터별로 kube-prometheus-stack chart를 통해 Prometheus와 AlertManager가 설치되어 있음 (로키 스택에서 프로메테우스도 전부 깔 수 있지만, 프로메테우스가 먼저 깔려있는 상태에서 로키 도입하다 보니 이렇게 됨) # 문제 상황 Grafana와 Loki를 별도로 쿠버네티스 위에 띄우고, Grafana에서 Data Source로 Loki를 추가했습니다. Connection Test는 성공하지만,,, 위 사진처럼 Alert rules로 가면 로키 데이.. 2023. 7. 27. [DataDog] Ingested/Indexed Log + Archiving 정리 우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다 Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다 그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다 -> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다 -> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다 자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management Index는 Logs > .. 2022. 5. 14. [Zabbix Action] 자빅스에서 이메일로 알림 보내기 Requirements Zabbix Server Zabbix Server에 등록된 Host 해당 Host가 포함된 Host group 목차 1. User group 생성 2. User 생성 3. Action 생성 1. User group 생성 Administrator > User groups > Create user group Group Name은 알아서 짓고, Permissions 탭으로 가서 아래와 같이 Host group을 골라서 Add해주자 2. User 생성 Administrator > Users > Create user User 탭에선 이름(Alias)과 User group, 비밀번호를 설정해준다 그리고 Media 탭으로 가면 아래와 같은 창이 뜨는데 가운데의 Add를 눌러주자 Type을 Em.. 2021. 5. 3. [nmon] CentOS에서 nmon 설치하고 분석하기 nmon이란? Nigel's Monitor AIX(IBM에서 만든 UNIX 시스템)와 Linux의 performance를 분석해주는 모니터링 툴이다 nmon 설치 및 실행 * CentOS 8에서 진행 dnf install -y epel-release dnf install -y nmon nmon EPEL 레포지토리만 추가해주면 dnf로 간단하게 nmon을 설치할 수 있다 nmon으로 실행해주면 다음과 같은 nmon 창이 뜬다 나와있는 키들로 각각의 리소스들을 모니터링할 수 있다 (나가고싶으면 q 또는 Ctrl + C) 이렇게 실행하는 nmon 명령을 대화식 모드라고 한다 이제 곧 레코딩 모드를 살펴볼건데, 각 모드의 상세한 옵션들은 여기를 참조하자 nmon 캡쳐/저장 레코딩 모드의 주요 옵션 몇개만 살펴보.. 2021. 1. 4. [Zabbix] Grafana랑 연동하기 0. Grafana란? 오픈소스 메트릭 시각화 툴 Zabbix와 호환성이 좋아 같이 많이 사용한다고 한다 1. Zabbix Server에 Grafana 설치 dnf -y install initscripts urw-fonts wget 먼저 의존성 패키지를 설치해준다 그라파나 홈페이지로 이동해 가장 최신의 내 서버에 맞는 명령을 찾아 따라한다 난 CentOS라서 이렇게 했다 wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm dnf install -y grafana-7.3.6-1.x86_64.rpm 데몬을 reload 해주고 grafana-server를 enable, start 해준다 systemctl daemon-reload systemc.. 2020. 12. 28. [Zabbix] Disk Monitoring 설정하기 자빅스에서 Disk를 모니터링하는 방법을 살펴보겠다 자빅스 서버와 에이전트 설치는 아래 글들에서 하자 Zabbix Server 설치 (CentOS 8) Zabbix Agent 설치 (Passvie 방식) (CentOS 8, Windows Server 2019) Passive 방식의 CentOS 8 Agent에서 진행하겠다 1. 필요 파일 다운 먼저 github.com/grundic/zabbix-disk-performance 의 파일들을 다운받는다 wget https://raw.githubusercontent.com/grundic/zabbix-disk-performance/master/userparameter_diskstats.conf -O /etc/zabbix/zabbix_agentd.d/userpara.. 2020. 12. 28. 이전 1 2 다음
