monitoring18 grafana api콜버튼 플러그인 (in helm chart) grafana 대시보드에서 버튼 딸깍 하면 api 콜 날리게 할 순 없나? 찾아보다가 플러그인 발견https://github.com/cloudspout/cloudspout-button-panel GitHub - cloudspout/cloudspout-button-panel: Grafana panel to integrate with any kind of HTTP/REST APIGrafana panel to integrate with any kind of HTTP/REST API - cloudspout/cloudspout-button-panelgithub.com helm chart (6.58.4 버전)에서는 다음과 같이 추가 가능 plugins:- https://github.com/cloudspout/cl.. 2024. 8. 28. [Sentry/helm] sentry 쿠버에 띄우기 # 사용 차트https://artifacthub.io/packages/helm/sentry/sentry/23.11.0 sentry 23.11.0 · webofmars/sentryA Helm chart for Kubernetesartifacthub.io sentry - 23.11.0 사용 센트리는 같이 깔아야 하는 놈들이 많다. clickhouse, kafka, zookeeper, postgres, redis, rabbitmq ...(values도 엄청 길다.. 2천줄 넘음;)1. postgres랑 redis는 AWS RDS, ElastiCache를 사용하는거로 변경하고,2. 폐쇄망이라 일단 mail설정은 포기 (나중에 누군가 하겠지)3. ingress 사용4. prometheus serviceMonit.. 2024. 7. 26. [Grafana/helm] LDAP 인증 붙이기 https://artifacthub.io/packages/helm/grafana/grafana grafana 8.3.4 · grafana/grafanaThe leading tool for querying and visualizing time series and metrics.artifacthub.io # values.yamlgrafana.ini: auth.ldap: enabled: true allow_sign_up: true config_file: /etc/grafana/ldap.tomlldap: enabled: true config: |- verbose_logging = true [[servers]] # ldap 주소(또는 IP) host = "ldap.ho.. 2024. 7. 16. [Robusta] 직관적인 쿠버네티스 클러스터 알람 받기 그동안 쿠버네티스 워크로드에 대한 알림은 argocd / datadog 일부 만 있었다.그러다가 파드 내에서 OOMKill이 일어나 리스타트 되는 경우가 많다는 것을 알게 되었는데, argocd에서는 이 경우를 감지하지 못하고, datadog 알림은 가독성이 썩 좋진 못했다. 어떤 이유로 restart되었는지 알지 못하고, 어떤 클러스터의 어떤 파드인지도 한 눈에 들어오지 않는다.뭐 사실 이것도 어떻게든 잘 깎으면 개선할 수 있었겠지만, 또 거기에 리소스를 쏟을 시간은 없었다. (사실 하기 싫은거 맞음) 그러다가 Robusta 라는 것을 알게 되었다. (어디 오픈톡방에서 누가 키워드를 남겼는데 이후로 찾아보았다.)레퍼런스는 많이 없었는데, 제니퍼소프트 블로그 글을 보고 일단 한번 설치해 봐야겠다는 생각을.. 2024. 6. 6. [DevOps] powerpipe 써보기 # powerpipe란? https://powerpipe.io/ Powerpipe | Dashboards for DevOps. Visualize cloud configurations. Assess security posture against a massive library of benchmarks. Build custom dashboards with code. powerpipe.io devops를 위한 dashboard 오픈소스라고 한다. aws같은 클라우드 서비스들 또는 쿠버네티스, 테라폼 등에 대한 보안 컴플라이언스/비용 매니징/여러 인사이트 등을 대시보드로 제공한다. 너무 좋아보여서 일단 해봤다. # 그 전에 steampipe부터 https://github.com/turbot/steampipe Gi.. 2024. 4. 14. [Grafana Mimir] Mimir Helm 설치/셋업 도중 트러블슈팅 # Ref https://wlsdn3004.tistory.com/50 Grafana Mimir란? 개념부터 설치까지 Prometheus는 쿠버네티스 환경에서 많이 사용하는 인기 있는 오픈소스 모니터링 도구이다. 하지만 몇 가지 치명적인 단점이 있다. 확장 및 고가용성 문제 프로메테우스는 단일 서버로 동작하게 구 wlsdn3004.tistory.com Mimir가 뭔지와 컴포넌트에 대한 자세한 설명은 위를 확인하자. 나는 Mimir를 설치하고, Prometheus 연동 중 트슛 과정만 설명한다. # 권한 설정 먼저 일단 mimir의 데이터는 s3에 담을 것이다. iam policy는 아래처럼 구성하면 된다. { "Statement": [ { "Action": [ "s3:ListBucket", "s3:Put.. 2024. 3. 28. [Grafana/helm] Google Oauth 붙이기 https://artifacthub.io/packages/helm/grafana/grafana grafana 7.0.1 · grafana/grafana The leading tool for querying and visualizing time series and metrics. artifacthub.io # 1. Google OAuth 2.0 Client 만들기 승인된 자바스크립트 원본 : [grafana url] 승인된 리디렉션 URI : [grafana url]/login/google # 2. grafana helm value 추가 grafana.ini: server: root_url: [그라파나 url] ##Enable google auth auth.google: enabled: true clien.. 2023. 10. 29. [grafana] provisioned Datasource/ContactPoint 제거 Provisioned Data Source? -> 콘솔 작업이 아닌, Config를 통해 Provisioning된 Data Source. (Contact Point도 마찬가지) 나같은 경우, grafana 공식 helm chart에서 바로 프로메테우스를 등록시켜주고 있었다. datasources: datasources.yaml: apiVersion: 1 datasources: - name: {Prometheus-Name} type: prometheus access: proxy url: {Prometheus-Url} 그러나 작성해둔 datasource를 지우고 재 배포해봐도 실제로는 삭제되지 않는다. 콘솔에서 삭제 시도 시.. Provisioned data source는 콘솔에서 못지운단다. 그럼 어떻게 .. 2023. 9. 5. [Grafana Loki] Errors loading rules # 상황 - 중앙 EKS 클러스터에 grafana chart를 사용해 Grafana가 설치되어 있음 - 각 EKS 클러스터별로 loki-stack chart를 사용해 Loki와 promtail이 설치되어 있음 - 각 EKS 클러스터별로 kube-prometheus-stack chart를 통해 Prometheus와 AlertManager가 설치되어 있음 (로키 스택에서 프로메테우스도 전부 깔 수 있지만, 프로메테우스가 먼저 깔려있는 상태에서 로키 도입하다 보니 이렇게 됨) # 문제 상황 Grafana와 Loki를 별도로 쿠버네티스 위에 띄우고, Grafana에서 Data Source로 Loki를 추가했습니다. Connection Test는 성공하지만,,, 위 사진처럼 Alert rules로 가면 로키 데이.. 2023. 7. 27. [DataDog] Ingested/Indexed Log + Archiving 정리 우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다 Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다 그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다 -> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다 -> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다 자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management Index는 Logs > .. 2022. 5. 14. [Zabbix Action] 자빅스에서 이메일로 알림 보내기 Requirements Zabbix Server Zabbix Server에 등록된 Host 해당 Host가 포함된 Host group 목차 1. User group 생성 2. User 생성 3. Action 생성 1. User group 생성 Administrator > User groups > Create user group Group Name은 알아서 짓고, Permissions 탭으로 가서 아래와 같이 Host group을 골라서 Add해주자 2. User 생성 Administrator > Users > Create user User 탭에선 이름(Alias)과 User group, 비밀번호를 설정해준다 그리고 Media 탭으로 가면 아래와 같은 창이 뜨는데 가운데의 Add를 눌러주자 Type을 Em.. 2021. 5. 3. [nmon] CentOS에서 nmon 설치하고 분석하기 nmon이란? Nigel's Monitor AIX(IBM에서 만든 UNIX 시스템)와 Linux의 performance를 분석해주는 모니터링 툴이다 nmon 설치 및 실행 * CentOS 8에서 진행 dnf install -y epel-release dnf install -y nmon nmon EPEL 레포지토리만 추가해주면 dnf로 간단하게 nmon을 설치할 수 있다 nmon으로 실행해주면 다음과 같은 nmon 창이 뜬다 나와있는 키들로 각각의 리소스들을 모니터링할 수 있다 (나가고싶으면 q 또는 Ctrl + C) 이렇게 실행하는 nmon 명령을 대화식 모드라고 한다 이제 곧 레코딩 모드를 살펴볼건데, 각 모드의 상세한 옵션들은 여기를 참조하자 nmon 캡쳐/저장 레코딩 모드의 주요 옵션 몇개만 살펴보.. 2021. 1. 4. [Zabbix] Grafana랑 연동하기 0. Grafana란? 오픈소스 메트릭 시각화 툴 Zabbix와 호환성이 좋아 같이 많이 사용한다고 한다 1. Zabbix Server에 Grafana 설치 dnf -y install initscripts urw-fonts wget 먼저 의존성 패키지를 설치해준다 그라파나 홈페이지로 이동해 가장 최신의 내 서버에 맞는 명령을 찾아 따라한다 난 CentOS라서 이렇게 했다 wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm dnf install -y grafana-7.3.6-1.x86_64.rpm 데몬을 reload 해주고 grafana-server를 enable, start 해준다 systemctl daemon-reload systemc.. 2020. 12. 28. [Zabbix] Disk Monitoring 설정하기 자빅스에서 Disk를 모니터링하는 방법을 살펴보겠다 자빅스 서버와 에이전트 설치는 아래 글들에서 하자 Zabbix Server 설치 (CentOS 8) Zabbix Agent 설치 (Passvie 방식) (CentOS 8, Windows Server 2019) Passive 방식의 CentOS 8 Agent에서 진행하겠다 1. 필요 파일 다운 먼저 github.com/grundic/zabbix-disk-performance 의 파일들을 다운받는다 wget https://raw.githubusercontent.com/grundic/zabbix-disk-performance/master/userparameter_diskstats.conf -O /etc/zabbix/zabbix_agentd.d/userpara.. 2020. 12. 28. [Zabbix] #4 Passive 방식으로 Zabbix Agent 설치하기(CentOS 8, Windows Server 2019) 앞 글에서의 실습은 모두 Active 방식으로 진행했었다 Default인 Passive 방식은 설정할게 더 줄어든다 Server는 기존에 만든 거 그대로 사용하고, 새로 EC2를 만드는데 보안그룹에서 포트 22, 80, 3306, 10050, 10051을 열어두도록 하겠다(윈도우는 3389 추가) 자세한 내용은 아래 글들을 참고하자 Zabbix란? Zabbix 설치 준비 (Active 방식) CentOS 8에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) Windows Server 2019에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) CentOS 8 sudo -i hostnamectl set-hostname centospa.. 2020. 12. 24. 이전 1 2 다음
