공부/Monitoring15 grafana api콜버튼 플러그인 (in helm chart) grafana 대시보드에서 버튼 딸깍 하면 api 콜 날리게 할 순 없나? 찾아보다가 플러그인 발견https://github.com/cloudspout/cloudspout-button-panel GitHub - cloudspout/cloudspout-button-panel: Grafana panel to integrate with any kind of HTTP/REST APIGrafana panel to integrate with any kind of HTTP/REST API - cloudspout/cloudspout-button-panelgithub.com helm chart (6.58.4 버전)에서는 다음과 같이 추가 가능 plugins:- https://github.com/cloudspout/cl.. 2024. 8. 28. [Robusta] 직관적인 쿠버네티스 클러스터 알람 받기 그동안 쿠버네티스 워크로드에 대한 알림은 argocd / datadog 일부 만 있었다.그러다가 파드 내에서 OOMKill이 일어나 리스타트 되는 경우가 많다는 것을 알게 되었는데, argocd에서는 이 경우를 감지하지 못하고, datadog 알림은 가독성이 썩 좋진 못했다. 어떤 이유로 restart되었는지 알지 못하고, 어떤 클러스터의 어떤 파드인지도 한 눈에 들어오지 않는다.뭐 사실 이것도 어떻게든 잘 깎으면 개선할 수 있었겠지만, 또 거기에 리소스를 쏟을 시간은 없었다. (사실 하기 싫은거 맞음) 그러다가 Robusta 라는 것을 알게 되었다. (어디 오픈톡방에서 누가 키워드를 남겼는데 이후로 찾아보았다.)레퍼런스는 많이 없었는데, 제니퍼소프트 블로그 글을 보고 일단 한번 설치해 봐야겠다는 생각을.. 2024. 6. 6. [Grafana Mimir] Mimir Helm 설치/셋업 도중 트러블슈팅 # Ref https://wlsdn3004.tistory.com/50 Grafana Mimir란? 개념부터 설치까지 Prometheus는 쿠버네티스 환경에서 많이 사용하는 인기 있는 오픈소스 모니터링 도구이다. 하지만 몇 가지 치명적인 단점이 있다. 확장 및 고가용성 문제 프로메테우스는 단일 서버로 동작하게 구 wlsdn3004.tistory.com Mimir가 뭔지와 컴포넌트에 대한 자세한 설명은 위를 확인하자. 나는 Mimir를 설치하고, Prometheus 연동 중 트슛 과정만 설명한다. # 권한 설정 먼저 일단 mimir의 데이터는 s3에 담을 것이다. iam policy는 아래처럼 구성하면 된다. { "Statement": [ { "Action": [ "s3:ListBucket", "s3:Put.. 2024. 3. 28. [grafana] provisioned Datasource/ContactPoint 제거 Provisioned Data Source? -> 콘솔 작업이 아닌, Config를 통해 Provisioning된 Data Source. (Contact Point도 마찬가지) 나같은 경우, grafana 공식 helm chart에서 바로 프로메테우스를 등록시켜주고 있었다. datasources: datasources.yaml: apiVersion: 1 datasources: - name: {Prometheus-Name} type: prometheus access: proxy url: {Prometheus-Url} 그러나 작성해둔 datasource를 지우고 재 배포해봐도 실제로는 삭제되지 않는다. 콘솔에서 삭제 시도 시.. Provisioned data source는 콘솔에서 못지운단다. 그럼 어떻게 .. 2023. 9. 5. [Grafana Loki] Errors loading rules # 상황 - 중앙 EKS 클러스터에 grafana chart를 사용해 Grafana가 설치되어 있음 - 각 EKS 클러스터별로 loki-stack chart를 사용해 Loki와 promtail이 설치되어 있음 - 각 EKS 클러스터별로 kube-prometheus-stack chart를 통해 Prometheus와 AlertManager가 설치되어 있음 (로키 스택에서 프로메테우스도 전부 깔 수 있지만, 프로메테우스가 먼저 깔려있는 상태에서 로키 도입하다 보니 이렇게 됨) # 문제 상황 Grafana와 Loki를 별도로 쿠버네티스 위에 띄우고, Grafana에서 Data Source로 Loki를 추가했습니다. Connection Test는 성공하지만,,, 위 사진처럼 Alert rules로 가면 로키 데이.. 2023. 7. 27. [DataDog] Ingested/Indexed Log + Archiving 정리 우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다 Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다 그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다 -> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다 -> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다 자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management Index는 Logs > .. 2022. 5. 14. [Zabbix Action] 자빅스에서 이메일로 알림 보내기 Requirements Zabbix Server Zabbix Server에 등록된 Host 해당 Host가 포함된 Host group 목차 1. User group 생성 2. User 생성 3. Action 생성 1. User group 생성 Administrator > User groups > Create user group Group Name은 알아서 짓고, Permissions 탭으로 가서 아래와 같이 Host group을 골라서 Add해주자 2. User 생성 Administrator > Users > Create user User 탭에선 이름(Alias)과 User group, 비밀번호를 설정해준다 그리고 Media 탭으로 가면 아래와 같은 창이 뜨는데 가운데의 Add를 눌러주자 Type을 Em.. 2021. 5. 3. [nmon] CentOS에서 nmon 설치하고 분석하기 nmon이란? Nigel's Monitor AIX(IBM에서 만든 UNIX 시스템)와 Linux의 performance를 분석해주는 모니터링 툴이다 nmon 설치 및 실행 * CentOS 8에서 진행 dnf install -y epel-release dnf install -y nmon nmon EPEL 레포지토리만 추가해주면 dnf로 간단하게 nmon을 설치할 수 있다 nmon으로 실행해주면 다음과 같은 nmon 창이 뜬다 나와있는 키들로 각각의 리소스들을 모니터링할 수 있다 (나가고싶으면 q 또는 Ctrl + C) 이렇게 실행하는 nmon 명령을 대화식 모드라고 한다 이제 곧 레코딩 모드를 살펴볼건데, 각 모드의 상세한 옵션들은 여기를 참조하자 nmon 캡쳐/저장 레코딩 모드의 주요 옵션 몇개만 살펴보.. 2021. 1. 4. [Zabbix] Grafana랑 연동하기 0. Grafana란? 오픈소스 메트릭 시각화 툴 Zabbix와 호환성이 좋아 같이 많이 사용한다고 한다 1. Zabbix Server에 Grafana 설치 dnf -y install initscripts urw-fonts wget 먼저 의존성 패키지를 설치해준다 그라파나 홈페이지로 이동해 가장 최신의 내 서버에 맞는 명령을 찾아 따라한다 난 CentOS라서 이렇게 했다 wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm dnf install -y grafana-7.3.6-1.x86_64.rpm 데몬을 reload 해주고 grafana-server를 enable, start 해준다 systemctl daemon-reload systemc.. 2020. 12. 28. [Zabbix] Disk Monitoring 설정하기 자빅스에서 Disk를 모니터링하는 방법을 살펴보겠다 자빅스 서버와 에이전트 설치는 아래 글들에서 하자 Zabbix Server 설치 (CentOS 8) Zabbix Agent 설치 (Passvie 방식) (CentOS 8, Windows Server 2019) Passive 방식의 CentOS 8 Agent에서 진행하겠다 1. 필요 파일 다운 먼저 github.com/grundic/zabbix-disk-performance 의 파일들을 다운받는다 wget https://raw.githubusercontent.com/grundic/zabbix-disk-performance/master/userparameter_diskstats.conf -O /etc/zabbix/zabbix_agentd.d/userpara.. 2020. 12. 28. [Zabbix] #4 Passive 방식으로 Zabbix Agent 설치하기(CentOS 8, Windows Server 2019) 앞 글에서의 실습은 모두 Active 방식으로 진행했었다 Default인 Passive 방식은 설정할게 더 줄어든다 Server는 기존에 만든 거 그대로 사용하고, 새로 EC2를 만드는데 보안그룹에서 포트 22, 80, 3306, 10050, 10051을 열어두도록 하겠다(윈도우는 3389 추가) 자세한 내용은 아래 글들을 참고하자 Zabbix란? Zabbix 설치 준비 (Active 방식) CentOS 8에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) Windows Server 2019에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) CentOS 8 sudo -i hostnamectl set-hostname centospa.. 2020. 12. 24. [Zabbix] #3 Windows Server 2019에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) 기본 설정(EC2, 보안그룹)과 서버는 아래 글에서 만들고 오자 Zabbix란? Zabbix 설치 준비 (Active 방식) CentOS 8에서 Zabbix Server 설치하기 0. 윈도우 서버(EC2) 접속하기 혹시 필요한 사람들을 위해 적어두겠다 Windows EC2를 선택 후, 연결을 누른다 RDP 클라이언트 탭을 누른 후 암호 가져오기 - EC2 만들때 사용한 키를 Browse 해준 후 암호 해독을 누른다 그럼 이런식으로 뜨는데, 원격 데스크톱 연결을 실행해 Public IP로 접속한 후 사용자 이름과 암호로 로그인하면 된다 1. Hostname 변경 & 시간대 변경 이전 글들에서도 말했지만, 필수는 아니다 먼저 파일 탐색기를 들어가서 This PC 에 대고 마우스 우클릭 > Properties.. 2020. 12. 24. [Zabbix] #2 CentOS 8에서 Zabbix Agent 설치 후 Server에서 호스트 등록하기(Active 방식) 기본 설정(EC2, 보안그룹)과 서버는 아래 글에서 만들고 오자 Zabbix란? Zabbix 설치 준비 (Active 방식) CentOS 8에서 Zabbix Server 설치하기 sudo -i 로 root 접속 후 진행 1. hostname 설정 hostnamectl set-hostname centosagent 원하는 이름으로 hostname을 설정해준다 필수는 아니지만, 여러 호스트를 사용하게 될 때 헷갈리지 않게 하기 위함이며 zabbix 서버에다가도 같은 이름으로 등록할 예정이다 2. TimeZone 변경 mv /etc/localtime /etc/localtime_org ln -s /usr/share/zoneinfo/Asia/Seoul /etc/localtime localtime 파일의 원본을 lo.. 2020. 12. 24. [Zabbix] #1 CentOS 8에서 Zabbix Server 설치하기 기본 설정(EC2, 보안그룹)은 아래 글에서 설정하고 오자 Zabbix란? Zabbix 설치 준비 (Active 방식) 설정 후 Server용 CentOS 8에 접속하자 1. httpd, mariadb 설치 sudo -i dnf install -y httpd mariadb mariadb-devel mariadb-server 먼저 root 권한으로 들어간 다음, zabbix server 설치에 필요한 httpd와 mariadb를 설치한다 2. Zabbix 설치 다 되었으면 zabbix를 설치해준다 rpm -ivh https://repo.zabbix.com/zabbix/5.0/rhel/8/x86_64/zabbix-release-5.0-1.el8.noarch.rpm dnf clean all dnf -y ins.. 2020. 12. 24. [Zabbix] #0 Zabbix란? Zabbix 설치 준비 (Active 방식) Zabbix란? 엔터프라이즈급 오픈소스 분산 모니터링 솔루션 네트워크의 수많은 매개변수와 서버의 상태 및 무결성을 모니터링한다 간편하게 구성할 수 있고, 직관적인 웹 UI가 편리하다는 장점이 있다 Zabbix 구조 Zabbix Server는 모니터링을 수행하는 중앙 프로세스이자 데이터 저장소이고, Agent는 모니터링을 당하는 대상에 배포되어 Server로 데이터를 보내주는 프로세스이다 Zabbix 웹 브라우저는 APM(Apache, PHP, MySQL)로 이루어지기 때문에 서버를 설치할 때 APM도 같이 설치해주어야 한다 Zabbix 동작 방식 Active 방식 Agent에서 ServerActive를 설정해주면 그 IP를 참조해 데이터를 전송한다 TCP 10051 이용 Passive 방식 별다른 설정 .. 2020. 12. 24. 이전 1 다음
