[DataDog] Ingested/Indexed Log + Archiving 정리

 

우선 Agent단에서 로그를 발생시키면, 무조건 Ingested (인입) 비용이 발생한다

Ingested Log는 Live Tail에 뜨고, 아카이빙이 가능하며, 1GB당 $0.1 이다

그러나 Ingested만 돼서는 Search에서 Filter를 걸어 확인하거나 Dashboard 구성 시 활용할 수 없다

-> Index된 로그들만이 Search(즉 Filtering) 및 Dashboard 활용이 가능해진다

-> Indexed Log는 retention period 기간별로 가격이 다르며, 7일짜리는 로그 1M개당 $1.91이다

자세한 가격 확인 : https://www.datadoghq.com/pricing/?product=log-management#log-management

 

Index는 Logs > Configuration > Indexes에서 설정 가능하다

Index는 Exclude 필터를 사용해 특정 로그들을 INDEX 로그에서 제외시킬 수 있다

구성된 INDEX들엔 순서가 존재하며, 상위 필터에서 걸러진 로그들이 다음 필터에서 걸러지는 식이다

 

보통은 한 개의 main INDEX에서 모든 로그를 받은 다음,

해당 INDEX에서 Exclude Filter들을 여러 개 추가해 INDEXED / INGESTED 로그를 구분한다고 한다

 

참고로 한 번 만들어진 인덱스를 다시 삭제하기 위해선 서포트에 직접 문의해야 하며, (support@datadoghq.com 로 메일)

데이터독 측에서 삭제해준다 하더라도 같은 이름의 인덱스를 다시 만들 순 없다고 한다

(이유 : 데이터독 내부적으로 로그 인덱스는 organization당 unique한 값으로 관리된다고 함)

,,,,얼른 더 개선되었으면 좋겠다

 

아무튼 인덱스는 구성 시 retention 기간을 정할 수 있는데, (3, 7, 15) 이 기간에 따라 요금이 달라지므로

만약 로그별로 retention 기간을 다르게 가져가고 싶은 경우에 인덱스를 여러 개 사용한다고 한다

 

아카이빙은 AWS의 S3 등에 로그를 아카이빙해주는 기능인데, 5개까지밖에 생성되지 않는다

(이 또한 리밋을 늘리려면 서포트에 문의해야 하며, 리밋 증설을 원하는 이유를 설명해야 한다)

ingested되기만 한다면 모두 아카이빙이 가능하며, 설정 시 path에 변수를 넣을 순 없다

즉, env 태그 값에 따라 자동으로 bucket/${tag.env}/ 머 이런식으로 path를 달리할 수 없다

보통은 그냥 prod / stage / dev 이렇게 환경별로만 나눠서 로그를 아카이빙한다고 한다

그리고 아카이빙 설정을 한 S3 저장요금 등이 AWS에서 청구될 뿐, 아카이빙 설정 자체에 대한 Pricing은 발생되지 않는다

 

끝