day-log

지난주 화요일 새벽 2시 반쯤이었다. 온콜 알림이 왔고, Prometheus 인스턴스 두 대가 연달아 OOM으로 죽었다는 내용이었다. 눈을 비비고 노트북을 열었는데, Grafana는 이미 죽어 있었다. 데이터 소스가 죽었으니 당연한 일이었다. 그 다음 두 시간 반 동안 내가 겪은 얘기다.처음엔 그냥 재시작하면 될 줄 알았다당시 우리 스택은 이랬다. 노드 24대 EKS 클러스터, kube-prometheus-stack으로 배포한 Prometheus 두 대 HA 구성, 메모리 리소스 리밋은 각각 16GB. 평상시 series 개수는 대략 480만 정도. 리텐션 15일. remote_write로 장기 저장소에 밀어넣고 있었다.일단 재시작. WAL replay가 시작됐는데, 이게 도무지 끝나지가 않았다. 평소엔..

밤 최저 기온이 25℃를 넘는 '열대야' 시즌이 시작되면, 아무리 피곤해도 잠들기가 어렵습니다. 몸의 심부 체온이 충분히 떨어지지 않으면 뇌는 "지금은 잘 시간이 아니다"라고 판단하기 때문이에요. 오늘은 에어컨 없이도, 혹은 에어컨을 켜더라도 몸을 상하지 않고 여름밤을 깊이 자는 데 도움이 되는 7가지 습관을 정리했습니다.Photo by Jp Valery on Unsplash1. 잠들기 1~2시간 전, 미지근한 물로 샤워찬물 샤워가 시원할 것 같지만 오히려 몸이 놀라서 심부 체온이 다시 오릅니다. 38~40℃ 정도의 미지근한 물로 10분 정도 샤워하면, 샤워가 끝난 뒤 말초 혈관이 확장되면서 열이 빠져나가 심부 체온이 자연스럽게 떨어집니다. 미국 텍사스대학교 연구팀이 정리한 수면 관련 리뷰(2019)에서..

Falco를 클러스터에 깔아본 사람은 많지만, 이게 정확히 어떤 식으로 syscall을 잡아내는지 끝까지 따라가본 사람은 의외로 적다. 우리 팀에서도 한동안은 "그냥 eBPF로 커널 이벤트 본다더라" 수준의 이해로 운영했다. 그러다가 노드 일부에서 syscall drop이 튀기 시작했고, 원인을 디버깅하다 보니 결국 probe 내부 구조까지 파게 됐다. 이번 글은 그때 정리한 내용을 풀어서 쓴 것이다.사실 내부적으로는 Falco가 모든 일을 직접 하지 않는다. 사용자 공간에서 룰을 평가하는 falco 데몬과, 커널 공간에서 syscall을 가로채는 probe가 분리돼 있다. 우리가 보통 Helm 차트 옵션에서 driver.kind: modern_ebpf라고 한 줄 적고 넘어가는 그 probe가, 실은 꽤..

Photo by Vicko Mozara on Unsplash7월이 시작되면서 기온이 본격적으로 오르기 시작합니다. 어른보다 체온 조절 능력이 미숙한 아이들은 같은 더위라도 훨씬 빠르게 위험에 노출될 수 있어요. 질병관리청 온열질환 응급실 감시체계에 따르면, 매년 6월 중순부터 8월 말까지 어린이·청소년의 온열질환 신고가 집중됩니다. 영유아는 의사표현이 서툴고, 초등 저학년은 친구들과 노는 데 몰입해 더위 신호를 놓치기 쉽기 때문에 부모가 사전에 알고 대비하는 것이 가장 중요합니다.이번 글에서는 영유아부터 초등학생까지 연령대별로 적용할 수 있는 어린이 온열질환 예방 7가지 핵심 가이드를 정리했습니다.1. 외출은 오전 10시 이전, 오후 4시 이후로햇볕이 가장 강한 시간대는 오전 11시 ~ 오후 4시 사이입..

Photo by Annie Spratt on Unsplash본격적인 여름휴가 시즌이 시작되면 "잘 다녀와야지" 보다 "잘 비우고 가야지"가 사실 더 중요합니다. 며칠씩 비워두는 집에서는 전기 요금이 새기도 하고, 음식이 상해 냄새가 진동하기도 하고, 가끔은 누전·누수 같은 사고가 발생하기도 합니다. 떠나기 전 30분만 투자해 점검 루틴을 돌리면, 돌아왔을 때의 한숨이 미소로 바뀝니다. 오늘은 휴가 출발 직전에 확인해야 할 집 비우기 체크리스트 7가지를 정리해 봤습니다.1. 냉장고 정리와 음식 처리가장 큰 후폭풍을 남기는 곳이 바로 냉장고입니다. 휴가 기간이 3박 이상이라면 다음을 점검하세요.유통기한이 임박한 유제품, 두부, 채소는 떠나기 전에 다 비우거나 지인에게 나눠주기김치·반찬류는 밀폐 후 가장 안쪽..

ArgoCD ApplicationSet으로 멀티 환경 배포 자동화하기ArgoCD를 처음 도입했을 때는 환경마다 Application 리소스를 따로 만들어 썼다. dev, staging, prod 세 환경에 마이크로서비스 12개. 단순 계산으로 36개. 여기에 신규 환경이라도 하나 늘면 또 12개를 복사 붙여넣기. 처음엔 견딜만 했는데, 팀이 커지면서 이 반복 작업이 진짜 골치 아파졌다.ApplicationSet은 이 문제를 푸는 도구다. 한 번 정의해두면 generator가 알아서 N개의 Application을 만들어준다. 이번 글에서는 우리 팀이 실제 운영하면서 정착시킨 패턴을 정리해본다. 참고로 최근 ArgoCD 3.3에서 ApplicationSet의 shallow clone 옵션이 추가돼서 큰 모노..

Photo by Naro K on Pexels7월의 첫날이자 한 해의 정확히 절반이 시작되는 수요일입니다. 상반기를 마무리하고 하반기의 첫 호흡을 가다듬는 오늘, 12간지별로 어떤 흐름이 기다리고 있는지 가볍게 살펴봅니다. 큰 결정보다는 작은 정돈에 집중하기 좋은 날입니다.쥐띠 (1972, 1984, 1996, 2008, 2020)상반기 동안 미뤄두었던 일들이 머릿속을 스칠 수 있는 하루입니다. 한 번에 끝내려 하지 말고 가장 작은 항목부터 손을 대면 의외로 술술 풀립니다. 금전운은 평탄하니 큰 지출보다는 자동이체 항목을 한번 점검해 보세요.소띠 (1973, 1985, 1997, 2009, 2021)꾸준함이 빛을 발하는 날입니다. 동료나 가족이 당신의 성실함을 알아봐 주는 작은 순간이 있을 수 있어요. ..