day-log

지난주 새벽의 작은 사고지난주에 작은 사고가 있었다. 큰 장애는 아니었는데, 디버깅하면서 내가 너무 기본값을 신뢰하고 있었다는 걸 깨달았다. CronJob failedJobsHistoryLimit 얘기다.상황은 이랬다. 데이터 동기화용 CronJob이 매 5분마다 도는데, 모니터링 대시보드에서 어느 새벽부터 실패 카운트가 슬슬 올라가고 있었다. 한 시간쯤 지나서 PagerDuty가 울렸고, 출근 전이라 자느라 못 봤다. 아침에 일어나서 보니 한 시간 동안 12번 실패한 상태였다.로그를 보러 갔는데당연히 kubectl logs부터 쳤다. Pod가 이미 사라진 상태. 그렇지, CronJob은 Job을 만들고, Job이 Pod를 만든다. Pod는 사라져도 Job 객체는 남아있어야 하니까 그쪽을 보자.$ kub..

5월은 낮과 밤의 일교차가 10도 이상 벌어지는 대표적인 환절기예요. 어른도 콧물·기침이 시작되는 시기인데, 면역 체계가 아직 미숙한 영유아(만 1~6세)에게는 더 부담스러운 계절이죠. 어린이집·유치원에서 단체 생활을 시작한 아이라면 감기·장염이 끊이지 않아 부모 마음도 무거워집니다. 약이나 영양제에 의지하기 전에, 하루 일과 속에서 면역의 토대를 만드는 5가지 생활 습관을 먼저 점검해 보세요.Photo by RDNE Stock project on Pexels1. 잠 시간은 면역의 1순위, "양보다 일관성"미국수면재단(NSF) 가이드라인에 따르면 1~2세는 11~14시간, 3~5세는 10~13시간의 수면이 권장돼요. 단순히 총 시간만 채우는 것보다 매일 같은 시각에 잠들고 일어나는 리듬이 면역세포 회복에..

스팟 인스턴스를 자주 쓰다 보면 kubelet이 노드 종료 시점에 어떻게 행동하는지가 늘 신경 쓰인다. 사실 nodelifecycle 컨트롤러가 Pod를 옮겨주기는 하지만, 그건 노드가 NotReady가 되고도 한참 뒤의 이야기다. 그 사이에 노드 위에 있던 Pod이 어떻게 끝나느냐는 전적으로 kubelet의 graceful node shutdown 동작에 달려 있다. 이 기능은 1.21에서 알파, 1.28에서 GA가 됐고, 1.24부터는 Pod priority별로 단계화도 가능해졌다. 그런데 막상 운영해보면 "켜 놨는데 안 도는 것 같다"는 케이스가 꽤 있다. 어디서 끊기는지 한번 따라가본다.systemd-inhibitor라는 비밀번호kubelet이 노드 종료를 감지하는 방식은 의외로 단순하다. 부팅 ..

낮 기온이 25℃를 넘기기 시작하면 모기와 작은 날벌레가 슬그머니 집 안에 보이기 시작합니다. 본격적인 여름이 오기 전, 5월에 미리 손을 써두면 6~8월 내내 잠자리를 지킬 수 있어요. 오늘은 큰돈 들이지 않고 지금 당장 실천할 수 있는 초여름 방충 루틴 7가지를 정리해 봤습니다.Photo by Ioann-Mark Kuznietsov on Unsplash1. 방충망부터 점검하기겨울 동안 방충망은 의외로 상합니다. 햇빛에 삭아 가장자리에 미세한 구멍이 생기거나, 새시 틈이 1~2mm 벌어지는 일이 흔해요. 형광등 또는 스마트폰 손전등을 켜고 방충망 뒤에서 비춰 보면 구멍이 한눈에 보입니다. 작은 구멍은 투명 방충망 보수 테이프로 즉시 막고, 새시 틈은 방풍·방충 모헤어 테이프로 메워 주세요. 5천 원 안..

Renovate vs Dependabot vs ArgoCD Image Updater — 1년 굴려본 솔직 비교작년 봄에 회사 표준 의존성 업데이트 도구를 정하자는 얘기가 나왔다. 그때 우리 팀에서 굴리던 게 셋이었다. 일부 레포는 Dependabot, 인프라 모듈 레포는 Renovate, 그리고 멀티클러스터 ArgoCD가 관리하는 매니페스트 레포는 ArgoCD Image Updater. 세 개가 동시에 PR을 쏴대니까 리뷰어들이 짜증을 내기 시작했다. "이거 좀 정리하자"가 출발이었다.결과부터 말하면 셋 다 남겼다. 다만 역할을 잘랐다. 어떤 기준으로 잘랐는지, 1년 돌려본 입장에서 솔직하게 적어본다.세 도구가 보는 세계가 다르다처음에 했던 큰 착각이, 이 셋을 같은 카테고리로 묶을 수 있다고 생각한 거..

마트 한복판에서 갑자기 바닥에 드러눕는 아이, 잠자리에 들기 직전에 폭발하는 울음. 떼쓰기(분노 발작, temper tantrum)는 만 1세 후반부터 4세 사이 아이들에게 흔히 나타나는 정상적인 발달 과정입니다. 하지만 알면서도 그 순간이 되면 부모도 함께 무너지기 쉽죠. 오늘은 떼쓰기가 폭발하는 그 짧고도 긴 시간을 조금 더 차분하게 넘기는 5단계 대처법을 정리했습니다.1단계 — 내 호흡부터 가다듬기아이가 폭발하는 순간, 부모의 심박수와 목소리부터 올라갑니다. 그 상태에서는 어떤 좋은 말도 잘 전달되지 않습니다. 짧게 코로 3초 들이쉬고 입으로 5초 내뱉는 호흡을 두세 번만 해보세요. "지금 내 아이가 나를 화나게 하려는 게 아니라, 자기 감정을 다루지 못하고 있는 거다"라는 사실을 한 번 떠올리는 ..

안녕하세요. 5월의 중턱, 2026년 5월 15일 금요일입니다. 한 주의 마무리이자 새로운 주말의 시작을 앞둔 오늘, 12간지별로 가볍게 즐기는 운세를 준비했습니다. 따뜻한 차 한 잔과 함께 가볍게 읽어주세요.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020)오늘은 새로운 만남이 활력을 주는 하루입니다. 미뤄두었던 연락을 가볍게 이어보세요. 금전운은 무난한 흐름이지만 충동구매는 잠시 미뤄두는 것이 좋습니다. 건강은 어깨와 목 스트레칭으로 가볍게 풀어주세요.🐮 소띠 (1973, 1985, 1997, 2009, 2021)차분히 일에 집중하면 좋은 결과가 따라오는 날입니다. 동료와의 협업에서 작은 칭찬이 들려올 수 있어요. 애정운은 안정적이며, 오래된 인연일수록 따뜻한 한마디가 효과적입니다. ..

Karpenter를 1년 넘게 운영하다 보니 "왜 이 인스턴스 타입을 골랐을까" 하는 순간이 종종 생긴다. m5.2xlarge면 충분해 보이는데 c6i.4xlarge를 띄운다거나, 분명히 비슷한 spec인데 어떤 Pod는 한 노드에 몰리고 어떤 Pod는 새 노드를 띄운다. 처음엔 그냥 "알아서 잘 해주겠지" 하고 넘어갔는데, 최근 Karpenter 1.11에서 Application Recovery Controller(ARC) zonal shift 통합이 들어오면서 zone 단위 회복 시나리오를 검토할 일이 생겼다. 이 김에 스케줄러 내부를 한 번 제대로 들여다봤다.사실 Karpenter의 스케줄링 로직은 pkg/controllers/provisioning/scheduling/scheduler.go 한 파..

Photo by Arek Adeoye on Unsplash"운동을 시작하긴 해야 하는데…" 하고 미루는 가장 큰 이유는 보통 헬스장 등록비, 운동복, 시간 같은 진입장벽 때문이다. 그런데 사실 가장 효과 좋은 운동은 이미 모두가 하고 있는 동작 — 걷기다. 하루 30분만 꾸준히 걷기만 해도 심혈관·근골격·정신건강에 어떤 변화가 생기는지, 그리고 효과를 끌어올리는 실전 팁을 정리했다.30분 걷기, 몸 안에서 일어나는 일걷기 시작 후 5분 — 심박수가 점차 올라가면서 혈류가 활발해진다. 굳어 있던 종아리·허벅지 근육 펌프가 돌아가며 정맥혈이 심장으로 잘 돌아온다.15분 무렵 — 지방을 에너지원으로 쓰는 비중이 늘어난다. 식후 30분 산책이 혈당 스파이크 완화에 도움이 된다는 연구는 이미 여러 차례 보고되어 ..

어쩌다 라벨에 request_id를 박았나지난주 새벽 2시 17분에 핸드폰이 울렸다. PagerDuty였다. "Loki ingester OOM, 로그 쿼리 응답 없음." 평소 같으면 "내일 보자" 하고 자야 하는데, 마침 다음날 오전에 장애 회고 미팅이 잡혀 있었다. 거기서 로그가 안 보이면 곤란해진다. 노트북을 켰다.결론부터 말하면, 우리 팀에서 무심코 라벨에 박아놓은 request_id 하나 때문에 Loki 인덱스가 통째로 부풀어 올랐고, ingester가 메모리 한계에 부딪혀 차례로 죽었다. 그 후로 1주일 동안 카디널리티를 줄이느라 정신없이 보냈다. 그 기록이다.이게 좀 부끄러운 이야기인데, 처음부터 그런 건 아니었다. 우리 팀이 Loki를 도입한 건 작년 봄이었고, 그때는 그냥 namespace..