day-log

Karpenter를 1년 넘게 운영하다 보니 "왜 이 인스턴스 타입을 골랐을까" 하는 순간이 종종 생긴다. m5.2xlarge면 충분해 보이는데 c6i.4xlarge를 띄운다거나, 분명히 비슷한 spec인데 어떤 Pod는 한 노드에 몰리고 어떤 Pod는 새 노드를 띄운다. 처음엔 그냥 "알아서 잘 해주겠지" 하고 넘어갔는데, 최근 Karpenter 1.11에서 Application Recovery Controller(ARC) zonal shift 통합이 들어오면서 zone 단위 회복 시나리오를 검토할 일이 생겼다. 이 김에 스케줄러 내부를 한 번 제대로 들여다봤다.사실 Karpenter의 스케줄링 로직은 pkg/controllers/provisioning/scheduling/scheduler.go 한 파..

Photo by Arek Adeoye on Unsplash"운동을 시작하긴 해야 하는데…" 하고 미루는 가장 큰 이유는 보통 헬스장 등록비, 운동복, 시간 같은 진입장벽 때문이다. 그런데 사실 가장 효과 좋은 운동은 이미 모두가 하고 있는 동작 — 걷기다. 하루 30분만 꾸준히 걷기만 해도 심혈관·근골격·정신건강에 어떤 변화가 생기는지, 그리고 효과를 끌어올리는 실전 팁을 정리했다.30분 걷기, 몸 안에서 일어나는 일걷기 시작 후 5분 — 심박수가 점차 올라가면서 혈류가 활발해진다. 굳어 있던 종아리·허벅지 근육 펌프가 돌아가며 정맥혈이 심장으로 잘 돌아온다.15분 무렵 — 지방을 에너지원으로 쓰는 비중이 늘어난다. 식후 30분 산책이 혈당 스파이크 완화에 도움이 된다는 연구는 이미 여러 차례 보고되어 ..

어쩌다 라벨에 request_id를 박았나지난주 새벽 2시 17분에 핸드폰이 울렸다. PagerDuty였다. "Loki ingester OOM, 로그 쿼리 응답 없음." 평소 같으면 "내일 보자" 하고 자야 하는데, 마침 다음날 오전에 장애 회고 미팅이 잡혀 있었다. 거기서 로그가 안 보이면 곤란해진다. 노트북을 켰다.결론부터 말하면, 우리 팀에서 무심코 라벨에 박아놓은 request_id 하나 때문에 Loki 인덱스가 통째로 부풀어 올랐고, ingester가 메모리 한계에 부딪혀 차례로 죽었다. 그 후로 1주일 동안 카디널리티를 줄이느라 정신없이 보냈다. 그 기록이다.이게 좀 부끄러운 이야기인데, 처음부터 그런 건 아니었다. 우리 팀이 Loki를 도입한 건 작년 봄이었고, 그때는 그냥 namespace..

식탁에 앉히자마자 입을 꾹 다무는 아이, 채소만 보면 고개를 돌리는 아이, 어제까지 잘 먹던 음식을 갑자기 거부하는 아이. 만 2세에서 6세 사이의 유아를 키우다 보면 거의 모든 부모가 한 번쯤 마주치는 풍경입니다. 다행히 이 시기 편식의 상당 부분은 '발달 단계의 자연스러운 과정'으로 알려져 있어요. 그렇다고 그냥 두면 영양 불균형이 길어질 수 있으니, 너무 닦달하지도 너무 방관하지도 않는 균형이 필요합니다.Photo by Derek Owens on Unsplash왜 우리 아이는 갑자기 안 먹을까만 2세 전후가 되면 성장 속도가 영아기보다 느려지면서 식욕 자체가 줄어듭니다. 동시에 자아가 강해져서 "내가 정한다"가 표현되는 시기여서, 음식 선택이 통제 싸움의 무대가 되기 쉽죠. 또 새로운 음식에 대한 ..

Photo by Standsome Worklifestyle on Unsplash하루 8시간 이상 의자에 앉아 모니터를 보는 사람이라면 한 번쯤 "허리가 뻐근하다", "어깨가 굳었다"는 신호를 받아봤을 것이다. 사무직 근로자의 30~50%가 1년에 한 번 이상 허리 통증을 호소한다는 보고가 있을 만큼, 장시간 앉아있는 자세는 척추와 주변 근육에 상당한 부담을 준다. 특히 상체를 앞으로 기울여 화면을 보는 전형적인 자세는 서 있을 때보다 허리 디스크 압력을 약 40% 더 높이는 것으로 알려져 있다.문제는 통증이 한 번 시작되면 단순히 쉬는 것만으로는 잘 가라앉지 않는다는 점이다. 자세, 환경, 움직임 세 가지를 함께 바꿔야 한다.1. 작업 환경부터 점검하자가장 먼저 손볼 것은 책상과 의자의 기본 세팅이다. ..

Kafka 4.0이 나오면서 ZooKeeper 지원이 완전히 잘려나갔다. 더 정확히는, 3.9가 ZK를 지원하는 마지막 버전이고 4.0부터는 KRaft 전용이다. 우리 팀도 3.7에서 한동안 버티고 있었는데, 보안 패치 백포팅이 점점 줄어드는 게 보여서 결국 마이그레이션 일정을 잡았다. 클러스터 8대(브로커 24개, ZK 5노드 앙상블)를 다운타임 없이 옮겨야 하는 상황이라, 정리 차원에서 절차를 적어둔다.왜 3.9를 거쳐야 하는가4.0으로 직행이 안 된다. 공식 가이드에서도 명시적으로 "3.x에서 KRaft로 먼저 옮긴 다음 4.0으로 올려라"라고 못 박는다. 그 이유는 마이그레이션 도구 자체가 3.x 브로커 안에 들어있기 때문이다. 3.4에서 처음 등장했고, 3.7부터 production-ready,..

지난주 화요일 오후, 모니터링 알람이 울렸다. PgBouncer 앞단의 connection 사용량이 평소 대비 3배 가까이 튀어 있었고, 어플리케이션 쪽 P99 레이턴시는 슬슬 200ms를 넘기고 있었다. 트래픽은 평소 수준. 이상한 점은 RDS Postgres의 active connection 수가 거의 변동이 없다는 거였다. 즉, 클라이언트 → PgBouncer 사이에서 뭔가 막혀 있다는 뜻이다.이번 글은 그날 밤 새벽 2시까지 잡고 있던 이 문제를 어떻게 추적했는지, 그리고 결국 prepared statement와 transaction pooling이 충돌하던 지점을 어떻게 풀어냈는지에 대한 기록이다. 결론부터 말하면, 우리가 두 달 전에 한 PgBouncer 버전 업그레이드가 진짜 원인이었다.처음..

5월 중순이 되면 낮 기온이 25도를 훌쩍 넘기 시작합니다. 본격적인 더위가 오기 전, 지금이 바로 냉장고를 한 번 갈무리하기 좋은 시점이에요. 여름이 시작되면 음식이 상하는 속도가 눈에 띄게 빨라지고, 정리되지 않은 냉장고는 전기료에도 영향을 줍니다. 오늘은 30분이면 끝나는 냉장고 정리법과 음식 보관 체크리스트를 정리해봤습니다.Photo by Clay Banks on Unsplash1단계: 비우고 점검하기가장 먼저 할 일은 냉장고 안의 모든 음식을 꺼내는 것입니다. 귀찮아 보이지만 이 과정이 핵심이에요. 안쪽에 박혀 있던 잊어버린 반찬통, 유통기한 지난 소스병이 이때 한꺼번에 정리됩니다.유통기한 지난 식품은 과감하게 폐기개봉 후 한 달 이상 지난 양념·소스류 확인정체불명의 비닐봉지·반찬통은 열어보고 ..

5월 중순의 따스한 봄빛이 한 해의 절반을 향해 천천히 흐르는 목요일입니다. 오늘은 마음의 등불을 하나씩 켜듯이, 작은 일에서도 의미를 찾아보는 하루로 만들어 보세요. 12간지별로 오늘 어떤 흐름이 펼쳐질지 가볍게 살펴봅니다.Photo by Naro K on Pexels🐭 쥐띠 (1972, 1984, 1996, 2008, 2020년생)작은 아이디어 하나가 동료들의 호응을 얻을 수 있는 날입니다. 평소 미뤄두었던 메시지에 답장을 보내보면 의외의 인연이 이어집니다. 금전적으로는 큰 지출보다는 알뜰한 소비가 어울리는 흐름이고, 가벼운 산책으로 컨디션을 다잡으면 좋습니다.🐮 소띠 (1973, 1985, 1997, 2009, 2021년생)꾸준히 쌓아온 노력이 인정받기 시작합니다. 특히 업무에서 책임감 있는 태..