day-log

ArgoCD ApplicationSet으로 12개 클러스터 한 번에 날린 이야기지난 금요일 저녁이었다. 정확히는 금요일 저녁 8시 47분. 슬랙이 한 번에 12번 울렸다. PagerDuty도 같이 울렸다. 12개 리전 prod 클러스터의 핵심 워크로드가 동시에 CrashLoopBackOff에 빠진 거였다.원인은 단순했다. ArgoCD ApplicationSet의 matrix generator에 새 컨테이너 이미지 tag를 commit했고, 그게 모든 클러스터에 동시에 sync된 거다. 캐너리도 없고, 단계적 롤아웃도 없었다. 그냥 한 방에 전부.이 글은 그날 밤 11시 40분까지 이어진 복구 과정과, 그 후에 progressive sync를 도입하면서 배운 것들에 대한 회고다.우리가 어쩌다 12개를 한 ..

Distroless 이미지는 좋다. CVE 스캔 결과가 깨끗하고, attack surface가 작고, 이미지 크기도 작다. 그런데 사고가 났을 때가 문제다. sh도 없고 curl도 없고 ls도 없다. 컨테이너 안에 들어가서 뭔가 보고 싶어도 들어갈 수단 자체가 없는 셈이다.kubectl debug 한 줄이면 끝나는 일이긴 하다. -it --image=nicolaka/netshoot --target=app. 이렇게 치면 netshoot 컨테이너가 붙고, ps도 보이고, tcpdump도 된다. 신기하다. 분명히 distroless 컨테이너 안에는 셸이 없는데 어떻게 그 컨테이너의 프로세스를 들여다보고 있는 걸까. 이게 사실 처음 봤을 때 좀 헷갈렸다. 그래서 한번 파봤다.표면적으로는 pod.spec.ephe..

안녕하세요. 2026년 6월 16일 화요일, 한 주의 두 번째 날이 밝았습니다. 오늘은 어떤 마음가짐으로 하루를 시작하면 좋을지, 12간지별로 가볍게 살펴볼게요. 작은 힌트 한 줄이라도 오늘 하루에 도움이 되길 바랍니다.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020년생)오늘은 머릿속에 떠오르는 아이디어를 메모해두면 좋은 날입니다. 평소라면 그냥 흘려보냈을 작은 영감이 뜻밖의 기회로 이어질 수 있어요. 금전운은 무난하지만 충동구매는 한 박자 늦추는 게 현명합니다. 건강은 눈의 피로를 살피세요.🐮 소띠 (1973, 1985, 1997, 2009, 2021년생)꾸준함이 빛을 보는 하루입니다. 오랫동안 미뤄둔 업무를 하나라도 마무리하면 마음이 한결 가벼워질 거예요. 애정운은 안정적이며, 가까..

장마가 본격적으로 시작되면 가장 먼저 신호를 보내는 건 주방의 음식물쓰레기통입니다. 습도가 75%를 넘기는 날이 이어지면 미생물이 폭발적으로 번식하면서, 어제까지 멀쩡했던 통에서 갑자기 시큼한 냄새와 작은 날벌레가 동시에 올라오죠. 이번 장마를 버티는 데 꼭 필요한 7가지 실전 팁을 정리했습니다.Photo by the blowup on Unsplash1. 버리기 전 "한 번 더 짜기"가 70%음식물쓰레기 냄새의 가장 큰 원인은 수분입니다. 물기가 많을수록 미생물이 빠르게 증식하고, 그 부산물이 바로 우리가 맡는 시큼한 냄새가 됩니다. 싱크대 거름망에서 한 번 짜고, 통에 넣기 전에 키친타올로 한 번 더 눌러 빼는 습관만으로도 냄새 발생 속도가 절반 이하로 떨어집니다. 특히 수박껍질·참외껍질처럼 수분이 많..

작년 이맘때쯤 우리 팀은 Prometheus 단일 인스턴스로 버티는 게 한계에 다다랐다. 노드 800대, 활성 시리즈 3천만개를 넘기면서 메모리는 80GB를 넘어가고, 재시작 시 WAL 리플레이에 20분이 걸렸다. 장기 저장도 필요했다. 그래서 VictoriaMetrics 클러스터와 Grafana Mimir 두 개를 PoC로 띄워서 6개월씩 돌려봤고, 결국 메인을 VictoriaMetrics로 갔다. 이 글은 그 1년치 의사결정 기록이다.근데 미리 말해두면, 이건 "VM이 무조건 좋다"는 글이 아니다. 우리 팀 상황에 VM이 맞았던 거지, 다른 팀은 Mimir가 더 나을 수 있다. 그 경계가 어디인지 정리해보려고 한다.리소스 사용량 차이가 진짜였다벤치마크 자료들이 "VM이 메모리 5배 효율"이라고 떠드는..

새로운 한 주가 시작되는 월요일 아침입니다. 너무 무겁게 출발하기보다, 마음을 가볍게 두고 오늘 하루의 흐름을 따라가 보세요. 12간지별로 어떤 기운이 흐르는지 살펴보고, 마음에 닿는 부분만 살짝 챙겨 가셔도 충분합니다.Photo by nicollazzi xiong on Pexels🐭 쥐띠 (1972, 1984, 1996, 2008, 2020)이번 주의 시작은 ‘정리’가 키워드입니다. 책상 위, 메일함, 머릿속까지 한 번 비워내면 의외로 빠르게 속도가 붙어요. 금전운은 평이하나, 작은 부수입의 기운이 살짝 비치니 평소 지나치던 정보도 한 번씩 살펴보세요. 가까운 사람과의 짧은 대화에서 따뜻한 위로를 받을 수 있는 날입니다.🐮 소띠 (1973, 1985, 1997, 2009, 2021)차분히 페이스를 ..

Photo by Madara on Unsplash본격적인 장마가 시작되기 직전인 6월 중순, 묘하게 몸이 무겁고 잔병치레가 잦아지는 시기입니다. 일조량이 줄고, 습도는 높아지고, 일교차는 커지면서 우리 몸의 면역 체계가 시험대에 오릅니다. 실제로 장마철에는 감기, 위장 장애, 피부 트러블, 알레르기 증상이 평소보다 늘어나는 경향이 있는데요. 오늘은 6월부터 미리 챙겨두면 한여름까지 든든하게 버텨주는 면역력 관리 습관 7가지를 정리했습니다.1. 비타민 D를 의식적으로 챙기기장마철에는 햇빛이 줄어들면서 비타민 D 합성이 급격히 떨어집니다. 비타민 D는 단순히 뼈 건강뿐 아니라 면역 세포(특히 T세포) 기능에 직접 관여하기 때문에 부족하면 감염에 취약해질 수 있습니다.비가 그친 사이 10~15분 정도 햇빛 노..

내부 보안팀에서 "프로덕션 클러스터에 서명 안 된 이미지 못 들어오게 하자"는 얘기가 나온 지 한참 됐다. 우리 팀은 GitHub Actions로 빌드한 이미지를 ECR에 푸시하고 있었고, Cosign keyless 서명 자체는 이미 파이프라인에 붙여둔 상태였다. 문제는 검증. 클러스터 어드미션에서 막는 부분이 없었다.Kyverno ImageValidatingPolicy(IVP)로 정리한 결과를 적어둔다. 1.13에서 들어온 새 정책 타입인데, 기존 ClusterPolicy의 verifyImages 룰보다 모듈화가 잘 돼 있어서 운영하기 편하다.전제: Cosign keyless 서명이 무엇을 보장하나Keyless는 키 파일을 보관하지 않는다. 대신 Sigstore Fulcio가 OIDC ID(예: Git..

여름이 본격적으로 시작되면 부모 입장에서 가장 신경 쓰이는 것 중 하나가 모기다. 어른은 하룻밤 가려운 정도지만 영유아는 한 번 물려도 동전만 하게 부풀고, 긁다가 진물·2차 감염으로 번지기 일쑤다. 더 까다로운 점은 흔히 쓰는 모기퇴치제 성분이 영아에게는 그대로 쓰면 안 된다는 사실이다. 물린 뒤 약을 바르는 것보다, 물리지 않게 환경을 정리하는 쪽이 훨씬 효과가 크다. 오늘은 부모가 가장 자주 헷갈리는 모기 대응 7가지를 정리했다.Photo by Vivek Kumar on Unsplash1. 모기는 왜 아기를 더 잘 무는가모기는 이산화탄소, 체온, 땀 속 젖산에 끌린다. 영유아는 체온이 어른보다 0.3~0.5℃ 높고, 활동량 대비 호흡수도 많아 이산화탄소 배출이 상대적으로 많다. 같은 방에 자도 아기..

지난 화요일 새벽이었다. 4시 12분에 휴대폰이 부르르 울렸다. PagerDuty.vault-prod cluster: all nodes sealed침대에서 일어나면서 머릿속이 멍했다. 보통 vault가 sealed 상태로 돌아가는 일은 없다. unseal key는 사람이 들고 있지도 않다 — auto-unseal로 AWS KMS에 위임해놨으니까. 그런데 sealed라니. 노트북을 열면서 솔직히 멘탈이 좀 나갔다.첫 30분: 뭐가 죽었는지조차 몰랐다처음엔 vault 자체 이슈인 줄 알았다. 컨테이너가 OOM이라도 났나 싶어서 노드부터 확인했다. CPU도 메모리도 멀쩡했다. Pod도 다 running이었고. 그런데 vault status를 때려보면 매번 같은 응답이 돌아왔다.Sealed: trueTotal ..