day-log

지난주 화요일 새벽 3시쯤. 휴대폰이 울렸다. 온콜 알림이었다. prod의 메인 API가 503을 뱉고 있다는. 솔직히 그날따라 몸이 너무 무거워서 한 5분쯤은 침대에서 멍하니 알림을 봤다. 그 5분이 정말 길었다.원인을 미리 말하자면, 전날 머지된 PR에서 ArgoCD argocd.argoproj.io/sync-wave 값을 한 줄 바꾼 게 문제였다. app-of-apps 패턴을 쓰는 우리 클러스터에서, 그 한 줄이 컨트롤 플레인 컴포넌트보다 워크로드를 먼저 띄우게 만들었다. 결과적으로 cert-manager가 뜨기 전에 ingress webhook이 호출돼서 발급이 꼬였고, 그게 ALB target health check를 흔들었고, 503이 떴다.새벽 3시반에 침대에서 일어나면서 든 생각: "syn..

일요일 아침, 새벽 산자락에 번지는 빛처럼 오늘 하루도 잔잔하게 시작되길 바라며 12간지 띠별 운세를 정리했어요. 휴일다운 여유 속에서 자신을 돌보고, 가까운 사람들과 따뜻한 시간을 보내기 좋은 날입니다. 가볍게 읽고 기분 좋은 영감을 얻어가세요.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020)오늘은 머릿속이 맑아지는 하루예요. 미뤄두었던 정리나 가벼운 계획 세우기에 잘 맞는 날입니다. 금전운은 평이하지만, 소소한 지출이 누적될 수 있으니 영수증 한 번 점검해보면 좋아요. 가족이나 오래된 친구와 짧은 통화가 큰 위로가 될 수 있습니다.🐂 소띠 (1973, 1985, 1997, 2009, 2021)성실한 소띠에게 휴식이 보약인 하루예요. 무리해서 일정을 채우기보다 한 가지 즐거움에 집중해..

EKS를 몇 년째 운영하다 보면 한 번쯤은 이런 순간이 온다. 누군가 kubectl delete ns prod-something을 잘못 쳤거나, GitOps 동기화가 꼬여서 ConfigMap이 통째로 날아갔거나. 우리 팀에서는 작년에 한 번 비슷한 사고가 났다. ArgoCD가 잘못된 브랜치를 source로 잡아서 네임스페이스 하나를 prune 해버린 거다. 다행히 ETCD 덤프가 있었지만, 복구하는 데 반나절을 썼다.그 사건 이후로 Velero를 정식으로 도입했다. 이번 글은 EKS 환경에서 Velero를 0에서부터 세팅하고 운영하는 실전 가이드다. 공식 문서에 나오는 기본 설치 말고, 실제 운영 들어갔을 때 부딪히는 부분 위주로 적었다.왜 Velero인가EKS 백업 옵션은 몇 가지가 있다. AWS Ba..

Photo by Kateryna Hliznitsova on Unsplash5월은 야외 활동하기에 가장 좋은 계절입니다. 햇볕은 따뜻하고 그늘은 시원해서 잠깐만 자리를 펴도 두세 시간이 훌쩍 지나가죠. 그런데 막상 짐을 싸기 시작하면 "이거 챙겼나? 저거 빠뜨린 거 아닌가?" 머리가 복잡해집니다. 처음 가는 분들을 위해 자리 잡기 좋은 시간부터 짐 패킹 순서까지 한 장으로 정리해 봤습니다.출발 전에 꼭 확인할 3가지피크닉은 짐을 싸기 전에 정해 두면 좋은 게 있습니다. 첫 번째는 장소와 도착 시간입니다. 한강공원, 서울숲, 올림픽공원처럼 인기 있는 곳은 주말 11시만 넘어도 그늘 자리가 사라집니다. 좋은 자리를 원한다면 10시 전에 도착하는 걸 추천드립니다.두 번째는 일기예보입니다. 5월은 일교차가 큰 시..

밤이 깊었는데도 좀처럼 잠이 들지 않는 날, 누구에게나 한 번쯤은 있습니다. 잠자리에 누워 천장을 바라보거나 휴대폰을 만지작거리다 보면 어느새 새벽 두 시. 다음 날 아침 부은 얼굴과 무거운 머리로 출근하면서 "오늘 밤엔 꼭 일찍 자야지" 다짐하지만, 그 다짐이 지켜지는 일은 드뭅니다.수면은 단순한 휴식이 아니라 우리 몸과 뇌가 회복하고 기억을 정리하는 핵심 시간입니다. 미국 국립수면재단(National Sleep Foundation)은 성인 권장 수면 시간을 7~9시간으로 제시하며, 만성적인 수면 부족은 면역력 저하, 심혈관 질환 위험 증가, 인지 기능 감소와 관련이 있다는 점을 반복해서 강조해 왔습니다. 오늘은 약에 의존하지 않고도 누구나 시도해 볼 수 있는 수면의 질을 높이는 7가지 생활 습관을 정..

오늘 알게 된 건 아니지만, 최근에 팀 내부 트러블슈팅 가이드 다듬다가 다시 한 번 짚어둘 만하다 싶어서 짧게 적는다. kubectl debug로 ephemeral container 띄울 때 --target 빠뜨리고 쓰는 분들이 의외로 많다. 1.25부터 EphemeralContainers feature gate가 GA로 켜진 게 벌써 한참 됐는데도.무슨 문제냐면distroless 이미지를 쓰는 파드에 들어가서 curl이나 netstat 한 번 쳐보고 싶을 때 보통 이렇게 쓴다.kubectl debug -it my-pod -n prod --image=nicolaka/netshoot이걸로 컨테이너는 잘 붙는다. 근데 막상 들어가서 ps를 쳐보면 본인 프로세스만 보인다. 본 컨테이너의 PID가 안 보인다는 ..

CNI 갈아탈까 말까 하는 고민은 누구나 한 번쯤 한다. 우리 팀도 작년 말부터 "Cilium 한번 가보자" 분위기가 있었고, 결국 6개월 가까이 PoC와 운영 시뮬레이션을 돌렸다. 결론부터 말하면, 메인 워크로드는 Calico에 남겼고 새로 구축한 ML 추론 클러스터만 Cilium으로 갔다. 같은 회사 안에서 CNI를 두 개 쓰게 된 셈인데, 이 글은 왜 그런 결정을 했는지에 대한 정리다.왜 갈아타고 싶었나우리 메인 EKS 클러스터는 노드 80대 규모. Calico를 3년 넘게 써왔고 큰 문제는 없었다. 그런데 최근 1년 사이 두 가지 가려운 부분이 생겼다.하나는 kube-proxy iptables 룰이 너무 길어진 거다. Service 수가 1,200개를 넘기면서 노드당 iptables 룰이 4만 줄..

5월은 베란다 텃밭을 시작하기에 가장 좋은 달입니다. 마지막 늦서리 걱정이 사라지고 햇볕은 충분하지만 한여름의 폭염은 아직 오지 않은 시기라, 묘목이 자리잡기에 최적의 조건이 만들어집니다. 화분 몇 개와 작은 흙 한 포대만 있으면 누구나 시작할 수 있고, 잘 키우기만 하면 한여름까지 신선한 잎채소와 허브를 식탁에 올릴 수 있습니다.Photo by Meshaal Al Hajali on Unsplash시작 전에 점검할 베란다 환경먼저 우리 집 베란다가 어떤 환경인지부터 살펴봐야 합니다. 같은 아파트라도 방향, 층수, 외부 차양에 따라 일조량이 천차만별이기 때문입니다.햇빛이 하루에 몇 시간이나 들어오는지 한 주 정도 체크해 보세요. 잎채소(상추, 청경채 등)는 직사광선이 4시간 이상이면 충분히 자라고, 토마토..

지난주에 HPA behavior 필드를 손댄 적이 있다. 정확히 말하면 손댄 게 아니라, 누군가 친절하게 PR로 올려준 "스케일 다운 빠르게 하자"는 변경을 별생각 없이 머지한 게 시작이었다. 그날 오후부터 P99 레이턴시가 평소 80ms에서 320ms를 찍었고, 새벽 1시쯤 알람이 한 번 더 울리고 나서야 우리 팀은 이게 비용 최적화가 아니라 자해였다는 걸 인정했다.이 글은 그 삽질 회고다. 비슷한 PR 들어오면 한 번만 더 생각해 보시라는 의미에서 적어둔다.사건의 시작서비스는 API 트래픽이 출퇴근 시간대에 몰리는 전형적인 패턴이다. 노드 12대짜리 EKS 클러스터에서 Deployment 3개가 HPA로 묶여 있었고, 평소 replica가 8~30 사이를 왔다 갔다 했다. 비용을 줄이려면 트래픽이 빠..

Photo by KOBU Agency on Unsplash"하루에 물 8잔은 꼭 마셔야 한다"는 말, 한 번쯤 들어보셨을 거예요. 다이어트 책에도, 건강 프로그램에도 빠지지 않고 등장하는 단골 조언이죠. 그런데 정말 모든 사람이 똑같이 2리터씩 마셔야 하는 걸까요? 결론부터 말하면, 답은 "사람마다 다르다" 입니다."하루 8잔" 공식은 어디서 왔을까흔히 인용되는 '하루 8잔(약 2L)' 가이드는 1945년 미국 식품영양위원회의 권고에서 비롯됐다고 알려져 있어요. 다만 원문에는 음식에 포함된 수분도 함께 계산하라는 단서가 붙어 있었는데, 시간이 지나면서 그 부분은 빠지고 '순수한 물 2L'로만 회자된 거죠.현재 미국 의학연구소(IOM)는 성인 남성은 하루 약 3.7L, 여성은 약 2.7L의 총 수분 섭취량..