day-log

작년에 신규 EKS 클러스터를 띄우면서 한 가지 결정을 미뤘다. 워크로드 IAM을 IRSA로 갈지 Pod Identity로 갈지. 그때는 "어차피 둘 다 지원되니까 나중에 보자"고 미뤘는데, 올해 들어 클러스터가 4개로 늘어나면서 더는 미룰 수 없는 상태가 됐다.지난 두 달 동안 stage 환경 전체를 Pod Identity로 옮겨보고, prod의 일부 워크로드도 마이그레이션을 시작했다. 결론부터 말하면 우리 팀은 신규 워크로드는 전부 Pod Identity로, 기존 IRSA는 천천히 전환 중이다. 왜 그런 결정을 했는지, 어떤 케이스에서는 IRSA가 더 나았는지 정리해본다.비교의 배경: 우리는 어떤 환경이었나먼저 우리 팀 환경을 짧게 적어둔다. 비교 결과는 환경에 따라 다르게 읽힐 수 있어서다.EKS ..

Photo by Toa Heftiba on Unsplash"어제는 잘 먹던 당근을 오늘은 절대 안 먹어요." 24~36개월 자녀를 둔 부모라면 한 번쯤 해본 고민입니다.유아기 편식은 이상행동이 아니라 발달 과정에서 나타나는 매우 흔한 현상입니다. 보통 만 18개월 ~ 만 5세 사이에 정점을 찍었다가 학령기에 접어들면서 자연스럽게 완화됩니다. 하지만 매끼니 식탁이 전쟁터처럼 느껴진다면, 야단치고 밀어붙이는 방식이 아니라 아이의 발달 단계에 맞춘 전략이 필요합니다.1. 새로운 음식은 "10번 법칙"으로 접근한다연구에 따르면 어린이가 새로운 음식에 적응하려면 평균 8~15회의 노출이 필요합니다. 한두 번 거부했다고 해서 "이 아이는 ○○를 안 먹어"라고 단정 짓지 마세요. 한 입도 안 먹어도 식탁에 올리는 것..

지난주에 우리 팀 OpenTelemetry Collector 파드들이 갑자기 OOMKill 잔치를 벌였다. 평소 워킹셋이 1.2GB 정도였는데, 어느 날 새벽부터 4GB까지 치솟더니 limit(6GB)을 넘기고 죽기 시작했다. 트래픽이 갑자기 늘어난 것도 아니고 설정을 건드린 것도 아니었다. 그라파나 패널 보면서 "아 이거 또 시작이네" 싶었다.결론부터 말하자면 batch processor의 send_batch_size를 잘못 키운 게 시작이었고, 거기에 exporter queue가 백프레셔를 못 받아주면서 메모리가 무한정 쌓였다. 글 안에 다 풀어쓰겠지만, 비슷한 증상 보시는 분들은 일단 memory_limiter부터 위에 끼워두시는 걸 권한다.증상 — 처음 3시간 동안 본 것오전 5시 23분에 첫 페..

Photo by Nicole Bomar on Unsplash밤늦게까지 뒤척이다 새벽에 겨우 잠들고, 아침엔 알람 소리에 억지로 눈을 뜬 경험. 누구나 한 번쯤은 있죠. 잠은 단순한 휴식이 아니라 면역력, 기억력, 호르몬, 감정 조절까지 좌우하는 회복의 시간입니다. 미국수면재단(NSF)은 성인 기준 하루 7~9시간의 수면을 권장하지만, 정작 중요한 건 시간이 아니라 수면의 질입니다.오늘은 수면 전문가들이 공통적으로 강조하는, 누구나 오늘 밤부터 적용할 수 있는 7가지 습관을 정리했습니다.1. 매일 같은 시간에 자고, 같은 시간에 일어난다가장 기본이지만 가장 강력한 한 가지. 우리 뇌의 생체시계(circadian rhythm)는 규칙적인 패턴을 좋아합니다. 주말이라고 평일보다 2시간 이상 늦게 자거나 늦게 ..

kubectl describe pod에서 Pulling image "..."가 한참 머물러 있을 때, 그 안에서 무슨 일이 벌어지고 있는지 정확히 설명할 수 있는 사람이 의외로 적다. 나도 그랬다. "registry에서 layer 받아서 디스크에 풀고 mount한다" 정도가 내가 가진 모델의 전부였다. 근데 작년 말부터 ARC runner들이 콜드 스타트에서 한참 깔리는 문제를 디버깅하면서, 이 흐름을 좀 진지하게 들여다봐야겠다는 생각이 들었다. fetch가 느린 건지, unpack이 느린 건지, snapshotter가 느린 건지 분리해서 보지 못하면 튜닝 포인트가 없다.이 글은 containerd 2.x 기준으로 image pull 한 번이 어떤 단계를 거치는지, 각 단계에서 무엇을 디스크에 쓰는지, ..

봄이 깊어지고 한낮 기온이 25도를 넘어서면, 옷장 앞에서 한참을 망설이게 됩니다. 두꺼운 니트와 반팔이 뒤섞여 있어서 옷 고르기에만 한참이 걸리고, "올해 안 입은 옷"이 어느새 옷장의 절반을 차지하고 있죠. 지금이 바로 옷장을 한번 갈아엎기에 가장 좋은 시기입니다. 무리하지 않고 부담 없이 끝낼 수 있는 5단계 정리법을 정리했습니다. Photo by Ars M on Unsplash 1단계 — 모든 옷을 일단 꺼낸다가장 효과적인 시작은 옷장에서 옷을 전부 꺼내는 것입니다. 한 번에 다 어렵다면 카테고리별로(상의 → 하의 → 아우터 순) 진행해도 좋습니다. 침대나 거실 바닥에 펼쳐 놓고 보면, 평소엔 안 보이던 중복 아이템과 사이즈가 안 맞는 옷이 한눈에 들어옵니다.시간이 부족하면 "오늘은 상의만"처럼 ..

Photo on Pexels따뜻한 봄 햇살이 마음까지 데워주는 5월의 금요일이에요. 한 주를 마무리하는 오늘, 12간지 오늘의 운세를 띠별로 정리했습니다. 가벼운 마음으로 한 주의 끝과 주말의 시작을 이어가 보세요.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020년생)오늘은 평소보다 직감이 잘 맞는 흐름이에요. 잠깐 떠오른 아이디어를 메모해 두면 주말에 좋은 실마리가 됩니다. 금전운은 잔잔하지만, 자잘한 지출을 합산해 보면 의외의 발견이 있을 수 있어요. 따뜻한 차 한 잔으로 한 주의 피로를 풀어 보세요.🐮 소띠 (1973, 1985, 1997, 2009, 2021년생)꾸준히 쌓아온 노력이 작은 인정으로 돌아오는 하루입니다. 동료나 가족의 칭찬에 기분 좋게 반응해도 좋아요. 애정운은 차분..

지난주 화요일 새벽 2시 47분알림이 울렸다. 캐시 레이어 P99가 평소 8ms 수준에서 4초까지 튀었다는 것이다. 멘탈이 나갔다. 침대에서 노트북을 펴는데 손이 약간 떨렸다.원인은 Redis Cluster slot resharding이었다. 평소처럼 야간 저트래픽 시간대에 노드 두 대를 추가하고 슬롯을 옮기는 작업이 돌아가고 있었는데, 이게 그냥 평범하게 끝나지 않았다. 몇 시간 동안 로그와 메트릭을 뒤지면서 알게 된 것들을 정리해둔다.우리 환경24노드 Redis Cluster (마스터 12, 레플리카 12). EKS 위에서 StatefulSet으로 운영 중이고, 키 수는 약 1.2억개, 메모리는 노드당 평균 28GB. 샤드 수가 늘어 일부 노드가 메모리 한계에 다다라서 노드를 추가하기로 했다. 새 노..

황사와 꽃가루, 초미세먼지가 겹치는 봄철에는 아이를 데리고 밖에 나가기가 망설여집니다. 그렇다고 하루 종일 영상만 보여주자니 마음이 무겁죠. 환경부와 질병관리청은 PM2.5 농도가 ‘나쁨’ 이상인 날에는 어린이의 야외 활동 시간을 줄이고 충분히 환기한 실내에서 가벼운 신체 놀이를 권장합니다. 이 글은 만 4~7세 유아를 둔 부모를 위해, 준비물이 거의 없고 30분 안에 끝낼 수 있는 실내 놀이 7가지를 정리했습니다.Photo by Liliana Drew on Pexels시작 전 체크: 실내 공기부터 챙기기놀이를 시작하기 전에 공기부터 점검합니다. 외부 미세먼지가 ‘나쁨’이어도 실내 PM2.5가 더 높을 때가 있어요. 요리·청소 직후라면 공기청정기를 30분 가동하고, 외부가 ‘보통’ 수준일 때 잠깐만 환기..

이미지 서명을 안 하는 팀은 이제 거의 없을 거다. 빌드 파이프라인에 cosign 한 줄 박는 건 어렵지도 않으니까. 문제는 검증 쪽이다. 누가 서명 안 된 이미지를 클러스터에 푸시해도 그냥 굴러간다. 결국 admission 단에서 막아야 하는데, 이걸 가장 깔끔하게 해주는 게 Kyverno의 ImageValidatingPolicy다.올해 초 Kyverno에서 기존 ClusterPolicy의 verifyImages 규칙을 ImageValidatingPolicy(IVP) 라는 별도 타입으로 분리하면서 정책 작성이 좀 더 명시적으로 바뀌었다. 우리 팀에서도 4월 초에 ClusterPolicy 기반 검증을 IVP로 옮겼는데, 옮기면서 정리한 내용을 가이드 형태로 풀어본다.사전 준비물Kubernetes 1.28..