day-log

지난주 수요일 새벽이었다. 새벽 2시쯤 자다가 슬랙 멘션 알림에 깼다. "어제 오후 4시부터 지금까지 로그가 안 보여요." 운영팀 야간 담당자였다. 휴대폰 화면 밝기에 눈이 시리면서도 멘탈은 이미 깨어버린 상태. 우리 클러스터는 노드 80대 규모에 Loki 3.7.x를 미러 모드로 돌리고 있었고, 하루에 1.5TB 정도의 로그를 받는다. 그게 7시간 동안 사라졌다는 얘기다.솔직히 처음엔 좀 의심했다. "진짜 7시간 동안 아무도 모를 수가 있나?" 근데 확인해보니 진짜였다. Grafana에서 last 24h로 보면 오후 4시 지점에서 갑자기 라인이 뚝 끊겨 있었다. 그래프가 그렇게 정직하게 끊긴 건 처음 봤다.ingester pod 상태부터 봤다가장 먼저 한 일은 ingester pod의 상태 확인이었다...

장마가 끝나고 본격적인 무더위가 시작되면 가장 먼저 흔들리는 것이 수면의 질입니다. 밤에도 25℃를 넘기는 열대야가 이어지면 잠들기 어렵고, 잠이 들어도 자주 깹니다. 깊은 수면이 부족하면 다음 날 피로, 집중력 저하, 면역력 약화로 이어지기 쉽습니다. 이번 글에서는 여름철 밤잠을 지키는 7가지 실용적인 습관을 정리했습니다.1. 침실 온도는 24~26℃를 목표로사람이 가장 깊게 잠드는 침실 온도는 일반적으로 18~22℃라고 알려져 있지만, 여름철 한국 기후와 에어컨 사용 습관을 고려하면 24~26℃ 정도를 유지하는 것이 현실적입니다. 너무 차게 틀면 새벽에 몸이 식어 자주 깨거나 냉방병 증상이 생길 수 있습니다.에어컨은 취침 1~2시간 전부터 가동해 침구와 벽까지 식혀두기직접 바람이 몸에 닿지 않도록 풍..

우리 팀은 Python/Node 기반 마이크로서비스를 20개 가까이 굴리고 있다. GitHub Actions에서 평일 기준 하루 PR 빌드가 200건 정도 도는데, 빌드 한 번에 평균 6~7분이 걸렸다. PR 하나 머지하려면 빌드 큐에서 한참 기다리는 게 일상이었고, 러너 비용은 매달 슬금슬금 올라갔다.근데 솔직히 빌드 로그를 들여다보면 절반 이상이 pip install, npm ci, apt-get install 단계였다. 매 빌드마다 pypi 미러에서 똑같은 패키지를 다시 받고 있던 거다. 결국 BuildKit cache mount을 제대로 깔고 나서 빌드 시간이 7분에서 평균 40초로 줄었다. 이 글은 그 과정에서 정리한 패턴이다.왜 일반 레이어 캐시로는 부족했나원래 Dockerfile에서 pip ..

장마가 시작되면 부모는 한 가지 고민에 빠진다. "오늘은 또 뭐하고 놀지?" 야외 활동이 줄어든 아이는 에너지를 쏟지 못해 짜증이 늘고, TV·태블릿 시간은 자꾸만 길어진다. 그렇다고 매일 키즈카페에 갈 수도 없는 일. 다행히 집 안에서도 아이의 호기심과 신체 에너지를 동시에 풀어줄 방법은 많다. 영유아부터 초등 저학년까지 두루 적용할 수 있는, 큰 준비 없이 바로 시작 가능한 실내 놀이 7가지를 소개한다.Photo by Ron Lach on Pexels1. 거실 텐트·이불 요새 만들기 (만 2세~초등)식탁 의자 두 개와 큰 이불, 빨래집게 몇 개면 충분하다. 이불을 의자 등받이에 걸치고 빨래집게로 고정하면 그럴듯한 비밀 기지가 완성된다. 그 안에 책과 인형, 작은 무드등을 넣어두면 아이는 한두 시간이 ..

새벽에 burn rate 알람이 안 울렸다 — multiwindow SLO 알람 삽질 노트지난주 금요일, 정확히는 토요일 새벽 4시쯤에 한 통의 메시지로 잠에서 깼다. 새벽이라 페이저는 아니었다. 결제 팀 PL이 슬랙 DM으로 "혹시 새벽 2시 ~ 3시 사이에 결제 실패 폭주한 거 알고 있냐"고 물어본 게 시작이었다. 모니터링 알람은 한 통도 받지 못한 상태였다.대시보드를 켜보니 새벽 2시 12분부터 약 32분간 결제 API의 5xx 비율이 8%까지 튀었다가 자연 복구됐다. 우리 SLO는 가용성 99.9%, 즉 한 달에 약 43분의 에러 예산이 전부였다. 사실상 한 번의 사고로 한 달치를 다 태운 거다. 그런데 왜 burn rate 알람이 안 울렸지? 이날 알게 된 multiwindow burn rate..

Photo on Pexels여름의 햇살이 짙어지는 6월의 끝자락 일요일, 한 주를 마무리하고 새로운 한 주를 준비하기 좋은 날입니다. 12간지별로 오늘 하루 어떤 흐름이 펼쳐질지, 따뜻한 시선으로 살펴보세요. 작은 단서를 챙겨두면 월요일이 조금 더 부드러워질 거예요.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020)오늘은 사소한 정리정돈에서 좋은 흐름이 시작됩니다. 미뤄둔 메모를 다시 펴 보면 의외의 아이디어가 따라옵니다. 애정운은 잔잔하지만, 짧은 안부 한 마디가 마음을 데울 수 있는 날이에요. 금전은 충동지출만 피하면 무난합니다.🐮 소띠 (1973, 1985, 1997, 2009, 2021)묵묵히 쌓아온 노력이 작은 결실로 보입니다. 다만 너무 완벽함을 추구하다 보면 어깨가 무거워질 ..

Photo by Tīna Sāra on Unsplash장맛비가 며칠째 이어지면 이상하게 몸이 무겁고 의욕이 사라진다. "이불 밖이 위험하다"는 농담이 우스갯소리만은 아닌 게, 일조량이 줄어들면 우리 몸의 세로토닌 분비가 함께 감소하면서 실제로 기분과 활력이 떨어지기 때문이다. 게다가 높은 습도(보통 80% 이상)는 땀이 잘 증발하지 않게 만들어 체온 조절을 방해하고, 결과적으로 자율신경의 균형을 깨뜨려 피로감을 더 키운다.여기에 비타민 D 합성도 줄어든다. 피부에 햇빛을 받을 때 만들어지는 비타민 D는 면역과 기분 조절 모두에 관여하는데, 장마철에는 외출 자체가 줄어들고 자외선 B 노출량도 평소의 절반 이하로 떨어진다. 결국 "그냥 쉬어도 피곤한" 상태가 만들어진다.다행히 햇빛 없이도 컨디션을 끌어올릴 ..

오늘 알게 된 건데, 1.34부터 kuberc가 beta 승격됐다. 이게 뭐냐면, kubectl 전용 사용자 설정 파일이다. 별칭하고 기본 옵션을 따로 관리할 수 있게 해준다.솔직히 우리 팀은 ~/.zshrc나 ~/.bashrc에 alias k=kubectl, alias kgp='kubectl get pods' 같은 걸 한 30줄씩 박아두고 살았는데, 이거 좀 지저분하다. 새 노트북 받을 때마다 dotfiles 복사하고, 팀 신입한테 "이거 깔아라" 시키는 것도 일이다.kuberc는 그 자리를 대체할 수 있는 공식 방법이다. kubectl 자체가 읽어서 처리한다.어떻게 생겼나~/.kube/kuberc 한 파일이다. 위치만 약속하면 끝.apiVersion: kubectl.config.k8s.io/v1bet..

Photo by Kittitep Khotchalee on Unsplash장마가 시작되면 가장 자주 손에 들게 되는 게 우산입니다. 그런데 며칠 쓰다 보면 어느새 우산 안쪽에서 쿰쿰한 냄새가 나거나, 살대 부근에 검은 점이 슬슬 보이기 시작합니다. 사실 우산은 빨래나 신발만큼이나 손이 많이 가야 하는 물건인데, 막상 어떻게 관리해야 할지 정리해 둔 곳은 많지 않습니다. 오늘은 장마철 한 시즌을 끝까지 깔끔하게 쓰는 우산 관리법 7가지를 정리해 봤습니다.1. 집에 들어오자마자 "탈탈" 털지 마세요습관처럼 현관에서 우산을 위아래로 휘둘러 물기를 털어내는 분이 많은데, 사실 이 동작은 우산 살대와 연결부 스프링에 가장 큰 무리를 줍니다. 살대 끝이 조금씩 휘어지면 다음에 펼 때 천이 팽팽하게 펴지지 않아 빗물이..

Pod Identity가 정식으로 나온 지 이제 2년 반쯤 됐다. 그동안 우리 팀에서는 IRSA로 굴러가는 클러스터 4개, Pod Identity로 새로 띄운 클러스터 3개를 운영해봤다. 솔직히 처음에는 "OIDC 트러스트 한 줄 더 박는 게 그렇게 귀찮은 일인가?" 싶었는데, 클러스터가 늘어나면서 생각이 좀 바뀌었다.최근 6월 기준으로 Medium에 다시 비교 글이 올라오길래(이게 또 새로 입사하는 친구들이 가장 많이 찾는 주제다) 우리 팀 내부 결정 기록을 정리해서 공유한다. 결론부터 적으면, 새 워크로드는 Pod Identity, 단 Fargate에 띄울 거면 IRSA. 그리고 둘은 같은 클러스터에서 공존시켜도 별 문제 없다.트러스트 정책의 무게IRSA의 진짜 비용은 IAM role 자체가 아니라 ..