day-log

Photo on Pexels오월의 봄빛이 한껏 무르익는 수요일이에요. 살랑이는 바람과 따스한 햇살이 어우러져 마음이 한결 가벼워지는 하루랍니다. 띠별로 오늘 어떤 흐름이 흐르는지 가볍게 살펴볼까요?🐀 쥐띠 (1972, 1984, 1996, 2008, 2020)오늘은 새로운 인연이나 정보가 다가올 수 있는 날이에요. 평소 관심 있던 분야의 소식이 귀에 들어오면 적극적으로 메모해두세요. 금전운은 무난한 편이지만, 충동적인 소비는 살짝 자제하는 게 좋아요. 가까운 사람과의 대화에서 따뜻한 위로를 얻을 수 있어요.🐂 소띠 (1973, 1985, 1997, 2009, 2021)꾸준함이 빛을 발하는 하루예요. 그동안 묵묵히 해오던 일에서 작지만 의미 있는 성과가 보일 수 있어요. 애정운은 안정적이며, 오랜 친구..

쿠버네티스 클러스터가 어느 정도 커지면 DNS가 가장 먼저 비명을 지른다. 우리 팀도 노드 80대 규모 EKS에서 CoreDNS QPS가 2만을 넘기면서 P99 레이턴시가 200ms 가까이 튀는 걸 보고 나서야 손을 댔다. NodeLocal DNSCache는 들어봤는데, autopath는 의외로 안 쓰는 팀이 많더라. 이 둘을 같이 써야 진짜 효과가 난다.이 글은 두 컴포넌트를 같이 도입하는 가이드다. 각각의 역할, 설정 순서, 그리고 같이 쓸 때 주의할 점까지 정리했다.ndots:5가 만드는 N+1 쿼리 문제쿠버네티스 파드에 들어가서 cat /etc/resolv.conf를 찍어보면 이런 게 나온다.search default.svc.cluster.local svc.cluster.local cluster...

SLO 알림 한 번 손봤다가 두 달을 끌었다. 이게 뭐 그리 복잡하다고. 처음엔 그렇게 생각했다.우리 팀은 작년 가을부터 핵심 API 다섯 개에 대해 SLO 기반 알림을 운영하고 있다. 가용성 99.9%, 레이턴시 P99 300ms 이하. 알림은 Prometheus + Alertmanager 조합. Google SRE Workbook에 나온 multi-window multi-burn-rate(MWMBR)를 그대로 베껴 쓰고 있었다. 처음엔 만족스러웠다. 그런데 올해 초부터 슬슬 문제가 보이기 시작했다.1차 시도: Workbook 그대로 베끼기처음 셋업할 때는 SRE Workbook 표를 그대로 옮겼다. 4개 티어, 각 티어마다 short/long 두 윈도우.- alert: HighErrorBudgetBu..

PR 올라올 때마다 리뷰어한테 "로컬에서 띄워서 봐줘"라고 말하는 게 한두 번이지, 매번 그러기 좀 그렇다. 우리 팀은 PR 하나당 stage 환경에 임시로 배포해서 QA가 직접 클릭해보고 댓글 다는 흐름을 원했는데, 그래서 결국 ArgoCD ApplicationSet의 Pull Request generator를 붙였다.처음엔 "그냥 GitHub Actions로 helm install 돌리면 되는 거 아냐?"라고 생각했는데, 막상 정리되고 나니 GitOps의 일관성이라는 게 꽤 크게 다가왔다. PR 닫으면 알아서 지워주고, 상태도 ArgoCD UI에 그대로 보이고. 이번 글에서는 셋업 과정과 실제로 굴려보면서 부딪힌 몇 가지를 정리한다.PR Generator가 하는 일ApplicationSet은 한 번에..

지난주 화요일 새벽이었다. EKS 클러스터 1.32 → 1.33 업그레이드를 돌리는 중이었는데, 노드 드레인이 4시간째 안 끝나고 있다는 슬랙 알림을 받았다. 새벽 3시였고, 솔직히 처음엔 드레인이 원래 좀 오래 걸리니까 그러려니 했다. 4시간이라는 숫자를 본 순간 멘탈이 한 번 흔들렸다.평소 같으면 워커 노드 한 대 드레인하는 데 길어야 10분 정도였다. 그런데 이번엔 한 노드에 박혀서 안 빠지는 파드가 있었고, 그 파드 하나가 전체 업그레이드 파이프라인을 막고 있었다. 결국 원인은 PDB(PodDisruptionBudget) 하나였다. 짧게 말하면 그렇고, 길게 말하면 우리 팀의 PDB 관리 방식 전체가 문제였다.처음 발견한 증상노드를 cordon하고 drain을 돌렸는데 이런 메시지가 계속 떴다.e..

오늘은 어린이날, 5월 5일 화요일입니다. 따뜻한 햇살과 함께 모두에게 좋은 기운이 가득한 하루가 되길 바라며, 12간지별 오늘의 운세를 가볍게 풀어드릴게요. 오늘의 운세는 참고용으로 즐겁게 봐주세요.🐭 쥐띠 (1972, 1984, 1996, 2008, 2020)오늘은 작은 결정 하나가 의외의 즐거움을 만들어 줄 수 있는 날이에요. 평소 미뤄두었던 일을 짧게라도 정리해 보면 마음이 한결 가벼워집니다. 금전운은 무난하지만 충동구매는 잠시 멈추는 게 좋겠어요. 가족과 함께하는 짧은 산책이 행운을 부릅니다.🐮 소띠 (1973, 1985, 1997, 2009, 2021)차분한 마음가짐이 큰 자산이 되는 하루입니다. 주변 사람과의 대화에서 평소 놓치고 있던 좋은 아이디어를 발견할 수 있어요. 건강운은 양호하지..

우리 환경에서의 처리량과 자원우리 팀은 2024년 말부터 Fluent Bit을 메인 로그 수집기로 쓰고 있다. 그전에는 Fluentd였고, 메모리 때문에 갈아탄 거였다. 그리고 작년쯤부터 일부 노드 그룹에 Vector를 같이 굴리고 있다. 이유는 좀 단순한데, 특정 워크로드의 로그가 너무 거칠어서 변환 규칙이 복잡해졌고, Fluent Bit의 Lua filter로 이걸 다 처리하기엔 가독성이 너무 떨어졌기 때문이다.그 상태로 1년 넘게 양쪽을 같이 운영했다. 최근 팀 내부에서 "그냥 한쪽으로 통일하자"는 얘기가 다시 올라와서, 진지하게 다시 비교해봤다. 이 글은 결론이 정해진 비교가 아니다. 솔직히 우리도 아직 한쪽으로 못 정했다.숫자부터 봤다우리 EKS 클러스터는 worker 노드가 약 110대 정도,..

Helm lookup 함수, ArgoCD랑 같이 쓰면 함정 있다오늘 동료가 PR 리뷰 부탁한다고 해서 봤는데, Helm chart에서 lookup 함수를 쓰는 부분이 있었다. 클러스터에 이미 떠 있는 ConfigMap을 읽어서 그 값을 기반으로 다른 리소스를 만드는 패턴. 코드는 깔끔했고 로컬 helm install로도 잘 돌았는데, 내가 한 마디 했다. "이거 ArgoCD에서 안 될걸요."근데 동료는 "어 저번에 다른 차트에서도 비슷하게 썼는데 됐는데?"라고 했고, 결국 같이 한 번 더 들여다보기로 했다. 그 김에 정리.lookup이 뭐였더라lookup은 Helm 3에서 추가된 템플릿 함수다. 차트 렌더링 시점에 K8s API 서버를 쳐서 기존 리소스를 읽어올 수 있다. 예를 들면 이런 식.{{- $e..

월요일의 시작, 5월의 첫 한 주가 본격적으로 열리는 날입니다. 어제까지의 연휴 기운을 가볍게 털어내고, 작은 루틴 하나만 다시 잡아도 흐름이 부드럽게 회복되는 하루예요. 오늘은 무리한 결단보다 "어제의 나에게 약속한 한 가지"를 지키는 쪽이 운을 가장 많이 끌어올립니다.🐭 쥐띠 (1972 · 1984 · 1996 · 2008 · 2020)미뤄두었던 작은 일들을 정리하면 마음의 짐이 가벼워지는 하루입니다. 금전운은 안정적이지만 충동구매는 잠시 보류하는 게 좋아요. 가까운 사람에게 안부 한마디 건네면 따뜻한 답장이 돌아옵니다.🐮 소띠 (1973 · 1985 · 1997 · 2009 · 2021)꾸준함이 빛을 보는 날입니다. 큰 변화보다 어제 하던 일을 그대로 이어갈 때 평가가 좋아져요. 건강운은 양호하..