Kubernetes
-
Kubernetes에서 node 내 thread 분리 이슈develop 2023. 8. 20. 16:01
AWS EKS를 이용해서 Kubernetes 환경에서 서비스를 하는데, 갑자기 새벽 3시에 계속 서비스의 FD (File Descriptor)가 9,000 개 이상 차면서 서비스가 정상적으로 동작하지 않았습니다. 문제가 발생할 때에 다음의 증상이 있었습니다. File Descriptor가 9,000개 이상 차면서 외부 응답에 제대로 대응하지 못했습니다. Kubernetes에서 Node is not ready 상태에 빠졌다가 돌아오는 것을 반복했습니다. Node가 문제인가 해서 보았는데, Node에서 메모리 할당이 급격히 늘었습니다. 직접적인 원인으로 Application 에서는 native thread 생성 실패가 발생하고, 이 이후에 Kubernetes의 pod가 비정상인데도 계속 Traffic을 받고..
-
Ref: Sync 10,000 Argo CD Applications in One Shotdevelop 2023. 6. 29. 23:30
최근에 spinnaker에서 argocd로 kubernetes ci cd 환경을 이전했는데 배포가 너무 오래걸리네요. https://itnext.io/sync-10-000-argo-cd-applications-in-one-shot-bfcda04abe5b Sync 10,000 Argo CD Applications in One Shot A quantitative study on Argo CD scalability itnext.io 에 배포 최적화 관련 좋은 내용이 있어서 도움이 되었습니다.