[쿠버네티스] rook-ceph 에러 트러블 슈팅 과정

목차

 

사건의 전말..

rook-ceph에서 리소스 정보를 조회하고 DB에 적재하는 로직에서 에러가 발생했다. rook-ceph-dashboard api를 통해 데이터를 가져오고 있었는데 nodePort로 연결한  rook-ceph-dashboard에 접속이 되지 않았다.

그래서 먼저, rook-ceph pod 상태를 확인했다.

 

command : kubectl get all -n rook-ceph

 

ContainerStatusUnknown이 발생했다. events log를 확인하기 위해 logs와 describe을 사용했을 때 이벤트 로그에는 아무런 내용이 없었다.

그러나 describe을 쭉 살펴보면서 Failed라고 표시되면서 Message에 의심스러운 내용을 포착했다.

command : kubectl describe pod {podName} -n rook-ceph

Failed
Reason:           Evicted
Message:          The node was low on resource: ephemeral-storage. Threshold quantity: 2482151941, available: 0.

 

꼼꼼히 살펴보니 node 중 하나의 OS디스크가 꽉찬 것이다!

파드를 실행하면 OS 디스크(루트 디스크)를 사용한다. 사용하지 않는 deployment를 제거하면서 디스크 공간 확보를 하면서 이슈는 조치했다. 사용하고자하는 이미지의 크기가 클 수록 OS 디스크 공간을 많이 차지하기 때문에 k8s를 설치할 떄 rook-ceph와 OS 디스크 공간을 알맞게 분리하는 것이 중요하다는 생각이 든다.