GPU 할당 관련 문의드립니다.

Question

안녕하세요-
현재 로컬 k8s에서 돌고 있는 서비스를 Azure로 옮기려고 합니다.
이 중 한 Deployment가 GPU를 사용합니다.

(비용때문에) 이 Deployment를 요청이 있을 때만 자동으로 키고 싶습니다.
이걸 이 Deployment를 delete 하기만 하면 되는지,
별도 gpu node로 분리해서 그 node를 켜고 끄고 해야 하는 건지,
아니면 또다른 방법이 있는 건지 궁금합니다.

감사합니다.

Answer 1

@41583054 Apologies for the delay in response.

One of recommended method to ensure pods are scheduled on separate node pool is by using labels. Information about can be read from here.

In order to reduce cost, what can be done is to keep the node pool size to 0 and pod won't be scheduled and will be in pending state. Whenever this service needs to be provisioned (the pool size can be increased to required size) and the pod would be scheduled on that node.

Apart from this, I can't think of any way to achieve the same.

Hope that help.

Please 'Accept as answer' if it helped, so that it can help others in the community looking for help on similar topics.