Configurar o monitoramento de GPU com os insights de contêiner
Os insights de contêiner permitem monitoramento de clusters de GPU dos seguintes fornecedores de GPU:
Os insights de contêiner iniciam automaticamente o monitoramento do uso de GPU em nós, pods e cargas de trabalho que solicitam a GPU ao coletar as métricas a seguir em intervalos de 60 segundos e armazená-las na tabela InsightMetrics.
Observação
Depois de provisionar clusters com nós de GPU, verifique se o driver de GPU está instalado conforme exigido pelo AKS (Serviço de Kubernetes do Azure) para executar cargas de trabalho de GPU. As informações de contêiner coletam métricas de GPU por meio de pods de driver de GPU em execução no nó.
| Nome da métrica | Dimensão métrica (marcas) | Descrição |
|---|---|---|
| containerGpuDutyCycle* | container.azm.ms/clusterId, container.azm.ms/clusterName, containerName, gpuId, gpuModel, gpuVendor | Percentual de tempo sobre o período de amostra passado (60 segundos) durante o qual a GPU estava ocupada/em processamento ativo para um contêiner. O ciclo de serviço é um número entre 1 e 100. |
| containerGpuLimits | container.azm.ms/clusterId, container.azm.ms/clusterName, containerName | Cada contêiner pode especificar limites como uma ou mais GPUs. Não é possível solicitar nem limitar uma fração de uma GPU. |
| containerGpuRequests | container.azm.ms/clusterId, container.azm.ms/clusterName, containerName | Cada contêiner pode solicitar uma ou mais GPUs. Não é possível solicitar nem limitar uma fração de uma GPU. |
| containerGpumemoryTotalBytes* | container.azm.ms/clusterId, container.azm.ms/clusterName, containerName, gpuId, gpuModel, gpuVendor | Quantidade de memória de GPU, em bytes, disponível para uso em um contêiner específico. |
| containerGpumemoryUsedBytes* | container.azm.ms/clusterId, container.azm.ms/clusterName, containerName, gpuId, gpuModel, gpuVendor | Quantidade de memória de GPU, em bytes, usada por um contêiner específico. |
| nodeGpuAllocatable | container.azm.ms/clusterId, container.azm.ms/clusterName, gpuVendor | Número de GPUs em um nó que pode ser usado pelo Kubernetes. |
| nodeGpuCapacity | container.azm.ms/clusterId, container.azm.ms/clusterName, gpuVendor | Número total de GPUs em um nó. |
* Com base nas alterações upstream do Kubernetes, essas métricas não são mais coletadas prontas para uso. Como um hotfix temporário, para AKS, atualize o pool de nós de GPU para a versão mais recente ou *– 08/06/2022 ou superior. Para o Kubernetes habilitado para Azure Arc, habilite o portão de recursos DisableAcceleratorUsageMetrics=false na configuração do kubelet do nó e reinicie o kubelet. Depois que as alterações upstream atingirem a disponibilidade geral, essa correção não funcionará mais.
Gráficos de desempenho da GPU
Os insights de contêiner incluem gráficos pré-configurados para as métricas listadas anteriormente na tabela como uma pasta de trabalho de GPU para cada cluster. Para obter uma descrição das pastas de trabalho disponíveis para os insights do Contêiner, confira Pastas de Trabalho nos insights de contêiner.
Próximas etapas
- Confira Usar GPUs para cargas de trabalho com uso intensivo de computação no Serviço de Kubernetes do Azure para saber como implantar um cluster do AKS que inclui nós habilitados para GPU.
- Saiba mais sobre SKUs de VM otimizados para GPU no Azure.
- Revise Suporte a GPU no Kubernetes para saber mais sobre o suporte experimental do Kubernetes para gerenciamento de GPUs em um ou mais nós em um cluster.