Partilhar via

Melhorar a fiabilidade do lançamento de computação usando tipos flexíveis de nós

Os recursos de computação clássicos no Azure Databricks usam tipos de nós flexíveis, o que permite que o seu recurso de computação volte a tipos de instância alternativos e compatíveis quando o tipo de instância especificado não está disponível.

Este comportamento melhora a fiabilidade do lançamento de computação ao reduzir falhas de capacidade (erros de stockout) durante os lançamentos de computação. Para instâncias spot com recurso de reserva, tipos de nós flexíveis podem tentar adquirir instâncias várias vezes entre diferentes tipos de instância antes de recorrer a instâncias sob demanda. Isto resulta numa maior percentagem de instâncias executadas como "spot" em vez de "on-demand", reduzindo os seus custos totais de computação.

Como funcionam os tipos de nós flexíveis

Quando lança um recurso de computação, o seu fornecedor de cloud por vezes fica sem capacidade para o tipo de instância especificado. Isto resulta num erro de ruptura de stock.

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Embora estes erros sejam mais comuns em instâncias localizadas, podem ocorrer também em instâncias sob demanda.

Com tipos de nós flexíveis ativados, o Azure Databricks gera automaticamente ou utiliza a lista de reserva especificada de tipos de instância compatíveis. Se o seu tipo de instância preferido não estiver disponível, o Azure Databricks tenta adquirir estes tipos de instância de backup em vez de falhar de imediato.

Ative tipos de nós flexíveis no seu espaço de trabalho

Os administradores de espaços de trabalho podem ativar tipos de nós flexíveis nas suas definições de administrador de espaços de trabalho. Quando ativados, todos os novos recursos de computação clássicos no espaço de trabalho usarão tipos de nós flexíveis, a menos que estejam explicitamente desativados:

  1. Como administrador do espaço de trabalho, vá para a página de configurações.
  2. Clique na guia Computação .
  3. Alterne a opção Ativar tipos de nós auto-flexíveis:
    • Ativado: Todos os novos recursos clássicos de computação usam automaticamente tipos de nós flexíveis, salvo se estiverem explicitamente desativados.
    • Desativado: Os recursos de computação clássicos só usam tipos de nós flexíveis se configurares node_type_flexibility explicitamente na configuração dos recursos de computação.

Esta configuração em todo o espaço de trabalho não afeta os recursos computacionais existentes. Quando desativado, os utilizadores podem ainda configurar tipos flexíveis de nós para recursos de computação individuais, configurando explicitamente os campos worker_node_type_flexibility ou driver_node_type_flexibility com listas de contingência personalizadas. Para impedir que os utilizadores configurem estes campos, os administradores do espaço de trabalho podem usar políticas de computação. Ver exemplos de políticas de tipo de nó flexível.

Especificar uma lista de retenção personalizada

Quando tipos de nós flexíveis estão ativados no seu espaço de trabalho, o Azure Databricks gera automaticamente uma lista de reserva de tipos de instância compatíveis para novos recursos de computação.

Se não quiser usar a lista de recurso gerada automaticamente, pode especificar a sua própria lista de recurso. Além disso, se os tipos de nós flexíveis estiverem desativados no seu espaço de trabalho, pode ainda especificar uma lista de regresso personalizada para o seu recurso de computação. Apenas certos tipos de instância são compatíveis. Veja os requisitos do tipo de instância de substituição. Para uma referência dos tipos de instância compatíveis, consulte a referência de compatibilidade de tipos de nó flexível.

Listas de retenção personalizadas só são suportadas ao configurar computação usando a API. Consulte a documentação de referência da API Clusters .

Por exemplo, a seguinte configuração especifica a que tipo de instância o recurso de computação irá recorrer, se necessário:


  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Requisitos do tipo de instância de fallback

Os tipos de instância de reserva devem ser compatíveis com o tipo de instância preferido pelo cálculo. A sua lista de tipos de instâncias de recurso deve cumprir os seguintes requisitos:

  • Mesmo número de vCPUs e memória que o tipo de instância preferencial (as instâncias alternativas devem ter entre 100% e 110% da memória do tipo de instância preferencial)
  • Mesmo número de discos locais e tamanho de disco que o tipo de instância preferido
  • Mesma arquitetura de CPU do tipo de instância preferido (toda ARM ou toda x86)
  • Mesma imagem do sistema operativo e suporte a Photon tal como o tipo de instância preferido
  • Sem tipos de instância de GPU (GPUs não são suportadas)
  • Máximo de 5 tipos únicos de instâncias de contingência
  • Todos os tipos de instância devem ter suporte consistente de armazenamento: ou todos suportam armazenamento tipo PREMIUM_LRS ou nenhum deles suporta.

Utilize tipos de nós flexíveis com pools

Pode também personalizar uma lista de alternativas para pools. Na API Pools, defina o campo node_type_flexibility para especificar os tipos de instância de fallback. Por exemplo:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Os pools não suportam a utilização de tipos de instância flexíveis para manter o número mínimo de inatividade. O pool só pode lançar VMs usando os tipos de instância de reserva quando se tenta um lançamento computacional a partir do pool. O pré-aquecimento da contagem minIdle utiliza apenas o tipo de instância preferido.

Veja os tipos de instância adquiridos

Ao usar tipos de nós flexíveis, o seu recurso de computação pode consistir numa mistura de diferentes tipos de instância. Todos os tipos de instâncias de reserva são compatíveis com o seu tipo preferido, mantendo o mesmo número de vCPU, memória, layout do disco, arquitetura do CPU e imagem do sistema operativo para garantir que a sua carga de trabalho corre corretamente.

Pode ver que tipos de instância foram adquiridos para o seu recurso de computação:

  1. Na página de detalhes de computação, clique nos três pontos ao lado do botão Terminar e selecione Ver JSON.
  2. Revise o node_type_id campo de cada executor para ver que tipos de instância estão em execução.

Também pode usar a API de informações do Get clusters para recuperar esta informação programaticamente. Adicionalmente, utilizadores com permissão para aceder às tabelas do sistema podem consultar a node_timelines tabela. Veja o esquema da tabela cronológica do nó .

Desativar os tipos de nós flexíveis num recurso de computação

Observação

A Databricks recomenda manter os tipos de nós flexíveis ativados, a menos que tenha requisitos rigorosos para um tipo específico de instância.

Se preferir que o lançamento de computação falhe em vez de recorrer a um tipo alternativo de instância, pode desativar o comportamento flexível dos nós ao nível individual do recurso de computação. Isto só é suportado quando se utiliza a API Clusters. Para desativar tipos de nós flexíveis, defina os campos de tipo de nó flexível como vazios na configuração de cálculo. Por exemplo:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}
  • Last updated on