Compartilhar via

Autenticar com o Azure DevOps no Databricks

  • Artigo

Saiba como configurar seus pipelines do Azure DevOps para fornecer autenticação para comandos da CLI do Databricks e chamadas à API em sua automação.

Autenticação do Azure DevOps

O gerenciamento da autenticação (própria e de terceiros) no Azure DevOps é feito com conexões de serviço. No portal do Azure DevOps, você pode acessar conexões de serviço em qualquer página do projeto em Configurações do projeto.

Selecione Conexões de serviço em Configurações do projeto no Azure DevOps

Para autenticar a CLI do Databricks, use o tipo de conexão de serviço do Azure Resource Manager . Para esse tipo, escolha um dos seguintes métodos de autenticação:

  • Federação de identidade de carga de trabalho do Microsoft Entra
    • Usa o protocolo OpenID Connect (OIDC) para adquirir tokens em nome de uma entidade de serviço.
    • Requer que você configure os problemas gerados pelo Azure DevOps e o identificador de assunto com a entidade de serviço que você pretende usar.
    • Mecanismo de autenticação aplicável: CLI do Azure.
  • Entidade de serviço do Microsoft Entra
    • Usa uma ID de cliente e um segredo de cliente do MS Entra para gerar um token OAuth de curta duração.
    • Requer que você gere um segredo para a entidade de serviço que pretende usar para a conexão de serviço.
    • Mecanismos de autenticação aplicáveis: CLI do Azure, segredos do cliente do Microsoft Entra.
  • Identidade gerenciada do Microsoft Entra ID

Depois de escolher o mecanismo de autenticação que melhor corresponde às necessidades do projeto, você deve configurá-lo na definição de pipeline do Azure DevOps (pipeline.yml) para trabalhar com a CLI do Azure Databricks.

Configure o pipeline do Azure DevOps para usar a CLI do Azure para autenticação

Por padrão, a CLI do Azure Databricks usará a CLI do Azure como o mecanismo para autenticar com o Azure Databricks.

Observe que o uso da CLI do Azure para autenticação requer que todas as chamadas para a CLI do Azure Databricks sejam feitas em um AzureCLI@2 task, o que significa que não há como compartilhar uma sessão autenticada em tarefas subsequentes. Cada tarefa é autenticada de forma independente, o que introduz latência à medida que são executadas.

A seguinte configuração de exemplo do Azure Pipelines usa a CLI do Azure para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- task: AzureCLI@2
  inputs:
    azureSubscription: {your-azure-subscription-id-here}
    useGlobalConfig: true
    scriptType: bash
    scriptLocation: inlineScript
    inlineScript: |
      export DATABRICKS_HOST=https://adb...
      databricks bundle deploy

Ao configurar o pipeline do Azure DevOps para usar a CLI do Azure para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • Use azureSubscription para configurar a conexão de serviço que você deseja usar.
  • Configure useGlobalConfig para usar o padrão AZURE_CONFIG_FILE porque os databricks bundle comandos usam filtragem de variável de ambiente para subprocessos. Se isso não estiver definido, esses subprocessos não poderão encontrar os detalhes da sessão autenticada.
  • Se ainda não tiver sido exportado (como em uma etapa anterior ou na configuração do pacote), exporte a variável de DATABRICKS_HOST ambiente.

Configurar o pipeline do Azure DevOps para usar um segredo do cliente do Microsoft Entra para autenticação

Se você não quiser usar a CLI do Azure para autenticação porque ela adiciona muita latência ou porque você precisa usar a CLI do Azure em um tipo de tarefa diferente, use um segredo do cliente do Microsoft Entra. Os detalhes de autenticação devem ser recuperados da conexão de serviço, portanto, você deve usar a AzureCLI@2 tarefa na declaração do pipeline.

Use a AzureCLI@2 tarefa para recuperar o ID do cliente e o segredo do cliente de sua conexão de serviço e, em seguida, exporte-os como variáveis de ambiente. As tarefas subsequentes podem usá-los diretamente. Para obter um exemplo, consulte Usar uma entidade de serviço do Microsoft Entra para gerenciar pastas Git do Databricks.

A seguinte configuração de exemplo do Azure Pipelines usa um segredo do cliente do Microsoft Entra para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- task: AzureCLI@2
  inputs:
    azureSubscription: {your-azure-subscription-id-here}
    addSpnToEnvironment: true
    scriptType: bash
    scriptLocation: inlineScript
    inlineScript: |
      echo "##vso[task.setvariable variable=ARM_CLIENT_ID]${servicePrincipalId}"
      echo "##vso[task.setvariable variable=ARM_CLIENT_SECRET]${servicePrincipalKey}"
      echo "##vso[task.setvariable variable=ARM_TENANT_ID]${tenantId}"

- script: |
    export DATABRICKS_HOST=https://adb...
    databricks bundle deploy

Ao configurar o pipeline do Azure DevOps para usar os segredos do cliente do Microsoft Entra para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • Configure addSpnToEnvironment para exportar variáveis de ambiente relevantes para o script embutido.
  • O script embutido exporta as variáveis de ambiente com escopo de tarefa como variáveis de ambiente com escopo de trabalho com nomes que a CLI do Azure Databricks seleciona automaticamente.
  • Se ainda não tiver sido exportado (como em uma etapa anterior ou na configuração do pacote), exporte a variável de DATABRICKS_HOST ambiente.
  • Se você marcar a ARM_CLIENT_SECRET variável de ambiente com issecret=true, deverá adicioná-la explicitamente a cada etapa subsequente que precise dela.
    • Se você não fizer isso, a ARM_CLIENT_SECRET variável de ambiente estará acessível a todas as etapas subsequentes.
    • A ARM_CLIENT_SECRET variável de ambiente é mascarada na saída, independentemente da configuração.

Configurar o pipeline do Azure DevOps para usar uma identidade gerenciada do Microsoft Entra para autenticação

Como a autenticação de identidade gerenciada do Azure depende da configuração da máquina virtual ou do contêiner para garantir que a CLI do Azure Databricks seja executada com a identidade correta, a configuração do pipeline do Azure DevOps não exige que você especifique a AzureCLI@2 tarefa.

A seguinte configuração de exemplo do Azure Pipelines usa uma identidade gerenciada do Microsoft Entra para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- script: |
    export DATABRICKS_AZURE_RESOURCE_ID=/subscriptions/<id>/resourceGroups/<name>/providers/Microsoft.Databricks/workspaces/<name>
    export ARM_CLIENT_ID=eda1f2c4-07cb-4c2c-a126-60b9bafee6d0
    export ARM_USE_MSI=true
    export DATABRICKS_HOST=https://adb...
    databricks current-user me --log-level trace

Ao configurar o pipeline do Azure DevOps para usar as identidades gerenciadas do Microsoft Entra para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • A identidade gerenciada do Microsoft Entra deve receber a função "Colaborador" no workspace do Databricks que ela acessará.
  • O valor da variável de DATABRICKS_AZURE_RESOURCE_ID ambiente é encontrado em Propriedades da instância do Azure Databricks no portal do Azure.
  • O valor da variável de ARM_CLIENT_ID ambiente é a ID do cliente da identidade gerenciada.

Observação

Se a DATABRICKS_HOST variável de ambiente não for especificada nessa configuração, o valor será inferido de DATABRICKS_AZURE_RESOURCE_ID.

Instalar a CLI do Azure Databricks do pipeline do Azure Pipelines

Depois de configurar seus mecanismos de autenticação preferenciais, você deve instalar a CLI do Azure Databricks no host ou agente que executará os comandos da CLI do Azure Databricks.

# Install Databricks CLI
- script: |
    curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
  displayName: 'Install Databricks CLI'

Dica

  • Se você não quiser instalar automaticamente a versão mais recente da CLI do Azure Databricks, substitua main a URL do instalador por uma versão específica (por exemplo, v0.224.0).

Práticas recomendadas

  • O Databricks recomenda que você use a federação de identidade de carga de trabalho do Microsoft Entra como o método de autenticação de sua escolha. Ele não depende de segredos e é mais seguro do que outros métodos de autenticação. Ele funciona automaticamente com a AzureCLI@2 tarefa sem qualquer configuração manual.

    Para obter mais detalhes, consulte Criar uma conexão de serviço do Azure Resource Manager que usa a federação de identidade de carga de trabalho.

Confira também