Definições de rotas definidas pelo utilizador do Azure Databricks

  • Artigo

Se seu espaço de trabalho do Azure Databricks for implantado em sua própria rede virtual (VNet), você poderá usar rotas personalizadas, também conhecidas como rotas definidas pelo usuário (UDR), para garantir que o tráfego de rede seja roteado corretamente para seu espaço de trabalho. Por exemplo, se você conectar a rede virtual à sua rede local, o tráfego poderá ser roteado pela rede local e não poderá alcançar o plano de controle do Azure Databricks. Rotas definidas pelo usuário podem resolver esse problema.

Você precisa de um UDR para cada tipo de conexão de saída da rede virtual. Você pode usar marcas de serviço do Azure e endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário. O Databricks recomenda o uso de tags de serviço do Azure para evitar interrupções de serviço devido a alterações de IP.

Configurar rotas definidas pelo usuário com marcas de serviço do Azure

O Databricks recomenda que você use marcas de serviço do Azure, que representam um grupo de prefixos de endereço IP de um determinado serviço do Azure. A Microsoft gerencia os prefixos de endereço incluídos pela etiqueta de serviço e atualiza automaticamente a etiqueta de serviço à medida que os endereços mudam. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e elimina a necessidade de pesquisar periodicamente esses IPs e atualizá-los em sua tabela de rotas. No entanto, se as políticas da sua organização não permitirem marcas de serviço, você poderá, opcionalmente , especificar as rotas como endereços IP.

Usando tags de serviço, suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Source Prefixo de endereço Tipo de salto seguinte
Predefinido Etiqueta de serviço do Azure Databricks Internet
Predefinido Marca de serviço SQL do Azure Internet
Predefinido Etiqueta de serviço do Armazenamento do Azure Internet
Predefinido Tag de serviço do Hub de Eventos do Azure Internet

Nota

Você pode optar por adicionar a marca de serviço Microsoft Entra ID (anteriormente Azure Ative Directory) para facilitar a autenticação do Microsoft Entra ID de clusters do Azure Databricks para recursos do Azure.

Se o Azure Private Link estiver habilitado em seu espaço de trabalho, a marca de serviço do Azure Databricks não será necessária.

A marca de serviço Azure Databricks representa endereços IP para as conexões de saída necessárias para o plano de controle do Azure Databricks, a conectividade de cluster segura (SCC) e o aplicativo Web Azure Databricks.

A marca de serviço SQL do Azure representa endereços IP para as conexões de saída necessárias para o metastore do Azure Databricks e a marca de serviço do Armazenamento do Azure representa endereços IP para armazenamento de Blob de artefato e armazenamento de Blob de log. A marca de serviço do Hub de Eventos do Azure representa as conexões de saída necessárias para o registro em log no Hub de Eventos do Azure.

Algumas tags de serviço permitem um controle mais granular restringindo intervalos de IP a uma região especificada. Por exemplo, uma tabela de rotas para um espaço de trabalho do Azure Databricks nas regiões Oeste dos EUA pode ter a seguinte aparência:

Nome Prefixo de endereço Tipo de salto seguinte
ADB-ServiceTag AzureDatabricks Internet
ADB-Metastore Sql.WestUS Internet
ADB-Armazenamento Armazenamento.WestUS Internet
ADB-EventHub EventHub.WestUS Internet

Para obter as tags de serviço necessárias para rotas definidas pelo usuário, consulte Tags de serviço de rede virtual.

Configurar rotas definidas pelo usuário com endereços IP

O Databricks recomenda que você use marcas de serviço do Azure, mas se as políticas da sua organização não permitirem marcas de serviço, você poderá usar endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário.

Os detalhes variam de acordo com se a SCC (conectividade segura de cluster) está habilitada para o espaço de trabalho:

  • Se a conectividade de cluster seguro estiver habilitada para o espaço de trabalho, você precisará de um UDR para permitir que os clusters se conectem à retransmissão de conectividade de cluster seguro no plano de controle. Certifique-se de incluir os sistemas marcados como IP de relé SCC para sua região.
  • Se a conectividade de cluster seguro estiver desabilitada para o espaço de trabalho, haverá uma conexão de entrada do NAT do Plano de Controle, mas o TCP SYN-ACK de baixo nível para essa conexão tecnicamente são dados de saída que exigem um UDR. Certifique-se de incluir os sistemas marcados como IP NAT do Plano de Controle para sua região.

Suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Source Prefixo de endereço Tipo de salto seguinte
Predefinido NAT IP do plano de controlo (se o SCC estiver desativado) Internet
Predefinido IP de retransmissão SCC (se o SCC estiver ativado) Internet
Predefinido Webapp IP Internet
Predefinido Metastore IP Internet
Predefinido IP de armazenamento de Blob de artefato Internet
Predefinido IP de armazenamento de Blob de log Internet
Predefinido IP de armazenamento raiz DBFS - Ponto de extremidade de armazenamento de Blob Internet
Predefinido IP de armazenamento raiz DBFS - ponto de extremidade ADLS gen2 (dfs) Internet
Predefinido IP do Hub de Eventos Internet

Se o Azure Private Link estiver habilitado em seu espaço de trabalho, suas rotas definidas pelo usuário deverão usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Source Prefixo de endereço Tipo de salto seguinte
Predefinido Metastore IP Internet
Predefinido IP de armazenamento de Blob de artefato Internet
Predefinido IP de armazenamento de Blob de log Internet
Predefinido IP do Hub de Eventos Internet

Para obter os endereços IP necessários para rotas definidas pelo usuário, use as tabelas e instruções nas regiões do Azure Databricks, especificamente: