Configuración de un firewall para el acceso a procesos sin servidor

En este artículo se describe cómo configurar un firewall de almacenamiento de Azure para el proceso sin servidor mediante la interfaz de usuario de la consola de la cuenta de Azure Databricks. También puede usar la API de configuraciones de conectividad de red.

Para configurar un punto de conexión privado para el acceso de proceso sin servidor, vea Configuración de la conectividad privada desde el proceso sin servidor.

Importante

A partir del 4 de diciembre de 2024, Databricks comenzará a cobrar los costos de red en cargas de trabajo sin servidor que se conectan a recursos externos. La facturación se implementará gradualmente y es posible que no se le cobre hasta el 4 de diciembre de 2024. No se le cobrará retroactivamente por el uso antes de habilitar la facturación. Una vez habilitada la facturación, es posible que se le cobre por:

• Conectividad privada a los recursos a través de Private Link. Los cargos de procesamiento de datos por la conectividad privada a los recursos a través de Private Link se renuncian indefinidamente. Se aplicarán cargos por hora.
• Conectividad pública a los recursos a través de la puerta de enlace NAT.
• Cargos de transferencia de datos en los que se incurre, como cuando el proceso sin servidor y el recurso de destino se encuentran en regiones diferentes.

Información general sobre la habilitación del firewall para el proceso sin servidor

La conectividad de red sin servidor se administra con configuraciones de conectividad de red (NCC). Los administradores de cuentas crean NCC en la consola de la cuenta y una NCC se puede asociar a una o varias áreas de trabajo

Una NCC contiene una lista de identidades de red para un tipo de recurso de Azure como reglas predeterminadas. Cuando se adjunta un NCC a un área de trabajo, el proceso sin servidor de esa área de trabajo usa una de esas redes para conectar el recurso de Azure. Puede incluir esas redes en el firewall de recursos de Azure. Si tiene firewalls de recursos de Azure que no son de almacenamiento, póngase en contacto con el equipo de su cuenta para obtener información sobre cómo usar direcciones IP NAT estables de Azure Databricks.

La habilitación del firewall NCC se admite desde almacenes de SQL sin servidor, almacenes, trabajos, cuadernos, canalizaciones de Delta Live Tables y modelos que sirven puntos de conexión de CPU.

Opcionalmente, puede configurar el acceso de red a la cuenta de almacenamiento del área de trabajo solo desde redes autorizadas, incluido el proceso sin servidor. Consulte Habilitación de la compatibilidad con el firewall para la cuenta de almacenamiento del área de trabajo. Cuando se adjunta un NCC a un área de trabajo, las reglas de red se agregan automáticamente a la cuenta de almacenamiento de Azure para la cuenta de almacenamiento del área de trabajo.

Para más información sobre las NCC, vea ¿Qué es una configuración de conectividad de red (NCC)?.

Implicaciones de costos del acceso al almacenamiento entre regiones

El firewall solo se aplica cuando los recursos de Azure están en la misma región que el área de trabajo de Azure Databricks. Para el tráfico entre regiones desde el proceso sin servidor de Azure Databricks (por ejemplo, el área de trabajo se encuentra en la región Este de EE. UU. y el almacenamiento de ADLS se encuentra en Oeste de Europa), Azure Databricks enruta el tráfico a través de un servicio de Azure NAT Gateway.

Requisitos

• El área de trabajo debe estar en el plan Premium.

• Debe ser administrador de la cuenta de Azure Databricks.

• Cada NCC se puede asociar a un máximo de 50 áreas de trabajo.

• Cada cuenta de Azure Databricks puede tener hasta 10 NCC por región.

• Debe tener acceso WRITE a las reglas de red de la cuenta de almacenamiento de Azure.

Paso 1: Creación de una configuración de conectividad de red y copia de identificadores de subred

Databricks recomienda compartir NCC entre áreas de trabajo de la misma unidad de negocio y aquellas que comparten las mismas propiedades de conectividad y la misma región. Por ejemplo, si algunas áreas de trabajo usan el firewall de almacenamiento y otras el enfoque alternativo de Private Link, utilice NCC independientes para esos casos de uso.

1. Como administrador de la cuenta, vaya a la consola de la cuenta.
2. En la barra lateral, haga clic en Recursos de nube.
3. Haga clic en Configuración de conectividad de red.
4. Haga clic en Agregar configuraciones de conectividad de red.
5. Escriba un nombre para la NCC.
6. Elija la región. Debe coincidir con la región del área de trabajo.
7. Haga clic en Agregar.
8. En la lista de NCC, haga clic en la nueva NCC.
9. En Reglas predeterminadas en Identidades de red, haga clic en Ver todas.
10. En el cuadro de diálogo, haga clic en el botón Copiar subredes.
11. Haga clic en Cerrar.

Paso 2: Anexión de una NCC a las áreas de trabajo

Puede adjuntar una NCC a un máximo de 50 áreas de trabajo en la misma región que la NCC.

A fin de usar la API para asociar una NCC a un área de trabajo, vea la API de áreas de trabajo de cuenta.

1. En la barra lateral de la consola de la cuenta, haga clic en Áreas de trabajo.
2. Haga clic en el nombre del área de trabajo.
3. Haga clic en Actualizar área de trabajo.
4. En el campo Configuración de conectividad de red, seleccione la NCC. Si no es visible, confirme que ha seleccionado la misma región para el área de trabajo y la NCC.
5. Haga clic en Update(Actualizar).
6. Espere 10 minutos para que el cambio surta efecto.
7. Reinicie los recursos de proceso sin servidor en ejecución en el área de trabajo.

Si usa esta característica para conectarse a la cuenta de almacenamiento del área de trabajo, la configuración se completará. Las reglas de red se agregan automáticamente a la cuenta de almacenamiento del área de trabajo. Para cuentas de almacenamiento adicionales, continúe con el paso siguiente.

Paso 3: Bloquear la cuenta de almacenamiento

Si aún no ha limitado el acceso a la cuenta de almacenamiento de Azure para permitir solo las redes incluidas en la lista de permitidos, hágalo ahora. No es necesario realizar este paso para la cuenta de almacenamiento del área de trabajo.

La creación de un firewall de almacenamiento también afecta a la conectividad desde el plano de proceso clásico a los recursos. También debe agregar reglas de red para conectarse a las cuentas de almacenamiento desde recursos de proceso clásicos.

1. Vaya a Azure Portal.
2. Vaya a la cuenta de almacenamiento para el origen de datos.
3. En el panel de navegación izquierdo, haga clic en Redes.
4. En el campo Acceso a la red pública, compruebe el valor. De manera predeterminada, el valor es Habilitado desde todas las redes. Cambie el valor a Habilitado desde redes virtuales y direcciones IP seleccionadas.

Paso 4: agregar reglas de red de la cuenta de almacenamiento de Azure

No es necesario realizar este paso para la cuenta de almacenamiento del área de trabajo.

1. Agregue una regla de red de la cuenta de almacenamiento de Azure para cada subred. Puede hacerlo mediante la CLI de Azure, PowerShell, Terraform u otras herramientas de automatización. Tenga en cuenta que este paso no se puede hacer en la interfaz de usuario de Azure Portal.

   En el ejemplo siguiente se usa la CLI de Azure:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Reemplace <sub> por el nombre de su suscripción de Azure para la cuenta de almacenamiento.
   • Reemplace <res> por el grupo de recursos de la cuenta de almacenamiento.
   • Reemplace <account> por el nombre de la cuenta de almacenamiento.
   • Reemplace <subnet> por el identificador de recurso de ARM (resourceId) de la subred de proceso sin servidor.

   Después de ejecutar todos los comandos, puede usar Azure Portal para ver la cuenta de almacenamiento y confirmar que hay una entrada en la tabla Redes virtuales que representa la nueva subred. Sin embargo, no puede realizar los cambios en las reglas de red en Azure Portal.

   Sugerencia

   • Al agregar reglas de red de la cuenta de almacenamiento, use la API de conectividad de red para recuperar las subredes más recientes.
   • Evite almacenar información de NCC localmente.
   • Omita la mención de "Permisos insuficientes" en la columna de estado del punto de conexión o la advertencia debajo de la lista de red. Estas solo indican que no tiene permisos para leer las subredes de Azure Databricks, pero esto no interfiere con la capacidad de que esa subred sin servidor de Azure Databricks se comunique con el almacenamiento de Azure.

   

2. Repita este comando una vez por cada subred.

3. Para confirmar que la cuenta de almacenamiento usa esta configuración desde Azure Portal, vaya a Redes en la cuenta de almacenamiento.

   Confirme que Acceso a la red pública está establecido en Habilitado desde redes virtuales y direcciones IP seleccionadas y que las redes admitidas aparecen en la sección Redes virtuales.