Netwerkaanbeveling voor Lakehouse Federation

Dit artikel bevat richtlijnen voor het instellen van een levensvatbaar netwerkpad tussen uw Azure Databricks-clusters of SQL-warehouses en het externe databasesysteem waarmee u verbinding maakt met behulp van Lakehouse Federation.

Houd rekening met het volgende wanneer u netwerkconnectiviteit instelt voor Lakehouse Federation:

  • Al het netwerkverkeer voor federatieve query's ligt rechtstreeks tussen Azure Databricks clusters (of SQL Warehouses) en het externe databasesysteem. Noch Unity Catalog, noch het controlevlak van Azure Databricks bevinden zich op het netwerkpad.
  • Verbindingen die gebruikmaken van OAuth hebben een extra vereiste. Wanneer een verbinding wordt geverifieerd met OAuth, vindt de uitwisseling van het OAuth-token plaats vanuit het Azure Databricks besturingsvlak, niet het rekenvlak. Het besturingsvlak moet het OAuth-eindpunt van het externe systeem kunnen bereiken. Alleen het rekenvlak toestaan is niet voldoende voor deze verbindingen. Zie de sectie netwerken of beperkingen van de relevante verbindingspagina, zoals Federatieve query's uitvoeren op Snowflake (OAuth) of Federatieve query's uitvoeren op Microsoft SQL Server voor richtlijnen voor connectors. HTTP-verbindingen zijn een uitzondering; ze routeren OAuth via het serverloze rekenvlak in plaats van het besturingsvlak.
  • Azure Databricks Compute (dat wil gezegd clusters en SQL-warehouses) wordt altijd geïmplementeerd in de cloud, maar het externe databasesysteem kan on-premises zijn of worden gehost op elke cloudprovider, zolang er een levensvatbaar netwerkpad is tussen uw Azure Databricks-rekenproces en de externe database.
  • Als u binnenkomende of uitgaande netwerkbeperkingen hebt voor Azure Databricks Compute of het externe databasesysteem, raadpleegt u de volgende secties voor algemene richtlijnen om u te helpen een levensvatbaar netwerkpad te maken.

Zie Netwerken voor meer informatie over netwerken in Azure Databricks-werkruimten.

Databasesysteem en Azure Databricks berekenen beide toegankelijk via internet

De verbinding moet werken zonder configuratie.

Databasesysteem heeft beperkingen voor netwerktoegang

Als het externe databasesysteem binnenkomende of uitgaande netwerktoegangsbeperkingen heeft en het Azure Databricks-cluster of SQL Warehouse toegankelijk is via internet, configureert u een van de volgende netwerkoplossingen om verbinding te maken vanuit klassieke rekenresources:

  • Stabiel uitgaand IP-adres op Azure Databricks Compute.

    Stel vanuit het klassieke rekenvlak een stabiel IP-adres in met een load balancer, NAT-gateway, internetgateway of gelijkwaardig, en verbind het met het subnet waar Azure Databricks Compute wordt geïmplementeerd. Hierdoor kan de rekenresource een stabiel openbaar IP-adres delen dat op de toegestane lijst gezet kan worden aan de externe databasekant.

  • Private Link (alleen wanneer de externe database zich in dezelfde cloud bevindt als Azure Databricks Compute)

    Configureer vanuit het klassieke rekenvlak een Private Link-verbinding tussen het netwerk waar de database wordt geïmplementeerd en het netwerk waar Azure Databricks Compute wordt geïmplementeerd.

Vanuit het serverloze rekenvlak wordt Azure Private Link voor de SQL Server-connector ondersteund. Zie Regels voor privé-eindpunten maken.

Azure Databricks Compute heeft beperkingen voor netwerktoegang

Als het externe databasesysteem toegankelijk is via internet en de Azure Databricks-compute binnenkomende of uitgaande netwerktoegangsbeperkingen heeft (wat alleen mogelijk is als u zich in een door de klant beheerd netwerk bevindt), voert u een van de volgende configuraties uit:

  • Sta de hostnaam van de externe database toe in de firewallregels van het subnet waarin Azure Databricks Compute is geïmplementeerd.

    Als u ervoor kiest om het IP-adres van de externe database in plaats van hostnaam toe te staan, moet u ervoor zorgen dat de externe database een stabiel IP-adres heeft.

  • Private Link (alleen wanneer de externe database zich in dezelfde cloud bevindt als Azure Databricks Compute)

    Configureer een Private Link-verbinding tussen het netwerk waar de database wordt geïmplementeerd en het netwerk waar Azure Databricks Compute wordt geïmplementeerd.

Azure Databricks Compute heeft een aangepaste DNS-server

Als het externe databasesysteem toegankelijk is vanaf internet en azure Databricks compute een aangepaste DNS-server heeft (dit is alleen mogelijk als u zich in een door de klant beheerd netwerk bevindt), voegt u de hostnaam van het databasesysteem toe aan uw aangepaste DNS-server, zodat deze kan worden omgezet.

Overwegingen voor Snowflake-netwerken

  • Als Azure Databricks compute de Snowflake OCSP-responder niet kan bereiken, kunnen verbindingspogingen mislukken tijdens certificaatvalidatie. Sta bij voorkeur uitgaand verkeer naar de Snowflake OCSP-responder toe. Als uw configuratie voor beperkte uitgaande verbindingen of privéconnectiviteit dat verkeer niet toestaat, stelt u de disableOCSPChecks Snowflake-verbindingsoptie in op true. Zie Geavanceerde verbindingsopties.
  • Last updated on