Nätverksrekommendationer för Lakehouse Federation

Den här artikeln innehåller vägledning för att konfigurera en fungerande nätverksväg mellan dina Azure Databricks-kluster eller SQL-datalager och det externa databassystem som du ansluter till med hjälp av Lakehouse Federation.

Tänk på följande när du konfigurerar nätverksanslutning för Lakehouse Federation:

  • All nätverkstrafik för federerade frågor sker direkt mellan Azure Databricks kluster (eller SQL-lager) och det externa databassystemet. Varken Unity Catalog eller Azure Databricks kontrollplan ingår i nätverkssökvägen.
  • Anslutningar som använder OAuth har ytterligare ett krav. När en anslutning autentiseras med OAuth sker OAuth-tokenutbytet från Azure Databricks kontrollplanet, inte beräkningsplanet. Kontrollplanet måste kunna nå det externa systemets OAuth-slutpunkt. Det räcker inte att endast tillåta beräkningsplanet för dessa anslutningar. För anslutningsspecifik vägledning, se avsnittet om nätverk eller begränsningar på sidan för den relevanta anslutningen, till exempel Kör federerade frågor på Snowflake (OAuth) eller Kör federerade frågor på Microsoft SQL Server. HTTP-anslutningar är ett undantag. de dirigerar OAuth via det serverlösa beräkningsplanet i stället för kontrollplanet.
  • Azure Databricks-beräkning (dvs. kluster och SQL-lager) distribueras alltid i molnet, men det externa databassystemet kan finnas lokalt eller finnas på valfri molnleverantör, så länge det finns en fungerande nätverkssökväg mellan din Azure Databricks-beräkning och den externa databasen.
  • Om du har begränsningar för inkommande eller utgående nätverk för antingen Azure Databricks-beräkning eller det externa databassystemet kan du läsa följande avsnitt för allmän vägledning som hjälper dig att skapa en fungerande nätverkssökväg.

Mer information om nätverk i Azure Databricks-arbetsytor finns i Nätverk.

Databassystem och Azure Databricks-beräkning som båda är tillgängliga från Internet

Anslutningen bör fungera utan någon konfiguration.

Databassystemet har begränsningar för nätverksåtkomst

Om det externa databassystemet har begränsningar för inkommande eller utgående nätverksåtkomst och Azure Databricks-klustret eller SQL-lagret är tillgängligt från Internet konfigurerar du någon av följande nätverkslösningar för att ansluta från klassiska beräkningsresurser:

  • Stabil utgående IP-adress för Azure Databricks-beräkning.

    Från det klassiska beräkningsplanet konfigurerar du en stabil IP-adress med en lastbalanserare, NAT-gateway, internetgateway eller motsvarande och ansluter den till undernätet där Azure Databricks-beräkning distribueras. På så sätt kan beräkningsresursen dela en stabil offentlig IP-adress som kan tillåtas på den externa databassidan.

  • Private Link (endast när den externa databasen finns i samma moln som Azure Databricks-beräkning)

    Från det klassiska beräkningsplanet konfigurerar du en Private Link-anslutning mellan nätverket där databasen distribueras och nätverket där Azure Databricks-beräkning distribueras.

Från det serverlösa beräkningsplanet stöds Azure Private Link för SQL Server-anslutningsappen. Se Steg 3: Skapa privata slutpunktsregler.

Azure Databricks-beräkning har begränsningar för nätverksåtkomst

Om det externa databassystemet är tillgängligt från Internet och Azure Databricks-beräkningen har begränsningar för inkommande eller utgående nätverksåtkomst (vilket endast är möjligt om du befinner dig i ett kundhanterat nätverk) utför du någon av följande konfigurationer:

  • Tillåtlist värdnamnet för den externa databasen i brandväggsreglerna för det undernät där Azure Databricks-beräkning distribueras.

    Om du väljer att tillåtalistning av den externa databasens IP-adress i stället för värdnamn kontrollerar du att den externa databasen har en stabil IP-adress.

  • Private Link (endast när den externa databasen finns i samma moln som Azure Databricks-beräkning)

    Konfigurera en Private Link-anslutning mellan nätverket där databasen distribueras och nätverket där Azure Databricks-beräkning distribueras.

Azure Databricks-beräkning har en anpassad DNS-server

Om det externa databassystemet är tillgängligt från Internet och Azure Databricks-beräkningen har en anpassad DNS-server (vilket endast är möjligt om du är i ett kundhanterat nätverk) lägger du till databassystemets värdnamn till din anpassade DNS-server så att det kan lösas.

Överväganden för Snowflake-nätverk

  • Om Azure Databricks beräkning inte kan nå Snowflake OCSP-svararen kan anslutningsförsök misslyckas under certifikatverifieringen. Föredrar att tillåta utgående trafik till Snowflake OCSP-svararen. Om din konfiguration för begränsad utgående trafik eller privat anslutning inte kan tillåta den trafiken anger du att alternativet disableOCSPChecks Snowflake-anslutning ska vara true. Se Avancerade anslutningsalternativ.
  • Last updated on