Sdílejte data za bránou firewall pomocí SecureConnect

Important

Tato funkce je ve verzi Public Preview.

Tato stránka popisuje, jak poskytovatelé nastavují OpenSharing SecureConnect ke sdílení dat z cloudového úložiště, které je za firewallem nebo privátním endpointem, aniž by museli zařazovat síť každého příjemce na seznam povolených.

Jak funguje SecureConnect

Před povolením secureConnect na účtu Azure Databricks vytvoří poskytovatel jednorázovou konfiguraci. Tato konfigurace umožňuje Azure Databricks příjemcům přístup k úložišti poskytovatele za bránou firewall nebo privátním koncovým bodem. Azure Databricks pak směruje požadavky příjemců prostřednictvím spravovaného proxy serveru, takže poskytovatel při přidávání nového příjemce nemusí aktualizovat bránu firewall úložiště.

Příjemci přistupují ke sdíleným datům pomocí stávajícího nastavení OpenSharingu:

  • Příjemci Azure Databricks ve výpočetním prostředí bez serveru mají přístup ke sdílení bez nutnosti měnit bránu firewall pro jednotlivé poskytovatele.
  • Příjemci Azure Databricks v klasických výpočetních prostředích a otevření příjemci povolují jednu sadu IP adres řídicí roviny Azure Databricks pro oblast poskytovatele.

Bez služby SecureConnect musí poskytovatel přidat síťový identifikátor každého příjemce do firewallu svého úložiště a to koordinovat s příjemcem a správcem cloudové platformy pro každého nového příjemce.

Požadavky

Nastavení SecureConnect jako zprostředkovatele

Nastavení SecureConnect zahrnuje konfiguraci firewallu úložiště tak, aby umožňoval přístup, a povolení SecureConnect pro vaše metastory a příjemce.

Krok 1: Nakonfigurujte bránu firewall úložiště

Následující pokyny předpokládají, že vaše sdílené prostředky a metastore poskytovatele se nacházejí ve stejné oblasti. V případě nejnižších síťových nákladů ponechte oblast sdílených prostředků stejnou jako oblast metastoru poskytovatele.

SecureConnect přistupuje k úložišti prostřednictvím bezserverové roviny dat. Postupujte podle jedné z následujících možností nastavení podle toho, jestli je vaše úložiště ve veřejné nebo privátní síti.

Možnost 1: Úložiště ve veřejné síti

Tuto možnost použijte, pokud je vaše úložiště dostupné přes veřejnou síť. Pokud je vaše úložiště za privátním koncovým bodem, prohlédněte si následující části.

Aby Azure Databricks měl přístup k vašim prostředkům, přidružte svůj prostředek Azure k obvodu zabezpečení sítě v přechodovém režimu a přidejte značku služby AzureDatabricksServerless.{region} na seznam povolených, kde {region} představuje oblast řídicí roviny poskytovatele. Viz Konfigurace obvodu zabezpečení sítě (NSP) Azure pro prostředky Azure.

Možnost 2: Úložiště v privátní síti

Tuto možnost použijte, pokud je vaše sdílené úložiště za privátním koncovým bodem a není dostupné z veřejné sítě.

Správce účtu musí nakonfigurovat konfiguraci připojení k síti (NCC) a připojit ho k metastoru, který hostuje vaše sdílená data. Další informace o síťových adaptérech najdete v tématu Co je konfigurace síťového připojení (NCC)?.

NCC připojené k pracovnímu prostoru nelze připojit k metastore. NCC použitý na metastore pro OpenSharing platí pro všechny sdílené složky připojené k metastoru.

Vytvořte NCC a pravidlo privátního koncového bodu pro účet úložiště, ale nepřipojujte NCC k pracovnímu prostoru. Viz Konfigurace privátního připojení k prostředkům Azure pro nastavení NCC a privátního koncového bodu.

Připojte NCC k metastoru OpenSharing:

  1. Jako správce účtu Azure Databricks přejděte do konzoly účtu.
  2. Na bočním panelu klikněte na ikonu Data.Katalog.
  3. Kliknutím na název metastoru OpenSharing otevřete jeho podrobnosti.
  4. V části Konfigurace připojení k síti OpenSharing (NCC) klikněte na Upravit.
  5. Vyhledejte a vyberte NCC, kterou jste vytvořili pro OpenSharing.
  6. Klikněte na Uložit.

Important

Pokud nemůžete připojit NCC k metastoru, obraťte se na tým účtu Databricks a povolte privátní připojení pro OpenSharing SecureConnect pomocí NCC.

Krok 2: Povolení SecureConnect v metastoru

Správce metastoru může metastor nakonfigurovat tak, aby noví příjemci automaticky používali SecureConnect. Ve výchozím nastavení nejsou noví a stávající příjemci zaregistrovaní ve službě SecureConnect. Existující příjemce musíte nakonfigurovat samostatně. Viz krok 3: Povolení SecureConnect pro jednotlivé příjemce.

Povolení funkce SecureConnect v metastore:

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data. Klikněte na Katalog pro otevření Průzkumníka katalogu.

  2. V horní části podokna Katalog klikněte na ikonu ozubeného kola. ikonu ozubeného kola a vyberte OpenSharing.

    Případně v pravém horním rohu klikněte na Sdílet > OpenSharing.

  3. Klikněte na Nastavení v pravém horním rohu.

  4. Zapněte nastavení možnosti Povolit SecureConnect pro nové příjemce.

  5. Klikněte na Uložit.

Krok 3: Povolení secureConnect pro jednotlivé příjemce

Vlastníci a uživatelé příjemce s oprávněním USE_RECIPIENT mohou pro každého příjemce zapnout nebo vypnout SecureConnect. Funkce SecureConnect je u příjemce ve výchozím nastavení zakázaná, pokud při vytvoření příjemce nebyl metastore nastaven tak, aby ji povolil pro všechny nové příjemce.

Konfigurace secureConnect pro příjemce:

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data.Katalog.

  2. V horní části podokna Katalog klikněte na ikonu ozubeného kola. ikonu ozubeného kola a vyberte OpenSharing.

    Případně v pravém horním rohu klikněte na Sdílet > OpenSharing.

  3. Na kartě Sdíleno mnou klikněte na kartu Příjemci.

  4. Zapněte SecureConnect pro každého požadovaného příjemce.

(Volitelné) Krok 4: Omezení přístupu otevřených příjemců pomocí seznamů ACL IP adres

U otevřených příjemců můžete omezit, které IP adresy klientů mají povolený přístup ke službě SecureConnect pomocí přístupových seznamů IP adres. Seznamy ACL IP se vztahují pouze na otevřené příjemce.

V případě SecureConnect se seznamy ACL IP vztahují na přístup ke koncovému bodu OpenSharing i přístup k úložišti. Bez protokolu SecureConnect omezují seznamy ACL PROTOKOLU IP přístup pouze ke koncovému bodu OpenSharing; Adresy URL úložiště zůstanou dostupné z jakékoli IP adresy klienta.

Pokyny k nastavení najdete v tématu Omezení přístupu příjemců openSharing pomocí přístupových seznamů IP adres (sdílení Databricks-to-Open).

Poznámka:

Změny seznamu ACL protokolu IP pro otevřené příjemce s podporou SecureConnect můžou trvat až 10 minut.

Podporované scénáře sdílení

Important

Jakákoli nepodporovaná funkce se vrátí k přímému přístupu z výpočetních prostředků příjemce do úložiště. Poskytovatel musí ve firewallu úložiště ručně povolit IP adresy příjemců. Viz Co je protokol OpenSharing Databricks-to-Databricks? nebo Co je protokol Databricks-to-Open Sharing?.

SecureConnect podporuje sdílení do AWS, Azure a GCP.

MTLS to SecureConnect se podporuje jenom pro clustery příjemců bez serveru.

Podpora funkcí

funkce D2O (token) D2O (OIDC)* D2O (Iceberg) D2D (bez serveru) D2D (klasické)
Tabulky s historií a bez particí ✓ ✓ ✗ ✓ ** ✓ **
Tabulky bez historie nebo s particemi ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓ *** ✓
Cizí tabulky ✓ ✓ ✗ ✓ ✓
Materializované pohledy ✓ ✓ ✗ ✓ *** ✓
Tabulky streamování ✓ ✓ ✗ ✓ *** ✓
Objemы ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
Modely umělé inteligence ✗ ✗ ✗ ✗ ✗

* Sdílení OIDC v současné době nefunguje, pokud je příjemce také na Azure Databricks.

** Optimalizace cloudových tokenů není pro SecureConnect dostupná.

*** Tyto assety jsou zmaterializovány a filtrovány na straně poskytovatele. Příjemci mají přímý přístup k podkladovým datům ve sdílených zobrazeních, materializovaných zobrazeních a streamovaných tabulkách?

Omezení

  • Vaše prostředky není možné zálohovat úložištěm Cloudflare R2.

Omezení na straně příjemce, jako je podpora mTLS a omezení sdílení typu Databricks-to-Open, najdete v tématu Omezení.

Nepodporované oblasti

SecureConnect není k dispozici v Azure Číně, Azure Government nebo v následujících oblastech Azure:

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

fakturace

Azure Databricks aktuálně neúčtuje za přenos dat SecureConnect. Další podrobnosti najdete v článku Nadcházející změny fakturace Azure pro OpenSharing SecureConnect.

Dodatečné zdroje

  • Last updated on