Gegevens delen achter een firewall met SecureConnect

Important

Deze functie bevindt zich in openbare preview-versie.

Op deze pagina wordt beschreven hoe providers OpenSharing SecureConnect instellen om gegevens te delen vanuit cloudopslag die zich achter een firewall of privé-eindpunt bevindt, zonder dat ze het netwerk van elke ontvanger hoeven toe te staan.

Hoe SecureConnect werkt

Voordat u SecureConnect inschakelt voor een Azure Databricks-account, maakt een provider een eenmalige configuratie. Met deze configuratie hebben Azure Databricks ontvangers toegang tot de opslag van de provider achter een firewall of privé-eindpunt. Azure Databricks stuurt vervolgens verzoeken van ontvangers via een beheerde proxy, zodat de provider hun opslagfirewall niet hoeft bij te werken bij het toevoegen van een nieuwe ontvanger.

Ontvangers hebben toegang tot gedeelde gegevens met behulp van hun bestaande OpenSharing-installatie:

  • Azure Databricks-ontvangers hebben via serverloze rekenkracht toegang tot shares, zonder firewallwijzigingen per provider.
  • Azure Databricks-ontvangers op klassieke rekenomgevingen en open ontvangers zetten één set Azure Databricks-control plane-IP-adressen voor de regio van de provider op de lijst met toegestane adressen.

Zonder SecureConnect moet een provider de netwerk-ID van elke ontvanger toevoegen aan de firewall van zijn opslagomgeving, waarbij hij voor elke nieuwe ontvanger moet afstemmen met de ontvanger en een cloudplatformbeheerder.

Requirements

SecureConnect instellen als provider

Het instellen van SecureConnect omvat het configureren van uw opslagfirewall om toegang te verlenen en SecureConnect in te schakelen voor uw metastores en ontvangers.

Stap 1: Uw opslagfirewall configureren

In de volgende instructies wordt ervan uitgegaan dat uw gedeelde assets en provider-metastore zich in dezelfde regio bevinden. Voor de laagste netwerkkosten moet u de regio van uw gedeelde assets hetzelfde houden als de metastore-regio van uw provider.

SecureConnect krijgt toegang tot uw opslag via de serverloze datalaag. Volg een van de volgende installatieopties, op basis van of uw opslag zich in een openbaar of particulier netwerk bevindt.

Optie 1: Opslag in een openbaar netwerk

Gebruik deze optie als uw opslag bereikbaar is via het openbare netwerk. Als uw opslag zich achter een privé-eindpunt bevindt, raadpleegt u de volgende sectie.

Als u Azure Databricks toegang wilt geven tot uw resources, koppelt u uw Azure resource aan een netwerkbeveiligingsperimeter in de overgangsmodus en voegt u de AzureDatabricksServerless.{region} servicetag toe aan de acceptatielijst, waar {region} is de regio van het besturingsvlak van de provider. Zie Een Azure netwerkbeveiligingsperimeter (NSP) configureren voor Azure resources.

Optie 2: Opslag in een particulier netwerk

Gebruik deze optie als uw gedeelde opslag zich achter een privé-eindpunt bevindt en niet bereikbaar is vanaf het openbare netwerk.

Een accountbeheerder moet een netwerkverbindingsconfiguratie (NCC) configureren en deze koppelen aan de metastore die als host fungeert voor uw gedeelde gegevens. Zie Wat is een netwerkverbindingsconfiguratie (NCC)? voor meer informatie over NCCs.

Een NCC dat is gekoppeld aan een werkruimte, kan niet worden gekoppeld aan een metastore. Een NCC die is toegepast op een metastore voor OpenSharing is van toepassing op alle shares die zijn gekoppeld aan de metastore.

Maak een NCC- en privé-eindpuntregels voor uw opslagaccount, maar koppel de NCC niet aan een werkruimte. SecureConnect vereist ook zowel een blob- als een dfs-privé-eindpuntregel, dus moet u voor elk subresourcetype een privé-eindpuntregel maken.

Zie Privéconnectiviteit configureren voor Azure resources voor het instellen van NCC- en privé-eindpunten.

Koppel de NCC aan uw OpenSharing-metastore:

  1. Als Azure Databricks-accountbeheerder gaat u naar de accountconsole.
  2. Klik in de zijbalk op het pictogram Gegevens.Catalogus.
  3. Klik op de naam van de OpenSharing-metastore om de details ervan te openen.
  4. Klik onder OpenSharing Network Connectivity Configuration (NCC) op Bewerken.
  5. Zoek en selecteer de NCC die u hebt gemaakt voor OpenSharing.
  6. Klik op Opslaan.

Important

Als u geen NCC kunt koppelen aan een metastore, neemt u contact op met uw Databricks-accountteam om privéconnectiviteit in te schakelen voor OpenSharing SecureConnect met behulp van een NCC.

Stap 2: SecureConnect inschakelen in een metastore

Een metastore-beheerder kan de metastore zo configureren dat nieuwe geadresseerden automatisch SecureConnect gebruiken. Nieuwe en bestaande ontvangers zijn standaard niet aangemeld voor SecureConnect. U moet bestaande ontvangers afzonderlijk instellen. Zie stap 3: SecureConnect inschakelen voor afzonderlijke geadresseerden.

SecureConnect inschakelen in een metastore:

  1. Klik in uw Azure Databricks werkruimte op Data icon.Catalog om Catalog Explorer te openen.

  2. Klik bovenaan het deelvenster Catalogus op het tandwielpictogram. en selecteer OpenSharing.

    U kunt ook in de rechterbovenhoek op OpenSharing delen >klikken.

  3. Klik op Instellingen in de rechterbovenhoek.

  4. Schakel de instelling SecureConnect inschakelen voor nieuwe ontvangers in.

  5. Klik op Opslaan.

Stap 3: SecureConnect inschakelen voor afzonderlijke geadresseerden

Eigenaren van ontvangers en gebruikers met de bevoegdheid USE_RECIPIENT kunnen SecureConnect voor elke ontvanger in- of uitschakelen. SecureConnect is standaard uitgeschakeld voor een geadresseerde, tenzij de metastore is ingesteld om deze in te schakelen voor alle nieuwe geadresseerden toen de ontvanger werd gemaakt.

SecureConnect configureren voor een geadresseerde:

  1. Klik in uw Azure Databricks werkruimte op Gegevenspictogram.Catalog.

  2. Klik bovenaan het deelvenster Catalogus op het tandwielpictogram. en selecteer OpenSharing.

    U kunt ook in de rechterbovenhoek op OpenSharing delen >klikken.

  3. Klik op het tabblad Ontvangers op het tabblad Gedeeld door mij.

  4. Schakel SecureConnect in voor elke gewenste ontvanger.

(Optioneel) Stap 4: Open ontvangertoegang beperken met IP-ACL's

Voor open ontvangers kunt u met IP-toegangslijsten beperken welke client-IP-adressen SecureConnect mogen bereiken. IP-ACL’s zijn alleen van toepassing op open geadresseerden.

Met SecureConnect zijn IP-ACL's van toepassing op toegang tot zowel OpenSharing-eindpunten als opslagtoegang. Zonder SecureConnect beperken IP-ACL's alleen toegang tot OpenSharing-eindpunten; opslag-URL's blijven bereikbaar vanaf elk client-IP-adres.

Zie Toegang voor ontvangers van OpenSharing beperken met IP-toegangslijsten (Databricks-naar-Open Sharing) voor instructies voor de installatie.

Note

Het kan tot 10 minuten duren voordat IP ACL-wijzigingen voor open ontvangers met SecureConnect ingeschakeld van kracht worden.

Ondersteunde scenario's voor delen

Important

Elke niet-ondersteunde functie maakt gebruik van directe toegang van de rekenresource van de ontvanger naar de opslag. De aanbieder moet handmatig toegang verlenen tot de IP-adressen van de ontvangers in zijn opslagfirewall. Zie Wat is het OpenSharing Databricks-to-Databricks-protocol? of wat is het Databricks-to-Open-sharing-protocol?

SecureConnect biedt ondersteuning voor delen met AWS, Azure en GCP.

mTLS naar SecureConnect wordt alleen ondersteund voor serverloze ontvangersclusters.

Ondersteuning van functies

Feature D2O (token) D2O (OIDC)* D2O (Iceberg) D2D (serverloos) D2D (klassiek)
Tabellen met geschiedenis en zonder partities ✓ ✓ ✗ ✓** ✓**
Tabellen zonder geschiedenis of met partities ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓*** ✓
Externe tabellen ✓ ✓ ✗ ✓ ✓
Gematerealiseerde weergaven ✓ ✓ ✗ ✓*** ✓
Streamingtabellen ✓ ✓ ✗ ✓*** ✓
Volumes ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
AI-modellen ✗ ✗ ✗ ✗ ✗

* OIDC delen werkt momenteel niet wanneer de ontvanger zich ook op Azure Databricks bevindt.

** Optimalisatie van cloudtoken is niet beschikbaar voor SecureConnect.

*** Deze assets worden aan de zijde van de provider gematerialiseerd en gefilterd. Zie Hebben ontvangers directe toegang tot de onderliggende gegevens in gedeelde weergaven, gerealiseerde weergaven en streamingtabellen?.

Limitations

  • Uw bestanden kunnen niet worden opgeslagen in Cloudflare R2-opslag.

Zie Beperkingen voor beperkingen aan de ontvangerzijde, zoals mTLS-ondersteuning en Beperkingen voor delen met Databricks-to-Open.

Niet-ondersteunde regio's

SecureConnect is niet beschikbaar in Azure China, Azure Government of de volgende Azure regio's:

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

Billing

Providers worden gefactureerd voor gegevensoverdracht via SecureConnect. Zie prijzen voor gegevensoverdracht en connectiviteit.

Het gebruik per ontvanger wordt toegeschreven aan het recipient_id veld in de tabel factureringssysteem, zodat providers factureerbare SecureConnect-gebruik per ontvanger kunnen opsplitsen. Zie referentietabel voor systeem voor factureerbaar gebruik.

De volgende query retourneert SecureConnect-uitgaand gegevensverkeer (in GB) voor elke ontvanger gedurende de afgelopen 7 dagen:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Als u het gebruik wilt converteren naar kosten, voegt u zich toe aan de tabel met het prijssysteem. Zie prijzensysteem tabelreferentie.

Aanvullende bronnen

  • Last updated on