Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze pagina biedt een overzicht van de functionaliteit en aanbevelingen voor het beschikbaar stellen van gegevens die worden beheerd en gereguleerd door Azure Databricks aan andere systemen.
Deze patronen zijn gericht op scenario's waarin uw organisatie vertrouwde hulpprogramma's of systemen moet integreren in Azure Databricks-gegevens. Zie Gegevens en AI-assets veilig delen met gebruikers in andere organisatiesals u hulp nodig hebt bij het delen van gegevens buiten uw organisatie.
Welke externe toegang biedt Azure Databricks?
Azure Databricks raadt het gebruik van Unity Catalog aan om al uw gegevensassets te beheren. Unity Catalog biedt integraties voor Delta Lake-clients met behulp van de Unity REST API en Apache Iceberg-clients met behulp van de Iceberg REST-catalogus. Zie Unity Catalog-integraties voor een volledige lijst met ondersteunde integraties.
De volgende tabel bevat een overzicht van ondersteuningsindelingen en toegangspatronen voor Unity Catalog-objecten.
| Unity Catalogobject | Ondersteunde indelingen | Toegangspatronen |
|---|---|---|
| Beheerde tabellen | Delta Lake, Iceberg | Unity REST API, Iceberg REST-catalogus, Delta Sharing |
| Externe tabellen | Delta Lake | Unity REST API, Iceberg REST-catalogus, Delta Sharing, cloud-URI's |
| Externe tabellen | CSV, JSON, Avro, Parquet, ORC, tekst | Unity REST API, cloud-URI’s |
| Externe volumes | Alle gegevenstypen | Cloud URI's |
| Externe tabellen* | Delta Lake, Iceberg | Unity REST API, Iceberg REST-catalogus (preview), Delta Sharing |
| Externe tabellen* | CSV, JSON, Avro, Parquet, ORC, tekst | Unity REST API, cloud-URI’s |
* Alleen buitenlandse tabellen die zijn gefedereerd met catalogusfederatie worden ondersteund. Om verse lezingen van externe engines op vreemde tabellen te garanderen, kunnen klanten regelmatig Lakeflow-taken gebruiken om metagegevens te vernieuwen.
Notitie
Iceberg-ondersteuning beschrijft tabellen die zijn geschreven door Azure Databricks met behulp van Delta Lake, maar met Iceberg-leesbewerkingen (UniForm) ingeschakeld.
Zie het volgende voor meer informatie over deze Unity Catalog-objecten:
- Unity Catalog-beheerde tabellen in Azure Databricks voor Delta Lake en Apache Iceberg
- Werken met externe tabellen
- Wat zijn Unity Catalog-volumes?
Uitgifte van inloggegevens voor Unity Catalog
Met referentieverkoop voor Unity Catalog kunnen gebruikers externe clients configureren om bevoegdheden over te nemen voor gegevens die worden beheerd door Azure Databricks. Zowel Iceberg- als Delta-clients kunnen referentieverkoop ondersteunen. Zie Unity Catalog-referentieverkoop voor toegang tot externe systemen.
Tabellen lezen met Delta-clients
Gebruik de Unity REST API om beheerde en externe tabellen van Unity Catalog te lezen die worden ondersteund door Delta Lake van ondersteunde Delta-clients. Zie Lees Databricks-tabellen van Delta-clients.
Tabellen lezen met Iceberg-clients
Azure Databricks biedt Iceberg-clients alleen-lezenondersteuning voor tabellen die zijn geregistreerd bij Unity Catalog. Ondersteunde clients zijn Apache Spark, Apache Flink, Trino en Snowflake. Zie Toegang tot Azure Databricks-tabellen van Apache Iceberg-clients.
Tabellen met het kenmerk Alleen-lezen delen tussen domeinen
U kunt Delta Sharing gebruiken om alleen-lezentoegang te verlenen tot beheerde of externe Delta-tabellen in domeinen en ondersteunde systemen. Softwaresystemen die zero-copy-leesbewerkingen van Delta Sharing-tabellen ondersteunen, zijn SAP, Amperity en Oracle. Zie Gegevens en AI-assets veilig delen met gebruikers in andere organisaties.
Notitie
U kunt Delta Sharing ook gebruiken om alleen-lezentoegang te verlenen aan klanten of partners. Delta Sharing maakt ook back-ups van gegevens die worden gedeeld met behulp van de Databricks Marketplace.
Externe Delta-tabellen maken, lezen en schrijven
Belangrijk
Het maken van externe Unity Catalog-tabellen van externe Delta Lake-clients bevindt zich in openbare preview.
U kunt externe tabellen van Unity Catalog maken, lezen en schrijven die worden ondersteund door Delta Lake vanuit externe Delta Lake-clients met behulp van cloudobjectopslag-URI's en referenties. Zie Externe Delta-tabellen maken van externe clients om tabellen te maken.
Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op de opslag van cloudobjecten van externe systemen, dus u moet aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.
Notitie
De Documentatie van Azure Databricks bevat beperkingen en compatibiliteitsoverwegingen op basis van databricks Runtime-versies en platformfuncties. U moet controleren welke lezer- en schrijfprotocollen en -tabelfuncties uw client ondersteunt. Zie delta.io.
Toegang tot niet-Delta Lake-tabelgegevens met externe tabellen
Externe tabellen van Unity Catalog ondersteunen veel andere indelingen dan Delta Lake, waaronder Parquet, ORC, CSV en JSON. Met externe tabellen worden alle gegevensbestanden in mappen opgeslagen in een opslaglocatie voor cloudobjecten die is opgegeven door een cloud-URI die is opgegeven tijdens het maken van de tabel. Andere systemen hebben rechtstreeks toegang tot deze gegevensbestanden vanuit de opslag van cloudobjecten.
Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op de opslag van cloudobjecten van externe systemen, dus u moet aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.
Lezen en schrijven naar externe tabellen vanuit meerdere systemen kan leiden tot consistentieproblemen en beschadiging van gegevens, omdat er geen transactionele garanties worden geboden voor andere indelingen dan Delta Lake.
Unity Catalog haalt mogelijk geen nieuwe partities op die zijn geschreven naar externe tabellen, ondersteund door andere indelingen dan Delta Lake. Databricks raadt aan regelmatig MSCK REPAIR TABLE table_name uit te voeren om ervoor te zorgen dat Unity Catalog alle gegevens heeft geregistreerd die zijn geschreven door externe systemen.
Toegang tot niet-tabellaire gegevens met externe volumes
Databricks raadt aan externe volumes te gebruiken om niet-tabellaire gegevensbestanden op te slaan die naast Azure Databricks worden gelezen of geschreven door externe systemen. Zie Wat zijn Unity Catalog-volumes?
Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op de opslag van cloudobjecten van externe systemen, dus u moet aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.
Volumes bieden API's, SDK's en andere hulpprogramma's voor het ophalen van bestanden uit en het plaatsen van bestanden in volumes. Zie Werken met bestanden in Unity Catalog-volumes.
Notitie
Met Delta Sharing kunt u volumes delen met andere Azure Databricks-accounts, maar het wordt niet geïntegreerd met externe systemen.