Beheerde versus externe volumes

In dit artikel worden de verschillen besproken tussen beheerde volumes en externe volumes en de redenen waarom u ervoor kunt kiezen om externe volumes te gebruiken. Databricks raadt beheerde volumes aan als de eenvoudigste oplossing voor het opslaan en beheren van toegang tot niet-tabellaire gegevens.

Zie Verbinding maken met opslag van cloudobjecten en -services met behulp van Unity Catalog voor meer informatie over het gebruik van Unity Catalog voor het configureren van toegang tot cloudobjectopslag.

Gedragsverschillen tussen beheerde en externe volumes

Beheerde en externe volumes bieden bijna identieke ervaringen bij het gebruik van Azure Databricks-hulpprogramma's, API's en API's. Hier volgen de verschillen tussen deze volumetypen.

Beheerde volumes bieden een volledig beheerde opslagervaring. Dit betekent het volgende:

• Alle interacties met bestanden in beheerde volumes moeten via Unity Catalog worden uitgevoerd.
• Naamgeving en gegevensindeling van mappen worden beheerd door Unity Catalog. Mapnamen bevatten hashes om conflicten in onderliggende opslagaccounts voor cloudobjecten te voorkomen.
• Wanneer u een beheerd volume neerzet, verwijdert Azure Databricks de onderliggende gegevens binnen 30 dagen.

Externe volumes brengen gegevensbeheer naar cloudobjectopslag. Dit betekent het volgende:

• U kunt cloud-URI's gebruiken in Azure Databricks of externe systemen om te communiceren met bestanden in externe volumes.
• Alle mappen die zijn gemaakt binnen een extern volume of bestanden die zijn geüpload, zijn relatief ten opzichte van de opgegeven bij het LOCATION maken.
• Wanneer u een extern volume neerzet, verwijdert u het volume uit Unity Catalog, maar blijven de onderliggende gegevens ongewijzigd op de externe locatie.

Waarom externe volumes gebruiken?

Met externe volumes kunt u Unity Catalog-gegevensbeheer toevoegen aan bestaande mappen voor cloudobjectopslag. Enkele gebruiksvoorbeelden voor externe volumes zijn onder andere:

• Governance toevoegen aan gegevensbestanden zonder migratie.
• Bestanden beheren die worden geproduceerd door andere systemen die moeten worden opgenomen of geopend door Azure Databricks.
• Gegevens beheren die worden geproduceerd door Azure Databricks die rechtstreeks vanuit de opslag van cloudobjecten door andere systemen moeten worden geopend.

Databricks raadt aan externe volumes te gebruiken om niet-tabellaire gegevensbestanden op te slaan die naast Azure Databricks worden gelezen of geschreven door externe systemen. Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op de opslag van cloudobjecten van externe systemen, dus u moet aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.