Toegang krijgen tot gematerialiseerde weergaven en streamingtabellen via externe systemen

Gerealiseerde weergaven en streamingtabellen zijn standaard niet beschikbaar voor toegang vanaf externe systemen. Azure Databricks biedt twee functies waarmee u uw gegevenssets beschikbaar kunt maken voor Delta Lake- of Iceberg-clients:

  • Externe gegevenstoegang (openbare preview): als u externe gegevenstoegang inschakelt voor pijplijngegevenssets, maakt u een kopie van de metagegevens voor de gegevensset waarmee clients de Unity Catalog- of Iceberg REST API's kunnen gebruiken, zonder dat hiervoor een volledig gegevenskopie- of afzonderlijk vernieuwingsschema is vereist. De clients moeten de REST API's van de catalogus gebruiken en moeten Delta 4.0.0 of hoger ondersteunen, of de Iceberg v3-specificatie.

    Zie Externe gegevenstoegang inschakelen voor streamingtabellen en gerealiseerde weergaven voor meer informatie over externe gegevenstoegang voor pijplijngegevenssets.

  • Compatibiliteitsmodus (openbare preview): als u de compatibiliteitsmodus inschakelt voor een gegevensset, wordt een alleen-lezen versie van uw gegevens gegenereerd op een gekozen locatie, die moet worden bijgewerkt wanneer de tabellen worden vernieuwd. De compatibiliteitsversie bevat v1-metagegevens voor zowel Delta Lake- als Iceberg-indelingen, samen met de alleen-lezen kopie van de gegevens, waardoor toegang mogelijk is voor een breder scala aan clients (inclusief clients die de tabelgegevens rechtstreeks moeten lezen, in plaats van via een API) ten koste van vertraging bij gegevensupdates en kosten voor het kopiëren van gegevens.

    Zie de compatibiliteitsmodus voor meer informatie over de compatibiliteitsmodus.

Als uw externe clients ondersteuning bieden voor de REST API's, wordt Azure Databricks aangeraden externe gegevenstoegang te gebruiken om deze clients toegang te geven tot gerealiseerde weergaven of streamingtabellen. Gebruik de compatibiliteitsmodus voor een breder scala aan clients, met name oudere clients en andere door Unity Catalog beheerde tabellen.

Vermogen Toegang tot externe gegevens Compatibiliteitsmodus
Gegevens kopiëren Er is geen gegevenskopie vereist. Het kopiëren van gegevens is vereist.
Consistency Lees-na-schrijfconsistentie. Externe clients zien wijzigingen zodra ze plaatsvinden in de gegevensset. Updates worden volgens een schema uitgevoerd. De compatibiliteitstabel wordt standaard elk uur bijgewerkt. Dit kan worden ingesteld om direct na een wijziging in de brontabel bij te werken, maar deze wordt nog steeds vertraagd door de tijd voor het kopiëren van gegevens.
Toegang Vereist 'moderne' REST API-toegang. Ondersteunt Delta 4.0.0 of hoger catalogus-API's of Specificatie-API's van Iceberg v3 (hiervoor is ondersteuning van verwijderingsvectoren vereist). Compatibel met alle Delta Lake- of Iceberg-clients.
Enkel tabelobject Gerealiseerde weergaven en streamingtabellen worden weergegeven als beheerde tabellen met dezelfde naam als de oorspronkelijke gegevensset voor de externe clients. Compatibiliteitstabellen worden weergegeven als een nieuwe tabel op een nieuwe locatie voor de externe clients.
Ondersteuning voor tabeltypen Ondersteunt gematerialiseerde weergaven en streamingtabellen die door een Lakeflow-pipeline worden beheerd. Ondersteunt gerealiseerde weergaven en streamingtabellen, ongeacht of deze worden beheerd door een Lakeflow-pijplijn of zelfstandig, en andere beheerde tabellen van Unity Catalog.
Cost De kosten voor het onderhouden van de externe metagegevens maken deel uit van de vernieuwingskosten voor de gerealiseerde weergave of streamingtabel. Dit is over het algemeen minder dan 1% van de kosten en tijd voor het vernieuwen. De meeste kosten voor de compatibiliteitsmodus zijn de kosten voor het overdragen van de verouderde gegevens naar de nieuwe locatie.

Aanvullende bronnen