Standaardopslag in Databricks

Op deze pagina wordt uitgelegd hoe standaardopslag in Azure Databricks werkt en hoe u catalogi en gegevensobjecten maakt die deze gebruiken.

Wat is standaardopslag?

Standaardopslag is een volledig beheerd objectopslagplatform dat kant-en-klare opslag biedt in uw Azure Databricks-account. Sommige Azure Databricks-functies maken gebruik van standaardopslag als alternatief voor externe opslag.

Serverloze werkruimten maken gebruik van standaardopslag voor interne opslag en werkruimteopslag en voor de standaardcatalogus die wordt gemaakt met de werkruimte. In serverloze werkruimten kunt u extra catalogi maken in de standaardopslag of in uw eigen cloudobjectopslag.

In zowel klassieke werkruimten als serverloze werkruimten wordt standaardopslag gebruikt door functies voor het opslaan van zaken als metagegevens van besturingsvlak, afgeleide gegevens, modellen en andere artefacten. Clean Rooms, Gegevensclassificatie, Anomaliedetectie en Agent Bricks maken bijvoorbeeld allemaal gebruik van de standaardopslag van een werkruimte. Raadpleeg de documentatie voor afzonderlijke functies voor meer informatie over wat elke functie opslaat in de standaardopslag.

Opmerking

Zie Standaardopslagkosten bewaken voor informatie over het bewaken van de standaardopslagkosten in uw account.

Behoeften

• Het maken van catalogi voor standaardopslag is alleen beschikbaar in serverloze werkruimten (openbare preview).
• Catalogussen die gebruikmaken van standaardopslag, zijn standaard alleen toegankelijk vanuit de werkruimte waarin ze worden gemaakt. U kunt andere werkruimten toegang verlenen, inclusief klassieke werkruimten, maar ze moeten serverloze berekeningen gebruiken om toegang te krijgen tot gegevens in de catalogus. Zie Catalogustoegang beperken tot specifieke werkruimten.
• U moet over bevoegdheden beschikken CREATE CATALOG om een catalogus te maken met standaardopslag. Zie Unity Catalog-bevoegdheden en beveiligbare objecten.
• Als uw client het ODBC-stuurprogramma van Azure Databricks gebruikt voor toegang tot een standaardopslagcatalogus achter een firewall, moet u uw firewall configureren om toegang te verlenen tot regionale azure Databricks-opslaggateways. Zie IP-adressen en domeinen voor Azure Databricks-services en -assets voor informatie over IP- en domeinnaamgegevens voor standaardopslag.

Een nieuwe catalogus maken

Voer de volgende stappen uit om een nieuwe catalogus te maken met behulp van standaardopslag:

1. Klik op Catalogus in de zijbalk. Catalogusverkenner wordt weergegeven.
2. Klik op Catalogus maken. Het dialoogvenster Een nieuwe catalogus maken wordt weergegeven.
3. Geef een catalogusnaam op die uniek is in uw account.
4. Selecteer de optie om standaardopslag te gebruiken.
5. Klik op Create.

In serverloze werkruimten kunt u ook de volgende SQL-opdracht gebruiken om een nieuwe catalogus te maken in uw standaardopslag. U hoeft geen locatie voor de catalogus op te geven.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Werken met standaardopslag

Voor alle interacties met standaardopslag is serverloze berekening met Unity Catalog vereist.

Resources die worden ondersteund door standaardopslag, gebruiken hetzelfde bevoegdheidsmodel als andere objecten in Unity Catalog. U moet over voldoende bevoegdheden beschikken om gegevensobjecten te maken, weer te geven, op te vragen of te wijzigen. Zie Unity Catalog-bevoegdheden en beveiligbare objecten.

U werkt met standaardopslag door beheerde tabellen en beheerde volumes te maken en te gebruiken die standaard worden ondersteund door opslag. Zie beheerde tabellen in Unity Catalog in Azure Databricks voor Delta Lake en Apache Iceberg en wat zijn Unity Catalog-volumes?

U kunt Catalog Explorer, notebooks, de SQL-editor en dashboards gebruiken om te communiceren met gegevensobjecten die zijn opgeslagen in de standaardopslag.

Voorbeeldtaken

Hier volgen enkele voorbeelden van taken die u kunt uitvoeren met standaardopslag:

• Lokale bestanden uploaden naar een beheerd volume of om een beheerde tabel te maken. Zie Bestanden uploaden naar een Unity Catalog-volume en een tabel maken of wijzigen met behulp van het uploaden van bestanden.
• Query's uitvoeren op gegevens met notebooks. Zie Zelfstudie: Gegevens opvragen en visualiseren vanuit een notebook.
• Een dashboard maken. Zie Een dashboard maken.
• Query's uitvoeren op gegevens met SQL en SQL-query's plannen. Zie Query's schrijven en gegevens verkennen in de nieuwe SQL-editor.
• Gegevens opnemen van een extern volume naar een beheerde tabel. Zie Auto Loader gebruiken met Unity Catalog.
• Gegevens opnemen in een beheerde tabel met Fivetran. Zie Verbinding maken met Fivetran.
• Gebruik BI-hulpprogramma's om beheerde tabellen te verkennen. Zie Connect Tableau en Azure Databricks en Power BI met Azure Databricks.
• Serverloze notebooks uitvoeren. Zie Serverloze rekenkracht voor notebooks.
• Serverloze taken uitvoeren. Zie Uw Lakeflow-taken uitvoeren met serverloze berekeningen voor werkstromen.
• Model uitvoeren voor eindpunten. Zie Modellen implementeren met behulp van Mosaic AI Model Serving.
• Voer serverloze Lakeflow Spark-declaratieve pijplijnen uit. Zie Een serverloze pijplijn configureren.
• Gebruik voorspellende optimalisatie voor uw tabellen. Zie Voorspellende optimalisatie voor beheerde tabellen in Unity Catalog.

Beperkingen

De volgende beperkingen zijn van toepassing:

• Klassieke berekening (elke berekening die niet serverloos is) kan niet communiceren met gegevensassets in de standaardopslag.
• Delta Sharing biedt ondersteuning voor het delen van tabellen voor elke geadresseerde (open of Azure Databricks) en ontvangers kunnen klassieke berekeningen gebruiken voor toegang tot gedeelde tabellen (bèta). Schakel de functie Delta delen in voor standaardopslag : uitgebreide toegang in uw accountconsole.
  • Deze functie wordt niet ondersteund in de volgende regio's: southcentralus, uksouthen westus2.
  • Alle andere deelbare assets kunnen alleen worden gedeeld met Azure Databricks-ontvangers in dezelfde cloud. Ontvangers moeten serverloze berekeningen gebruiken.
• Tabellen waarvoor partitionering is ingeschakeld, kunnen niet worden gedeeld met Delta.
• Externe IJsberg- en Delta-clients hebben geen rechtstreeks toegang tot de onderliggende metagegevens, manifestlijst en gegevensbestanden voor UC-tabellen in standaardopslag (FileIO-toegang wordt niet ondersteund). BI-hulpprogramma's zoals Power BI en Tableau hebben echter toegang tot Unity Catalog-tabellen in standaardopslag met behulp van ODBC- en JDBC-stuurprogramma's. Externe clients hebben ook toegang tot Unity Catalog-volumes in standaardopslag met behulp van de Files-API.
• Standaardopslag biedt ondersteuning voor externe toegang via Azure Databricks ODBC - en JDBC-stuurprogramma's , waaronder de optimalisatie van de prestaties van cloud fetch van het ODBC-stuurprogramma voor query's via grotere gegevenssets. Als u echter toegang hebt tot een standaardopslagtabel vanuit een werkruimte waarvoor front-end Private Link is ingeschakeld, mislukken uw ODBC-clientquery's die groter zijn dan 100 MB, omdat cloud fetch-optimalisatie voor standaardopslagtabellen momenteel geen ondersteuning biedt voor front-end Private Link.