Förinställd lagring i Databricks

Den här sidan förklarar hur standardlagring i Azure Databricks fungerar och hur du skapar kataloger och dataobjekt som använder den.

Vad är standardlagring?

Standardlagring är en fullständigt hanterad lagringsplattform för objekt som tillhandahåller lagring som är redo att användas i ditt Azure Databricks-konto. Vissa Azure Databricks-funktioner använder standardlagring som ett alternativ till extern lagring.

Serverlösa arbetsytor använder standardlagring för intern lagring och lagring av arbetsytor och för standardkatalogen som skapas med arbetsytan. På serverlösa arbetsytor kan du skapa ytterligare kataloger i standardlagring eller i din egen molnobjektlagring.

I både klassiska arbetsytor och serverlösa arbetsytor används standardlagring av funktioner för att lagra saker som kontrollplansmetadata, härledda data, modeller och andra artefakter. Till exempel använder Clean Rooms, Data Classification, Anomaly Detection och Agent Bricks alla en arbetsytas standardlagring. Mer information om vad varje funktion lagrar på standardlagring finns i den enskilda funktionsdokumentationen.

Kravspecifikation

• Att skapa kataloger på standardlagring är bara tillgängligt på serverlösa arbetsytor (offentlig förhandsversion).
• Som standard är kataloger som använder standardlagring endast tillgängliga från arbetsytan där de skapas. Du kan ge andra arbetsytor åtkomst, inklusive klassiska arbetsytor, men de måste använda serverlös beräkning för att komma åt data i katalogen. Se Begränsa katalogåtkomst till specifika arbetsytor.
• Du måste ha CREATE CATALOG behörighet att skapa en katalog med standardlagring. Se Behörigheter och skyddsbara objekt i Unity Catalog.
• Om klienten använder Azure Databricks ODBC-drivrutinen för att få åtkomst till en standardlagringskatalog bakom en brandvägg måste du konfigurera brandväggen för att tillåta åtkomst till regionala Azure Databricks-lagringsgatewayer. Information om IP- och domännamn för standardlagring finns i IP-adresser och domäner för Azure Databricks-tjänster och -tillgångar.

Skapa en ny katalog

Slutför följande steg för att skapa en ny katalog med standardlagring:

1. Klicka på Katalog i sidofältet. Katalogutforskaren visas.
2. Klicka på Skapa katalog. Dialogrutan Skapa en ny katalog visas.
3. Ange ett katalognamn som är unikt i ditt konto.
4. Välj alternativet Använd standardlagring.
5. Klicka på Skapa.

På serverlösa arbetsytor kan du också använda följande SQL-kommando för att skapa en ny katalog i standardlagringen. Du behöver inte ange någon plats för katalogen.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Arbeta med standardlagring

Alla interaktioner med standardlagring kräver serverlös, Unity Catalog-aktiverad beräkning.

Resurser som backas upp som standardlagring använder samma behörighetsmodell som andra objekt i Unity Catalog. Du måste ha tillräcklig behörighet för att skapa, visa, fråga eller ändra dataobjekt. Se Behörigheter och skyddsbara objekt i Unity Catalog.

Du arbetar med standardlagring genom att skapa och interagera med hanterade tabeller och hanterade volymer som backas upp som standardlagring. Se Unity Catalog-hanterade tabeller i Azure Databricks för Delta Lake och Apache Iceberg och Vad är Unity Catalogvolymer?.

Du kan använda Catalog Explorer, notebook-filer, SQL-redigeraren och instrumentpaneler för att interagera med dataobjekt som lagras i standardlagringen.

Exempeluppgifter

Följande är exempel på uppgifter som du kan slutföra med standardlagring:

• Ladda upp lokala filer till en hanterad volym eller för att skapa en hanterad tabell. Se Ladda upp filer till en Unity Catalog-volym och Skapa eller ändra en tabell med filuppladdning.
• Fråga efter data med notebook-filer. Se Självstudie: Hämta och visualisera data från en notebook.
• Skapa en instrumentpanel. Se även Skapa en instrumentpanel.
• Fråga efter data med SQL och schemalägga SQL-frågor. Se Skriva frågor och utforska data i den nya SQL-redigeraren.
• Mata in data från en extern volym till en hanterad tabell. Se Användning av automatisk inladdning med Unity Catalog.
• Mata in data till en hanterad tabell med Fivetran. Se Ansluta till Fivetran.
• Använd BI-verktyg för att utforska hanterade tabeller. Se Ansluta Tableau och Azure Databricks och Power BI med Azure Databricks.
• Kör serverlösa notebooks. Se Serverlös beräkning för anteckningsböcker.
• Utför serverlösa jobb Se Köra lakeflow-jobb med serverlös beräkning för arbetsflöden.
• Kör modell som betjänar slutpunkter. Se Distribuera modeller med hjälp av Mosaic AI Model Serving.
• Kör serverlösa Lakeflow Spark-pipelines med deklarativt angreppssätt. Se Konfigurera en serverlös pipeline.
• Använd förutsägelseoptimering på dina tabeller. Se Förutsägande optimering för hanterade Unity Catalog-tabeller.

Begränsningar

Följande begränsningar gäller:

• Klassisk beräkning (alla beräkningar som inte är serverlösa) kan inte interagera med datatillgångar i standardlagringen.
• Deltadelning stöder delning av tabeller till alla mottagare – öppna eller Azure Databricks – och mottagarna kan använda klassisk beräkning för att få åtkomst till delade tabeller (Beta). Aktivera deltadelning för standardlagring – utökad åtkomst i kontokonsolen.
  • Den här funktionen stöds inte i följande regioner: southcentralus, uksouthoch westus2.
  • Alla andra delbara tillgångar kan bara delas med Azure Databricks-mottagare i samma moln. Mottagarna måste använda serverlös beräkning.
• Tabeller med partitionering aktiverat kan inte delas med Delta.
• Externa Iceberg- och Delta-klienter kan inte direkt komma åt underliggande metadata, manifestlistor och datafiler för UC-tabeller på standardlagring (FileIO-åtkomst stöds inte). BI-verktyg som Power BI och Tableau kan dock komma åt Unity Catalog-tabeller på standardlagring med ODBC- och JDBC-drivrutiner. Externa klienter kan också komma åt Unity Catalog-volymer på standardlagring med hjälp av Files-API:et.
• Standardlagring stöder extern åtkomst via Azure Databricks ODBC - och JDBC-drivrutiner , inklusive ODBC-drivrutinens Cloud Fetch-prestandaoptimering för frågor över större datamängder. Men om du har åtkomst till en standardlagringstabell från en arbetsyta som har private link på klientsidan aktiverad, misslyckas dina ODBC-klientfrågor som är större än 100 MB eftersom Cloud Fetch-optimeringen för standardlagringstabeller för närvarande inte stöder Private Link i klientdelen.