Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här sidan förklarar hur standardlagring i Azure Databricks fungerar och hur du skapar kataloger och dataobjekt som använder den.
Vad är standardlagring?
Standardlagring är en fullständigt hanterad lagringsplattform för objekt som tillhandahåller lagring som är redo att användas i ditt Azure Databricks-konto. Vissa Azure Databricks-funktioner använder standardlagring som ett alternativ till extern lagring.
Serverlösa arbetsytor använder standardlagring för intern lagring och lagring av arbetsytor och för standardkatalogen som skapas med arbetsytan. På serverlösa arbetsytor kan du skapa ytterligare kataloger i standardlagring eller i din egen molnobjektlagring.
I både klassiska arbetsytor och serverlösa arbetsytor används standardlagring av funktioner för att lagra saker som kontrollplansmetadata, härledda data, modeller och andra artefakter. Till exempel använder Clean Rooms, Data Classification, Anomaly Detection, Knowledge Assistant och automatisk sessionsåterställning för serverlösa notebook-filer alla en arbetsytas standardlagring. Mer information om vad varje funktion lagrar på standardlagring finns i den enskilda funktionsdokumentationen.
Anmärkning
Information om hur du övervakar standardlagringskostnader i ditt konto finns i Övervaka standardlagringskostnader.
Kravspecifikation
- Att skapa kataloger på standardlagring är bara tillgängligt på serverlösa arbetsytor.
- Som standard är kataloger som använder standardlagring endast tillgängliga från arbetsytan där de skapas. Du kan ge andra arbetsytor åtkomst, inklusive klassiska arbetsytor, men de måste använda serverlös beräkning för att komma åt data i katalogen. Se Bindning av arbetsytekatalog.
- Du måste ha
CREATE CATALOGbehörighet att skapa en katalog med standardlagring. Se referens för Unity Catalog-behörigheter. - Om klienten använder Azure Databricks ODBC-drivrutinen för att få åtkomst till en standardlagringskatalog bakom en brandvägg måste du konfigurera brandväggen för att tillåta åtkomst till regionala Azure Databricks-lagringsgatewayer. Information om IP- och domännamn för standardlagring finns i IP-adresser och domäner för Azure Databricks-tjänster och -tillgångar.
Skapa en ny katalog
Slutför följande steg för att skapa en ny katalog med standardlagring:
- Klicka på
Katalog i sidofältet. Katalogutforskaren visas. - Klicka på Skapa katalog. Dialogrutan Skapa en ny katalog visas.
- Ange ett katalognamn som är unikt i ditt konto.
- Välj alternativet Använd standardlagring.
- Klicka på Skapa.
På serverlösa arbetsytor kan du också använda följande SQL-kommando för att skapa en ny katalog i standardlagringen. Du behöver inte ange någon plats för katalogen.
CREATE CATALOG [ IF NOT EXISTS ] catalog_name
[ COMMENT comment ]
Arbeta med standardlagring
Alla interaktioner med standardlagring kräver serverlös, Unity Catalog-aktiverad beräkning.
Resurser som backas upp som standardlagring använder samma behörighetsmodell som andra objekt i Unity Catalog. Du måste ha tillräcklig behörighet för att skapa, visa, fråga eller ändra dataobjekt. Se referens för Unity Catalog-behörigheter.
Du arbetar med standardlagring genom att skapa och interagera med hanterade tabeller och hanterade volymer som backas upp som standardlagring. Se Hanterade tabeller i Unity Catalog för Delta Lake och Apache Iceberg och Vad är Unity Catalog-volymer?.
Du kan använda Catalog Explorer, notebook-filer, SQL-redigeraren och instrumentpaneler för att interagera med dataobjekt som lagras i standardlagringen.
Exempeluppgifter
Följande är exempel på uppgifter som du kan slutföra med standardlagring:
- Ladda upp lokala filer till en hanterad volym eller för att skapa en hanterad tabell. Se Arbeta med filer i Unity Catalog-volymer och Skapa eller ändra en tabell med filuppladdning.
- Fråga efter data med notebook-filer. Se Självstudie: Hämta och visualisera data från en notebook.
- Skapa en instrumentpanel. Se även Skapa en instrumentpanel.
- Fråga efter data med SQL och schemalägga SQL-frågor. Se Skriva frågor och utforska data i den nya SQL-redigeraren.
- Mata in data från en extern volym till en hanterad tabell. Se Användning av automatisk inladdning med Unity Catalog.
- Mata in data till en hanterad tabell med Fivetran. Se Ansluta till Fivetran.
- Använd BI-verktyg för att utforska hanterade tabeller. Se Ansluta Tableau och Azure Databricks och Power BI med Azure Databricks.
- Kör serverlösa notebooks. Se Serverlös beräkning för anteckningsböcker.
- Utför serverlösa jobb Se Köra lakeflow-jobb med serverlös beräkning för arbetsflöden.
- Kör modell som betjänar slutpunkter. Se Distribuera modeller med modellservering.
- Kör serverlösa Lakeflow-pipelines. Se Konfigurera en serverlös pipeline.
- Använd förutsägelseoptimering på dina tabeller. Se Förutsägande optimering för hanterade Unity Catalog-tabeller.
Lagringslivscykel efter att ett objekt har släppts
När du tar bort en hanterad tabell eller volym som använder standardlagring behålls datafilerna för att möjliggöra ett 7-dagars återställningsfönster. När återställningsfönstret är slut tas datafilerna bort permanent (rensas) inom 48 timmar. Lagringsfakturering fortsätter under återställningsfönstret och stoppas när återställningsfönstret är slut. Mer information om datafilens livscykel, fakturering och återställningsalternativ finns i Livscykel för objektlagring i Unity Catalog.
Begränsningar
Följande begränsningar gäller:
- Klassisk beräkning (alla beräkningar som inte är serverlösa) kan inte interagera med datatillgångar i standardlagringen.
- OpenSharing stöder delning av tabeller till alla mottagare – öppna eller Azure Databricks – och mottagarna kan använda klassisk beräkning för att få åtkomst till delade tabeller (offentlig förhandsversion). Aktivera funktionen OpenSharing för standardlagring – utökad åtkomst i kontokonsolen.
- Den här funktionen stöds inte i följande regioner:
southcentralus,uksouthochwestus2.
- Alla andra delningsbara tillgångar kan bara delas med Azure Databricks mottagare i samma moln. Mottagarna måste använda serverlös beräkning.
- Den här funktionen stöds inte i följande regioner:
- Det går inte att öppna delade tabeller med partitionering aktiverat.
- Externa Iceberg- och Delta-klienter kan inte direkt komma åt underliggande metadata, manifestlistor och datafiler för UC-tabeller på standardlagring (FileIO-åtkomst stöds inte). BI-verktyg som Power BI och Tableau kan dock komma åt Unity Catalog-tabeller på standardlagring med ODBC- och JDBC-drivrutiner. Externa klienter kan också komma åt Unity Catalog-volymer på standardlagring med hjälp av Files-API:et.
- Standardlagring stöder extern åtkomst via Azure Databricks ODBC - och JDBC-drivrutiner , inklusive ODBC-drivrutinens Cloud Fetch-prestandaoptimering för frågor över större datamängder. Men om du har åtkomst till en standardlagringstabell från en arbetsyta som har klientdel Private Link aktiverad, misslyckas dina ODBC-klientfrågor som returnerar resultat som är större än cirka 5 MiB eftersom Cloud Fetch-optimeringen för standardlagringstabeller för närvarande inte stöder klientdels-Private Link.
- Utfärdande av autentiseringsuppgifter stöds inte, till exempel när externa system ansluter till Unity REST API eller Iceberg REST-katalogen. Se distribution av autentiseringsuppgifter för Unity Catalog för extern systemåtkomst.