Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tato stránka vysvětluje, jak funguje výchozí úložiště v Azure Databricks a jak vytvořit katalogy a datové objekty, které ho používají.
Co je výchozí úložiště?
Výchozí úložiště je plně spravovaná platforma úložiště objektů, která poskytuje úložiště připravené k použití ve vašem účtu Azure Databricks. Některé funkce Azure Databricks používají výchozí úložiště jako alternativu k externímu úložišti.
Bezserverové pracovní prostory používají výchozí úložiště pro interní úložiště a úložiště pracovních prostorů a pro výchozí katalog, který se vytvoří s pracovním prostorem. V bezserverových pracovních prostorech můžete vytvořit další katalogy buď ve výchozím úložišti, nebo ve vlastním cloudovém úložišti objektů.
V klasických pracovních prostorech i bezserverových pracovních prostorech se výchozí úložiště používá k ukládání věcí, jako jsou metadata řídicí roviny, odvozená data, modely a další artefakty. Například čisté místnosti, klasifikace dat, detekce anomálií, Pomocník pro znalostní bázi a automatizované obnovení relací pro bezserverové poznámkové bloky používají výchozí úložiště pracovního prostoru. Podrobnosti o tom, co jednotlivé funkce ukládají ve výchozím úložišti, najdete v dokumentaci k jednotlivým funkcím.
Poznámka:
Informace o monitorování výchozích nákladů na úložiště ve vašem účtu najdete v tématu Monitorování výchozích nákladů na úložiště.
Požadavky
- Vytváření katalogů ve výchozím úložišti je dostupné jenom v bezserverových pracovních prostorech.
- Ve výchozím nastavení jsou katalogy, které používají výchozí úložiště, přístupné pouze z pracovního prostoru, ve kterém jsou vytvořeny. Jiným pracovním prostorům můžete udělit přístup, včetně klasických pracovních prostorů, ale pro přístup k datům v katalogu musí používat bezserverové výpočetní prostředky. Viz vazby katalogu pracovních prostorů.
- Abyste mohli vytvořit katalog s výchozím úložištěm, musíte mít
CREATE CATALOGoprávnění. Viz referenční informace k oprávněním katalogu Unity. - Pokud váš klient používá ovladač ODBC Azure Databricks pro přístup k výchozímu katalogu úložiště za bránou firewall, musíte bránu firewall nakonfigurovat tak, aby umožňovala přístup k bránám regionálního úložiště Azure Databricks. Podrobnosti o IP adrese a názvu domény pro výchozí úložiště najdete v tématu IP adresy a domény pro služby a prostředky Azure Databricks.
Vytvoření nového katalogu
Pomocí následujících kroků vytvořte nový katalog pomocí výchozího úložiště:
- Klikněte na
Katalog na bočním panelu Zobrazí se Průzkumník katalogu. - Klikněte na Vytvořit katalog. Zobrazí se dialogové okno Vytvořit nový katalog .
- Zadejte název katalogu , který je ve vašem účtu jedinečný.
- Vyberte možnost Použít výchozí úložiště.
- Klikněte na Vytvořit.
V bezserverových pracovních prostorech můžete k vytvoření nového katalogu ve výchozím úložišti použít také následující příkaz SQL. Nemusíte zadávat umístění katalogu.
CREATE CATALOG [ IF NOT EXISTS ] catalog_name
[ COMMENT comment ]
Práce s nastaveným výchozím úložištěm
Všechny interakce s výchozím úložištěm vyžadují výpočetní prostředky s podporou katalogu Unity bez serveru.
Prostředky zálohované ve výchozím nastavení používají stejný model oprávnění jako jiné objekty v katalogu Unity. Musíte mít dostatečná oprávnění k vytvoření, zobrazení, dotazování nebo úpravě datových objektů. Viz referenční informace k oprávněním katalogu Unity.
S výchozím úložištěm pracujete tak, že vytváříte a spravujete tabulky a svazky podporované výchozím úložištěm. Podívejte se na spravované tabulky Katalogu Unity pro Delta Lake a Apache Iceberg a Co jsou svazky katalogu Unity?
K interakci s datovými objekty uloženými ve výchozím úložišti můžete použít Průzkumníka katalogu, poznámkové bloky, editor SQL a řídicí panely.
Ukázkové úkoly
Tady jsou příklady úloh, které můžete dokončit s výchozím úložištěm:
- Nahrajte místní soubory do spravovaného svazku nebo vytvořte spravovanou tabulku. Viz Práce se soubory ve svazcích katalogu Unity a vytvoření nebo úprava tabulky pomocí nahrání souboru.
- Dotazování dat pomocí notebooků Viz kurz: Dotazování a vizualizace dat z poznámkového bloku
- Vytvoření řídicího panelu Viz Vytvoření řídicího panelu.
- Dotazování dat pomocí SQL a plánování dotazů SQL Viz Psaní dotazů a zkoumání dat v novém editoru SQL.
- Ingestování dat z externího svazku do spravované tabulky Viz Použití automatického zavaděče s katalogem Unity.
- Ingestování dat do spravované tabulky pomocí aplikace Fivetran Viz Připojení k Fivetranu.
- Použití nástrojů BI k prozkoumání spravovaných tabulek Viz Připojení Tableau a Azure Databricks a Power BI pomocí Azure Databricks.
- Spusťte bezserverové poznámkové bloky. Viz Bezserverové výpočty pro notebooky.
- Spusťte bezserverové úlohy. Podívejte se na Spouštění úloh Lakeflow pomocí bezserverových výpočetních prostředků pro pracovní postupy.
- Spusťte model obsluhující koncové body. Viz Nasazení modelů pomocí služby Model Serving.
- Spouštějte bezserverové deklarativní pipeliny Lakeflow Spark. Viz Konfigurace bezserverového kanálu.
- Používejte prediktivní optimalizaci v tabulkách. Viz prediktivní optimalizaci pro spravované tabulky v katalogu Unity .
Životní cyklus úložiště po vyřazení objektu
Když odstraníte spravovanou tabulku nebo svazek, který používá výchozí úložiště, datové soubory se zachovají, aby se povolilo 7denní období obnovení. Po skončení okna obnovení se datové soubory trvale odstraní (vyprázdní) do 48 hodin. Účtování za úložiště pokračuje po dobu období obnovy a skončí, jakmile toto období uplyne. Podrobnosti o životním cyklu datového souboru, fakturaci a možnostech obnovení najdete v tématu Životní cyklus úložiště objektů v katalogu Unity.
Omezení
Platí následující omezení:
- Klasické výpočetní prostředky (jakékoli výpočetní prostředky, které nejsou bez serveru) nemůžou pracovat s datovými prostředky ve výchozím úložišti.
- OpenSharing podporuje sdílení tabulek libovolnému příjemci – otevřenému nebo Azure Databricks – a příjemci můžou pro přístup ke sdíleným tabulkám používat klasické výpočetní prostředky (Beta). Povolte funkci OpenSharing pro výchozí úložiště – rozšířeného přístupu v konzole účtu.
- Tato funkce není podporována v následujících oblastech:
southcentralus,uksouthawestus2.
- Všechny ostatní sdílitelné prostředky lze otevřeně sdílet pouze s příjemci Azure Databricks ve stejném cloudovém prostředí. Příjemci musí používat bezserverové výpočetní prostředky.
- Tato funkce není podporována v následujících oblastech:
- Tabulky s povoleným dělením nelze otevřít.
- Externí klienti Iceberg a Delta nemají přímý přístup k podkladovým metadatům, seznamu manifestů a datovým souborům pro tabulky UC ve výchozím úložišti (přístup FileIO se nepodporuje). Nástroje BI, jako jsou Power BI a Tableau, ale mají přístup k tabulkám katalogu Unity ve výchozím úložišti pomocí ovladačů ODBC a JDBC. Externí klienti mají také přístup ke svazkům katalogu Unity ve výchozím úložišti pomocí rozhraní Files API.
- Výchozí úložiště podporuje externí přístup prostřednictvím ovladačů ODBC a JDBC Azure Databricks, včetně optimalizace výkonu Cloud Fetch ovladače ODBC pro dotazy nad většími datovými sadami. Pokud ale přistupujete k výchozí tabulce úložiště z pracovního prostoru s povoleným front-endovým Private Link, klientské dotazy ODBC, které vrací výsledky větší než přibližně 5 MiB, selžou, protože optimalizace načítání cloudu pro výchozí tabulky úložiště v současné době nepodporuje front-endové Private Link.
- Poskytování přihlašovacích údajů není podporováno, například když se externí systémy připojují k rozhraní REST API Unity nebo katalogu REST Iceberg. Podívejte se na poskytování přihlašovacích údajů v katalogu Unity pro přístup k externím systémům.