Alapértelmezett tárolás a Databricksben

Ez a lap bemutatja, hogyan működik az Azure Databricks alapértelmezett tárolója, és hogyan hozhat létre katalógusokat és adatobjektumokat, amelyek ezt használják.

Mi az alapértelmezett tároló?

Az alapértelmezett tárolás egy teljes mértékben felügyelt objektumtárolási platform, amely használatra kész tárterületet biztosít az Azure Databricks-fiókban. Egyes Azure Databricks-funkciók az alapértelmezett tárolást használják a külső tárolás alternatívaként.

A kiszolgáló nélküli munkaterületek az alapértelmezett tárolót használják a belső és a munkaterületi tárolóhoz, valamint a munkaterülettel létrehozott alapértelmezett katalógushoz. Kiszolgáló nélküli munkaterületeken további katalógusokat hozhat létre az alapértelmezett tárolóban vagy a saját felhőalapú objektumtárolójában.

A klasszikus munkaterületeken és a kiszolgáló nélküli munkaterületeken az alapértelmezett tárterületet olyan funkciók használják, mint a vezérlősík metaadatai, a származtatott adatok, a modellek és más összetevők. Például a tiszta szobák, az adatbesorolás, az anomáliadetektálás, a Tudássegéd és a kiszolgáló nélküli jegyzetfüzetek automatizált munkamenet-visszaállítása mind a munkaterület alapértelmezett tárolóját használják. Az egyes funkciók dokumentációjában részletesen tájékozódhat arról, hogy az egyes funkciók mit tárolnak az alapértelmezett tárolóban.

Megjegyzés:

A fiók alapértelmezett tárolási költségeinek monitorozásáról további információt az alapértelmezett tárolási költségek monitorozása című témakörben talál.

Követelmények

• Katalógusok létrehozása az alapértelmezett tárolóban csak kiszolgáló nélküli munkaterületeken érhető el.
• Alapértelmezés szerint az alapértelmezett tárterületet használó katalógusok csak azon a munkaterületen érhetők el, ahol létrehozták őket. Más munkaterületekhez is hozzáférést adhat, beleértve a klasszikus munkaterületeket is, de kiszolgáló nélküli számítást kell használniuk a katalógus adatainak eléréséhez. Lásd a Munkaterület-katalógus kötését.
• Az alapértelmezett tárterülettel rendelkező katalógus létrehozásához jogosultságokkal kell rendelkeznie CREATE CATALOG . Lásd a Unity Catalog jogosultságok referencia részt.
• Ha az ügyfél az Azure Databricks ODBC-illesztőprogramot használja egy alapértelmezett tárkatalógus tűzfal mögötti eléréséhez, a tűzfalat úgy kell konfigurálnia, hogy engedélyezze az Azure Databricks regionális tárolóátjáróihoz való hozzáférést. Az alapértelmezett tárolás IP- és tartománynevének részleteiért tekintse meg az Azure Databricks-szolgáltatások és -eszközök IP-címeit és tartományait.

Új katalógus létrehozása

Az új katalógus alapértelmezett tárolóval történő létrehozásához hajtsa végre az alábbi lépéseket:

1. Kattintson Katalógus az oldalsávon. Megjelenik a Katalóguskezelő.
2. Kattintson a Katalógus létrehozásaelemre. Megjelenik az Új katalógus létrehozása párbeszédpanel.
3. Adjon meg egy egyedi katalógusnevet a fiókjában.
4. Válassza az alapértelmezett tárterület használata lehetőséget.
5. Kattintson a Létrehozás gombra.

Kiszolgáló nélküli munkaterületeken az alábbi SQL-paranccsal is létrehozhat egy új katalógust az alapértelmezett tárolóban. Nem kell megadnia a katalógus helyét.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Az alapértelmezett tárterület használata

Az alapértelmezett tárterülettel való minden interakció kiszolgáló nélküli, Unity-katalógus-kompatibilis számítást igényel.

Az alapértelmezett tárterület által támogatott erőforrások ugyanazt a jogosultsági modellt használják, mint a Unity Catalog más objektumai. Az adatobjektumok létrehozásához, megtekintéséhez, lekérdezéséhez vagy módosításához elegendő jogosultsággal kell rendelkeznie. Lásd a Unity Catalog jogosultságok referencia részt.

Az alapértelmezett tárterülettel úgy dolgozhat, hogy felügyelt táblákat és felügyelt köteteket hoz létre és kezel, amelyek az alapértelmezett tárolón alapulnak. Tekintse meg a Unity Catalog által felügyelt táblákat a Delta Lake-ben és az Apache Icebergben és mik azok a Unity Catalog-kötetek.

A Katalóguskezelő, a jegyzetfüzetek, az SQL-szerkesztő és az irányítópultok használatával kezelheti az alapértelmezett tárolóban tárolt adatobjektumokat.

Példa feladatok

Az alábbi példák az alapértelmezett tárterülettel elvégezhető feladatokra mutatnak be példákat:

• Töltsön fel helyi fájlokat egy felügyelt kötetbe, vagy hozzon létre egy felügyelt táblát. Lásd: Fájlok használata Unity-katalóguskötetekben , valamint tábla létrehozása vagy módosítása fájlfeltöltéssel.
• Adatok lekérdezése jegyzetfüzetekkel. Lásd az oktatóanyagot: Adatok lekérdezése és vizualizációja jegyzetfüzetből.
• Irányítópult létrehozása. Lásd: Irányítópult létrehozása.
• Adatok lekérdezése SQL-lel és SQL-lekérdezések ütemezése. Lásd : Lekérdezések írása és adatok feltárása az új SQL-szerkesztőben.
• Adatok betöltése külső kötetből felügyelt táblába. Lásd : Az automatikus betöltő használata a Unity Katalógussal.
• Adatok betöltése felügyelt táblába a Fivetran használatával. Lásd: Csatlakozás a Fivetranhez.
• BI eszközökkel kezelhető táblázatokat vizsgálhat meg. Tekintse meg a Tableau és az Azure Databricks csatlakoztatását, illetve a Power BI és az Azure Databricks csatlakoztatását.
• Kiszolgáló nélküli jegyzetfüzetek futtatása. Tekintse meg a jegyzetfüzetek kiszolgáló nélküli számítását.
• Kiszolgáló nélküli feladatok futtatása. Lásd : A Lakeflow-feladatok futtatása kiszolgáló nélküli számítással munkafolyamatokhoz.
• Futtassa a végpontokat kiszolgáló modellt. Lásd: Modellek üzembe helyezése a modellkiszolgáló használatával.
• Kiszolgáló nélküli Lakeflow-folyamatok futtatása. Lásd : Kiszolgáló nélküli folyamat konfigurálása.
• Használjon prediktív optimalizálást a táblákon. Lásd: A Unity Catalog által felügyelt táblák prediktív optimalizálása.

Tárolási életciklus egy objektum elvetése után

Ha olyan felügyelt táblát vagy kötetet töröl, amely alapértelmezett tárterületet használ, az adatfájlok megmaradnak, hogy lehetővé tegyék a 7 napos helyreállítási időszakot. A helyreállítási időszak befejeződése után az adatfájlok 48 órán belül véglegesen törlődnek (törlődnek). A tárterület számlázása a helyreállítási időszak alatt folytatódik, és a helyreállítási időszak végén leáll. Az adatfájl életciklusával, a számlázással és a helyreállítási lehetőségekkel kapcsolatos részletekért tekintse meg a Unity Katalógus objektumtárolási életciklusát.

Korlátozások

A következő korlátozások érvényesek:

• A klasszikus számítás (bármely olyan számítás, amely nem kiszolgáló nélküli) nem tud az alapértelmezett tárolóban lévő adategységekkel együttműködni.
• Az OpenSharing támogatja a táblák megosztását bármely címzettnek (nyílt vagy Azure Databricks), és a címzettek klasszikus számítást használhatnak a megosztott táblákhoz.
  • Ez a funkció a következő régiókban nem támogatott: southcentralus, uksouthés westus2.
  • Minden más megosztható eszköz csak ugyanazon a felhőben Azure Databricks címzettekkel nyitható meg. A címzetteknek kiszolgáló nélküli számítást kell használniuk.
• A particionálás engedélyezett táblái nem oszthatók meg.
• A külső Iceberg- és Delta-ügyfelek nem férhetnek hozzá közvetlenül az alapértelmezett tárolóban lévő UC-táblák mögöttes metaadataihoz, jegyzéklistájához és adatfájljaihoz (a FileIO-hozzáférés nem támogatott). Az olyan BI-eszközök, mint a Power BI és a Tableau, azonban ODBC- és JDBC-illesztőprogramok használatával hozzáférhetnek a Unity Catalog-táblákhoz az alapértelmezett tárolóban. A külső ügyfelek az alapértelmezett tárolóban lévő Unity Catalog-köteteket is elérhetik a Files API használatával.
• Az alapértelmezett tároló az Azure Databricks ODBC - és JDBC-illesztőprogramokon keresztül támogatja a külső hozzáférést, beleértve az ODBC-illesztőprogram Cloud Fetch-teljesítményoptimalizálását a nagyobb adathalmazokon keresztüli lekérdezésekhez. Ha azonban egy olyan munkaterületről éri el az alapértelmezett tárolótáblát, amely engedélyezve van az előtérbeli Private Link, a körülbelül 5 MiB-nél nagyobb eredményeket visszaadó ODBC-ügyféllekérdezések sikertelenek lesznek, mert az alapértelmezett tárolótáblák felhőbeolvasási optimalizálása jelenleg nem támogatja az előtérbeli Private Link.
• A hitelesítő adatok kiosztása nem támogatott funkció, például amikor külső rendszerek csatlakoznak a Unity REST API-hoz vagy az Iceberg REST-katalógushoz. Lásd: Unity Catalog hitelesítő adatok kiosztása külső rendszer-hozzáféréshez.