Mi az a Delta-megosztás?
Ez a cikk bemutatja a Delta Sharingt az Azure Databricksben, a biztonságos adatmegosztási platformon, amellyel adatokat és AI-eszközöket oszthat meg az Azure Databricksben a szervezeten kívüli felhasználókkal, függetlenül attól, hogy ezek a felhasználók használják-e a Databrickset. A Delta Sharing a Databricks Marketplace alapja is, amely egy nyílt fórum az adattermékek cseréjéhez, valamint a Clean Rooms, egy biztonságos és adatvédelemmel foglalkozó környezet, ahol több fél is együttműködhet a bizalmas vállalati adatokon.
A Delta-megosztás nyílt forráskódú projektként is elérhető, amellyel más platformokról is megoszthatja a Delta-táblákat.
Feljegyzés
Ha szeretné megtudni, hogyan érheti el az Önnel a Delta Sharing használatával megosztott adatokat, olvassa el a Delta Sharing használatával (a címzettek számára) megosztott Adatok elérése című témakört.
Hogyan működik a Delta Sharing?
A Delta Sharing egy nyílt protokoll , amelyet a Databricks fejlesztett ki a más szervezetekkel való biztonságos adatmegosztáshoz, függetlenül attól, hogy milyen számítási platformokat használnak.
Az adatok megosztásának három módja van a Delta Sharing használatával:
A Databricks-to-Databricks megosztóprotokoll, amellyel adatokat és AI-objektumokat oszthat meg a Unity Catalog-kompatibilis munkaterületről olyan felhasználókkal, akik szintén hozzáférnek egy Unity Catalog-kompatibilis Databricks-munkaterülethez.
Ez a megközelítés az Azure Databricksbe beépített Delta Sharing-kiszolgálót használja. Olyan Delta-megosztási funkciókat támogat, amelyek nem szerepelnek a többi protokollban, beleértve a jegyzetfüzet-megosztást, a Unity Catalog mennyiségi megosztását, a Unity Catalog AI-modell megosztását, a Unity Catalog adatszabályozását, a naplózást és a használatkövetést mind a szolgáltatók, mind a címzettek számára. A Unity Catalog integrációja leegyszerűsíti a szolgáltatók és a címzettek beállítását és szabályozását, és javítja a teljesítményt.
A Databricks nyílt megosztási protokollja lehetővé teszi a Unity Catalog-kompatibilis Databricks-munkaterületen kezelt táblázatos adatok megosztását bármely számítási platform felhasználóival.
Ez a megközelítés az Azure Databricksbe beépített Delta Sharing-kiszolgálót használja, amely akkor hasznos, ha a Unity Catalog használatával kezeli az adatokat, és meg szeretné osztani azokat olyan felhasználókkal, akik nem használják a Databricks szolgáltatást, vagy nem rendelkeznek hozzáféréssel a Unity Catalog-kompatibilis Databricks-munkaterületekhez. A Unity Catalog szolgáltatói oldallal való integrációja leegyszerűsíti a szolgáltatók beállítását és szabályozását.
Lásd: Adatok megosztása a Delta Sharing nyílt megosztási protokoll használatával (szolgáltatók számára).
A nyílt forráskódú Delta Sharing-kiszolgáló ügyfél által felügyelt implementációja, amellyel bármilyen platformról megosztható bármilyen platformon, akár a Databricks, akár nem.
Az Azure Databricks dokumentációja nem tartalmazza a saját Delta Sharing-kiszolgáló beállítására vonatkozó utasításokat. Lásd: github.com/delta-io/delta-sharing.
Megosztások, szolgáltatók és címzettek
Az Azure Databricksben a deltamegosztás alapjául szolgáló elsődleges fogalmak a megosztások, a szolgáltatók és a címzettek.
Mi az a megosztás?
A Delta Sharingben a megosztás olyan táblák és táblapartíciók írásvédett gyűjteménye, amelyeket a szolgáltató meg szeretne osztani egy vagy több címzettel. Ha a címzett Unity Catalog-kompatibilis Databricks-munkaterületet használ, jegyzetfüzetfájlokat, nézeteket (beleértve a sor- és oszlopszintű hozzáférést korlátozó dinamikus nézeteket), a Unity Catalog-köteteket és a Unity Catalog-modelleket is belefoglalhatja egy megosztásba.
Táblákat, nézeteket, köteteket, modelleket és jegyzetfüzetfájlokat bármikor hozzáadhat vagy eltávolíthat egy megosztásból, és bármikor hozzárendelheti vagy visszavonhatja az adatátvevők hozzáférését egy megosztáshoz.
Egy Unity Catalog-kompatibilis Azure Databricks-munkaterületen a megosztás egy, a Unity Catalogban regisztrált biztonságos objektum. Ha eltávolít egy megosztást a Unity-katalógus-metaadattárból, az adott megosztás minden címzettje elveszíti a hozzáférés képességét.
Lásd: Megosztások létrehozása és kezelése a Delta-megosztáshoz.
Mi az a szolgáltató?
A szolgáltató olyan entitás, amely adatokat oszt meg egy címzettel. Ha Ön szolgáltató, és ki szeretné használni a beépített Databricks Delta Sharing-kiszolgálót, és a Unity Catalog használatával szeretné kezelni a megosztásokat és a címzetteket, legalább egy Olyan Azure Databricks-munkaterületre van szüksége, amely engedélyezve van a Unity Cataloghoz. Nem kell az összes meglévő munkaterületet a Unity Catalogba migrálnia. Egyszerűen létrehozhat egy új Unity Catalog-kompatibilis munkaterületet a Delta Sharing igényeinek megfelelően.
Ha a címzett egy Unity Catalog-kompatibilis Databricks-munkaterületen található, a szolgáltató egyben egy Unity Catalog biztonságos objektum is, amely a szolgáltató szervezetét képviseli, és a szervezetet egy megosztáskészlettel társítja.
Mi az a címzett?
A címzett egy olyan entitás, amely megosztásokat fogad egy szolgáltatótól. A Unity Catalogban a megosztás egy biztonságos objektum, amely egy szervezetet jelöl, és egy hitelesítő vagy biztonságos megosztási azonosítóval társítja, amely lehetővé teszi a szervezet számára egy vagy több megosztás elérését.
Adatszolgáltatóként (megosztóként) több címzettet is meghatározhat egy adott Unity-katalógus-metaadattárhoz, de ha több metaadattárból szeretne adatokat megosztani egy adott felhasználóval vagy felhasználói csoporttal, minden metaadattárhoz külön kell meghatároznia a címzettet. Egy címzett több megosztáshoz is hozzáférhet.
Ha egy szolgáltató töröl egy címzettet a Unity Catalog metaadattárából, az adott címzett elveszíti a hozzáférést az összes olyan megosztáshoz, amelyhez korábban hozzáférhetett.
Lásd: Adatátvevők létrehozása és kezelése a Delta-megosztáshoz.
Megosztás megnyitása a Databricks-to-Databricks-megosztással szemben
Ez a szakasz a Unity Cataloghoz engedélyezett Databricks-munkaterületről való megosztás két protokollt ismerteti.
Feljegyzés
Ez a szakasz feltételezi, hogy a szolgáltató unitykatalógus-kompatibilis Azure Databricks-munkaterületen található. A nyílt forráskódú Delta Sharing-kiszolgáló nem Databricks-platformról vagy nem Unity Catalog-munkaterületről való megosztásának beállításáról a github.com/delta-io/delta-sharing.
Az, hogy egy szolgáltató hogyan használja a Delta Sharingt az Azure Databricksben, attól függ, hogy kivel oszt meg adatokat:
- A nyílt megosztás lehetővé teszi az adatok megosztását bármely felhasználóval, függetlenül attól, hogy rendelkeznek-e hozzáféréssel az Azure Databrickshez.
- A Databricks–Databricks-megosztás lehetővé teszi az adatok megosztását olyan Azure Databricks-felhasználókkal, akiknek a munkaterülete egy, az Önétől eltérő Unity Catalog-metaadattárhoz van csatolva. A Databricks-to-Databricks támogatja a jegyzetfüzetek, kötetek és modellek megosztását is, amelyek nem érhetők el a nyílt megosztásban.
Mi a nyitott Delta Sharing?
Ha az Azure Databricks-munkaterületen kívüli felhasználókkal szeretne adatokat megosztani, függetlenül attól, hogy a Databricks-et használják-e, az adatok biztonságos megosztásához használhatja a deltamegosztást. Adatszolgáltatóként létrehoz egy jogkivonatot, és biztonságosan megosztja azt a címzettel. A jogkivonatot használják a hitelesítéshez, és olvasási hozzáférést kapnak azokhoz a táblákhoz, amelyhez hozzáférést adott nekik a megosztásokban.
A címzettek számos számítástechnikai eszköz és platform használatával férhetnek hozzá a megosztott adatokhoz, például:
- Azure Databricks
- Apache Spark
- Pandák
- Power BI
A Delta Sharing-összekötők teljes listáját és a használatukkal kapcsolatos információkat a Delta Sharing dokumentációjában találja.
Lásd még: Adatok megosztása a Delta Sharing nyílt megosztási protokoll használatával (szolgáltatók számára).
Mi az a Databricks-to-Databricks deltamegosztás?
Ha olyan felhasználókkal szeretne adatokat megosztani, akik rendelkeznek a Unity Cataloghoz engedélyezett Databricks-munkaterülettel, használhatja a Databricks-to-Databricks deltamegosztást. A Databricks-to-Databricks megosztással adatokat oszthat meg más Databricks-fiókok felhasználóival, függetlenül attól, hogy az AWS-en, az Azure-on vagy a GCP-n vannak-e. Emellett nagyszerű módja az adatok biztonságos megosztásának a saját Databricks-fiókjában található Unity Catalog-metaadattárak között. Vegye figyelembe, hogy nem szükséges a Delta Sharing használatával megosztani az adatokat az ugyanazon Unity Catalog-metaadattárhoz csatolt munkaterületek között, mert ebben a forgatókönyvben a Unity Catalog használatával kezelheti az adatokhoz való hozzáférést a munkaterületeken.
A Databricks–Databricks megosztás egyik előnye, hogy a megosztás címzettjének nincs szüksége jogkivonatra a megosztás eléréséhez, és a szolgáltatónak nem kell kezelnie a címzett jogkivonatait. A megosztási kapcsolat biztonságát – beleértve az összes identitás-ellenőrzést, hitelesítést és naplózást – teljes egészében a Delta Sharing és a Databricks platform kezeli. Egy másik előny a Databricks-jegyzetfüzetfájlok, nézetek, Unity Catalog-kötetek és Unity Catalog-modellek megosztása.
Hogyan állíthatják be a szolgáltatói rendszergazdák a Delta Sharingt?
Ez a szakasz áttekintést nyújt arról, hogy a szolgáltatók hogyan engedélyezhetik a Delta-megosztást, és hogyan kezdeményezhetnek megosztást a Unity Catalog-kompatibilis Azure Databricks-munkaterületről. A nyílt forráskódú deltamegosztásról lásd: github.com/delta-io/delta-sharing.
A Databricks-to-Databricks egyazon fiókban lévő Unity Catalog-metaadattárak közötti megosztás mindig engedélyezve van. Ha Ön olyan szolgáltató, aki engedélyezni szeretné, hogy a Delta Sharing más fiókokban vagy nem Databricks-ügyfeleken lévő Databricks-munkaterületekkel ossza meg az adatokat, az Azure Databricks-fiók rendszergazdája vagy a metaadattár-rendszergazda a következő telepítési lépéseket hajtja végre (magas szinten):
Engedélyezze a Delta-megosztást a megosztani kívánt adatokat kezelő Unity Catalog-metaadattárhoz.
Feljegyzés
Nem kell engedélyeznie a Delta-megosztást a metaadattárban, ha a Delta Sharing használatával csak a fiókjában lévő más Unity Catalog-metaadattárak felhasználóival kíván adatokat megosztani. A metatárolók közötti megosztás egyetlen Azure Databricks-fiókon belül alapértelmezés szerint engedélyezett.
Lásd a Delta-megosztás engedélyezése metaadattáron témakört.
Hozzon létre egy megosztást, amely tartalmazza a Unity Catalog metaadattárában regisztrált adategységeket.
Ha nem Databricks-címzettel (más néven nyílt megosztással) oszt meg, a táblákat Delta vagy Parquet formátumban is felveheti. Ha a Databricks-to-Databricks megosztást tervezi használni, nézeteket, Unity Catalog-köteteket, Unity Catalog-modelleket és jegyzetfüzetfájlokat is hozzáadhat egy megosztáshoz.
Lásd: Megosztások létrehozása és kezelése a Delta-megosztáshoz.
Hozzon létre egy címzettet.
Lásd: Adatátvevők létrehozása és kezelése a Delta-megosztáshoz.
Ha a címzett nem Databricks-felhasználó, vagy nem rendelkezik hozzáféréssel a Unity Cataloghoz engedélyezett Databricks-munkaterülethez, akkor nyílt megosztást kell használnia. A rendszer jogkivonatalapú hitelesítő adatokat hoz létre a címzett számára.
Ha a címzett hozzáféréssel rendelkezik a Unity Cataloghoz engedélyezett Databricks-munkaterülethez, használhatja a Databricks–Databricks megosztást, és nincs szükség jogkivonatalapú hitelesítő adatokra. Egy megosztási azonosítót kér a címzetttől, és használja a biztonságos kapcsolat létrehozásához.
Tipp.
Használja magát teszt címzettként a beállítási folyamat kipróbálásához.
Adjon hozzáférést a címzettnek egy vagy több megosztáshoz.
Lásd: Delta Sharing-adatmegosztásokhoz való hozzáférés kezelése (szolgáltatók számára).<
/a0> Feljegyzés
Ezt a lépést egy nem rendszergazdai felhasználó is végrehajthatja a
USE SHARE
,USE RECIPIENT
ésSET SHARE PERMISSION
jogosultságokkal. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.Küldje el a címzettnek a megosztáshoz való csatlakozáshoz szükséges információkat (csak a megosztás megnyitása).
Lásd: A címzett kapcsolati adatainak elküldése.
A nyílt megosztáshoz használjon biztonságos csatornát a címzettnek egy aktiválási hivatkozás elküldéséhez, amely lehetővé teszi számukra a jogkivonat-alapú hitelesítő adatok letöltését.
A Databricks–Databricks-megosztás esetében a megosztásban szereplő adatok azonnal elérhetővé válnak a címzett Databricks-munkaterületén, amint hozzáférést ad nekik a megosztáshoz.
A címzett mostantól hozzáférhet a megosztott adatokhoz.
Hogyan férnek hozzá a címzettek a megosztott adatokhoz?
A címzettek írásvédett formátumban férnek hozzá a megosztott adategységekhez. A megosztott jegyzetfüzetfájlok írásvédettek, de klónozásuk, majd módosításuk és futtatásuk a címzett munkaterületen ugyanúgy történik, mint bármely más jegyzetfüzetben.
A biztonságos hozzáférés a megosztási modelltől függ:
- Nyílt megosztás (a címzett nem rendelkezik a Unity Cataloghoz engedélyezett Databricks-munkaterületekkel): A címzett minden alkalommal megadja a hitelesítő adatokat, amikor a választott eszközében fér hozzá az adatokhoz, beleértve az Apache Sparkot, a pandast, a Power BI-t, a Databrickset és még sok mást. Lásd: Megosztott adatok olvasása a Delta Sharing nyílt megosztásával (címzettek számára).
- Databricks-to-Databricks (a címzett munkaterülete engedélyezve van a Unity Catalogban): A címzett a Databricks használatával fér hozzá az adatokhoz. A Unity Catalog használatával hozzáférést biztosíthatnak és megtagadhatnak a Databricks-fiókjuk többi felhasználójához. Lásd: Adatok olvasása a Databricks-to-Databricks deltamegosztással (címzettek számára).
Amikor az adatszolgáltató frissíti az adattáblákat vagy köteteket a saját Databricks-fiókjában, a frissítések közel valós időben jelennek meg a címzett rendszerében.
Hogyan követheti nyomon, hogy ki oszt meg és fér hozzá a megosztott adatokhoz?
A Unity Catalog-kompatibilis Azure Databricks-munkaterületek adatszolgáltatói az Azure Databricks naplózási és rendszertáblái segítségével figyelhetik a megosztások és a címzettek létrehozását és módosítását, valamint figyelhetik a megosztások címzettjeinek tevékenységét. Lásd: Adatmegosztás naplózása és monitorozása.
A Databricks-munkaterületeken megosztott adatokat használó adat címzettjei a Databricks naplózási és rendszertáblái segítségével megismerhetik, hogy ki fér hozzá az adatokhoz. Lásd: Adatmegosztás naplózása és monitorozása.
Kötetek megosztása
Köteteket a Databricks-to-Databricks megosztási folyamattal oszthat meg. Lásd: Kötetek hozzáadása egy megosztáshoz (szolgáltatóknak) és a Databricks-to-Databricks deltamegosztással megosztott adatok olvasása (címzettek számára) (címzettek esetén).
Modellek megosztása
Modelleket a Databricks-to-Databricks megosztási folyamattal oszthat meg. Lásd: Modellek hozzáadása megosztáshoz (szolgáltatók számára) és Adatok olvasása a Databricks-to-Databricks deltamegosztással (címzettek esetén) (címzettek esetén).
Jegyzetfüzetek megosztása
A Delta Sharing használatával jegyzetfüzetfájlokat oszthat meg a Databricks–Databricks megosztási folyamattal. Lásd: Jegyzetfüzetfájlok hozzáadása megosztáshoz (szolgáltatóknak) és megosztott jegyzetfüzetek olvasása (címzettek számára).
A hozzáférés korlátozása a sor- és oszlopszinten
Olyan dinamikus nézeteket oszthat meg, amelyek bizonyos táblaadatokhoz való hozzáférést a címzett tulajdonságai alapján korlátozzák. A dinamikus nézetmegosztáshoz a Databricks–Databricks megosztási folyamat szükséges. Lásd: Dinamikus nézetek hozzáadása megosztáshoz sorok és oszlopok szűréséhez.
Delta-megosztás és streamelés
A Delta Sharing támogatja a Spark strukturált streamelését. A szolgáltató megoszthat egy táblát az előzményekkel, hogy a címzett strukturált streamforrásként használhassa, és a megosztott adatokat növekményesen, alacsony késéssel dolgozza fel. A címzettek Delta Lake időutazási lekérdezéseket is végrehajthatnak az előzményekkel megosztott táblákon.
Ha szeretné megtudni, hogyan oszthat meg táblákat előzményekkel, olvassa el a Táblák hozzáadása megosztáshoz című témakört. Ha meg szeretné tudni, hogyan használhat megosztott táblákat streamforrásként, olvassa el a Táblák lekérdezése apache Spark strukturált streameléssel (a Databricks-to-Databricks-megosztás címzettjei számára) vagy megosztott táblák elérése a Spark Strukturált streamelés használatával (a nyílt megosztási adatok címzettjei számára).
Lásd még : Streamelés az Azure Databricksben.
Delta Lake-funkciók támogatási mátrixa
A Delta Sharing a delta Lake legtöbb funkcióját támogatja tábla megosztásakor. Ez a támogatási mátrix a következő listákat tartalmazza:
- A Databricks Runtime meghatározott verzióit, a nyílt forráskódú Delta Sharing Spark-összekötőt vagy a nyílt forráskódú Delta Sharing Python-összekötőt igénylő Delta-funkciók.
- Részben támogatott funkciók.
Szolgáltatás | Szolgáltató | Databricks-címzett | Nyílt forráskódú címzett |
---|---|---|---|
Törlési vektorok | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. | - Databricks Runtime 14.1+ kötegelt lekérdezésekhez - Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez |
- Delta Sharing Spark-összekötő 3.1+ - Delta Sharing Python-összekötő 1.1.0+ - Power BI v2.132.908.0+ |
Oszlopleképezés | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. | - Databricks Runtime 14.1+ kötegelt lekérdezésekhez - Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez |
- Delta Sharing Spark-összekötő 3.1+ - Delta Sharing Python-összekötő 1.1.0+ - Power BI v2.132.908.0+ |
Egységes formátum | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. | - Databricks Runtime 14.1+ kötegelt lekérdezésekhez - Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez |
- Delta Sharing Spark-összekötő 3.1+ - Delta Sharing Python-összekötő 1.1.0+ - Power BI v2.132.908.0+ |
V2 ellenőrzőpont | Korlátozásokkal támogatott | Korlátozásokkal támogatott | Korlátozásokkal támogatott |
IdőbélyegNTZ | Támogatott | Databricks Runtime 14.1+ | Delta Sharing Spark-összekötő 3.3+ |
Folyékony fürtözés | Korlátozásokkal támogatott | Korlátozásokkal támogatott | Korlátozásokkal támogatott |
Delta-megosztás – gyakori kérdések
A Delta-megosztással kapcsolatos gyakori kérdések az alábbiak.
Szükségem van a Unity Katalógusra a Delta Sharing használatához?
Nem, nincs szüksége Unity-katalógusra a megosztáshoz (szolgáltatóként) vagy a megosztott adatok használatához (címzettként). A Unity-katalógus azonban olyan előnyöket biztosít, mint a nem táblázatos és AI-eszközök megosztásának támogatása, a beépített szabályozás, az egyszerűség és a lekérdezések teljesítménye.
A szolgáltatók kétféleképpen oszthatnak meg adatokat:
Helyezze a megosztani kívánt eszközöket a Unity-katalógus felügyelete alá, és ossza meg őket a beépített Azure Databricks Delta-megosztás-kiszolgálóval.
Nem kell minden eszközt átköltöztetnie a Unity-katalógusba. A megosztani kívánt objektumok kezeléséhez csak egy olyan Azure Databricks-munkaterületre van szüksége, amelyen engedélyezve van a Unity-katalógus. Egyes fiókokban az új munkaterületeken automatikusan engedélyezésre kerül a Unity-katalógus. Lásd a Unity katalógus automatikus engedélyezése témakört.
Implementálja a nyitott Delta Sharing-kiszolgálót az adatok megosztásához anélkül, hogy feltétlenül az Azure Databricks-fiókját használaná.
A címzettek kétféleképpen használhatják az adatokat:
Databricks-munkaterület nélkül. Használjon nyílt forráskódú Delta-megosztás-összekötőket, amelyek számos adatplatformhoz elérhetők, mint például a Power BI, a pandas és a nyílt forráskódú Apache Spark. Lásd a Megosztott adatok olvasása Delta-megosztás nyílt megosztás használatával (címzettek számára) és a Delta-megosztás nyílt forráskódú projekt témakört.
Databricks-munkaterületen. A címzett munkaterületeken nem kell engedélyezni a Unity-katalógust, de az irányítás, egyszerűség és teljesítmény terén vannak előnyei, ha engedélyezik.
Az ilyen előnyökre igényt tartó címzett szervezeteknek nem kell minden eszközt átköltöztetniük Unity-katalógusba. Az Önnel megosztott eszközök kezeléséhez csak egy olyan Azure Databricks-munkaterületre van szüksége, amelyen engedélyezve van a Unity-katalógus. Egyes fiókokban az új munkaterületeken automatikusan engedélyezésre kerül a Unity-katalógus. Lásd a Unity katalógus automatikus engedélyezése témakört.
Lásd a Megosztott adatok olvasása Delta-megosztás nyílt megosztással (címzettek esetén) és a Databricks–Databricks közötti Delta-megosztással megosztott adatok olvasása (címzettek esetén).
Databricks-ügyfélnek kell lennem a Delta-megosztás használatához?
Nem, a Delta-megosztás egy nyílt protokoll. A nem Databricks-adatokat bármely adatplatformon lévő címzettekkel megoszthatja. A szolgáltatók konfigurálhatnak egy nyílt Delta-megosztás-kiszolgálót, hogy bármely számítási platformról megosszanak. A címzettek a megosztott adatokat számos adattermékhez készült nyílt forráskódú Delta-megosztás-összekötőkkel használhatják, mint például a Power BI, a pandas és a nyílt forráskódú Spark.
A Delta-megosztás Azure Databricksen történő használata azonban – különösen az olyan munkaterületről való megosztás, ahol a Unity-katalógus engedélyezve van – számos előnnyel jár.
Részletekért tekintse meg a gyik első kérdését.
A Delta-megosztás kimenő adatforgalmi költségekkel jár?
A régión belüli Delta-megosztás nem jár kimenő adatforgalmi költségekkel. Más adatmegosztási platformoktól eltérően a Delta-megosztás nem igényel adatreplikációt. Ennek a modellnek számos előnye van, de ez azt jelenti, hogy az Ön felhőszolgáltatója kimenő adatforgalmi díjakat számíthat fel, ha Ön adatokat oszt meg felhők vagy régiók között. Az Azure Databricks támogatja a Cloudflare R2-ről való megosztást, amely nem jár kimenő díjakkal, és egyéb eszközöket és javaslatokat biztosít a kimenő díjak figyeléséhez és elkerüléséhez. Lásd a Delta-megosztás kimenő adatforgalmi költségeinek monitorozása és kezelése (szolgáltatók esetében) témakört.
Visszavonhatják a szolgáltatók a címzettek hozzáférését?
Igen, a címzettek hozzáférése igény szerint és meghatározott részletességi szinten visszavonható. Megtagadhatja a címzettek hozzáférését adott megosztásokhoz és adott IP-címekhez, szűrheti a címzett táblázatos adatait, visszavonhatja a címzett tokenjeit, és teljes egészében törölhet címzetteket. Lásd a Címzettek megosztáshoz való hozzáférésének visszavonása és az Adatcímzettek létrehozása és kezelése Delta-megosztáshoz témakört.
Nem kockázatos előre aláírt URL-címeket használni?
A Delta-megosztás előre aláírt URL-címekkel biztosít ideiglenes hozzáférést egy objektumtárolóban lévő fájlhoz. Ezeket csak azok a címzettek kapják meg, akik már rendelkeznek hozzáféréssel a megosztott adatokhoz. Ezek biztonságosak, mert rövid élettartamúak, és nem bővítik a hozzáférés szintjét a címzettek számára már megadott szinten túl.
Biztonságosak a Delta-megosztás nyílt megosztási protokollban használt tokenek?
Mivel a Delta-megosztás lehetővé teszi a platformfüggetlen megosztást – más elérhető adatmegosztási platformokkal ellentétben –, a megosztási protokollhoz nyílt tokenre van szükség. A szolgáltatók a token élettartamának konfigurálásával, hálózati ellenőrzési eszközök beállításával és a hozzáférés igény szerinti visszavonásával tudják biztosítani a tokenek biztonságát. Emellett a token nem bővíti a hozzáférés szintjét a címzettek számára már megadott szinten túl. Lásd A tokenek biztonsági megfontolásai témakört.
Ha inkább nem használna tokeneket a címzett megosztásokhoz való hozzáférés kezeléséhez, használjon Databricks–Databricks megosztást vagy forduljon a Databricks-fiók csapathoz alternatív megoldásokért.
Támogatja a Delta Sharing a nézetmegosztást?
Igen, a Delta Sharing támogatja a nézetmegosztást. Lásd: Nézetek hozzáadása megosztáshoz.
A megosztás megtekintéséhez tervezett fejlesztésekről a Databricks-fiók csapatához fordulhat.
Korlátozások
- A táblázatos adatoknak a Delta tábla formátumban kell lenniük. A Parquet-táblákat egyszerűen átalakíthatja Delta formátumba – majd vissza. Lásd az ÁTALAKÍTÁS DELTÁVÁ témakört.
- A Delta Sharing a folyékony fürtözést és a V2-ellenőrzőpontot használó táblákat támogatja az alábbi korlátozásokkal:
- A címzettek csak pillanatkép-lekérdezéseket futtathatnak. Nem futtathatnak változásadatcsatornát (CDF) vagy streamelési lekérdezéseket.
- A szolgáltatók nem oszthatják meg a táblát partíciószűréssel.
- A táblamegkötések (elsődleges és idegenkulcs-megkötések) nem érhetők el a megosztott táblákban.
- A nézetmegosztás csak a Databricks–Databricks megosztásban támogatott. A megosztható nézeteket Delta-táblákon vagy más megosztható nézeteken kell meghatározni. Lásd a Nézetek hozzáadása megosztáshoz (szolgáltatók esetében) és a Megosztott nézetek olvasása (címzettek esetében) témakört.
- A jegyzetfüzetek megosztása csak a Databricks-to-Databricks megosztásban támogatott. Lásd: Jegyzetfüzetfájlok hozzáadása megosztáshoz és adatolvasás a Databricks-to-Databricks deltamegosztással (címzettek számára).
- A kötetmegosztás csak a Databricks–Databricks megosztásban támogatott. Lásd a Kötetek hozzáadása egy megosztáshoz (szolgáltatók esetében) és a Databricks–Databricks Delta-megosztással megosztott adatok olvasása (címzettek esetében) témakört.
- A modellmegosztás csak a Databricks–Databricks megosztásban támogatott. Lásd a Modellek hozzáadása egy megosztáshoz (szolgáltatók esetében) és a Databricks–Databricks Delta-megosztással megosztott adatok olvasása (címzettek esetében) témakört.
- A megosztott táblához engedélyezett metaadatokban lévő fájlok száma korlátozott. További információkért tekintse meg az Erőforráskorlát túllépve hibák témakört.
information_schema
nevű sémák nem importálhatók a Unity-katalógus-metaadattárba, mert ez a sémanév fenntartott név a Unity-katalógusban.- A deltamegosztás nem támogatja a táblák megosztását
SHALLOW CLONE
. Az Azure Databricks nem támogatja az abszolút elérési utakra hivatkozó Delta-naplók előjeles URL-címeit.
Lásd még a Delta Lake szolgáltatástámogatási mátrixát.
Erőforráskvóták
Az Azure Databricks erőforráskvótákat kényszerít ki az összes biztonságos Delta-megosztási objektumra. Ezek a kvóták az erőforráskorlátokban vannak felsorolva. Ha várhatóan túllépi ezeket az erőforráskorlátokat, forduljon az Azure Databricks-fiók csapatához.
A kvótahasználatot a Unity Catalog erőforráskvóta API-kkal figyelheti. Lásd: A Unity Catalog erőforráskvóták használatának monitorozása.
Következő lépések
- Databricks-fiók engedélyezése a Delta-megosztáshoz
- Megosztások létrehozása
- Címzettek létrehozása
- További információ a nyílt megosztásról és a Databricks-to-Databricks megosztómodellekről
- Megtudhatja, hogyan férnek hozzá a címzettek a megosztott adatokhoz