Mi az OpenSharing?

Az OpenSharing az Azure Databricks biztonságos adatmegosztási platformja, amely lehetővé teszi az adatok és AI-eszközök megosztását a szervezeten kívüli felhasználókkal, függetlenül attól, hogy Azure Databricks használnak-e. Az OpenSharing képezi a Databricks Marketplace — az adattermékek cseréjének nyílt fóruma —, valamint a Clean Rooms alapját is, amely egy biztonságos, a magánélet védelmét biztosító környezet, ahol több fél is együtt dolgozhat bizalmas vállalati adatokkal.

Az OpenSharing nyílt forráskódú projektként is elérhető, amellyel más platformokról is megoszthatja a Delta-táblákat.

Hogyan működik az OpenSharing?

Az OpenSharing egy nyílt protokoll , amelyet a Databricks fejlesztett ki a más szervezetekkel való biztonságos adatmegosztás érdekében. Függetlenül attól, hogy a szervezetek milyen számítási platformokat használnak.

Az OpenSharing használatával többféleképpen oszthat meg adatokat:

  1. A Databricks-to-Databricks megosztóprotokoll, amellyel adatokat és AI-objektumokat oszthat meg a Unity Catalog-kompatibilis munkaterületről olyan felhasználókkal, akik szintén hozzáférnek egy Unity Catalog-kompatibilis Databricks-munkaterülethez.

    Ez a megközelítés a Azure Databricks beépített OpenSharing-kiszolgálót használja. Támogatja a többi protokollban nem támogatott OpenSharing-funkciókat, például a jegyzetfüzet-megosztást, a Unity Catalog kötetmegosztást, a Unity Catalog AI-modell megosztását, a Unity Catalog adatszabályozását, a naplózást és a használatkövetést a szolgáltatók és a címzettek számára. A Unity Catalog integrációja leegyszerűsíti a szolgáltatók és a címzettek beállítását és szabályozását, és javítja a teljesítményt.

    Lásd: Mi az OpenSharing Databricks-to-Databricks protokoll?.

  2. A Databricks-to-Open megosztóprotokoll, amellyel táblázatos adatokat oszthat meg, amelyeket a Unity Catalog-kompatibilis Databricks-munkaterületen kezelhet bármely számítási platform felhasználóival.

    Ez a megközelítés a Azure Databricks beépített OpenSharing-kiszolgálót használja, amely akkor hasznos, ha a Unity Catalog használatával kezeli az adatokat, és meg szeretné osztani azokat olyan felhasználókkal, akik nem használják a Databrickset, vagy nem rendelkeznek hozzáféréssel a Unity Catalog-kompatibilis Databricks-munkaterületekhez. A Unity Catalog szolgáltatói oldallal való integrációja leegyszerűsíti a szolgáltatók beállítását és szabályozását.

    Lásd: Mi a Databricks-to-Open megosztóprotokoll?

  3. A nyílt forráskódú OpenSharing szerver ügyfél által kezelt megvalósítása, amely lehetővé teszi, hogy bármely platformról bármely platformra megosszon, függetlenül attól, hogy Databricksről van-e szó vagy sem.

    A Azure Databricks dokumentációja nem tartalmazza a saját OpenSharing-kiszolgáló beállítására vonatkozó utasításokat. Tekintse meg a nyílt forráskódú projektet.

  4. Az Azure Databrickshez készült SAP Business Data Cloud (BDC) összekötő, amely lehetővé teszi, hogy adatokat osszon meg a Unity Catalog-kompatibilis munkaterület és egy SAP BDC-fiók között.

    Ez a megközelítés az SAP BDC-összekötőt használja, amely az OpenSharingot használja az SAP BDC-adattermékekhez való élő, másolás nélküli hozzáféréshez.

    Tekintse meg az Azure Databrickshez készült SAP BDC-összekötőt.

megosztások, szolgáltatók és címzettek

Az Azure Databricks OpenSharing alapjául szolgáló fő fogalmak a megosztások, szolgáltatók és címzettek.

Mi az a megosztás?

Az OpenSharingben a megosztás olyan táblák és táblapartíciók írásvédett gyűjteménye, amelyeket a szolgáltató meg szeretne osztani egy vagy több címzettel. Ha a címzett Unity Catalog-kompatibilis Databricks-munkaterületet használ, jegyzetfüzetfájlokat, nézeteket (beleértve a sor- és oszlopszintű hozzáférést korlátozó dinamikus nézeteket), a Unity Catalog-köteteket és a Unity Catalog-modelleket is belefoglalhatja egy megosztásba.

A megosztásokból bármikor hozzáadhat vagy eltávolíthat táblákat, streamelő táblákat, felügyelt Iceberg-táblákat, nézeteket, materializált nézeteket, köteteket, modelleket és jegyzetfüzetfájlokat, és bármikor hozzárendelheti vagy visszavonhatja az adatátvevők hozzáférését egy megosztáshoz.

Egy Unity Catalog-kompatibilis Azure Databricks-munkaterületen a megosztás egy, a Unity Catalogban regisztrált biztonságos objektum. Ha eltávolít egy megosztást a Unity Catalog-metaadattárból, a megosztás minden címzettje elveszíti a hozzáférés képességét.

Lásd: Megosztások létrehozása az OpenSharinghoz.

Mi az a szolgáltató?

A szolgáltató olyan entitás, amely adatokat oszt meg egy címzettel. Ha Ön szolgáltató, és ki szeretné használni a beépített Databricks OpenSharing-kiszolgálót, és a Unity Catalog használatával szeretné kezelni a megosztásokat és a címzetteket, legalább egy olyan Azure Databricks munkaterületre van szüksége, amely engedélyezve van a Unity Cataloghoz. Nem kell az összes meglévő munkaterületet a Unity Catalogba migrálnia. Egyszerűen létrehozhat egy új Unity Catalog-kompatibilis munkaterületet az OpenSharing igényeinek megfelelően.

Ha a címzett egy Unity Catalog-kompatibilis Databricks-munkaterületen található, a szolgáltató egyben egy Unity Catalog biztonságos objektum is, amely a szolgáltató szervezetét képviseli, és a szervezetet egy megosztáskészlettel társítja.

Mi az a címzett?

A címzett egy olyan entitás, amely megosztásokat fogad egy szolgáltatótól. A Unity Katalógusban a címzett egy biztonságos objektum, amely egy szervezetet jelöl, és egy hitelesítő vagy biztonságos megosztási azonosítóval társítja, amely lehetővé teszi a szervezet számára egy vagy több megosztás elérését.

Adatszolgáltatóként (megosztóként) több címzettet is meghatározhat egy adott Unity Catalog-metaadattárhoz, de ha több metaadattárból szeretne adatokat megosztani egy adott felhasználóval vagy felhasználói csoporttal, minden metaadattárhoz külön kell meghatároznia a címzettet. A címzettek több megosztáshoz is hozzáférhetnek.

Ha egy szolgáltató töröl egy címzettet a Unity Catalog metaadattárából, az adott címzett elveszíti a hozzáférést az összes olyan megosztáshoz, amelyhez korábban hozzáférhetett.

Lásd: Adatfogadók létrehozása az OpenSharinghez (Databricks–Databricks megosztás).

Databricks-to-Open megosztás szemben a Databricks-to-Databricks megosztással

Ez a szakasz a Unity Cataloghoz engedélyezett Databricks-munkaterületről való megosztás két protokollt ismerteti.

Note

Ez a szakasz feltételezi, hogy a szolgáltató unitykatalógus-kompatibilis Azure Databricks-munkaterületen található. Ha tudni szeretné, hogyan állíthat be nyílt forráskódú OpenSharing-kiszolgálót egy nem Databricks-platformról vagy nem Unity Catalog-munkaterületről való megosztásra, tekintse meg a nyílt forráskód projektet.

Attól függ, hogy egy szolgáltató hogyan használja az OpenSharingot Azure Databricks attól függ, hogy kivel oszt meg adatokat:

  • A nyílt megosztás lehetővé teszi az adatok megosztását bármely felhasználóval, függetlenül attól, hogy rendelkeznek-e hozzáféréssel az Azure Databrickshez.
  • A Databricks–Databricks-megosztás lehetővé teszi az adatok megosztását olyan Azure Databricks-felhasználókkal, akiknek a munkaterülete egy, az Önétől eltérő Unity Catalog-metaadattárhoz van csatolva. A Databricks-to-Databricks támogatja a jegyzetfüzetek, kötetek és modellek megosztását is, amelyek nem érhetők el a Databricks-to-Open megosztásban.

Mi az az OpenSharing?

Ha a Azure Databricks munkaterületen kívüli felhasználókkal szeretne adatokat megosztani, függetlenül attól, hogy a Databrickset használják-e, az OpenSharing használatával biztonságosan megoszthatja adatait. Adatszolgáltatóként a megosztás címzettjével történő hitelesítést az alábbi módszerek valamelyikével kezelheti:

  • Létrehoz egy hosszú élettartamú tulajdonosi jogkivonatot, és biztonságosan megosztja azt a címzettel. A tokent használják a hitelesítéshez, és olvasási hozzáférést kapnak azokhoz a táblákhoz, amelyekhez a megosztásban hozzáférést adott nekik.
  • Open ID Connect (OIDC) összevonást használ, amely rövid élettartamú Databricks OAuth-jogkivonatokat ad a címzettnek, cserébe olyan JWT-jogkivonatokért, amelyeket a címzett identitásszolgáltatója (IdP) továbbít a Databricksnek.

A címzettek számos számítástechnikai eszköz és platform használatával férhetnek hozzá a megosztott adatokhoz, például:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Az OpenSharing-összekötők teljes listájáért és azok használatáról az OpenSharing dokumentációjában olvashat.

Lásd még: Mi a Databricks-to-Open megosztóprotokoll?

Mi az a Databricks-to-Databricks OpenSharing?

Ha olyan felhasználókkal szeretne adatokat megosztani, akik rendelkeznek a Unity Cataloghoz engedélyezett Databricks-munkaterülettel, használhatja a Databricks-to-Databricks OpenSharing szolgáltatást. A Databricks-to-Databricks megosztással adatokat oszthat meg más Databricks-fiókok felhasználóival, akár AWS-en, Azure vagy GCP-n. Emellett nagyszerű módja az adatok biztonságos megosztásának a saját Databricks-fiókjában található Unity Catalog-metaadattárak között. Vegye figyelembe, hogy az OpenSharing használatával nem kell adatokat megosztani az ugyanazon Unity Catalog-metaadattárhoz csatolt munkaterületek között, mert ebben a forgatókönyvben a Unity Catalog használatával kezelheti az adatokhoz való hozzáférést a munkaterületeken.

A Databricks–Databricks megosztás egyik előnye, hogy a megosztás címzettjének nincs szüksége jogkivonatra a megosztás eléréséhez, és a szolgáltatónak nem kell kezelnie a címzett jogkivonatait. A megosztási kapcsolat biztonságát – beleértve az összes identitás-ellenőrzést, hitelesítést és naplózást – teljes egészében az OpenSharing és a Databricks platform kezeli. Egy másik előny a Databricks-jegyzetfüzetfájlok, a Unity Catalog-kötetek és a Unity Catalog-modellek megosztása.

Lásd még: Mi az OpenSharing Databricks-to-Databricks protokoll?.

Hogyan állíthatják be a szolgáltatói rendszergazdák az OpenSharingot?

Ez a szakasz áttekintést nyújt arról, hogy a szolgáltatók hogyan engedélyezhetik az OpenSharing szolgáltatást, és hogyan kezdeményezhetik a megosztást egy Unity Katalógus-kompatibilis Azure Databricks munkaterületről. Nyílt forráskódú OpenSharing esetén lásd a nyílt forráskód projektet.

A Databricks-to-Databricks megosztás az ugyanezen fiókban található Unity Catalog metastore-ok között mindig engedélyezve van. Ha Ön olyan szolgáltató, aki engedélyezni szeretné az OpenSharing számára az adatok megosztását más fiókokban vagy nem Databricks-ügyfeleken lévő Databricks-munkaterületekkel, akkor egy Azure Databricks fiókadminisztrátor vagy metaadattár-rendszergazda a következő telepítési lépéseket hajtja végre (magas szinten):

  1. Engedélyezze az OpenSharing szolgáltatást a megosztani kívánt adatokat kezelő Unity Catalog metaadattárhoz.

    Note

    Nem kell engedélyeznie az OpenSharing szolgáltatást a metaadattárban, ha az OpenSharing használatával csak a fiókjában lévő más Unity Catalog-metaadattárak felhasználóival szeretne adatokat megosztani. A metatárolók közötti megosztás egyetlen Azure Databricks-fiókon belül alapértelmezés szerint engedélyezett.

    Lásd: OpenSharing engedélyezése metaadattárban.

  2. Hozzon létre egy megosztást, amely tartalmazza a Unity Catalog metaadattárában regisztrált adategységeket.

    Ha nem Databricks-címzettel oszt meg (ezt Databricks-to-Open megosztásnak nevezik), Delta formátumú táblákat is belefoglalhat. Ha a Databricks-to-Databricks megosztást tervezi használni, nézeteket, Unity Catalog-köteteket, Unity Catalog-modelleket és jegyzetfüzetfájlokat is hozzáadhat egy megosztáshoz.

    Lásd: Megosztások létrehozása az OpenSharinghoz.

  3. Hozzon létre egy címzettet.

    Lásd: Adatfogadók létrehozása az OpenSharinghez (Databricks–Databricks megosztás).

    Ha a címzett nem Databricks-felhasználó, vagy nem rendelkezik hozzáféréssel a Unity Cataloghoz engedélyezett Databricks-munkaterülethez, a Databricks-to-Open megosztást kell használnia. Létrehozhat hozzáférési jogkivonaton alapuló hitelesítő adatokat az adott címzetthez, vagy használhatja az OIDC federációt.

    Ha a címzett hozzáféréssel rendelkezik a Unity Cataloghoz engedélyezett Databricks-munkaterülethez, használhatja a Databricks–Databricks megosztást, és nincs szükség jogkivonatalapú hitelesítő adatokra. Egy megosztási azonosítót kér a címzetttől, és használja a biztonságos kapcsolat létrehozásához.

    Tip

    Használja magát teszt címzettként a beállítási folyamat kipróbálásához.

  4. Adjon hozzáférést a címzettnek egy vagy több megosztáshoz.

    Lásd: OpenSharing-adatmegosztásokhoz való hozzáférés kezelése (szolgáltatók számára).

    Note

    Ezt a lépést egy nem rendszergazdai felhasználó is végrehajthatja a USE SHARE, USE RECIPIENT és SET SHARE PERMISSION jogosultságokkal. Lásd a Unity Catalog jogosultságok referencia részt.

  5. Küldje el a címzettnek a megosztáshoz való csatlakozáshoz szükséges információkat (csak Databricks-to-Open megosztás).

    A Databricks-to-Open megosztás tulajdonosi jogkivonatokkal történő megosztásához használjon egy biztonságos csatornát, amellyel egy aktiválási hivatkozást küldhet a címzettnek, amely lehetővé teszi számukra a jogkivonatalapú hitelesítő adatok letöltését. Lásd : A címzett kapcsolati adatainak elküldése.

    Databricks–Open megosztás esetén, OIDC-tokenfederáció használatakor küldje el a létrehozott portál URL-címét. Lásd az Open ID Connect (OIDC) föderáció engedélyezése az OpenSharing címzettjei számára.

    A Databricks–Databricks-megosztás esetében a megosztásban szereplő adatok azonnal elérhetővé válnak a címzett Databricks-munkaterületén, amint hozzáférést ad nekik a megosztáshoz.

A címzett mostantól hozzáférhet a megosztott adatokhoz.

Hogyan férnek hozzá a címzettek a megosztott adatokhoz?

A címzettek csak olvasható formátumban férnek hozzá a megosztott adatokhoz. A megosztott jegyzetfüzetfájlok írásvédettek, de klónozásuk, majd módosításuk és futtatásuk a címzett munkaterületen ugyanúgy történik, mint bármely más jegyzetfüzetben.

A biztonságos hozzáférés a megosztási modelltől függ:

Amikor az adatszolgáltató frissíti az adattáblákat vagy köteteket a saját Databricks-fiókjában, a frissítések közel valós időben jelennek meg a címzett rendszerében. Az OpenSharing használatával Önnel megosztott adatok elérésének megismeréséhez tekintse meg az OpenSharing használatával (címzettek számára) megosztott Adatok elérése című témakört.

Hogyan követheti nyomon, hogy ki oszt meg és fér hozzá a megosztott adatokhoz?

A Unity Catalog-kompatibilis Azure Databricks-munkaterületek adatszolgáltatói az Azure Databricks naplózási és rendszertáblái segítségével figyelhetik a megosztások és a címzettek létrehozását és módosítását, valamint figyelhetik a megosztások címzettjeinek tevékenységét. Lásd: Adatmegosztás naplózása és monitorozása.

A Databricks-munkaterületeken megosztott adatokat használó adat címzettjei a Databricks naplózási és rendszertáblái segítségével megismerhetik, hogy ki fér hozzá az adatokhoz. Lásd: Adatmegosztás naplózása és monitorozása.

Kötetek megosztása

A köteteket a Databricks-to-Databricks megosztási folyamat segítségével oszthatja meg. Lásd: Kötetek hozzáadása egy megosztáshoz (szolgáltatók számára) és A Databricks-to-Databricks OpenSharinggel megosztott adatok olvasása (címzettek számára).

Modellek megosztása

Modelleket a Databricks-to-Databricks megosztási folyamattal oszthat meg. Lásd: Modellek hozzáadása megosztáshoz (szolgáltatóknak) és Adatok olvasása a Databricks-to-Databricks OpenSharing használatával (címzettek esetén) (címzettek számára).

Jegyzetfüzetek megosztása

Az OpenSharing használatával jegyzetfüzetfájlokat oszthat meg a Databricks-to-Databricks megosztási folyamattal. Lásd: Jegyzetfüzetfájlok hozzáadása megosztáshoz (szolgáltatóknak) és megosztott jegyzetfüzetek olvasása (címzettek számára).

Hozzáférés korlátozása a sor- és oszlopszinten a nézetek megosztásakor

Olyan dinamikus nézeteket oszthat meg, amelyek bizonyos táblaadatokhoz való hozzáférést a címzett tulajdonságai alapján korlátozzák. Lásd: Dinamikus nézetek hozzáadása megosztáshoz sorok és oszlopok szűréséhez.

OpenSharing és streamelés

Az OpenSharing támogatja az Apache Spark strukturált streamelését. A szolgáltató megoszthat egy táblát előzményekkel vagy streamelési táblázatokkal, hogy a címzett strukturált streamforrásként használhassa, és a megosztott adatokat növekményesen, alacsony késéssel dolgozza fel. A címzettek Delta Lake időutazási lekérdezéseket is végrehajthatnak az előzményekkel megosztott táblákon.

Ha szeretné megtudni, hogyan oszthat meg táblákat előzményekkel, olvassa el a Táblák hozzáadása megosztáshoz című témakört. Ha meg szeretné tudni, hogyan használhat megosztott táblákat streamforrásként, olvassa el az Apache Spark strukturált streameléssel (a Databricks-to-Databricks-megosztás címzettjei számára) végzett táblalekérdezést vagy a megosztott táblák spark strukturált streameléssel való elérését (a Databricks-to-Open megosztási adatok címzettjei számára).

A streamelési táblák megosztásának módjáról további információt a Streamelőtáblák hozzáadása megosztáshoz című témakörben talál.

Lásd még a strukturált streamelési fogalmakat.

Delta Lake-funkciók támogatási mátrixa

Az OpenSharing a Delta Lake legtöbb funkcióját támogatja, amikor egy táblát oszt meg. Ez a támogatási mátrix a következő listákat tartalmazza:

  • A Databricks Runtime meghatározott verzióit, a nyílt forráskódú OpenSharing Spark-összekötőt vagy a nyílt forráskódú OpenSharing Python összekötőt igénylő Delta-funkciók.
  • Részben támogatott funkciók.
Funkció Szolgáltató Databricks címzett Nyílt forráskódú címzett
Törlési vektorok
  • A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el.
  • A táblákat meg kell osztani a történelemmel.
  • Databricks Runtime 14.1+ kötegelt lekérdezésekhez
  • Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez
  • OpenSharing Spark-összekötő 3.1+
  • OpenSharing Python összekötő 1.1.0+
  • Power BI v2.132.908.0+
Oszlopok leképezése
  • A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el.
  • A táblákat meg kell osztani a történelemmel.
  • Databricks Runtime 14.1+ kötegelt lekérdezésekhez
  • Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez
  • OpenSharing Spark-összekötő 3.1+
  • Az OpenSharing Python-összekötő korlátozásaival támogatott
  • Power BI v2.132.908.0+
Egységes formátum
  • A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el.
  • A táblákat meg kell osztani a történelemmel.
  • Databricks Runtime 14.1+ kötegelt lekérdezésekhez
  • Databricks Runtime 14.2+ CDF-hez és streamelési lekérdezésekhez
  • OpenSharing Spark-összekötő 3.1+
  • OpenSharing Python összekötő 1.1.0+
  • Power BI v2.132.908.0+
V2 ellenőrzőpont Korlátozásokkal támogatott Korlátozásokkal támogatott Korlátozásokkal támogatott
TimestampNTZ Támogatott Databricks Runtime 14.1+ verzió OpenSharing Spark-összekötő 3.3+
Folyékony fürtözés Korlátozásokkal támogatott Korlátozásokkal támogatott Korlátozásokkal támogatott

OpenSharing – gyakori kérdések

Az OpenSharing használatával kapcsolatos gyakori kérdések az alábbiak.

Szükségem van a Unity Catalogra az OpenSharing használatához?

Nem, nincs szüksége a Unity Katalógusra a megosztáshoz (szolgáltatóként) vagy a megosztott adatok (címzettként) használatához. A Unity Catalog azonban olyan előnyöket biztosít, mint a nem táblázatos és AI-eszközök megosztásának támogatása, a beépített szabályozás, az egyszerűség és a lekérdezési teljesítmény.

A szolgáltatók kétféleképpen oszthatnak meg adatokat:

  • Helyezze a megosztani kívánt eszközöket a Unity Catalog felügyelete alá, és ossza meg őket a beépített Azure Databricks OpenSharing-kiszolgálóval.

    Nem kell minden eszközt áttelepítenie a Unity Catalogba. Csak egy Azure Databricks munkaterületre van szükség, amely engedélyezve van a Unity Katalógus számára a megosztani kívánt objektumok kezeléséhez. Egyes fiókokban az új munkaterületek automatikusan engedélyezve vannak a Unity Cataloghoz. Tekintse meg a Unity Catalog használatának első lépéseit.

  • Implementálja a Databricks-to-Open megosztókiszolgálót az adatok megosztásához anélkül, hogy feltétlenül a Azure Databricks fiókját használaná.

A címzettek kétféleképpen használhatják fel az adatokat:

  • Databricks-munkaterület nélkül. Használjon nyílt forráskód OpenSharing-összekötőket, amelyek számos adatplatformhoz érhetők el, például Power BI, pandas és nyílt forráskód Apache Sparkhoz. Lásd: A birtokos tokenekkel megosztott adatok olvasása és az OpenSharing nyílt forráskódú projekt.

  • Databricks-munkaterületen. A címzett munkaterületeket nem kell engedélyezni a Unity Cataloghoz, de az irányításnak, az egyszerűségnek és a teljesítménynek vannak előnyei, ha vannak.

    Az ilyen előnyöket igénylő címzett szervezeteknek nem kell minden eszközt áttelepíteniük a Unity Catalogba. Csak egy Azure Databricks munkaterületre van szüksége, amely engedélyezve van a Unity Catalog számára az Önnel megosztott objektumok kezeléséhez. Egyes fiókokban az új munkaterületek automatikusan engedélyezve vannak a Unity Cataloghoz. Tekintse meg a Unity Catalog használatának első lépéseit.

Lásd: A tulajdonosi jogkivonatokkal megosztott adatok olvasása és a Databricks-to-Databricks OpenSharing használatával megosztott adatok olvasása (címzettek számára).

Adatbricks-ügyfélnek kell lennem az OpenSharing használatához?

Nem, az OpenSharing egy nyílt protokoll. A nem Databricks-adatokat bármely adatplatformon megoszthatja a címzettekkel. A szolgáltatók konfigurálhatnak egy nyitott OpenSharing-kiszolgálót, hogy bármely számítási platformról megossza azokat. A címzettek a megosztott adatokat nyílt forráskód OpenSharing-összekötőkkel használhatják számos adattermékhez, például Power BI, pandas és nyílt forráskód Sparkhoz.

Az OpenSharing használata azonban számos előnnyel jár a Azure Databricks, különösen a Unity Catalog-kompatibilis munkaterületről való megosztással.

A részletekért lásd a GYIK első kérdését.

Hogyan merülnek fel az OpenSharing költségei, és hogyan ellenőrizhetem őket?

Az OpenSharing használatával kapcsolatos költségek a nézetek, a materializált nézetek és az adatfolyam-táblák megosztásakor és elérésekor merülnek fel. Ezek a megosztás lehetséges költségforrásai:

  • Az Azure Databricks által felszámított számítási költség.
  • Tárolási és hálózati átviteli (kimenő) költségek, amelyeket a tároló szállítója vagy Azure Databricks terhel, ha a szolgáltató SecureConnectet használ.
  • Külföldi számítási forrásköltség külföldi sémák és táblák megosztásakor.

A számítás végrehajtásának módja és az, hogy ki fizet érte, több tényezőtől függ:

  • A címzett számítógépének típusa
  • Függetlenül attól, hogy a megosztás ugyanazon Azure Databricks fiókon belül vagy fiókok között történik-e

Az alábbi táblázat a nézetek OpenSharing használatával történő megosztásának és elérésének számlázási módját ismerteti:

Címzett számítógép-feldolgozás Fiókkapcsolat Ki fizet Számlázáshoz használt termékváltozat Hozzáférési módszer
Databricks Serverless Any Recipient* A címzett kiszolgáló nélküli A címzett közvetlen hozzáférést kap a mögöttes adatokhoz
Databricks Classic Ugyanaz a fiók Recipient* A címzett klasszikusa A címzett közvetlen hozzáférést kap a mögöttes adatokhoz
Databricks Classic Eltérő fiók Recipient A szolgáltató interaktív kiszolgáló nélküli A szolgáltató végzi a szűrést
Databricks-to-Open megosztási összekötők Any Szolgáltató A szolgáltató interaktív kiszolgáló nélküli A szolgáltató végzi a szűrést

* Ha az OpenSharing szolgáltatást egy másik fiók kiszolgáló nélküli számítását használó címzetttel használja, vagy ha egy címzett ugyanabban a fiókban van, nincs növekményes díj. Ez azt jelenti, hogy az adategység megvalósítása nem jár további költségekkel.

Idegen táblák (bétaverzió) megosztásakor a materializálás mindig a szolgáltató oldalán történik és tárolódik. Külföldi Iceberg-táblák esetén a materializálás a szolgáltató oldalán történik, amikor egy nyitott címzettel lép interakcióba, aki nem használ Iceberg-ügyfelet. Előfordulhat, hogy a szolgáltatók az adatok materializálásához használt alapértelmezett tárterülethez kapcsolódó többletköltséget láthatnak. A bétaverzió során a külföldi táblák számítási költségei nem merülnek fel.

A számlázási hozzárendelés a számlázható használati rendszer táblareferenciája és az OpenSharing materializációs előzményrendszer táblareferenciája alapján is lekérdezhető. Ha a címzett fizet a hozzárendelésért, akkor csak a címzett láthatja a társított rekordot a rendszertáblában. A lekérdezések például a Minta lekérdezések című témakörben olvashatók.

Felmerülnek-e kimenő adatforgalmi költségek az OpenSharing használata során?

A régión belüli OpenSharing nem jár kimenő költségekkel. A többi adatmegosztási platformtól eltérően az OpenSharing nem igényel adatreplikálást. Ennek a modellnek számos előnye van, de ez azt jelenti, hogy az Ön felhőszolgáltatója kimenő adatforgalmi díjakat számíthat fel, ha Ön adatokat oszt meg felhők vagy régiók között. Az Azure Databricks támogatja a Cloudflare R2-ről való megosztást, amely nem jár kimenő díjakkal, és egyéb eszközöket és javaslatokat biztosít a kimenő díjak figyeléséhez és elkerüléséhez. Lásd: OpenSharing kimenő költségek monitorozása és kezelése (szolgáltatók számára).

Ha azonban a szolgáltató SecureConnectet használ, az adatátvitelt a felhőszolgáltató helyett Azure Databricks számlázzuk ki.

A címzettek közvetlen hozzáféréssel rendelkeznek az alapul szolgáló adatokhoz megosztott nézetekben, materializált nézetekben és streamelési táblákban?

Megosztott nézetek, materializált nézetek és streamelési táblák esetén az adatátvevő közvetlen hozzáféréssel rendelkezik, ha az alábbiak egyike igaz:

  • A címzett kiszolgáló nélküli számítást vagy nem dedikált klasszikus számítást használ ugyanazon az Azure Databricks-fiókon.
  • A címzett kiszolgáló nélküli számítást használ egy másik Azure Databricks-fiókban.

Ellenkező esetben az adatok a szolgáltatói oldalon lesznek materializálva és szűrve.

Ha a SecureConnect engedélyezve van, ezek az eszközök mindig a szolgáltatói oldalon lesznek materializálva és szűrve, még a fent felsorolt forgatókönyvekben is.

Az adatok materializálása a megosztott adategység szülőtároló helye alatt történik.

A materializált eszközök megosztásakor a számítás feldolgozza a kérést a szükséges szűrők alkalmazásával és a szolgáltató tárolójában gyorsítótárazott ideiglenes materializáció létrehozásával. Ezeket a szűrt adatokat a rendszer előre aláírt, rövid élettartamú URL-címek használatával érkezik a címzettekhez, biztosítva a biztonságos hozzáférést, miközben fenntartja a szolgáltató–címzett hozzáférés-vezérlést.

Visszavonhatják a szolgáltatók a címzettek hozzáférését?

Igen, a címzettek hozzáférése igény szerint és meghatározott részletességi szinten visszavonható. Megtagadhatja a címzettek hozzáférését adott megosztásokhoz és adott IP-címekhez, szűrheti a címzett táblázatos adatait, visszavonhatja a címzett jogkivonatait, és teljes egészében törölheti a címzetteket. Lásd: A címzett hozzáférésének visszavonása egy megosztáshoz és Adatcímzettek létrehozása az OpenSharinghez (Databricks–Databricks megosztás).

Nem biztonságos előre aláírt URL-címeket használni?

Az OpenSharing előre aláírt URL-címekkel biztosít ideiglenes hozzáférést egy fájlhoz az objektumtárolóban. Ezeket csak azok a címzettek kapják meg, akik már rendelkeznek hozzáféréssel a megosztott adatokhoz. Biztonságosak, mert rövid élettartamúak, és nem bővítik a hozzáférés szintjét a címzettek által már megadott szintnél.

Biztonságosak a Databricks–Open megosztási protokollban használt tokenek?

Mivel az OpenSharing lehetővé teszi a platformok közötti megosztást – más elérhető adatmegosztási platformokkal ellentétben – a megosztási protokollhoz nyílt jogkivonatra van szükség. A szolgáltatók a jogkivonat élettartamának konfigurálásával, a hálózati vezérlők beállításával és a hozzáférés igény szerinti visszavonásával biztosíthatják a jogkivonatok biztonságát. Emellett a token nem bővíti a hozzáférési szintet azon túl, amit a címzettek már megkaptak. Lásd a jogkivonatok biztonsági szempontjait.

Ha inkább nem használ tokeneket a címzettek megosztásaihoz való hozzáférés kezelésére, használja a Databricks-to-Databricks megosztást, vagy forduljon a Databricks ügyfélszolgálatához alternatív megoldásokért.

Mi a különbség a Lakeflow Connect és az OpenSharing között?

Az OpenSharing lehetővé teszi az élő adatok biztonságos megosztását platformok, felhők és régiók között. A Databricks a felügyelt összekötők használatával történő betöltést javasolja, mivel nagy adatmennyiségek, alacsony késésű lekérdezések és külső API-korlátok fogadására méretezhetők. Azonban lehet, hogy szeretné lekérdezni az adatait anélkül, hogy átmozgatná őket.

Ha választhat a felügyelt összekötők és az OpenSharing között, válassza az OpenSharing lehetőséget a következő forgatókönyvekhez:

  • Az adatkettőzés korlátozása.
  • A lehető legfrissebb adatok lekérdezése.

korlátozások

Táblázatformátum és funkciótámogatás

Formátumkövetelmények:

  • A táblázatos adatoknak Delta vagy felügyelt Iceberg táblaformátumban kell lenniük. A Parquet-táblákat egyszerűen átalakíthatja Delta-ra – és vissza. Lásd: CONVERT TO DELTA.
  • Az OpenSharing csak Delta-táblákként tudja olvasni az UniForm-táblákat.

Nem támogatott táblák:

Csak a Databricks-to-Databricks megosztása

A következő objektumok csak a Databricks–Databricks megosztási folyamattal oszthatók meg:

Views

Online közvetítés

  • Az OpenSharing nem támogatja a streamelési forrás futtatásakor vagy a stream újraindítása során történő módosítást responseFormat .

Címzett metaadatai

  • A megosztott katalógusból származó information_schema táblák a Unity Katalógusban tárolt metaadatokat tükrözik. Ez a metaadatok csak akkor frissülnek a szolgáltatótól, ha közvetlenül kérdezi le a megosztott táblát, vagy futtat egy parancsot, például a DESCRIBE vagy REFRESH FOREIGNa . Addig information_schema is elavultnak tűnhet a szolgáltató adataihoz képest.

Erőforrás- és műszaki korlátok

  • A megosztott táblákhoz engedélyezett metaadatokban lévő fájlok száma korlátozott. További információkért lásd: Erőforráskorlát túllépése miatti hibák.
  • A information_schema nevű sémák nem importálhatók Unity Catalog-metaadattárba, mert ez a sémanév a Unity Catalogban van fenntartva.

Lásd még a Delta Lake szolgáltatástámogatási mátrixát.

Kaszkádolt törlésekkel elkerülheti a megosztás védelmét

Ha töröl egy szülőobjektumot, például katalógust vagy sémát, a gyermekobjektumok kaszkádolt törlését aktiválja, még akkor is, ha ezek a gyermekobjektumok aktív megosztásokban szerepelnek. Miután egy kaszkádolt törlés eltávolít egy objektumot, nem adhat hozzá újra egy azonos nevű objektumot a megosztáshoz.

A probléma elkerülése érdekében távolítsa el az objektumokat az összes megosztásból, mielőtt törli a szülőobjektumokat.

Erőforráskvóták

Azure Databricks minden OpenSharing biztonságos objektumra kikényszeríti az erőforráskvótákat. Ezek a kvóták az erőforráskorlátokban vannak felsorolva. Ha várhatóan túllépi ezeket az erőforráskorlátokat, forduljon az Azure Databricks-fiók csapatához.

A kvótahasználatot a Unity Catalog erőforráskvóta API-kkal figyelheti. Lásd : A Unity Catalog erőforráskvóták használatának monitorozása.

További erőforrások

  • Last updated on