Adatok másolása az Azure Databricks Delta Lake-be és onnan az Azure Data Factory vagy az Azure Synapse Analytics használatával

Cikk
01/05/2024

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a Copy tevékenység az Azure Data Factoryben és az Azure Synapse-ban az Adatok másolása az Azure Databricks Delta Lake-be és onnan. A Copy tevékenység cikkre épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez az Azure Databricks Delta Lake-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/fogadó)	① ②
Adatfolyam leképezése (forrás/fogadó)	①
Keresési tevékenység	① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A szolgáltatás általában az alábbi képességekkel támogatja a Delta Lake-t a különböző igények kielégítése érdekében.

Copy tevékenység támogatja az Azure Databricks Delta Lake-összekötőt, hogy adatokat másoljon bármely támogatott forrásadattárból az Azure Databricks delta lake táblájába, valamint a delta lake táblából bármely támogatott fogadóadattárba. A Databricks-fürtöt használja az adatáthelyezés végrehajtásához, lásd az Előfeltételek szakaszban található részleteket.
A leképezési Adatfolyam támogatja az Általános Delta formátumot az Azure Storage-ban forrásként és fogadóként a Delta-fájlok kód nélküli ETL-hez való olvasásához és írásához, valamint felügyelt Azure Integration Runtime-on való futtatásához.
A Databricks-tevékenységek támogatják a kódközpontú ETL- vagy gépi tanulási számítási feladatok vezénylését a Delta Lake-en.

Előfeltételek

Az Azure Databricks Delta Lake-összekötő használatához be kell állítania egy fürtöt az Azure Databricksben.

Ha adatokat szeretne másolni a Delta Lake-be, Copy tevékenység meghívja az Azure Databricks-fürtöt, hogy adatokat olvasson be egy Azure Storage-ból, amely vagy az eredeti forrás, vagy egy átmeneti terület, ahová a szolgáltatás először a beépített szakaszos másolaton keresztül írja a forrásadatokat. Tudjon meg többet a Delta-tóról, mint fogadóról.
Hasonlóképpen, ha adatokat szeretne másolni a Delta Lake-ből, Copy tevékenység meghívja az Azure Databricks-fürtöt, hogy adatokat írjon egy Azure Storage-ba, amely vagy az eredeti fogadó, vagy egy átmeneti terület, ahonnan a szolgáltatás beépített szakaszos másolaton keresztül továbbra is adatokat ír a végső fogadóba. További információ a Delta-tóról, mint forrásról.

A Databricks-fürtnek hozzáféréssel kell rendelkeznie az Azure Blobhoz vagy az Azure Data Lake Storage Gen2-fiókhoz, mind a forráshoz/fogadóhoz/előkészítéshez használt tárolóhoz/fájlrendszerhez, mind pedig ahhoz a tárolóhoz/fájlrendszerhez, ahol meg szeretné írni a Delta Lake-táblákat.

Az Azure Data Lake Storage Gen2 használatához konfigurálhat egy egyszerű szolgáltatást a Databricks-fürtön az Apache Spark-konfiguráció részeként. Kövesse az Accessben található lépéseket közvetlenül a szolgáltatásnévvel.
Az Azure Blob Storage használatához konfigurálhat egy tárfiók hozzáférési kulcsát vagy SAS-jogkivonatát a Databricks-fürtön az Apache Spark-konfiguráció részeként. Kövesse az Azure Blob Storage-beli Azure Blob Storage RDD API-val való használatát.

A másolási tevékenység végrehajtása során, ha a konfigurált fürt leállt, a szolgáltatás automatikusan elindítja azt. Ha szerzői felhasználói felülettel hoz létre folyamatot, az olyan műveletekhez, mint az adatok előnézete, élő fürtre van szüksége, a szolgáltatás nem indítja el a fürtöt az Ön nevében.

A fürtkonfiguráció megadása

A Fürt mód legördülő menüben válassza a Standard lehetőséget.
A Databricks Runtime Version legördülő listában válasszon egy Databricks-futtatókörnyezeti verziót.
Az automatikus optimalizálás bekapcsolásához adja hozzá a következő tulajdonságokat a Spark-konfigurációhoz:
```
spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true
```
Konfigurálja a fürtöt az integrációs és skálázási igényeknek megfelelően.

A fürtkonfiguráció részleteiért lásd : Fürtök konfigurálása.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása az Azure Databricks Delta Lake-hez felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Azure Databricks Delta Lake-hez az Azure Portal felhasználói felületén.

Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
- Azure Data Factory
- Azure Synapse
Keressen rá a delta kifejezésre, és válassza ki az Azure Databricks Delta Lake-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Csatlakozás or konfigurációjának részletei

A következő szakaszok az Azure Databricks Delta Lake-összekötőre jellemző entitásokat meghatározó tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Ez az Azure Databricks Delta Lake-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat.

Hozzáférési jogkivonat
Rendszer által hozzárendelt felügyelt identitás hitelesítése
Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Hozzáférési jogkivonat

Az Azure Databricks Delta Lake társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Igen
domain	Adja meg az Azure Databricks-munkaterület URL-címét, például. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve – Konfiguráció –>> Címkék. További információ.
accessToken	Hozzáférési jogkivonatra van szükség ahhoz, hogy a szolgáltatás hitelesítést végezzen az Azure Databricksben. A hozzáférési jogkivonatot a databricks-munkaterületről kell létrehozni. A hozzáférési jogkivonat megkeresésének részletes lépéseit itt találja.
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár egy magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	Nem

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "accessToken": {
                "type": "SecureString", 
                "value": "<access token>"
          	}
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásairól további információt az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásairól talál.

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket az engedélyek megadásához:

A felügyelt identitás adatainak lekéréséhez másolja a létrehozott felügyelt identitásobjektum-azonosító értékét az adat-előállítóval vagy a Synapse-munkaterülettel együtt.
Adja meg a felügyelt identitásnak a megfelelő engedélyeket az Azure Databricksben. Általában legalább a közreműködői szerepkört kell megadnia a rendszer által hozzárendelt felügyelt identitásnak az Azure Databricks hozzáférés-vezérlési (IAM) szolgáltatásában.

Az Azure Databricks Delta Lake társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Igen
domain	Adja meg az Azure Databricks-munkaterület URL-címét, például. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Igen
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve – Konfiguráció –>> Címkék. További információ.	Igen
workspaceResourceId	Adja meg az Azure Databricks munkaterületi erőforrás-azonosítóját.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár egy magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	Nem

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Ha többet szeretne megtudni az Azure-erőforrások felhasználó által hozzárendelt felügyelt identitásairól, tekintse meg a felhasználó által hozzárendelt felügyelt identitásokat

A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Databricksben. Általában legalább a közreműködői szerepkört kell megadnia a felhasználó által hozzárendelt felügyelt identitásnak az Azure Databricks hozzáférés-vezérlési (IAM) szolgáltatásában.
Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz vagy a Synapse-munkaterülethez, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Az Azure Databricks Delta Lake társított szolgáltatása a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Igen
domain	Adja meg az Azure Databricks-munkaterület URL-címét, például. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Igen
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve – Konfiguráció –>> Címkék. További információ.	Igen
hitelesítő adatok	Adja meg a felhasználó által hozzárendelt felügyelt identitást hitelesítő objektumként.	Igen
workspaceResourceId	Adja meg az Azure Databricks munkaterületi erőforrás-azonosítóját.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár egy magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	Nem

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Az Azure Databricks Delta Lake-adathalmaz esetében az alábbi tulajdonságok támogatottak.

Property	Leírás	Required
típus	Az adathalmaz típustulajdonságának AzureDatabricksDeltaLakeDataset értékre kell állítania.	Igen
adatbázis	Az adatbázis neve.	Nem a forráshoz, igen a fogadóhoz
table	A deltatábla neve.	Nem a forráshoz, igen a fogadóhoz

Példa

{
    "name": "AzureDatabricksDeltaLakeDataset",
    "properties": {
        "type": "AzureDatabricksDeltaLakeDataset",
        "typeProperties": {
            "database": "<database name>",
            "table": "<delta table name>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Azure Databricks Delta Lake-forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Delta-tó mint forrás

Az Azure Databricks Delta Lake-ből való adatmásoláshoz az alábbi tulajdonságok támogatottak a Copy tevékenység forrásszakaszban.

Property	Leírás	Required
típus	A Copy tevékenység forrás típustulajdonságának az AzureDatabricksDeltaLakeSource értékre kell állítania.	Igen
Lekérdezés	Adja meg az adatokat beolvasni kívánt SQL-lekérdezést. Az időutazás szabályozásához kövesse az alábbi mintát: - `SELECT * FROM events TIMESTAMP AS OF timestamp_expression` - `SELECT * FROM events VERSION AS OF version`	Nem
exportálás Gépház	Speciális beállítások az adatok deltatáblából való lekéréséhez.	Nem
A következő alatt `exportSettings`:
típus	Az exportálási parancs típusa az AzureDatabricksDeltaLakeExportCommand értékre állítva.	Igen
dateFormat	Dátumtípus formázása sztringre dátumformátummal. Az egyéni dátumformátumok a datetime minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd`használja.	Nem
timestampFormat	Időbélyeg-típus formázása sztringre időbélyeg formátummal. Az egyéni dátumformátumok a datetime minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`használja.	Nem

Közvetlen másolat a Delta Lake-ről

Ha a fogadó adattára és formátuma megfelel az ebben a szakaszban ismertetett feltételeknek, a Copy tevékenység használatával közvetlenül másolhat az Azure Databricks Delta táblából a fogadóba. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:

A fogadóhoz társított szolgáltatás az Azure Blob Storage vagy az Azure Data Lake Storage Gen2. A fiók hitelesítő adatait előre konfigurálnia kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.
A fogadó adatformátuma parquet, tagolt szöveg vagy Avro, az alábbi konfigurációkkal, és fájl helyett egy mappára mutat.
- Parquet formátum esetén a tömörítési kodek nincs, snappy vagy gzip.
- Tagolt szövegformátum esetén:
  - rowDelimiter bármely karakter.
  - compressionnem lehet, bzip2, gzip.
  - encodingName Az UTF-7 nem támogatott.
- Avro formátum esetén a tömörítési kodek nincs, deflátum vagy snappy.
A Copy tevékenység forrásban additionalColumns nincs megadva.
Ha az adatokat tagolt szövegre másolja, a másolási tevékenység fogadójában fileExtension ".csv"-nek kell lennie.
A Copy tevékenység leképezésben nincs engedélyezve a típusátalakítás.

Példa

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Szakaszos másolat a Delta Lake-ről

Ha a fogadó adattára vagy formátuma nem felel meg a közvetlen másolási feltételeknek, ahogyan azt az előző szakaszban említettük, engedélyezze a beépített szakaszos példányt egy köztes Azure Storage-példány használatával. A szakaszos másolási funkció emellett jobb átviteli sebességet is biztosít. A szolgáltatás adatokat exportál az Azure Databricks Delta Lake-ből átmeneti tárolóba, majd átmásolja az adatokat a fogadóba, és végül megtisztítja az ideiglenes adatokat az átmeneti tárolóból. Az adatok előkészítéssel történő másolásával kapcsolatos részletekért tekintse meg a szakaszos másolást .

A funkció használatához hozzon létre egy Azure Blob Storage társított szolgáltatást vagy az Azure Data Lake Storage Gen2 társított szolgáltatást , amely ideiglenes előkészítésként hivatkozik a tárfiókra. Ezután adja meg a enableStaging Copy tevékenység a tulajdonságokat és stagingSettings a tulajdonságokat.

Megjegyzés:

Az átmeneti tárfiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.

Példa

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Delta-tó fogadóként

Ha adatokat szeretne átmásolni az Azure Databricks Delta Lake-be, az alábbi tulajdonságok támogatottak a Copy tevékenység fogadó szakaszban.

Property	Leírás	Required
típus	A Copy tevékenység fogadó típustulajdonsága az AzureDatabricksDeltaLakeSink értékre van állítva.	Igen
preCopyScript	Adjon meg egy SQL-lekérdezést a Copy tevékenység futtatásához, mielőtt adatokat írna a Databricks deltatáblájába minden futtatás során. Példa: `VACUUM eventsTable DRY RUN` Ezzel a tulajdonságtal törölheti az előre betöltött adatokat, vagy hozzáadhat egy csonkolt táblát vagy vákuumutasítást.	Nem
importálás Gépház	Speciális beállítások az adatok deltatáblába való írásához.	Nem
A következő alatt `importSettings`:
típus	Az importálási parancs típusa az AzureDatabricksDeltaLakeImportCommand értékre állítva.	Igen
dateFormat	Sztring dátumformátummal történő formázása. Az egyéni dátumformátumok a datetime minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd`használja.	Nem
timestampFormat	Sztring formázása időbélyeg típusúra időbélyeg formátummal. Az egyéni dátumformátumok a datetime minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`használja.	Nem

Közvetlen másolás a Delta Lake-be

Ha a forrásadattár és a formátum megfelel az ebben a szakaszban leírt feltételeknek, a Copy tevékenység használatával közvetlenül másolhat a forrásból az Azure Databricks Delta Lake-be. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:

A forráshoz társított szolgáltatás az Azure Blob Storage vagy az Azure Data Lake Storage Gen2. A fiók hitelesítő adatait előre konfigurálnia kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.
A forrásadat formátumaparquet, tagolt szöveg vagy Avro , az alábbi konfigurációkkal, és fájl helyett egy mappára mutat.
- Parquet formátum esetén a tömörítési kodek nincs, snappy vagy gzip.
- Tagolt szövegformátum esetén:
  - rowDelimiter alapértelmezett érték, vagy bármely karakter.
  - compressionnem lehet, bzip2, gzip.
  - encodingName Az UTF-7 nem támogatott.
- Avro formátum esetén a tömörítési kodek nincs, deflátum vagy snappy.
A Copy tevékenység forrásban:
- wildcardFileName csak helyettesítő karaktert * tartalmaz, de nem ?, és wildcardFolderName nincs megadva.
- prefix, modifiedDateTimeStart, modifiedDateTimeEndés enablePartitionDiscovery nincs megadva.
- additionalColumns nincs megadva.
A Copy tevékenység leképezésben nincs engedélyezve a típusátalakítás.

Példa

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink",
                "sqlReadrQuery": "VACUUM eventsTable DRY RUN"
            }
        }
    }
]

Szakaszos másolás a Delta Lake-be

Ha a forrásadattár vagy -formátum nem felel meg a közvetlen másolási feltételeknek, ahogyan azt az előző szakaszban említettük, engedélyezze a beépített szakaszos példányt egy köztes Azure Storage-példány használatával. A szakaszos másolási funkció emellett jobb átviteli sebességet is biztosít. A szolgáltatás automatikusan átalakítja az adatokat úgy, hogy megfeleljenek az adatformátum követelményeinek átmeneti tárolóvá, majd onnan betölti az adatokat a Delta Lake-be. Végül megtisztítja az ideiglenes adatokat a tárból. Az adatok átmeneti másolással történő másolásával kapcsolatos részletekért tekintse meg a szakaszos másolást .

Megjegyzés:

Az átmeneti tárfiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.

Példa

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Figyelés

Ugyanaz a másolási tevékenység monitorozási élménye biztosított, mint a többi összekötő esetében. Emellett mivel az Adatok betöltése az Azure Databricks-fürtön fut a Delta Lake-ből vagy a Delta Lake-be, további részletes fürtnaplókat tekinthet meg, és figyelheti a teljesítményt.

Keresési tevékenység tulajdonságai

A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.

A Copy tevékenység által forrásként és fogadóként támogatott adattárak listájáért tekintse meg a támogatott adattárakat és formátumokat.

Adatok másolása az Azure Databricks Delta Lake-be és onnan az Azure Data Factory vagy az Azure Synapse Analytics használatával

Támogatott képességek

Előfeltételek

A fürtkonfiguráció megadása

Első lépések

Társított szolgáltatás létrehozása az Azure Databricks Delta Lake-hez felhasználói felülettel

Csatlakozás or konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Hozzáférési jogkivonat

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Adathalmaz tulajdonságai

Másolási tevékenység tulajdonságai

Delta-tó mint forrás

Közvetlen másolat a Delta Lake-ről

Szakaszos másolat a Delta Lake-ről

Delta-tó fogadóként

Közvetlen másolás a Delta Lake-be

Szakaszos másolás a Delta Lake-be

Figyelés

Keresési tevékenység tulajdonságai

Kapcsolódó tartalom

További források