Adatok másolása és átalakítása Azure Blob Storage Azure Data Factory vagy Azure Synapse Analytics használatával

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Ez a cikk megadja, hogyan használhatja a Copy tevékenységet az Azure Data Factory és az Azure Synapse folyamatokban az adatok Azure Blob Storage-ból és -ba történő másolásához. Ismerteti azt is, hogyan használható a Adatfolyam tevékenység az adatok átalakítására az Azure Blob Storage-ben. További információért olvassa el a Azure Data Factory és a Azure Synapse Analytics bevezető cikkeket.

Note

Ez az összekötő a Microsoft Fabric Data Factoryban is elérhető. Az Fabric-specifikus konfigurációval és funkciókkal kapcsolatban tekintse meg a Fabric Azure Blob Storage összekötő dokumentációját.

Tip

A data lake-hez vagy adattárházhoz tartozó migrálási forgatókönyvről a Migrate data to data lake or data warehouse to Azure című cikkben olvashat.

Támogatott képességek

Ez a Azure Blob Storage-összekötő a következő képességeket támogatja:

Támogatott képességek	integrációs modul	Felügyelt privát végpont
Copy tevékenység (forrás/fogadó)	(1) (2)	** ✓ Tárfiók V1 kizárása
Adatfolyam leképezése (forrás/fogadó)	①	** ✓ Tárfiók V1 kizárása
Keresési tevékenység	(1) (2)	** ✓ Tárfiók V1 kizárása
GetMetadata-tevékenység	(1) (2)	** ✓ Tárfiók V1 kizárása
Tevékenység törlése	(1) (2)	** ✓ Tárfiók V1 kizárása

(1) Azure integrációs modul (2) Saját üzemeltetésű integrációs modul

A Copy tevékenység Blob Storage-összekötője a következőket támogatja:

Blobok másolása általános célú Azure tárfiókokba, valamint gyakori és ritka elérésű blobtárolókba.
Blobok másolása fiókkulcs, szolgáltatásmegosztási jogosultságkód (SAS), szolgáltatásnév vagy felügyelt identitás használatával Azure erőforrás-hitelesítésekhez.
Blobok másolása blokkokból, hozzáfűzőkből vagy lapblobokból, és adatok másolása csak blokkblobokba.
Blobok másolása, illetve blobok elemzése vagy generálása támogatott fájlformátumokkal és tömörítési kodekekkel.
A fájl metaadatainak megőrzése másolás közben.

Első lépések

A másolási tevékenység végrehajtásához egy folyamattal használhatja az alábbi eszközök vagy SDK-k egyikét:

Azure Blob Storage társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépésekkel létrehozhat egy Azure Blob Storage társított szolgáltatást a Azure portál felhasználói felületén.

Keresse meg a Azure Data Factory vagy Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:
- Azure Data Factory
- Azure Synapse
Keresse meg a blobot, és válassza ki az Azure Blob Storage összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Azure Blob Storage kapcsolt szolgáltatás konfigurációjának képernyőképe

Az összekötő konfigurációjának részletei

Az alábbi szakaszok a Data Factory és a Synapse-folyamat entitásainak a Blob Storage-ra vonatkozó definiálásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Ez a Blob Storage-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat.

Névtelen hitelesítés
Fiókkulcs-hitelesítés
Közös hozzáférésű jogosultságkód hitelesítése
Szolgáltatás főpéldányának hitelesítése
Rendszer által hozzárendelt felügyelt identitás hitelesítése
Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Note

Ha a globális Azure integrációs modult szeretné használni a Blob Storage csatlakoztatásához az Azure Storage tűzfalán engedélyezett Allow trusted Microsoft-szolgáltatások to access this storage account beállítást alkalmazva, akkor a felügyelt identitáshitelesítést kell használnia. A Azure Storage tűzfalbeállításokról további információt a Tűzfalak és virtuális hálózatok konfigurálása Azure Storage című témakörben talál.
Amikor a PolyBase-t vagy a COPY utasítást használja adatok betöltésére az Azure Synapse Analytics-be, ha a forrás- vagy átmeneti Blob Storage-t az Azure Virtual Network végponttal konfigurálták, akkor a felügyelt identitás hitelesítését kell használnia az Azure Synapse által megkövetelt módon. További konfigurációs előfeltételekért tekintse meg a felügyelt identitáshitelesítési szakaszt.

Note

Azure HDInsight és Azure Machine Learning tevékenységek csak Azure Blob Storage fiókkulcsokat használó hitelesítést támogatnak.

Névtelen hitelesítés

A tárfiókkulcs-hitelesítéshez a következő tulajdonságok támogatottak Azure Data Factory vagy Synapse-folyamatokban:

Property	Description	Required
típus	A `type` tulajdonságot be kell állítani `AzureBlobStorage` (javasolt) vagy `AzureStorage` (lásd a következő megjegyzéseket).	Yes
containerUri	Adja meg az Azure Blob-tároló URI-t, amelynél engedélyezve van a névtelen olvasási hozzáférés az alábbi formátum szerint `https://<AccountName>.blob.core.windows.net/<ContainerName>` és Konfigurálja a névtelen nyilvános olvasási hozzáférést a tárolókhoz és blobokhoz	Yes
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Example:


{
    "name": "AzureBlobStorageAnonymous",
    "properties": {
        "annotations": [],
        "type": "AzureBlobStorage",
        "typeProperties": {
            "containerUri": "https:// <accountname>.blob.core.windows.net/ <containername>",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példák felhasználói felületre:

A felhasználói felület a következő képen látható módon jelenik meg. Ez a minta egy Azure nyitott adatkészletet használt forrásként.

Képernyőkép a névtelen példák felhasználói felületének konfigurációjáról.

Fiókkulcs-hitelesítés

A tárfiókkulcs-hitelesítéshez a következő tulajdonságok támogatottak Azure Data Factory vagy Synapse-folyamatokban:

Property	Description	Required
típus	A `type` tulajdonságot be kell állítani `AzureBlobStorage` (javasolt) vagy `AzureStorage` (lásd a következő megjegyzéseket).	Yes
connectionString	Adja meg a `connectionString` tulajdonság Storage-hoz való csatlakozáshoz szükséges információkat. Az Azure Key Vaultban is elhelyezheti a fiókkulcsot, és lekérheti a `accountKey` konfigurációt a kapcsolat karakterláncból. További információkért tekintse meg az alábbi mintákat és a Store hitelesítő adatait Azure Key Vault cikkben.	Yes
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Note

A másodlagos blobszolgáltatás-végpontok nem támogatottak a fiókkulcs-hitelesítés használatakor. Más hitelesítési típusokat is használhat.

Note

Ha a AzureStorage társított típusú szolgáltatást használja, az továbbra is támogatott. Javasoljuk azonban, hogy az új AzureBlobStorage társított szolgáltatástípust használja tovább.

Example:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Tárold a fiókkulcsot az Azure Key Vault-ban

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Közös hozzáférésű jogosultságkód hitelesítése

A megosztott hozzáférésű jogosultságkód delegált hozzáférést biztosít a tárfiók erőforrásaihoz. A megosztott hozzáférésű jogosultságkódokkal korlátozott engedélyeket adhat egy ügyfélnek a tárfiókban lévő objektumokhoz egy adott időre.

Nem kell megosztania a fiók hozzáférési kulcsait. A közös hozzáférésű jogosultságkód egy URI, amely a lekérdezési paraméterekben tartalmazza a tárerőforráshoz való hitelesített hozzáféréshez szükséges összes információt. A megosztott hozzáférésű jogosultságkóddal rendelkező tárolási erőforrások eléréséhez az ügyfélnek csak a közös hozzáférésű jogosultságkódot kell átadnia a megfelelő konstruktornak vagy metódusnak.

A közös hozzáférésű jogosultságkódokkal kapcsolatos további információkért lásd : Közös hozzáférésű jogosultságkódok: A közös hozzáférésű jogosultságkód-modell ismertetése.

Note

A szolgáltatás mostantól támogatja a szolgáltatás közös hozzáférésű jogosultságkódjait és a fiók közös hozzáférésű jogosultságkódjait is. A közös hozzáférésű jogosultságkódokkal kapcsolatos további információkért lásd: A megosztott hozzáférésű jogosultságkódok használatával korlátozott hozzáférés Azure Storage erőforrásokhoz.
A későbbi adathalmaz-konfigurációkban a mappa elérési útja a tárolószinttől kezdődő abszolút elérési út. Konfigurálnia kell egy, az SAS URI-ban található elérési útnak megfelelőt.

A következő tulajdonságok támogatottak a közös hozzáférésű jogosultságkód-hitelesítés használatához:

Property	Description	Required
típus	A `type` tulajdonságot be kell állítani `AzureBlobStorage` (javasolt) vagy `AzureStorage` (lásd a következő megjegyzést).	Yes
sasUri	Adja meg a megosztott hozzáférésű jogosultságkód URI-jának használatát a Storage-erőforrásokhoz, például a blobhoz vagy a tárolóhoz. Jelölje meg ezt a mezőt, hogy `SecureString` biztonságban tárolódjon. Az SAS-token Azure Key Vaultban való elhelyezése lehetővé teszi az automatikus megújítást, és feleslegessé teszi a token rész kezelését. További információkért tekintse meg az alábbi mintákat és a hitelesítő adatok tárolását az Azure Key Vaultban.	Yes
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Note

Example:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tárold a fiókkulcsot az Azure Key Vault-ban

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Amikor közös hozzáférésű jogosultságkód URI-t hoz létre, vegye figyelembe a következő szempontokat:

Állítsa be a megfelelő olvasási/írási engedélyeket az objektumokon a társított szolgáltatás (olvasás, írás, olvasás/írás) használata alapján.
A lejárati idő megfelelő beállítása. Győződjön meg arról, hogy a Storage-objektumokhoz való hozzáférés nem jár le a folyamat aktív időszakában.
Az URI-t szükség szerint a megfelelő tárolóban vagy blobban kell létrehozni. A blobok közös hozzáférésű jogosultságkódjának URI-ja lehetővé teszi, hogy az adat-előállító vagy a Synapse-folyamat hozzáférjen az adott blobhoz. A Blob Storage-tárolók közös hozzáférésű jogosultságkódjának URI-ja lehetővé teszi, hogy az adat-előállító vagy a Synapse-folyamat iteráljon a tárolóban lévő blobokon keresztül. Ha később több vagy kevesebb objektumhoz szeretne hozzáférést biztosítani, vagy frissíteni szeretné a közös hozzáférésű jogosultságkód URI-ját, ne felejtse el frissíteni a társított szolgáltatást az új URI-val.

Szolgáltatási főnév hitelesítése

A Azure Storage egyszerű hitelesítéssel kapcsolatos általános információkért lásd: A Azure Storage hozzáférésének hitelesítése Microsoft Entra ID használatával.

A szolgáltatásnév-hitelesítés használatához kövesse az alábbi lépéseket:

Az alkalmazás regisztrálása a Microsoft identitásplatformon. Ennek módjáról a Gyorsindító: Alkalmazás regisztrálása a Microsoft Identitásplatformon című témakörből tájékozódhat. Jegyezze fel ezeket az értékeket, amelyeket a társított szolgáltatás definiálásához használ:
- Pályázat azonosítója
- Alkalmazáskulcs
- Bérlő azonosító
Adjon megfelelő engedélyt a szolgáltatási főnévnek az Azure Blob Storage számára. A szerepkörökről bővebben a Hogyan rendeljünk hozzá Azure szerepkört a blob- és üzenetsor-adatokhoz az Azure portál használatával oldalon olvashat.
- Forrásként, a hozzáférés-vezérlésben (IAM)adja meg legalább a Storage Blob Data Reader szerepkört.
- Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Blob Data Contributor szerepkört.

Ezek a tulajdonságok támogatottak egy Azure Blob Storage társított szolgáltatás esetében:

Property	Description	Required
típus	A típustulajdonságotAzureBlobStorage értékre kell állítani.	Yes
serviceEndpoint	Adja meg a Azure Blob Storage szolgáltatásvégpontot a `https://<accountName>.blob.core.windows.net/` mintával.	Yes
accountKind	Adja meg a tárfiók típusát. Az engedélyezett értékek a következők: Storage (általános célú v1), StorageV2 (általános célú v2), BlobStorage vagy BlockBlobStorage. Ha Azure Blob kapcsolt szolgáltatást használ az adatfolyamban, a felügyelt identitáshitelesítés vagy a szolgáltatási főazonosító hitelesítés nem támogatott, ha a fiók típusa üres vagy "Storage". Adja meg a megfelelő fióktípust, válasszon másik hitelesítést, vagy frissítse a tárfiókot általános célú v2-re.	No
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Yes
servicePrincipalCredentialType	A szolgáltatásazonosítós hitelesítéshez használandó hitelesítőadat-típus. Az engedélyezett értékek a ServicePrincipalKey és a ServicePrincipalCert.	Yes
servicePrincipalCredential	A szolgáltatás fő hitelesítő adatai. Ha a ServicePrincipalKey-t használja hitelesítő adattípusként, adja meg az alkalmazás kulcsát. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy referensként a Azure Key Vault-ben tárolt titkos kulcsokat. Ha ServicePrincipalCert hitelesítő adatként használja, hivatkozzon egy tanúsítványra a Azure Key Vault, és győződjön meg arról, hogy a tanúsítvány tartalomtípusa PKCS #12.	Yes
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. Az lekéréshez, helyezze a kurzort az Azure portál jobb felső sarkára.	Yes
azureCloudType	A szolgáltatásnév-hitelesítéshez adja meg a Azure felhőkörnyezet típusát, amelyhez a Microsoft Entra alkalmazás regisztrálva van. Az engedélyezett értékek az AzurePublic, az AzureChina, az AzureUsGovernment és az AzureGermany. Alapértelmezés szerint a rendszer az adat-előállítót vagy a Synapse-folyamat felhőkörnyezetét használja.	No
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Note

Ha a blobfiók engedélyezi a soft törlést, a szolgáltatási névhitelesítés nem támogatott a Adatfolyam-ban.
Ha privát végponton keresztül fér hozzá a blobtárolóhoz Adatfolyam használatával, vegye figyelembe, hogy amikor szolgáltatásnév-hitelesítést használ, a Adatfolyam a blobvégpont helyett az ADLS Gen2-végponthoz csatlakozik. A hozzáférés engedélyezéséhez mindenképpen hozza létre a megfelelő privát végpontot az adat-előállítóban vagy a Synapse-munkaterületen.

Note

A szolgáltatásnév-alapú hitelesítést csak az "AzureBlobStorage" típusú hozzárendelt szolgáltatás támogatja, az "AzureStorage" típusú hozzárendelt szolgáltatás nem.

Example:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Egy adat-előállító vagy Synapse-folyamat társítható egy Azure erőforrásokhoz tartozó rendszer által hozzárendelt felügyelt identitással, amely ezt az erőforrást jelöli más Azure szolgáltatásokkal való hitelesítéshez. Ezt a rendszer által hozzárendelt felügyelt identitást közvetlenül használhatja a Blob Storage-hitelesítéshez, amely hasonló a saját szolgáltatásnév használatához. Ez lehetővé teszi, hogy ez a kijelölt erőforrás hozzáférjen és adatokat másoljon a Blob Storage-ból vagy a Blob Storage-ba. Az Azure erőforrások felügyelt identitásairól további információt a Managed identities for Azure resources oldalon talál.

A Azure Storage hitelesítéssel kapcsolatos általános információkért lásd: A Azure Storage Microsoft Entra ID használatával történő hozzáférésének hitelesítése. Ha felügyelt identitásokat szeretne használni Azure erőforrás-hitelesítéshez, kövesse az alábbi lépéseket:

A rendszer által hozzárendelt felügyelt identitás adatainak lekéréséhez másolja a rendszer által hozzárendelt felügyelt identitásobjektum-azonosító értékét a gyári vagy a Synapse-munkaterülettel együtt.
Adjon engedélyt a felügyelt identitásnak az Azure Blob Storage-ra. A szerepkörökről bővebben a Hogyan rendeljünk hozzá Azure szerepkört a blob- és üzenetsor-adatokhoz az Azure portál használatával oldalon olvashat.
- Forrásként, a hozzáférés-vezérlésben (IAM)adja meg legalább a Storage Blob Data Reader szerepkört.
- Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Blob Data Contributor szerepkört.

Ezek a tulajdonságok támogatottak egy Azure Blob Storage társított szolgáltatás esetében:

Property	Description	Required
típus	A típustulajdonságotAzureBlobStorage értékre kell állítani.	Yes
serviceEndpoint	Adja meg a Azure Blob Storage szolgáltatásvégpontot a `https://<accountName>.blob.core.windows.net/` mintával.	Yes
accountKind	Adja meg a tárfiók típusát. Az engedélyezett értékek a következők: Storage (általános célú v1), StorageV2 (általános célú v2), BlobStorage vagy BlockBlobStorage. Ha Azure Blob kapcsolt szolgáltatást használ az adatfolyamban, a felügyelt identitáshitelesítés vagy a szolgáltatási főazonosító hitelesítés nem támogatott, ha a fiók típusa üres vagy "Storage". Adja meg a megfelelő fióktípust, válasszon másik hitelesítést, vagy frissítse a tárfiókot általános célú v2-re.	No
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Example:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Egy adatgyár egy vagy több felhasználó által hozzárendelt felügyelt identitással hozzárendelhető. Ezt a felhasználó által hozzárendelt felügyelt identitást használhatja a Blob Storage-hitelesítéshez, amely lehetővé teszi az adatok elérését és másolását a Blob Storage-ból vagy a Blob Storage-ba. Az Azure erőforrások felügyelt identitásairól további információt a Managed identities for Azure resources oldalon talál.

A Azure storage hitelesítéssel kapcsolatos általános információkért lásd: A Azure Storage Microsoft Entra ID használatával történő hozzáférésének engedélyezése. A felhasználó által hozzárendelt felügyelt identitáshitelesítés használatához kövesse az alábbi lépéseket:

Egy vagy több felhasználó által hozzárendelt felügyelt identitás létrehozása és engedély megadása Azure Blob Storage. A szerepkörökről bővebben a Hogyan rendeljünk hozzá Azure szerepkört a blob- és üzenetsor-adatokhoz az Azure portál használatával oldalon olvashat.
- Forrásként, a hozzáférés-vezérlésben (IAM)adja meg legalább a Storage Blob Data Reader szerepkört.
- Fogadóként a Hozzáférés-vezérlés (IAM) szolgáltatásban adjon meg legalább a Storage Blob Data Contributor szerepkört.
Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Ezek a tulajdonságok támogatottak egy Azure Blob Storage társított szolgáltatás esetében:

Property	Description	Required
típus	A típustulajdonságotAzureBlobStorage értékre kell állítani.	Yes
serviceEndpoint	Adja meg a Azure Blob Storage szolgáltatásvégpontot a `https://<accountName>.blob.core.windows.net/` mintával.	Yes
accountKind	Adja meg a tárfiók típusát. Az engedélyezett értékek a következők: Storage (általános célú v1), StorageV2 (általános célú v2), BlobStorage vagy BlockBlobStorage. Ha Azure Blob társított szolgáltatást használ az adatfolyamban, a felügyelt identitás- vagy szolgáltatásnév-hitelesítés nem támogatott, ha a fiók típusa üres vagy "Storage". Adja meg a megfelelő fióktípust, válasszon másik hitelesítést, vagy frissítse a tárfiókot általános célú v2-re.	No
azonosító adatok	Adja meg a felhasználó által hozzárendelt felügyelt identitást hitelesítő objektumként.	Yes
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs futtatókörnyezet. Használhatja a Azure integrációs modult vagy a saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha ez a tulajdonság nincs megadva, a szolgáltatás az alapértelmezett Azure integrációs modult használja.	No

Example:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Important

Ha PolyBase vagy COPY utasítással tölti be a Blob Storage-ból származó adatokat (forrásként vagy előkészítésként) az Azure Synapse Analytics-be, amikor felügyelt identitáshitelesítést használ a Blob Storage-hoz, kövesse az 1–3. lépést az útmutatóban. Ezek a lépések regisztrálják a kiszolgálót a Microsoft Entra ID-val, és hozzárendelik a Storage Blob Data Hozzájáruló szerepkört a kiszolgálóhoz. A Data Factory kezeli a többit. Ha a Blob Storage-t egy Azure Virtual Network végponttal konfigurálja, akkor be kell kapcsolnia az Azure Storage fiók Firewalls és virtuális hálózatok beállítások menüjében a Megbízható Microsoft-szolgáltatások hozzáférésének engedélyezését ehhez a tárfiókhoz, amint azt az Azure Synapse megköveteli.

Note

Ha a blobfiók engedélyezi a soft törlést, a rendszer/felhasználó által hozzárendelt felügyelt identitások hitelesítése nem támogatott a Adatfolyamben.
Ha a Adatfolyam segítségével fér hozzá a blobtárolóhoz privát végponton keresztül, vegye figyelembe, hogy amikor rendszer által hozzárendelt vagy felhasználó által hozzárendelt felügyelt identitás hitelesítését használják, a Adatfolyam az ADLS Gen2 végponthoz csatlakozik a blobvégpont helyett. A hozzáférés engedélyezéséhez mindenképpen hozza létre a megfelelő privát végpontot az ADF-ben.

Note

A rendszer által hozzárendelt/felhasználó által hozzárendelt felügyelt identitás hitelesítését csak az "AzureBlobStorage" típusú társított szolgáltatás támogatja, az előző "AzureStorage" típusú társított szolgáltatás nem.

Adatkészlet tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A location beállításainál az Azure Blob Storage az alábbi tulajdonságokat támogatja formátumalapú adatkészletek esetén:

Property	Description	Required
típus	Az adathalmaz helyének típustulajdonságát AzureBlobStorageLocation értékre kell állítani.	Yes
tároló	A blobtároló.	Yes
folderPath	Az adott tároló alatti mappa elérési útja. Ha helyettesítő karakterrel szeretné szűrni a mappát, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban.	No
fileName	A megadott tároló és mappa elérési útja alatti fájlnév. Ha helyettesítő karaktert szeretne használni a fájlok szűréséhez, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban.	No

Example:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Copy tevékenység tulajdonságok

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a Blob storage forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Blob Storage forrástípusként

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A formátumalapú másolási forrás storeSettings beállításai között a következő tulajdonságok támogatottak a Azure Blob Storage esetében:

Property	Description	Required
típus	A típustulajdonságnak az `storeSettings`AzureBlobStorageReadSettings értékre kell állítania.	Yes
Keresse meg a másolandó fájlokat:
1. LEHETŐSÉG: statikus elérési út	Másolja ki az adathalmazban megadott tárolóból vagy mappából/fájl elérési útból. Ha az összes blobot egy tárolóból vagy mappából szeretné másolni, akkor meg kell adnia úgy, hogy `wildcardFileName*` legyen.
2. LEHETŐSÉG: blob előtag -prefixum	Az adatkészletben konfigurált blobnév-előtag az adott tárolóban található forrásblobok szűrésére szolgál. Azok a blobok, amelyek nevével `container_in_dataset/this_prefix` kezdődnek, ki vannak jelölve. A Blob Storage szolgáltatásoldali szűrőt használja, amely jobb teljesítményt nyújt, mint egy helyettesítő karakterszűrő. Ha előtagot használ, és úgy dönt, hogy a hierarchiát megőrző fájlalapú fogadóhelyre másol, jegyezze fel az útvonal utolsó "/" utáni alútvonalát az előtagban. Például rendelkezik egy forrással `container/folder/subfolder/file.txt`, és beállítja az előtagot `folder/sub`, akkor a megtartott fájl elérési útja `subfolder/file.txt`.	No
3. LEHETŐSÉG: helyettesítő karakter - helyettesítő karakterekFolderPath	A könyvtár elérési út helyettesítő karakterekkel az adott tároló alatt, amely egy adatkészletben konfigurálva van a forráskönyvtárak szűrésére. Az engedélyezett helyettesítő karakterek a következők: `*` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg). Az `^` használható, ha a mappa neve helyettesítő karaktert vagy escape karaktert tartalmaz. További példák a mappa- és fájlszűrő példákban.	No
3. LEHETŐSÉG: helyettesítő karakter - wildcardFileName	A fájl neve, amely helyettesítő karaktereket tartalmaz a megadott tároló- és mappaelérési út alatt (vagy helyettesítő mappaelérési út), a forrásfájlok szűréséhez. Az engedélyezett helyettesítő karakterek a következők: `*` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg). Használja a `^` jelet a kimeneküléshez, ha a fájlnév tartalmaz helyettesítő karaktert vagy ezt a kimenekülési karaktert. További példák a mappa- és fájlszűrő példákban.	Yes
4. LEHETŐSÉG: a fájlok listája - fileListPath	Egy adott fájlkészlet másolását jelzi. Adjon meg egy szövegfájlt, amely tartalmazza a másolandó fájlok listáját, úgy, hogy minden sor egy fájlt tartalmazzon, ami az adathalmazban konfigurált elérési útvonalhoz képesti relatív útvonal. Ha ezt a lehetőséget használja, ne adjon meg fájlnevet az adathalmazban. További példákat a Fájl lista példái között talál.	No
További beállítások:
recursive	Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Vegye figyelembe, hogy ha a rekurzív értéke igaz , és a fogadó fájlalapú tároló, akkor a rendszer nem másol vagy hoz létre üres mappát vagy almappát a fogadóban. Az megengedett értékek: true (alapértelmezett) és false. Ez a tulajdonság nem érvényes a konfiguráláskor `fileListPath`.	No
deleteFilesAfterCompletion	Azt jelzi, hogy a bináris fájlok törölve lesznek-e a forrástárból a céltárolóba való sikeres áthelyezés után. A fájl törlése fájlonként történik. Ezért ha a másolási tevékenység meghiúsul, látni fogja, hogy egyes fájlok már át lettek másolva a célhelyre, és törölve lettek a forrásból, míg mások továbbra is a forrástárban maradnak. Ez a tulajdonság csak bináris fájlok másolási forgatókönyvében érvényes. Az alapértelmezett érték: hamis.	No
modifiedDatetimeStart	A fájlok szűrése a legutóbb módosított attribútum alapján történik. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő `modifiedDatetimeStart`-nél, és kisebb, mint `modifiedDatetimeEnd`-nél. Az idő a "2018-12-01T05:00:00Z" formátumú UTC időzónára lesz alkalmazva. A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nem alkalmaz fájlattribútum-szűrőt. Ha `modifiedDatetimeStart` dátum/idő érték van megadva, de `modifiedDatetimeEnd`NULL értékű, a program kijelöli azokat a fájlokat, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a datetime értéknél. Ha `modifiedDatetimeEnd` dátum/idő érték van megadva, de `modifiedDatetimeStart`NULL értékű, a program kijelöli azokat a fájlokat, amelyek utolsó módosított attribútuma kisebb a datetime értéknél. Ez a tulajdonság nem érvényes a konfiguráláskor `fileListPath`.	No
modifiedDatetimeEnd	Ugyanaz, mint az előző tulajdonság.	No
enablePartitionDiscovery	A particionált fájlok esetében adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útján, és hozzáadja-e őket további forrásoszlopokként. Az engedélyezett értékek hamis (alapértelmezett) és igaz.	No
partitionRootPath	Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához. Ha nincs megadva, alapértelmezés szerint – Amikor fájlelérési utakat használ az adathalmazban vagy a forrásban lévő fájlok listájában, a partíció gyökérútvonala az az útvonal, amely az adathalmazban van konfigurálva. – Helyettesítő karakteres mappaszűrő használata esetén a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal. - Előtag használata esetén a partíció gyökérútvonala az utolsó "/" előtti alútvonal. Tegyük fel például, hogy az adathalmaz elérési útját "root/folder/year=2020/month=08/day=27" értékre konfigurálja: - Ha a partíció gyökér elérési útját "root/folder/year=2020" értékként adja meg, a másolási tevékenység a fájlokon belüli oszlopok mellett két további oszlopot `monthday` hoz létre, valamint a "08" és a "27" értéket. – Ha nincs megadva a partíció gyökérútvonala, a rendszer nem hoz létre további oszlopot.	No
maxConcurrentConnections	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	No

Note

Parquet vagy tagolt szövegformátum esetén a BlobSource típus továbbra is változatlan formában támogatott a következő szakaszban említett Copy tevékenység forrásaként, a visszamenőleges kompatibilitás érdekében. Javasoljuk, hogy addig használja az új modellt, amíg a szerzői felhasználói felület át nem vált az új típusok létrehozására.

Example:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Note

A $logs tároló, amely automatikusan létrejön, amikor Storage Analytics engedélyezve van egy tárfiókhoz, nem jelenik meg, ha a tárolólista-művelet a felhasználói felületen keresztül történik. A fájl elérési útját közvetlenül az adat-előállító vagy a Synapse-folyamat számára kell megadni a $logs tárolóból származó fájlok felhasználásához.

Blob Storage mint fogadótípus

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A formátumalapú másolási fogadó storeSettings beállításai között a következő tulajdonságok támogatottak a Azure Blob Storage:

Property	Description	Required
típus	Az `type` alatta lévő `storeSettings` tulajdonságnak a következőre kell állítania: `AzureBlobStorageWriteSettings`.	Yes
copyBehavior	Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok. Az engedélyezett értékek a következők: - PreserveHierarchy (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájlnak a forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útával. - FlattenHierarchy: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek. - MergeFiles: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájl vagy a blob neve meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.	No
blockSizeInMB	Adja meg a blokkméretet megabájtban, amelyet az adatok blokkokba történő írásához használnak. További információ a blokkblobokról. Az engedélyezett érték 4 MB és 100 MB között van. Alapértelmezés szerint a szolgáltatás automatikusan meghatározza a blokk méretét a forrástár típusa és adatai alapján. A Blob Storage-ba való nem kötéses másolás esetén az alapértelmezett blokkméret 100 MB, így legfeljebb 4,95 TB-os adathoz fér el. Előfordulhat, hogy nem optimális, ha az adatok nem nagyok, különösen akkor, ha a saját üzemeltetésű integrációs modult gyenge hálózati kapcsolatokkal használja, amelyek működési időtúllépést vagy teljesítményproblémákat eredményeznek. Explicit módon megadhatja a blokkméretet, miközben biztosíthatja, hogy `blockSizeInMB*50000` elég nagy legyen az adatok tárolásához. Ellenkező esetben a Copy tevékenység futtatása sikertelen lesz.	No
maxConcurrentConnections	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	No
metaadat	Egyéni metaadatok beállítása fogadóba másoláskor. A tömb alatti `metadata` objektumok egy további oszlopot jelölnek. Ez `name` határozza meg a metaadatkulcs nevét, és a `value` kulcs adatértékét. Ha az attribútumok megőrzése funkciót használja, a megadott metaadatok egyesülnek/felülírják a forrásfájl metaadatait. Az engedélyezett adatértékek a következők: - `$$LASTMODIFIED`: a fenntartott változó azt jelzi, hogy a forrásfájlok utolsó módosítási ideje tárolható. Csak bináris formátumú fájlalapú forrásra alkalmazható. -Kifejezés - Statikus érték	No

Example:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Mappa- és fájlszűrő példák

Ez a szakasz a mappa elérési útjának és a fájlneveknek a helyettesítő karaktereket tartalmazó szűrők általi viselkedését ismerteti.

folderPath	fileName	recursive	A forrásmappa struktúrája és a szűrés eredménye (a félkövér fájlokat a rendszer lekéri)
`container/Folder*`	(üres, alapértelmezett beállítás)	false	tároló FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`container/Folder*`	(üres, alapértelmezett beállítás)	true	tároló FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`container/Folder*`	`*.csv`	false	tároló FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`container/Folder*`	`*.csv`	true	tároló FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv

Példák fájllistára

Ez a szakasz a fájllista elérési útjának Copy tevékenység forrásban való használatának eredő viselkedését ismerteti.

Tegyük fel, hogy a következő forrásmappa-struktúrával rendelkezik, és félkövér formátumban szeretné másolni a fájlokat:

Minta forrásstruktúra	Tartalom a FileListToCopy.txt fájlban	Configuration
tároló FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv Metadata FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	Adatkészletben: -Konténer: `container` - Mappa elérési útja: `FolderA` A Másolási tevékenység forrás: - Fájllista elérési útja: `container/Metadata/FileListToCopy.txt` A fájllista elérési útja ugyanabban az adattárban található szövegfájlra mutat, amely tartalmazza a másolni kívánt fájlok listáját. Soronként egy fájlt tartalmaz, a fájl relatív elérési útja az adathalmazban konfigurált elérési útvonalhoz kapcsolódik.

Néhány rekurzív és copyBehavior példa

Ez a szakasz a Másolás művelet eredményül kapott viselkedését ismerteti a rekurzív és a copyBehavior értékek különböző kombinációihoz.

recursive	copyBehavior	Forrásmappa-struktúra	Eredményként kapott cél
true	preserveHierarchy	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappa a forrással megegyező struktúrával jön létre: Folder1 File1 File2 Subfolder1 File3 File4 File5
true	flattenHierarchy	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappája a következő struktúrával jön létre: Folder1 a Fájl1 automatikusan létrehozott neve Az automatikusan létrehozott név a File2-höz. a Fájl3 automatikusan létrehozott neve a Fájl4 automatikusan létrehozott neve a Fájl5 automatikusan létrehozott neve
true	mergeFiles	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappája a következő struktúrával jön létre: Folder1 File1 + File2 + File3 + File4 + File5 tartalom egyesítése egy fájlba egy automatikusan létrehozott fájlnévvel.
false	preserveHierarchy	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappája a következő struktúrával jön létre: Folder1 File1 File2 A Subfolder1 mappa, amely a File3, File4 és File5 fájlokat tartalmazza, nincs felvéve.
false	flattenHierarchy	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappája a következő struktúrával jön létre: Folder1 a Fájl1 automatikusan létrehozott neve Az automatikusan létrehozott név a File2-höz. A Subfolder1 mappa, amely a File3, File4 és File5 fájlokat tartalmazza, nincs felvéve.
false	mergeFiles	Folder1 File1 File2 Subfolder1 File3 File4 File5	A mappa1 célmappája a következő struktúrával jön létre: Folder1 Az 1. és a 2. fájl tartalma egy automatikusan létrehozott fájlnévvel rendelkező fájlba egyesül. a Fájl1 automatikusan létrehozott neve A Subfolder1 mappa, amely a File3, File4 és File5 fájlokat tartalmazza, nincs felvéve.

Metaadatok megőrzése másolás közben

Ha fájlokat másol az Amazon S3-ból, az Azure Blob Storage-ből vagy az Azure Data Lake Storage Gen2-ből az Azure Data Lake Storage Gen2-be vagy az Azure Blob Storage-be, választhatja a fájl metaadatainak megőrzését az adatokkal együtt. További információ a metaadatok megőrzéséről.

Adatfolyam-tulajdonságok leképezése

A leképezési adatfolyamok adatainak átalakításakor a következő formátumokban olvashat és írhat fájlokat Azure Blob Storage:

A formátumspecifikus beállítások az adott formátum dokumentációjában találhatók. További információ: Forrásátalakítás a leképezési adatfolyamban és fogadóátalakítás a leképezési adatfolyamban.

Forrásátalakítás

A forrásátalakítás során a Azure Blob Storage tárolóból, mappából vagy egyéni fájlból olvashat. A Forrásbeállítások lapon kezelheti a fájlok olvasási módját.

Képernyőkép a forrásbeállítások lapról az adatfolyamok forrásátalakításának leképezése során.

Helyettesítő karakterek elérési útjai: A helyettesítő karakterek mintája arra utasítja a szolgáltatást, hogy egyetlen forrásátalakítás során végighaladjon az egyes egyező mappákon és fájlokon. Ez egy hatékony módja annak, hogy több fájlt dolgozzanak fel egyetlen folyamaton belül. Adjon hozzá több helyettesítő karakterillesztési mintát a pluszjelet használva, amely megjelenik, amikor az egeret a meglévő helyettesítő mintára mozgatja.

A forrástárolóban válasszon ki egy mintának megfelelő fájlsorozatot. Az adathalmazban csak tároló adható meg. Ezért a helyettesítő karaktert tartalmazó elérési útnak a gyökérmappától kezdődő mappa elérési útját is tartalmaznia kell.

Példák helyettesítő karakterekre:

* Bármilyen karakterkészletet jelöl.
** Rekurzív könyvtárbe ágyazást jelöl.
? Egy karaktert cserél le.
[] Illeszkedik egy vagy több karakterre a szögletes zárójelekben.
/data/sales/**/*.csv Lekéri az összes .csv fájlt a /data/sales területen.
/data/sales/20??/**/ Lekéri az összes fájlt a 20. században.
/data/sales/*/*/*.csv Lekéri .csv fájlok két szintjét az /data/sales alatt.
/data/sales/2004/*/12/[XY]1?.csv 2004 decemberében lekéri az összes .csv fájlt, amely egy kétjegyű számmal ellátott X vagy Y előtaggal kezdődik.

Partíció gyökérútvonala: Ha a fájlforrásban olyan mappák vannak, amelyek partíciókra vannak osztva a következő formátummal key=value (például year=2019), akkor a partíciómappa hierarchia legfelső szintjét hozzárendelheti az adatfolyam egy adatmező nevéhez.

Először állítson be egy helyettesítő karaktert, hogy tartalmazza a particionált mappák összes elérési útját, valamint az elolvasni kívánt levélfájlokat.

Képernyőkép a partícióforrás fájlbeállításairól az adatfolyam-átalakítás leképezése során.

A partíció gyökérútvonal-beállításával meghatározhatja, hogy mi a mappastruktúra legfelső szintje. Ha az adatok tartalmát egy adatelőnézeten keresztül tekinti meg, látni fogja, hogy a szolgáltatás hozzáadja az egyes mappaszinteken található feloldott partíciókat.

Partíció gyökérútvonala

Fájlok listája: Ez egy fájlkészlet. Hozzon létre egy szövegfájlt, amely tartalmazza a feldolgozandó relatív elérésiút-fájlok listáját. Mutasson erre a szövegfájlra.

A fájlnév tárolására használt oszlop: Tárolja a forrásfájl nevét egy oszlopban az adatokban. Itt adjon meg egy új oszlopnevet a fájlnév-sztring tárolásához.

Befejezés után: Ha nem szeretne semmit tenni a forrásfájllal az adatfolyam futtatása után, törölje a forrásfájlt, vagy helyezze át a forrásfájlt. Az áthelyezés elérési útjai relatívek.

Ha a forrásfájlokat egy másik helyre szeretné áthelyezni a feldolgozás után, először válassza az "Áthelyezés" lehetőséget a fájlművelethez. Ezután állítsa be a "from" könyvtárat. Ha nem használ helyettesítő karaktereket az elérési úthoz, akkor a "from" beállítás ugyanaz lesz, mint a forrásmappa.

Ha helyettesítő karakterrel rendelkező forrásútvonallal rendelkezik, a szintaxis a következő:

/data/sales/20??/**/*.csv

A következő módon adhatja meg a "from" értéket:

/data/sales

A "to" értéket pedig a következő módon adhatja meg:

/backup/priorSales

Ebben az esetben az összes fájlt, amely forrásként /data/sales alá tartozik, áthelyezzük a /backup/priorSales alá.

Note

A fájlműveletek csak akkor futnak, ha egy adatfolyamot egy folyamatfuttatásból (folyamat hibakeresési vagy végrehajtási futtatás) indít el, amely egy folyamatban az Adatfolyam végrehajtása tevékenységet használja. A fájlműveletek nem futnak a Adatfolyam hibakeresési módban.

Szűrés utoljára módosítva: A feldolgozandó fájlokat úgy szűrheti, hogy megadja a legutóbbi módosítás dátumtartományát. Minden dátumidő UTC-ben van.

Változásadatok rögzítésének engedélyezése: Ha igaz, csak az utolsó futtatáskor kap új vagy módosított fájlokat. A teljes pillanatkép-adatok kezdeti betöltése mindig az első futtatáskor lesz, majd csak a következő futtatások során rögzíti az új vagy módosított fájlokat.

Képernyőkép a változásadatok rögzítésének engedélyezéséről.

Fogadó tulajdonságai

A cél átalakítás során írhat egy tárolóba vagy egy mappába az Azure Blob Storage-ban. A Beállítások lapon kezelheti a fájlok írási módját.

Fogadó beállításai

Törölje a mappát: Meghatározza, hogy a célmappa törlődik-e az adatok megírása előtt.

Fájlnév beállítás: Meghatározza, hogy a célfájlok hogyan legyenek elnevezve a célmappában. A fájlnév beállításai a következők:

Alapértelmezett: Engedélyezze a Sparknak, hogy a PART alapértelmezett érték alapján nevezze el a fájlokat.
Minta: Adjon meg egy mintát, amely partíciónként számba adja a kimeneti fájlokat. Például létrehozloans[n].csvloans1.csv, loans2.csv és így tovább.
Partíciónként: Partíciónként egy fájlnevet adjon meg.
Adatként az oszlopban: Állítsa a kimeneti fájlt egy oszlop értékére. Az elérési út az adathalmaz-tárolóhoz viszonyítva van, nem a célmappához. Ha van egy mappa elérési útja az adathalmazban, az felülíródik.
Kimenet egyetlen fájlba: Egyesítse a particionált kimeneti fájlokat egyetlen elnevezett fájlba. Az elérési út az adathalmaz mappához képest van. Az egyesítési művelet a csomópont mérete alapján meghiúsulhat. Ezt a lehetőséget nagy adathalmazokhoz nem javasoljuk.

Idézőjel: Meghatározza, hogy az összes értéket idézőjelek közé kell-e foglalni.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

GetMetadata tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a GetMetadata tevékenységét.

Tevékenységtulajdonságok törlése

A tulajdonságok részleteinek megismeréséhez ellenőrizze a Törlési tevékenységet.

Régi modellek

Note

A visszamenőleges kompatibilitáshoz hasonlóan az alábbi modellek továbbra is támogatottak. Javasoljuk, hogy használja a korábban említett új modellt. A szerzői felhasználói felület az új modell létrehozására váltott.

Örökölt adathalmaz-modell

Property	Description	Required
típus	Az `type` adathalmaz tulajdonságának a következőre kell lennie: `AzureBlob`.	Yes
folderPath	A Blob Storage tárolójának és mappájának elérési útja. Az elérési úthoz helyettesítő szűrő is támogatott, kivéve a tároló nevét. Az engedélyezett helyettesítő karakterek a következők: `*` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg). Használja a `^` kimenekítést, ha a mappa neve helyettesítő vagy ilyen elkerülő karaktert tartalmaz. Ilyen például a következő: `myblobcontainer/myblobfolder/`. További példák a mappa- és fájlszűrő példákban.	Igen a Másolás vagy keresés tevékenységhez, nem a GetMetadata tevékenységhez
fileName	A megadott `folderPath` érték alatti blobok neve vagy helyettesítő karaktere. Ha nem ad meg értéket ehhez a tulajdonsághoz, az adathalmaz a mappában lévő összes blobra mutat. A szűrő esetében az engedélyezett helyettesítő karakterek a következők: `` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg). - 1. példa: `"fileName": ".csv"` - 2. példa: `"fileName": "???20180427.txt"` Használja a `^` jelet a kimeneküléshez, ha a fájlnév tartalmaz helyettesítő karaktert vagy ezt a kimenekülési karaktert. Ha `fileName` nincs megadva kimeneti adatkészlethez, és `preserveHierarchy` nincs megadva a tevékenység fogadójában, a Copy tevékenység automatikusan létrehozza a blob nevét a következő mintával: "Data.[ tevékenységfuttatás azonosítója GUID]. [GUID ha FlattenHierarchy]. [formátum, ha konfigurálva van]. [tömörítés, ha konfigurálva van]". Például: "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz". Ha egy táblázatos forrásból másol, és a táblanév helyett lekérdezést használ, a névminta a következő: `[table name].[format].[compression if configured]`. Például: "MyTable.csv".	No
modifiedDatetimeStart	A fájlok szűrése a legutóbb módosított attribútum alapján történik. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő `modifiedDatetimeStart` és kisebb `modifiedDatetimeEnd`. Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva. Vegye figyelembe, hogy a beállítás engedélyezése hatással van az adatáthelyezés általános teljesítményére, amikor nagy mennyiségű fájlt szeretne szűrni. A tulajdonságok lehetnek `NULL`, ami azt jelenti, hogy az adathalmazra nem alkalmaz fájlattribútum-szűrőt. Amikor a `modifiedDatetimeStart` értéke egy adott időpont, de `modifiedDatetimeEnd` értéke `NULL`, akkor a program kiválasztja azokat a fájlokat, amelyek utolsó módosítási dátuma nagyobb vagy egyenlő az adott időponttal. Ha `modifiedDatetimeEnd` dátum/idő érték van megadva, a `modifiedDatetimeStartNULL`program kijelöli azokat a fájlokat, amelyek utolsó módosított attribútuma kisebb, mint a datetime érték.	No
modifiedDatetimeEnd	A fájlok szűrése a legutóbb módosított attribútum alapján történik. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő `modifiedDatetimeStart` és kisebb `modifiedDatetimeEnd`. Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva. Vegye figyelembe, hogy a beállítás engedélyezése hatással van az adatáthelyezés általános teljesítményére, amikor nagy mennyiségű fájlt szeretne szűrni. A tulajdonságok lehetnek `NULL`, ami azt jelenti, hogy az adathalmazra nem alkalmaz fájlattribútum-szűrőt. Amikor a `modifiedDatetimeStart` értéke egy adott időpont, de `modifiedDatetimeEnd` értéke `NULL`, akkor a program kiválasztja azokat a fájlokat, amelyek utolsó módosítási dátuma nagyobb vagy egyenlő az adott időponttal. Ha `modifiedDatetimeEnd` dátum/idő érték van megadva, a `modifiedDatetimeStartNULL`program kijelöli azokat a fájlokat, amelyek utolsó módosított attribútuma kisebb, mint a datetime érték.	No
format	Ha fájlokat szeretne másolni a fájlalapú tárolók (bináris másolás) között, hagyja ki a formátumszakaszt a bemeneti és kimeneti adatkészlet-definíciókban. Ha adott formátumú fájlokat szeretne elemezni vagy létrehozni, a következő fájlformátumtípusok támogatottak: TextFormat, JsonFormat, AvroFormat, OrcFormat és ParquetFormat. Állítsa be a type tulajdonságot a format alatt az alábbi értékek egyikére. További információ: Szöveg,JSON formátum, Avro formátum, Orc formátum és Parquet formátum szakaszok.	Nem (csak bináris másolási forgatókönyv esetén)
tömörítés	Adja meg az adatok tömörítési típusát és szintjét. További információ: Támogatott fájlformátumok és tömörítési kodekek. A támogatott típusok a GZip, a Deflate, a BZip2 és a ZipDeflate. A támogatott szintek optimálisak és leggyorsabbak.	No

Tip

Ha az összes blobot egy mappába szeretné másolni, csak a folderPath értéket adja meg.
Ha egy adott nevű blobot szeretne másolni, adja meg a mapparész folderPath elemét és a fájlnév fájlnevét .
A blobok egy részhalmazának mappa alatti másolásához adja meg a mappa útvonalát és a fájlnév elemet helyettesítő karakter szűrővel.

Example:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Örökölt forrásmodell a másolási tevékenységhez

Property	Description	Required
típus	A Copy tevékenység forrás `type` tulajdonságát `BlobSource` értékre kell állítani.	Yes
recursive	Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha `recursive` be van állítva `true` , és a fogadó fájlalapú tároló, a rendszer nem másol vagy hoz létre üres mappát vagy almappát a fogadóban. Az engedélyezett értékek ( `true` alapértelmezett) és `false`.	No
maxConcurrentConnections	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	No

Example:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Régi fogadómodell a Copy tevékenységhez

Property	Description	Required
típus	A Copy tevékenység fogadó `type` tulajdonságát `BlobSink` értékre kell állítani.	Yes
copyBehavior	Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok. Az engedélyezett értékek a következők: - PreserveHierarchy (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájl forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útjával. - FlattenHierarchy: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek. - MergeFiles: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájl vagy a blob neve meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.	No
maxConcurrentConnections	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	No

Example:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Adatrögzítés módosítása

Azure Data Factory új vagy módosított fájlokat csak az Azure Blob Storage-ból kérhet, ha a **Változásadat-rögzítés engedélyezése** funkciót engedélyezi a leképezési adatfolyam forrásátalakításában. Ezzel az összekötővel csak új vagy frissített fájlokat olvashat, és átalakításokat alkalmazhat, mielőtt az átalakított adatokat betöltené a választott céladatkészletekbe. Részletekért tekintse meg az Adatrögzítés módosítása című témakört.

Azoknak az adattáraknak a listáját, amelyeket a Copy tevékenység forrásként és fogadóként támogat, tekintse meg Supported data stores.

Visszajelzés

Hasznosnak találta ezt az oldalt?

Utolsó frissítés időpontja: 2026-04-07

Adatok másolása és átalakítása Azure Blob Storage Azure Data Factory vagy Azure Synapse Analytics használatával

Támogatott képességek

Első lépések

Azure Blob Storage társított szolgáltatás létrehozása felhasználói felületen

Az összekötő konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Névtelen hitelesítés

Fiókkulcs-hitelesítés

Közös hozzáférésű jogosultságkód hitelesítése

Szolgáltatási főnév hitelesítése

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Adatkészlet tulajdonságai

Copy tevékenység tulajdonságok

Blob Storage forrástípusként

Blob Storage mint fogadótípus

Mappa- és fájlszűrő példák

Példák fájllistára

Néhány rekurzív és copyBehavior példa

Metaadatok megőrzése másolás közben

Adatfolyam-tulajdonságok leképezése

Forrásátalakítás

Fogadó tulajdonságai

Keresési tevékenység tulajdonságai

GetMetadata tevékenység tulajdonságai

Tevékenységtulajdonságok törlése

Régi modellek

Örökölt adathalmaz-modell

Örökölt forrásmodell a másolási tevékenységhez

Régi fogadómodell a Copy tevékenységhez

Adatrögzítés módosítása

Kapcsolódó tartalom

Visszajelzés

További források