Gegevens kopiëren naar of van Azure Data Lake Storage Gen1 met behulp van Azure Data Factory of Azure Synapse Analytics

Artikel
06/03/2024

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u gegevens kopieert naar en van Azure Data Lake Storage Gen1. Lees het inleidende artikel voor Azure Data Factory of Azure Synapse Analytics voor meer informatie.

Notitie

Azure Data Lake Storage Gen1 is op 29 februari 2024 buiten gebruik gesteld. Migreer naar de Azure Data Lake Storage Gen2-connector. Raadpleeg dit artikel voor de migratierichtlijnen voor Azure Data Lake Storage Gen1.

Ondersteunde mogelijkheden

Deze Azure Data Lake Storage Gen1-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden	IR
Copy-activiteit (bron/sink)	(1) (2)
Toewijzingsgegevensstroom (bron/sink)	(1)
Activiteit Lookup	(1) (2)
GetMetadata-activiteit	(1) (2)
Activiteit verwijderen	(1) (2)

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Met deze connector kunt u het volgende doen:

Kopieer bestanden met behulp van een van de volgende verificatiemethoden: service-principal of beheerde identiteiten voor Azure-resources.
Kopieer bestanden zoals dit is of parseert of genereert bestanden met de ondersteunde bestandsindelingen en compressiecodecs.
ACL's behouden bij het kopiëren naar Azure Data Lake Storage Gen2.

Belangrijk

Als u gegevens kopieert met behulp van de zelf-hostende Integration Runtime, configureert u de bedrijfsfirewall om uitgaand verkeer naar en login.microsoftonline.com/<tenant>/oauth2/token op poort 443 toe te <ADLS account name>.azuredatalakestore.net staan. Dit laatste is de Azure Security Token Service waarmee de Integration Runtime moet communiceren om het toegangstoken op te halen.

Aan de slag

Tip

Zie Gegevens laden in Azure Data Lake Store voor een overzicht van het gebruik van de Azure Data Lake Store-connector.

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken voor Azure Data Lake Storage Gen1 met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Azure Data Lake Storage Gen1 in de gebruikersinterface van Azure Portal.

Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en selecteer vervolgens Nieuw:
- Azure Data Factory
- Azure Synapse
Zoek naar Azure Data Lake Storage Gen1 en selecteer de Azure Data Lake Storage Gen1-connector.
Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

Configuratiedetails van connector

De volgende secties bevatten informatie over eigenschappen die worden gebruikt om entiteiten te definiëren die specifiek zijn voor Azure Data Lake Store Gen1.

Eigenschappen van gekoppelde service

De volgende eigenschappen worden ondersteund voor de gekoppelde Azure Data Lake Store-service:

Eigenschappen	Beschrijving	Vereist
type	De `type` eigenschap moet worden ingesteld op AzureDataLakeStore.	Ja
dataLakeStoreUri	Informatie over het Azure Data Lake Store-account. Deze informatie heeft een van de volgende indelingen: `https://[accountname].azuredatalakestore.net/webhdfs/v1` of `adl://[accountname].azuredatalakestore.net/`.	Ja
subscriptionId	De Azure-abonnements-id waartoe het Data Lake Store-account behoort.	Vereist voor sink
resourceGroupName	De naam van de Azure-resourcegroep waartoe het Data Lake Store-account behoort.	Vereist voor sink
connectVia	De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. U kunt de Azure Integration Runtime of een zelf-hostende Integration Runtime gebruiken als uw gegevensarchief zich in een particulier netwerk bevindt. Als deze eigenschap niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt.	Nee

Verificatie van service-principal gebruiken

Volg deze stappen om verificatie van de service-principal te gebruiken.

Registreer een toepassingsentiteit in Microsoft Entra-id en ververleent deze toegang tot Data Lake Store. Zie Service-to-service-verificatie voor gedetailleerde stappen. Noteer de volgende waarden die u gebruikt om de gekoppelde service te definiëren:
- Toepassings-id
- Toepassingssleutel
- Tenant-id
Verdeel de juiste machtiging voor de service-principal. Zie voorbeelden van hoe machtigingen in Data Lake Storage Gen1 werken vanuit toegangsbeheer in Azure Data Lake Storage Gen1.
- Als bron: Verwijs in Data Explorer>Access ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met leesmachtigingen voor de bestanden die moeten worden gekopieerd. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging. Er is geen vereiste voor toegangsbeheer op accountniveau (IAM).
- Als sink: In Data Explorer>Access verleent u ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met schrijfmachtigingen voor de sinkmap. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging.

De volgende eigenschappen worden ondersteund:

Eigenschappen	Beschrijving	Vereist
servicePrincipalId	Geef de client-id van de toepassing op.	Ja
servicePrincipalKey	Geef de sleutel van de toepassing op. Markeer dit veld als een `SecureString` veilige opslag of verwijs naar een geheim dat is opgeslagen in Azure Key Vault.	Ja
AD-tenant	Geef de tenantgegevens op, zoals domeinnaam of tenant-id, waaronder uw toepassing zich bevindt. U kunt deze ophalen door de muisaanwijzer in de rechterbovenhoek van Azure Portal te bewegen.	Ja
azureCloudType	Geef voor service-principalverificatie het type Azure-cloudomgeving op waarnaar uw Microsoft Entra-toepassing is geregistreerd. Toegestane waarden zijn AzurePublic, AzureChina, AzureUsGovernment en AzureGermany. Standaard wordt de cloudomgeving van de service gebruikt.	Nee

Voorbeeld:

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Door het systeem toegewezen beheerde identiteitverificatie gebruiken

Een data factory of Synapse-werkruimte kan worden gekoppeld aan een door het systeem toegewezen beheerde identiteit, die de service voor verificatie vertegenwoordigt. U kunt deze door het systeem toegewezen beheerde identiteit rechtstreeks gebruiken voor Data Lake Store-verificatie, vergelijkbaar met het gebruik van uw eigen service-principal. Hiermee kan deze aangewezen resource gegevens openen en kopiëren naar of vanuit Data Lake Store.

Volg deze stappen om door het systeem toegewezen beheerde identiteitverificatie te gebruiken.

Haal de door het systeem toegewezen beheerde identiteitsgegevens op door de waarde van de toepassings-id van de service-id te kopiëren die samen met uw factory of Synapse-werkruimte is gegenereerd.
Verwijs de door het systeem toegewezen beheerde identiteit toegang tot Data Lake Store. Zie voorbeelden van hoe machtigingen in Data Lake Storage Gen1 werken vanuit toegangsbeheer in Azure Data Lake Storage Gen1.
- Als bron: Verwijs in Data Explorer>Access ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met leesmachtigingen voor de bestanden die moeten worden gekopieerd. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging. Er is geen vereiste voor toegangsbeheer op accountniveau (IAM).
- Als sink: In Data Explorer>Access verleent u ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met schrijfmachtigingen voor de sinkmap. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging.

U hoeft geen andere eigenschappen op te geven dan de algemene Data Lake Store-informatie in de gekoppelde service.

Voorbeeld:

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Door de gebruiker toegewezen beheerde identiteitverificatie gebruiken

Een data factory kan worden toegewezen met een of meerdere door de gebruiker toegewezen beheerde identiteiten. U kunt deze door de gebruiker toegewezen beheerde identiteit gebruiken voor Blob Storage-verificatie, waarmee u gegevens kunt openen en kopiëren van of naar Data Lake Store. Zie Beheerde identiteiten voor Azure-resources voor meer informatie over beheerde identiteiten voor Azure-resources

Volg deze stappen om door de gebruiker toegewezen beheerde identiteitverificatie te gebruiken:

Maak een of meerdere door de gebruiker toegewezen beheerde identiteiten en verken toegang tot Azure Data Lake. Zie voorbeelden van hoe machtigingen in Data Lake Storage Gen1 werken vanuit toegangsbeheer in Azure Data Lake Storage Gen1.
- Als bron: Verwijs in Data Explorer>Access ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met leesmachtigingen voor de bestanden die moeten worden gekopieerd. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging. Er is geen vereiste voor toegangsbeheer op accountniveau (IAM).
- Als sink: In Data Explorer>Access verleent u ten minste de machtiging Uitvoeren voor ALLE upstream-mappen, inclusief de hoofdmap, samen met schrijfmachtigingen voor de sinkmap. U kunt ervoor kiezen om deze map en alle onderliggende items voor recursief toe te voegen en toe te voegen als toegangsmachtiging en een standaardmachtiging.
Wijs een of meerdere door de gebruiker toegewezen beheerde identiteiten toe aan uw data factory en maak referenties voor elke door de gebruiker toegewezen beheerde identiteit.

De volgende eigenschap wordt ondersteund:

Eigenschappen	Beschrijving	Vereist
aanmeldingsgegevens	Geef de door de gebruiker toegewezen beheerde identiteit op als referentieobject.	Ja

Voorbeeld:

{
    "name": "AzureDataLakeStoreLinkedService",
    "properties": {
        "type": "AzureDataLakeStore",
        "typeProperties": {
            "dataLakeStoreUri": "https://<accountname>.azuredatalakestore.net/webhdfs/v1",
            "subscriptionId": "<subscription of ADLS>",
            "resourceGroupName": "<resource group of ADLS>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets .

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

De volgende eigenschappen worden ondersteund voor Azure Data Lake Store Gen1 onder location instellingen in de op indeling gebaseerde gegevensset:

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap onder `location` in de gegevensset moet worden ingesteld op AzureDataLakeStoreLocation.	Ja
folderPath	Het pad naar een map. Als u een jokerteken wilt gebruiken om mappen te filteren, slaat u deze instelling over en geeft u deze op in de instellingen van de activiteitsbron.	Nee
fileName	De bestandsnaam onder het opgegeven folderPath. Als u een jokerteken wilt gebruiken om bestanden te filteren, slaat u deze instelling over en geeft u deze op in de instellingen van de activiteitsbron.	Nee

Voorbeeld:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<ADLS Gen1 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureDataLakeStoreLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door azure Data Lake Store-bron en -sink.

Azure Data Lake Store als bron

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

De volgende eigenschappen worden ondersteund voor Azure Data Lake Store Gen1 onder storeSettings instellingen in de op indeling gebaseerde kopieerbron:

Eigenschappen	Beschrijving	Vereist
type	De eigenschap type onder `storeSettings` moet worden ingesteld op AzureDataLakeStoreReadSettings.	Ja
Zoek de bestanden die u wilt kopiëren:
OPTIE 1: statisch pad	Kopieer vanuit het opgegeven map-/bestandspad dat is opgegeven in de gegevensset. Als u alle bestanden uit een map wilt kopiëren, moet u ook opgeven `wildcardFileName` als `*`.
OPTIE 2: naambereik - listAfter	Haal de mappen/bestanden op waarvan de naam na deze waarde alfabetisch (exclusief) valt. Het maakt gebruik van het filter aan de servicezijde voor ADLS Gen1, wat betere prestaties biedt dan een jokertekenfilter. De service past dit filter toe op het pad dat is gedefinieerd in de gegevensset en er wordt slechts één entiteitsniveau ondersteund. Zie meer voorbeelden in voorbeelden van naambereikfilters.	Nee
OPTIE 2: naambereik - listBefore	Haal de mappen/bestanden op waarvan de naam vóór deze waarde alfabetisch (inclusief) valt. Het maakt gebruik van het filter aan de servicezijde voor ADLS Gen1, wat betere prestaties biedt dan een jokertekenfilter. De service past dit filter toe op het pad dat is gedefinieerd in de gegevensset en er wordt slechts één entiteitsniveau ondersteund. Zie meer voorbeelden in voorbeelden van naambereikfilters.	Nee
OPTIE 3: jokerteken - jokertekenFolderPath	Het pad naar de map met jokertekens om bronmappen te filteren. Toegestane jokertekens zijn: `*` (komt overeen met nul of meer tekens) en `?` (komt overeen met nul of één teken); gebruik `^` deze optie om te ontsnappen als de naam van de map een jokerteken heeft of dit escape-teken bevat. Bekijk meer voorbeelden in voorbeelden van mappen en bestandsfilters.	Nee
OPTIE 3: jokerteken - wildcardFileName	De bestandsnaam met jokertekens onder het opgegeven folderPath/wildcardFolderPath om bronbestanden te filteren. Toegestane jokertekens zijn: `*` (komt overeen met nul of meer tekens) en `?` (komt overeen met nul of één teken); gebruik `^` deze optie om te ontsnappen als uw werkelijke bestandsnaam jokertekens of dit escapeteken bevat. Bekijk meer voorbeelden in voorbeelden van mappen en bestandsfilters.	Ja
OPTIE 4: een lijst met bestanden - fileListPath	Geeft aan om een bepaalde bestandsset te kopiëren. Wijs een tekstbestand aan met een lijst met bestanden die u wilt kopiëren, één bestand per regel. Dit is het relatieve pad naar het pad dat is geconfigureerd in de gegevensset. Wanneer u deze optie gebruikt, geeft u geen bestandsnaam op in de gegevensset. Bekijk meer voorbeelden in voorbeelden van de lijst met bestanden.	Nee
Aanvullende instellingen:
recursief	Hiermee wordt aangegeven of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Wanneer recursief is ingesteld op true en de sink een archief op basis van bestanden is, wordt een lege map of submap niet gekopieerd of gemaakt in de sink. Toegestane waarden zijn waar (standaard) en onwaar. Deze eigenschap is niet van toepassing wanneer u configureert `fileListPath`.	Nee
deleteFilesAfterCompletion	Geeft aan of de binaire bestanden worden verwijderd uit het bronarchief nadat ze naar het doelarchief zijn verplaatst. Het verwijderen van bestanden is per bestand, dus wanneer de kopieeractiviteit mislukt, ziet u dat sommige bestanden al naar het doel zijn gekopieerd en uit de bron zijn verwijderd, terwijl anderen nog steeds in het bronarchief blijven. Deze eigenschap is alleen geldig in het scenario voor het kopiëren van binaire bestanden. De standaardwaarde: false.	Nee
modifiedDatetimeStart	Bestandenfilter op basis van het kenmerk: Laatst gewijzigd. De bestanden worden geselecteerd als de laatste wijzigingstijd groter is dan of gelijk is aan `modifiedDatetimeStart` en kleiner is dan `modifiedDatetimeEnd`. De tijd wordt toegepast op utc-tijdzone in de notatie 2018-12-01T05:00:00Z. De eigenschappen kunnen NULL zijn, wat betekent dat er geen bestandskenmerkfilter wordt toegepast op de gegevensset. Wanneer `modifiedDatetimeStart` een datum/tijd-waarde is maar `modifiedDatetimeEnd` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd groter dan of gelijk zijn aan de datum/tijd-waarde is geselecteerd. Wanneer `modifiedDatetimeEnd` de datum/tijd-waarde is, maar `modifiedDatetimeStart` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd kleiner is dan de datum/tijd-waarde is geselecteerd. Deze eigenschap is niet van toepassing wanneer u configureert `fileListPath`.	Nee
modifiedDatetimeEnd	Hetzelfde als hierboven.	Nee
enablePartitionDiscovery	Geef voor bestanden die zijn gepartitioneerd op of de partities van het bestandspad moeten worden geparseerd en als extra bronkolommen moeten worden toegevoegd. Toegestane waarden zijn onwaar (standaard) en waar.	Nee
partitionRootPath	Wanneer partitiedetectie is ingeschakeld, geeft u het absolute hoofdpad op om gepartitioneerde mappen als gegevenskolommen te lezen. Als deze niet is opgegeven, is dit standaard - Wanneer u bestandspad gebruikt in de gegevensset of lijst met bestanden op de bron, is het pad naar de partitiehoofdmap dat is geconfigureerd in de gegevensset. - Wanneer u het filter voor jokertekens gebruikt, is het hoofdpad van de partitie het subpad vóór het eerste jokerteken. Stel dat u het pad in de gegevensset configureert als 'root/folder/year=2020/month=08/day=27': - Als u het partitiehoofdpad opgeeft als root/folder/year=2020, genereert de kopieeractiviteit twee kolommen `month` en `day` met respectievelijk de waarde 08 en 27, naast de kolommen in de bestanden. - Als het hoofdpad van de partitie niet is opgegeven, wordt er geen extra kolom gegenereerd.	Nee
maxConcurrentConnections	De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.	Nee

Voorbeeld:

"activities":[
    {
        "name": "CopyFromADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureDataLakeStoreReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Data Lake Store als sink

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

De volgende eigenschappen worden ondersteund voor Azure Data Lake Store Gen1 onder storeSettings instellingen in de op indeling gebaseerde kopiesink:

Eigenschappen	Beschrijving	Vereist
type	De eigenschap type onder `storeSettings` moet worden ingesteld op AzureDataLakeStoreWriteSettings.	Ja
copyBehavior	Definieert het kopieergedrag wanneer de bron bestanden is uit een gegevensarchief op basis van bestanden. Toegestane waarden zijn: - PreserveHierarchy (standaard): behoudt de bestandshiërarchie in de doelmap. Het relatieve pad van het bronbestand naar de bronmap is identiek aan het relatieve pad van het doelbestand naar de doelmap. - FlattenHierarchy: Alle bestanden uit de bronmap bevinden zich op het eerste niveau van de doelmap. De doelbestanden hebben automatisch gegenereerde namen. - MergeFiles: hiermee worden alle bestanden uit de bronmap samengevoegd tot één bestand. Als de bestandsnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam. Anders is het een automatisch gegenereerde bestandsnaam.	Nee
expiryDateTime	Hiermee geeft u de verlooptijd van de geschreven bestanden. De tijd wordt toegepast op de UTC-tijd in de notatie '2020-03-01T08:00:00Z'. Standaard is het NULL, wat betekent dat de geschreven bestanden nooit verlopen zijn.	Nee
maxConcurrentConnections	De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.	Nee

Voorbeeld:

"activities":[
    {
        "name": "CopyToADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureDataLakeStoreWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Voorbeelden van naambereikfilters

In deze sectie wordt het resulterende gedrag van naambereikfilters beschreven.

Voorbeeldbronstructuur	Configuratie	Resultaat
wortel a file.csv bijl file2.csv ax.csv b file3.csv bx.csv c file4.csv cx.csv	In gegevensset: - Mappad: `root` In bron van kopieeractiviteit: - Lijst na: `a` - Lijst vóór: `b`	Vervolgens worden de volgende bestanden gekopieerd: wortel bijl file2.csv ax.csv b file3.csv

Voorbeelden van map- en bestandsfilters

In deze sectie wordt het resulterende gedrag van het mappad en de bestandsnaam met jokertekenfilters beschreven.

folderPath	fileName	recursief	Structuur van bronmap en filterresultaat (bestanden vetgedrukt worden opgehaald)
`Folder*`	(Leeg, standaard gebruiken)	false	MapA File1.csv File2.json Submap1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`Folder*`	(Leeg, standaard gebruiken)	true	MapA File1.csv File2.json Submap1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`Folder*`	`*.csv`	false	MapA File1.csv File2.json Submap1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
`Folder*`	`*.csv`	true	MapA File1.csv File2.json Submap1 File3.csv File4.json File5.csv AnotherFolderB File6.csv

Voorbeelden van bestandslijsten

In deze sectie wordt het resulterende gedrag beschreven van het gebruik van bestandslijstpad in bron van kopieeractiviteit.

Ervan uitgaande dat u de volgende bronmapstructuur hebt en de bestanden vetgedrukt wilt kopiëren:

Voorbeeldbronstructuur	Inhoud in FileListToCopy.txt	Configuratie
wortel MapA File1.csv File2.json Submap1 File3.csv File4.json File5.csv Metagegevens FileListToCopy.txt	File1.csv Submap1/File3.csv Submap1/File5.csv	In gegevensset: - Mappad: `root/FolderA` In bron van kopieeractiviteit: - Pad naar bestandslijst: `root/Metadata/FileListToCopy.txt` Het bestandslijstpad verwijst naar een tekstbestand in hetzelfde gegevensarchief met een lijst met bestanden die u wilt kopiëren, één bestand per regel met het relatieve pad naar het pad dat is geconfigureerd in de gegevensset.

Voorbeelden van gedrag van de kopieerbewerking

In deze sectie wordt het resulterende gedrag van de kopieerbewerking voor verschillende combinaties van recursive en copyBehavior waarden beschreven.

recursief	copyBehavior	Structuur van bronmap	Resulterend doel
true	preserveHierarchy	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met dezelfde structuur als de bron: Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5.
true	flattenHierarchy	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met de volgende structuur: Map1 automatisch gegenereerde naam voor Bestand1 automatisch gegenereerde naam voor File2 automatisch gegenereerde naam voor File3 automatisch gegenereerde naam voor File4 automatisch gegenereerde naam voor File5
true	mergeFiles	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met de volgende structuur: Map1 File1 + File2 + File3 + File4 + File5-inhoud worden samengevoegd in één bestand, met een automatisch gegenereerde bestandsnaam.
false	preserveHierarchy	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met de volgende structuur: Map1 Bestand1 Bestand2 Submap1 met File3, File4 en File5 worden niet opgehaald.
false	flattenHierarchy	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met de volgende structuur: Map1 automatisch gegenereerde naam voor Bestand1 automatisch gegenereerde naam voor File2 Submap1 met File3, File4 en File5 worden niet opgehaald.
false	mergeFiles	Map1 Bestand1 Bestand2 Submap1 Bestand3 Bestand4 Bestand5	De doelmap1 wordt gemaakt met de volgende structuur: Map1 De inhoud van Bestand1 + File2 wordt samengevoegd in één bestand met een automatisch gegenereerde bestandsnaam. automatisch gegenereerde naam voor Bestand1 Submap1 met File3, File4 en File5 worden niet opgehaald.

ACL's behouden voor Data Lake Storage Gen2

Tip

Als u gegevens van Azure Data Lake Storage Gen1 in het algemeen naar Gen2 wilt kopiëren, raadpleegt u Gegevens kopiëren van Azure Data Lake Storage Gen1 naar Gen2 voor een overzicht en aanbevolen procedures.

Als u de toegangsbeheerlijsten (ACL's) wilt repliceren, samen met gegevensbestanden wanneer u een upgrade uitvoert van Data Lake Storage Gen1 naar Data Lake Storage Gen2, raadpleegt u ACL's van Data Lake Storage Gen1 behouden.

Eigenschappen van toewijzingsgegevensstroom

Wanneer u gegevens transformeert in toewijzingsgegevensstromen, kunt u bestanden uit Azure Data Lake Storage Gen1 lezen en schrijven in de volgende indelingen:

Indelingsspecifieke instellingen bevinden zich in de documentatie voor die indeling. Zie Brontransformatie in toewijzingsgegevensstroom en Sink-transformatie in toewijzingsgegevensstroom voor meer informatie.

Brontransformatie

In de brontransformatie kunt u lezen uit een container, map of afzonderlijk bestand in Azure Data Lake Storage Gen1. Op het tabblad Bronopties kunt u beheren hoe de bestanden worden gelezen.

Schermopname van het tabblad Bronopties in de brontransformatie van de toewijzingsgegevensstroom.

Jokertekenpad: Met behulp van een jokertekenpatroon wordt de service geïnstrueerd om elke overeenkomende map en elk bestand in één brontransformatie te doorlopen. Dit is een effectieve manier om meerdere bestanden binnen één stroom te verwerken. Voeg meerdere jokertekenpatronen toe met het plusteken dat wordt weergegeven wanneer u de muisaanwijzer boven het bestaande jokertekenpatroon beweegt.

Kies in uw broncontainer een reeks bestanden die overeenkomen met een patroon. Alleen container kan worden opgegeven in de gegevensset. Uw jokertekenpad moet daarom ook uw mappad uit de hoofdmap bevatten.

Voorbeelden van jokertekens:

* Vertegenwoordigt een set tekens
** Vertegenwoordigt recursieve directory-nesting
? Hiermee wordt één teken vervangen
[] Komt overeen met een van de tekens tussen vierkante haken
/data/sales/**/*.csv Hiermee worden alle CSV-bestanden opgehaald onder /data/sales
/data/sales/20??/**/ Haalt alle bestanden recursief op binnen alle overeenkomende 20xx-mappen
/data/sales/*/*/*.csv Hiermee worden CSV-bestanden twee niveaus opgehaald onder /data/sales
/data/sales/2004/12/[XY]1?.csv Haalt alle CSV-bestanden op vanaf december 2004 vanaf X of Y, gevolgd door 1 en een willekeurig teken

Hoofdpad partitie: als u mappen in uw bestandsbron hebt gepartitioneerd met een key=value indeling (bijvoorbeeld year=2019), kunt u het hoogste niveau van die partitiemapstructuur toewijzen aan een kolomnaam in uw gegevensstroomgegevensstroom.

Stel eerst een jokerteken in om alle paden op te nemen die de gepartitioneerde mappen zijn plus de leaf-bestanden die u wilt lezen.

Schermopname van de instellingen voor partitiebronbestanden in de brontransformatie van de toewijzingsgegevensstroom.

Gebruik de instelling Hoofdpad partitioneren om te definiëren wat het hoogste niveau van de mapstructuur is. Wanneer u de inhoud van uw gegevens bekijkt via een voorbeeld van gegevens, ziet u dat de service de opgeloste partities toevoegt die in elk van uw mapniveaus zijn gevonden.

Hoofdpad voor partitie

Lijst met bestanden: dit is een bestandsset. Maak een tekstbestand met een lijst met relatieve padbestanden die moeten worden verwerkt. Wijs dit tekstbestand aan.

Kolom voor het opslaan van bestandsnaam: Sla de naam van het bronbestand op in een kolom in uw gegevens. Voer hier een nieuwe kolomnaam in om de bestandsnaamtekenreeks op te slaan.

Na voltooiing: Kies ervoor om niets te doen met het bronbestand nadat de gegevensstroom is uitgevoerd, verwijder het bronbestand of verplaats het bronbestand. De paden voor de verplaatsing zijn relatief.

Als u bronbestanden wilt verplaatsen naar een andere locatie na verwerking, selecteert u eerst Verplaatsen voor bestandsbewerking. Stel vervolgens de map 'from' in. Als u geen jokertekens voor uw pad gebruikt, is de instelling 'van' dezelfde map als uw bronmap.

Als u een bronpad met jokertekens hebt, ziet uw syntaxis er als volgt uit:

/data/sales/20??/**/*.csv

U kunt 'van' opgeven als

/data/sales

En 'aan' als

/backup/priorSales

In dit geval worden alle bestanden die zijn opgehaald onder /data/sales verplaatst naar /backup/priorSales.

Notitie

Bestandsbewerkingen worden alleen uitgevoerd wanneer u de gegevensstroom start vanuit een pijplijnuitvoering (een pijplijnopsporing of uitvoeringsuitvoering) die gebruikmaakt van de uitvoering Gegevensstroom-activiteit uitvoeren in een pijplijn. Bestandsbewerkingen worden niet uitgevoerd in Gegevensstroom foutopsporingsmodus.

Filteren op laatst gewijzigd: u kunt filteren welke bestanden u verwerkt door een datumbereik op te geven van wanneer ze voor het laatst zijn gewijzigd. Alle datums zijn in UTC.

Wijzigingsgegevens vastleggen inschakelen: indien waar, krijgt u alleen nieuwe of gewijzigde bestanden van de laatste uitvoering. De eerste belasting van volledige momentopnamegegevens wordt altijd in de eerste uitvoering opgehaald, gevolgd door het vastleggen van nieuwe of gewijzigde bestanden alleen in de volgende uitvoeringen. Zie Gegevens vastleggen wijzigen voor meer informatie.

Schermopname van Het vastleggen van wijzigingsgegevens inschakelen.

Sink-eigenschappen

In de sinktransformatie kunt u schrijven naar een container of map in Azure Data Lake Storage Gen1. Op het tabblad Instellingen kunt u beheren hoe de bestanden worden geschreven.

sinkopties

De map wissen: bepaalt of de doelmap al dan niet wordt gewist voordat de gegevens worden geschreven.

Optie Bestandsnaam: bepaalt hoe de doelbestanden worden genoemd in de doelmap. De bestandsnaamopties zijn:

Standaard: Toestaan dat Spark bestanden een naam geeft op basis van de standaardinstellingen van PART.
Patroon: Voer een patroon in waarmee uw uitvoerbestanden per partitie worden opgesomd. Leningen[n].csv maakt bijvoorbeeld loans1.csv, loans2.csv enzovoort.
Per partitie: Voer één bestandsnaam per partitie in.
Als gegevens in kolom: Stel het uitvoerbestand in op de waarde van een kolom. Het pad is relatief ten opzichte van de container van de gegevensset, niet de doelmap. Als u een mappad in uw gegevensset hebt, wordt dit overschreven.
Uitvoer naar één bestand: combineer de gepartitioneerde uitvoerbestanden in één benoemd bestand. Het pad is relatief ten opzichte van de map gegevensset. Houd er rekening mee dat de samenvoegbewerking mogelijk mislukt op basis van de grootte van het knooppunt. Deze optie wordt niet aanbevolen voor grote gegevenssets.

Alle aanhalingstekens: bepaalt of alle waarden tussen aanhalingstekens moeten worden geplaatst

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

Eigenschappen van GetMetadata-activiteit

Als u meer wilt weten over de eigenschappen, controleert u de Activiteit GetMetadata

Activiteitseigenschappen verwijderen

Als u meer wilt weten over de eigenschappen, controleert u De activiteit Verwijderen

Verouderde modellen

Notitie

De volgende modellen worden nog steeds ondersteund voor compatibiliteit met eerdere versies. U wordt aangeraden het nieuwe model te gebruiken dat in de bovenstaande secties wordt genoemd en de ontwerpgebruikersinterface is overgeschakeld naar het genereren van het nieuwe model.

Verouderd gegevenssetmodel

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap van de gegevensset moet worden ingesteld op AzureDataLakeStoreFile.	Ja
folderPath	Pad naar de map in Data Lake Store. Als dit niet is opgegeven, verwijst deze naar de hoofdmap. Jokertekenfilter wordt ondersteund. Toegestane jokertekens zijn `*` (komt overeen met nul of meer tekens) en `?` (komt overeen met nul of één teken). Gebruik `^` deze optie om te ontsnappen als uw werkelijke mapnaam een jokerteken of dit escape-teken bevat. Bijvoorbeeld: rootfolder/submap/. Bekijk meer voorbeelden in voorbeelden van mappen en bestandsfilters.	Nee
fileName	Naam of jokertekenfilter voor de bestanden onder het opgegeven mapPath. Als u geen waarde voor deze eigenschap opgeeft, verwijst de gegevensset naar alle bestanden in de map. Voor het filteren zijn `` de toegestane jokertekens (komt overeen met nul of meer tekens) en `?` (komt overeen met nul of één teken). - Voorbeeld 1: `"fileName": ".csv"` - Voorbeeld 2: `"fileName": "???20180427.txt"` Gebruik `^` deze optie om te ontsnappen als uw werkelijke bestandsnaam een jokerteken of dit escape-teken bevat. Wanneer fileName niet is opgegeven voor een uitvoergegevensset en preserveHierarchy niet is opgegeven in de activiteitssink, genereert de kopieeractiviteit automatisch de bestandsnaam met het volgende patroon: 'Data.[ ID-GUID van activiteitsuitvoering]. [GUID als FlattenHierarchy]. [notatie indien geconfigureerd]. [compressie indien geconfigureerd]", bijvoorbeeld 'Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz'. Als u kopieert vanuit een tabellaire bron met behulp van een tabelnaam in plaats van een query, is het naampatroon '[tabelnaam].[ format]. [compressie indien geconfigureerd]", bijvoorbeeld 'MyTable.csv'.	Nee
modifiedDatetimeStart	Bestandenfilter op basis van het kenmerk Laatst gewijzigd. De bestanden worden geselecteerd als de laatste wijzigingstijd groter is dan of gelijk is aan `modifiedDatetimeStart` en kleiner is dan `modifiedDatetimeEnd`. De tijd wordt toegepast op de UTC-tijdzone in de notatie '2018-12-01T05:00:00Z'. De algehele prestaties van gegevensverplaatsing worden beïnvloed door deze instelling in te schakelen wanneer u een bestandsfilter wilt uitvoeren met grote hoeveelheden bestanden. De eigenschappen kunnen NULL zijn, wat betekent dat er geen bestandskenmerkfilter wordt toegepast op de gegevensset. Wanneer `modifiedDatetimeStart` een datum/tijd-waarde heeft maar `modifiedDatetimeEnd` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd groter dan of gelijk aan de datum/tijd-waarde zijn geselecteerd. Wanneer `modifiedDatetimeEnd` een datum/tijd-waarde heeft, maar `modifiedDatetimeStart` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd kleiner is dan de datum/tijd-waarde zijn geselecteerd.	Nee
modifiedDatetimeEnd	Bestandenfilter op basis van het kenmerk Laatst gewijzigd. De bestanden worden geselecteerd als de laatste wijzigingstijd groter is dan of gelijk is aan `modifiedDatetimeStart` en kleiner is dan `modifiedDatetimeEnd`. De tijd wordt toegepast op de UTC-tijdzone in de notatie '2018-12-01T05:00:00Z'. De algehele prestaties van gegevensverplaatsing worden beïnvloed door deze instelling in te schakelen wanneer u een bestandsfilter wilt uitvoeren met grote hoeveelheden bestanden. De eigenschappen kunnen NULL zijn, wat betekent dat er geen bestandskenmerkfilter wordt toegepast op de gegevensset. Wanneer `modifiedDatetimeStart` een datum/tijd-waarde heeft maar `modifiedDatetimeEnd` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd groter dan of gelijk aan de datum/tijd-waarde zijn geselecteerd. Wanneer `modifiedDatetimeEnd` een datum/tijd-waarde heeft, maar `modifiedDatetimeStart` NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd kleiner is dan de datum/tijd-waarde zijn geselecteerd.	Nee
indeling	Als u bestanden wilt kopiëren zoals tussen bestandsarchieven (binaire kopie), slaat u de indelingssectie over in definities van invoer- en uitvoergegevenssets. Als u bestanden met een specifieke indeling wilt parseren of genereren, worden de volgende bestandstypen ondersteund: TextFormat, JsonFormat, AvroFormat, OrcFormat en ParquetFormat. Stel de typeeigenschap onder opmaak in op een van deze waarden. Zie de secties Tekstindeling, JSON-indeling, Avro-indeling, Orc-indeling en Parquet-indeling voor meer informatie.	Nee (alleen voor binair kopieerscenario)
compressie	Geef het type en het compressieniveau voor de gegevens op. Zie Ondersteunde bestandsindelingen en compressiecodecs voor meer informatie. Ondersteunde typen zijn GZip, Deflate, BZip2 en ZipDeflate. Ondersteunde niveaus zijn Optimaal en Snelste.	Nee

Tip

Als u alle bestanden onder een map wilt kopiëren, geeft u alleen folderPath op.
Als u één bestand met een bepaalde naam wilt kopiëren, geeft u folderPath op met een maponderdeel en fileName met een bestandsnaam.
Als u een subset van bestanden onder een map wilt kopiëren, geeft u folderPath op met een maponderdeel en fileName met een jokertekenfilter.

Voorbeeld:

{
    "name": "ADLSDataset",
    "properties": {
        "type": "AzureDataLakeStoreFile",
        "linkedServiceName":{
            "referenceName": "<ADLS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "datalake/myfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Bronmodel van verouderde kopieeractiviteit

Eigenschappen	Beschrijving	Vereist
type	De `type` eigenschap van de bron van de kopieeractiviteit moet worden ingesteld op AzureDataLakeStoreSource.	Ja
recursief	Hiermee wordt aangegeven of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Wanneer `recursive` deze is ingesteld op true en de sink een archief op basis van bestanden is, wordt een lege map of submap niet gekopieerd of gemaakt in de sink. Toegestane waarden zijn waar (standaard) en onwaar.	Nee
maxConcurrentConnections	De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.	Nee

Voorbeeld:

"activities":[
    {
        "name": "CopyFromADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ADLS Gen1 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDataLakeStoreSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Verouderd sinkmodel voor kopieeractiviteit

Eigenschappen	Beschrijving	Vereist
type	De `type` eigenschap van de sink voor kopieeractiviteit moet worden ingesteld op AzureDataLakeStoreSink.	Ja
copyBehavior	Definieert het kopieergedrag wanneer de bron bestanden is uit een gegevensarchief op basis van bestanden. Toegestane waarden zijn: - PreserveHierarchy (standaard): behoudt de bestandshiërarchie in de doelmap. Het relatieve pad van het bronbestand naar de bronmap is identiek aan het relatieve pad van het doelbestand naar de doelmap. - FlattenHierarchy: Alle bestanden uit de bronmap bevinden zich op het eerste niveau van de doelmap. De doelbestanden hebben automatisch gegenereerde namen. - MergeFiles: hiermee worden alle bestanden uit de bronmap samengevoegd tot één bestand. Als de bestandsnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam. Anders wordt de bestandsnaam automatisch gegenereerd.	Nee
maxConcurrentConnections	De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.	Nee

Voorbeeld:

"activities":[
    {
        "name": "CopyToADLSGen1",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ADLS Gen1 output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataLakeStoreSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Gegevens vastleggen wijzigen (preview)

Azure Data Factory kan alleen nieuwe of gewijzigde bestanden ophalen uit Azure Data Lake Storage Gen1 door wijzigingsgegevensopname inschakelen (preview) in te schakelen in de brontransformatie van de toewijzingsgegevensstroom. Met deze connectoroptie kunt u alleen nieuwe of bijgewerkte bestanden lezen en transformaties toepassen voordat u getransformeerde gegevens laadt in doelgegevenssets van uw keuze.

Zorg ervoor dat u de naam van de pijplijn en activiteit ongewijzigd laat, zodat het controlepunt altijd kan worden vastgelegd vanaf de laatste uitvoering om daar wijzigingen op te halen. Als u de naam van uw pijplijn of activiteit wijzigt, wordt het controlepunt opnieuw ingesteld en begint u vanaf het begin in de volgende uitvoering.

Wanneer u fouten in de pijplijn opsbugt, werkt het vastleggen van wijzigingsgegevens inschakelen (preview) ook. Het controlepunt wordt opnieuw ingesteld wanneer u uw browser vernieuwt tijdens de uitvoering van foutopsporing. Nadat u tevreden bent met het resultaat van de foutopsporingsuitvoering, kunt u de pijplijn publiceren en activeren. Het begint altijd vanaf het begin, ongeacht het vorige controlepunt dat is vastgelegd door de foutopsporingsuitvoering.

In de sectie Bewaking hebt u altijd de mogelijkheid om een pijplijn opnieuw uit te voeren. Wanneer u dit doet, worden de wijzigingen altijd opgehaald uit de controlepuntrecord in de geselecteerde pijplijnuitvoering.

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.

Share via

Gegevens kopiëren naar of van Azure Data Lake Storage Gen1 met behulp van Azure Data Factory of Azure Synapse Analytics

Ondersteunde mogelijkheden

Aan de slag

Een gekoppelde service maken voor Azure Data Lake Storage Gen1 met behulp van de gebruikersinterface

Configuratiedetails van connector

Eigenschappen van gekoppelde service

Verificatie van service-principal gebruiken

Door het systeem toegewezen beheerde identiteitverificatie gebruiken

Door de gebruiker toegewezen beheerde identiteitverificatie gebruiken

Eigenschappen van gegevensset

Eigenschappen van de kopieeractiviteit

Azure Data Lake Store als bron

Azure Data Lake Store als sink

Voorbeelden van naambereikfilters

Voorbeelden van map- en bestandsfilters

Voorbeelden van bestandslijsten

Voorbeelden van gedrag van de kopieerbewerking

ACL's behouden voor Data Lake Storage Gen2

Eigenschappen van toewijzingsgegevensstroom

Brontransformatie

Sink-eigenschappen

Eigenschappen van opzoekactiviteit

Eigenschappen van GetMetadata-activiteit

Activiteitseigenschappen verwijderen

Verouderde modellen

Verouderd gegevenssetmodel

Bronmodel van verouderde kopieeractiviteit

Verouderd sinkmodel voor kopieeractiviteit

Gegevens vastleggen wijzigen (preview)

Feedback

Aanvullende resources

Share via

Gegevens kopiëren naar of van Azure Data Lake Storage Gen1 met behulp van Azure Data Factory of Azure Synapse Analytics

Ondersteunde mogelijkheden

Aan de slag

Een gekoppelde service maken voor Azure Data Lake Storage Gen1 met behulp van de gebruikersinterface

Configuratiedetails van connector

Eigenschappen van gekoppelde service

Verificatie van service-principal gebruiken

Door het systeem toegewezen beheerde identiteitverificatie gebruiken

Door de gebruiker toegewezen beheerde identiteitverificatie gebruiken

Eigenschappen van gegevensset

Eigenschappen van de kopieeractiviteit

Azure Data Lake Store als bron

Azure Data Lake Store als sink

Voorbeelden van naambereikfilters

Voorbeelden van map- en bestandsfilters

Voorbeelden van bestandslijsten

Voorbeelden van gedrag van de kopieerbewerking

ACL's behouden voor Data Lake Storage Gen2

Eigenschappen van toewijzingsgegevensstroom

Brontransformatie

Sink-eigenschappen

Eigenschappen van opzoekactiviteit

Eigenschappen van GetMetadata-activiteit

Activiteitseigenschappen verwijderen

Verouderde modellen

Verouderd gegevenssetmodel

Bronmodel van verouderde kopieeractiviteit

Verouderd sinkmodel voor kopieeractiviteit

Gegevens vastleggen wijzigen (preview)

Gerelateerde inhoud

Feedback

Aanvullende resources