Gegevens kopiëren uit Amazon S3 Compatibele opslag met behulp van Azure Data Factory of Synapse Analytics

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u gegevens kopieert uit Amazon Simple Storage Service (Amazon S3) Compatibele opslag. Lees de inleidende artikelen voor Azure Data Factory en Synapse Analytics voor meer informatie.

Ondersteunde mogelijkheden

Deze Amazon S3 Compatibele opslagconnector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden IR
Copy-activiteit (bron/-) ① ②
Activiteit Lookup ① ②
GetMetadata-activiteit ① ②
Activiteit verwijderen ① ②

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Deze Amazon S3 Compatibele opslagconnector ondersteunt het kopiëren van bestanden zoals het is of het parseren van bestanden met de ondersteunde bestandsindelingen en compressiecodecs. De connector maakt gebruik van AWS Signature versie 4 om aanvragen voor S3 te verifiëren. U kunt deze Amazon S3 Compatibele opslagconnector gebruiken om gegevens te kopiëren van elke S3-compatibele opslagprovider. Geef de bijbehorende service-URL op in de configuratie van de gekoppelde service.

Vereiste machtigingen

Als u gegevens wilt kopiëren uit Amazon S3 Compatibele opslag, moet u ervoor zorgen dat u de volgende machtigingen hebt gekregen voor Amazon S3-objectbewerkingen: s3:GetObject en s3:GetObjectVersion.

Als u de gebruikersinterface gebruikt om te schrijven, zijn aanvullende s3:ListAllMyBuckets machtigingen s3:ListBucket/s3:GetBucketLocation vereist voor bewerkingen zoals het testen van de verbinding met de gekoppelde service en bladeren vanuit de hoofdmap. Als u deze machtigingen niet wilt verlenen, kunt u de opties Verbinding met bestandspad testen of Bladeren vanuit het opgegeven pad in de gebruikersinterface kiezen.

Zie Machtigingen opgeven in een beleid op de AWS-site voor de volledige lijst met Amazon S3-machtigingen.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken met Amazon S3 Compatibele opslag met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Amazon S3 Compatible Storage in de gebruikersinterface van Azure Portal.

  1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:

  2. Zoek naar Amazon en selecteer de Amazon S3 Compatibele opslagconnector.

    Select the Amazon S3 Compatible Storage connector.

  3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

    Configure a linked service to Amazon S3 Compatible Storage.

configuratiedetails Verbinding maken or

De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van entiteiten die specifiek zijn voor Amazon S3 Compatibele opslag.

Eigenschappen van gekoppelde service

De volgende eigenschappen worden ondersteund voor een gekoppelde Amazon S3-service:

Eigenschappen Beschrijving Vereist
type De eigenschap type moet worden ingesteld op AmazonS3Compatible. Ja
accessKeyId Id van de geheime toegangssleutel. Ja
secretAccessKey De geheime toegangssleutel zelf. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault. Ja
serviceUrl Geef het aangepaste S3-eindpunt https://<service url>op. Nee
forcePathStyle Hiermee wordt aangegeven of toegang in S3-padstijl moet worden gebruikt in plaats van virtuele gehoste toegang. Toegestane waarden zijn: onwaar (standaard), waar.
Raadpleeg de documentatie van elk gegevensarchief als toegang in padstijl nodig is of niet.		 Nee
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. U kunt de Azure Integration Runtime of de zelf-hostende Integration Runtime gebruiken (als uw gegevensarchief zich in een privénetwerk bevindt). Als deze eigenschap niet is opgegeven, gebruikt de service de standaard Azure Integration Runtime. Nee

Voorbeeld:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets .

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

De volgende eigenschappen worden ondersteund voor Amazon S3 Compatibel onder location instellingen in een op indeling gebaseerde gegevensset:

Eigenschappen Beschrijving Vereist
type De typeeigenschap onder location in een gegevensset moet worden ingesteld op AmazonS3CompatibleLocation. Ja
bucketName De naam van de S3-compatibele opslagbucket. Ja
folderPath Het pad naar de map onder de opgegeven bucket. Als u een jokerteken wilt gebruiken om de map te filteren, slaat u deze instelling over en geeft u dat op in de instellingen van de activiteitsbron. Nee
fileName De bestandsnaam onder het opgegeven bucket- en mappad. Als u een jokerteken wilt gebruiken om bestanden te filteren, slaat u deze instelling over en geeft u dat op in de instellingen van de activiteitsbron. Nee
version De versie van het S3-compatibele opslagobject, als S3 Compatibele opslagversiebeheer is ingeschakeld. Als deze niet is opgegeven, wordt de nieuwste versie opgehaald. Nee

Voorbeeld:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die door de Amazon S3 Compatibele opslagbron worden ondersteund.

Amazon S3-compatibele opslag als brontype

Azure Data Factory ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.

De volgende eigenschappen worden ondersteund voor Amazon S3 Compatibele opslag onder storeSettings instellingen in een op indeling gebaseerde kopieerbron:

Eigenschappen Beschrijving Vereist
type De eigenschap type onder storeSettings moet worden ingesteld op AmazonS3CompatibleRead Instellingen. Ja
Zoek de bestanden die u wilt kopiëren:
OPTIE 1: statisch pad
 Kopieer vanuit de opgegeven bucket of map/bestandspad dat is opgegeven in de gegevensset. Als u alle bestanden uit een bucket of map wilt kopiëren, moet u ook opgeven wildcardFileName als *.
OPTIE 2: S3 Compatibel opslagvoorvoegsel
-Voorvoegsel		 Voorvoegsel voor de naam van de S3 Compatibele opslagsleutel onder de opgegeven bucket die is geconfigureerd in een gegevensset om bron-S3 Compatibele opslagbestanden te filteren. S3 Compatibele opslagsleutels waarvan de namen beginnen met bucket_in_dataset/this_prefix zijn geselecteerd. Het maakt gebruik van het servicefilter van S3 Compatible Storage, dat betere prestaties biedt dan een jokertekenfilter.

Wanneer u voorvoegsel gebruikt en ervoor kiest om te kopiëren naar een op bestanden gebaseerde sink met behoud van de hiërarchie, blijft het subpad na het laatste '/' in voorvoegsel behouden. U hebt bijvoorbeeld bron bucket/folder/subfolder/file.txten configureer het voorvoegsel als folder/sub, dan is subfolder/file.txthet behouden bestandspad .		 Nee
OPTIE 3: jokerteken
- jokertekenFolderPath		 Het mappad met jokertekens onder de opgegeven bucket die is geconfigureerd in een gegevensset om bronmappen te filteren.
Toegestane jokertekens zijn: * (komt overeen met nul of meer tekens) en ? (komt overeen met nul of één teken). Gebruik ^ deze optie om te escapen als uw mapnaam een jokerteken of dit escape-teken bevat.
Bekijk meer voorbeelden in voorbeelden van mappen en bestandsfilters.		 Nee
OPTIE 3: jokerteken
- wildcardFileName		 De bestandsnaam met jokertekens onder het opgegeven bucket- en mappad (of pad naar een jokerteken) om bronbestanden te filteren.
Toegestane jokertekens zijn: * (komt overeen met nul of meer tekens) en ? (komt overeen met nul of één teken). Gebruik ^ deze optie om te escapen als uw bestandsnaam een jokerteken of dit escape-teken bevat. Bekijk meer voorbeelden in voorbeelden van mappen en bestandsfilters.		 Ja
OPTIE 4: een lijst met bestanden
- fileListPath		 Geeft aan om een bepaalde bestandsset te kopiëren. Wijs een tekstbestand aan met een lijst met bestanden die u wilt kopiëren, één bestand per regel. Dit is het relatieve pad naar het pad dat is geconfigureerd in de gegevensset.
Wanneer u deze optie gebruikt, geeft u geen bestandsnaam op in de gegevensset. Bekijk meer voorbeelden in voorbeelden van de lijst met bestanden.		 Nee
Aanvullende instellingen:
Recursieve Hiermee wordt aangegeven of de gegevens recursief worden gelezen uit de submappen of alleen uit de opgegeven map. Houd er rekening mee dat wanneer recursief is ingesteld op true en de sink een archief op basis van bestanden is, een lege map of submap niet wordt gekopieerd of gemaakt in de sink.
Toegestane waarden zijn waar (standaard) en onwaar.
Deze eigenschap is niet van toepassing wanneer u configureert fileListPath.		 Nee
deleteFilesAfterCompletion Geeft aan of de binaire bestanden worden verwijderd uit het bronarchief nadat ze naar het doelarchief zijn verplaatst. Het verwijderen van bestanden is per bestand, dus wanneer de kopieeractiviteit mislukt, ziet u dat sommige bestanden al naar het doel zijn gekopieerd en uit de bron zijn verwijderd, terwijl anderen nog steeds in het bronarchief blijven.
Deze eigenschap is alleen geldig in het scenario voor het kopiëren van binaire bestanden. De standaardwaarde: false.		 Nee
modifiedDatetimeStart Bestanden worden gefilterd op basis van het kenmerk: laatst gewijzigd.
De bestanden worden geselecteerd als de laatste wijzigingstijd groter is dan of gelijk is aan modifiedDatetimeStart en kleiner is dan modifiedDatetimeEnd. De tijd wordt toegepast op een UTC-tijdzone in de notatie 2018-12-01T05:00:00Z.
De eigenschappen kunnen NULL zijn, wat betekent dat er geen bestandskenmerkfilter wordt toegepast op de gegevensset. Wanneer modifiedDatetimeStart een datum/tijd-waarde heeft maar modifiedDatetimeEnd NULL is, worden de bestanden waarvan het kenmerk voor het laatst gewijzigd is groter dan of gelijk aan de datum/tijd-waarde geselecteerd. Wanneer modifiedDatetimeEnd een datum/tijd-waarde heeft maar modifiedDatetimeStart NULL is, worden de bestanden waarvan het kenmerk voor het laatst gewijzigd is kleiner dan de datum/tijd-waarde geselecteerd.
Deze eigenschap is niet van toepassing wanneer u configureert fileListPath.		 Nee
modifiedDatetimeEnd Hetzelfde als hierboven. Nee
enablePartitionDiscovery Geef voor bestanden die zijn gepartitioneerd op of de partities van het bestandspad moeten worden geparseerd en als extra bronkolommen moeten worden toegevoegd.
Toegestane waarden zijn onwaar (standaard) en waar.		 Nee
partitionRootPath Wanneer partitiedetectie is ingeschakeld, geeft u het absolute hoofdpad op om gepartitioneerde mappen als gegevenskolommen te lezen.

Als deze niet is opgegeven, is dit standaard het volgende:
- Wanneer u bestandspad gebruikt in de gegevensset of lijst met bestanden op de bron, is het pad naar de partitiehoofdmap dat is geconfigureerd in de gegevensset.
- Wanneer u het filter voor jokertekens gebruikt, is partitiehoofdpad het subpad vóór het eerste jokerteken.
- Wanneer u voorvoegsel gebruikt, is het hoofdpad van de partitie vóór het laatste '/'.

Stel dat u het pad in de gegevensset configureert als 'root/folder/year=2020/month=08/day=27':
- Als u partitiehoofdpad opgeeft als root/folder/year=2020, genereert de kopieeractiviteit twee kolommen month en day met de waarde '08' en '27', naast de kolommen in de bestanden.
- Als het hoofdpad van de partitie niet is opgegeven, wordt er geen extra kolom gegenereerd.		 Nee
maxConcurrent Verbinding maken ions De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken. Nee

Voorbeeld:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Voorbeelden van map- en bestandsfilters

In deze sectie wordt het resulterende gedrag van het mappad en de bestandsnaam met jokertekenfilters beschreven.

Emmer sleutel Recursieve Structuur van bronmap en filterresultaat (bestanden vetgedrukt worden opgehaald)
Emmer Folder*/* false Emmer
    MapA
        Bestand1.csv
        Bestand2.json
        Submap1
            Bestand3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Emmer Folder*/* true Emmer
    MapA
        Bestand1.csv
        Bestand2.json
        Submap1
            Bestand3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Emmer Folder*/*.csv false Emmer
    MapA
        Bestand1.csv
        Bestand2.json
        Submap1
            Bestand3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv
Emmer Folder*/*.csv true Emmer
    MapA
        Bestand1.csv
        Bestand2.json
        Submap1
            Bestand3.csv
            File4.json
            File5.csv
    AnotherFolderB
        File6.csv

Voorbeelden van bestandslijsten

In deze sectie wordt het resulterende gedrag beschreven van het gebruik van een bestandslijstpad in een Copy-activiteit bron.

Stel dat u de volgende bronmapstructuur hebt en de bestanden vetgedrukt wilt kopiëren:

Voorbeeldbronstructuur Inhoud in FileListToCopy.txt Configuratie
Emmer
    MapA
        Bestand1.csv
        Bestand2.json
        Submap1
            Bestand3.csv
            File4.json
            File5.csv
    Metagegevens
        FileListToCopy.txt		 Bestand1.csv
Submap1/File3.csv
Submap1/File5.csv		 In gegevensset:
-Emmer: bucket
- Mappad: FolderA

In Copy-activiteit bron:
- Pad naar bestandslijst: bucket/Metadata/FileListToCopy.txt

Het bestandslijstpad verwijst naar een tekstbestand in hetzelfde gegevensarchief met een lijst met bestanden die u wilt kopiëren, één bestand per regel, met het relatieve pad naar het pad dat is geconfigureerd in de gegevensset.

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

Eigenschappen van GetMetadata-activiteit

Raadpleeg de activiteit GetMetadata voor meer informatie over de eigenschappen.

Activiteitseigenschappen verwijderen

Als u meer wilt weten over de eigenschappen, schakelt u De activiteit Verwijderen in.

Gerelateerde inhoud

Zie Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die door de Copy-activiteit worden ondersteund als bronnen en sinks.