Delen via

Gegevens kopiëren van Amazon Redshift met behulp van Azure Data Factory of Synapse Analytics

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Aanbeveling

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u de kopieeractiviteit in Azure Data Factory- en Synapse Analytics-pijplijnen gebruikt om gegevens te kopiëren van een Amazon Redshift. Het is gebaseerd op het artikel over het overzicht van kopieeractiviteiten met een algemeen overzicht van de kopieeractiviteit.

Belangrijk

De Amazon Redshift versie 2.0 biedt verbeterde systeemeigen Amazon Redshift-ondersteuning. Als u de Amazon Redshift-versie 1.0 in uw oplossing gebruikt, moet u uw Amazon Redshift-connector upgraden als versie 1.0 zich in de fase Einde van de ondersteuning bevindt. Uw pijplijn mislukt na 31 maart 2026. Raadpleeg deze sectie voor meer informatie over het verschil tussen versie 2.0 en versie 1.0.

Ondersteunde mogelijkheden

Deze Amazon Redshift-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden IR
Copy-activiteit (bron/-) (1) (2)
Activiteit Lookup (1) (2)

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen of sinks door de kopieeractiviteit.

De service biedt een ingebouwd stuurprogramma om connectiviteit mogelijk te maken, daarom hoeft u geen stuurprogramma handmatig te installeren.

De Amazon Redshift-connector biedt ondersteuning voor het ophalen van gegevens uit Redshift met behulp van query' of ingebouwde ondersteuning voor Redshift UNLOAD.

De connector ondersteunt de Windows-versies in dit artikel.

Aanbeveling

Voor de beste prestaties bij het kopiëren van grote hoeveelheden gegevens uit Redshift, kunt u overwegen om de ingebouwde Redshift UNLOAD via Amazon S3 te gebruiken. Zie UNLOAD gebruiken om gegevens uit de sectie Amazon Redshift te kopiëren voor meer informatie.

Vereisten

Als u gegevens naar een on-premises gegevensarchief kopieert met behulp van zelf-hostende Integration Runtime, verleent u Integration Runtime (ip-adres van de machine gebruiken) de toegang tot het Amazon Redshift-cluster. Zie Toegang tot het cluster autoriseren voor instructies. Voor versie 2.0 moet uw zelf-hostende Integration Runtime-versie 5.61 of hoger zijn.

Als u gegevens kopieert naar een Azure-gegevensarchief, raadpleegt u IP-adresbereiken van Azure Data Center voor het COMPUTE-IP-adres en SQL-bereiken die worden gebruikt door de Azure-datacenters.

Als uw gegevensarchief een beheerde cloudgegevensservice is, kunt u De Azure Integration Runtime gebruiken. Als de toegang is beperkt tot IP-adressen die zijn goedgekeurd in de firewallregels, kunt u IP-adressen van Azure Integration Runtime toevoegen aan de acceptatielijst.

U kunt ook de beheerde functie voor integratieruntime voor virtuele netwerken in Azure Data Factory gebruiken om toegang te krijgen tot het on-premises netwerk zonder een zelf-hostende Integration Runtime te installeren en te configureren.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken met Amazon Redshift met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor Amazon Redshift in de gebruikersinterface van Azure Portal.

  1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:

  2. Zoek naar Amazon en selecteer de Amazon Redshift-connector.

    Selecteer de Amazon Redshift-connector.

  3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

    Configureer een gekoppelde service met Amazon Redshift.

Configuratiedetails van connector

De volgende secties bevatten details over eigenschappen die worden gebruikt om Data Factory-entiteiten te definiëren die specifiek zijn voor Amazon Redshift-connector.

Eigenschappen van gekoppelde service

De volgende eigenschappen worden ondersteund voor gekoppelde Amazon Redshift-service:

Eigenschappen Beschrijving Vereist
soort De eigenschap type moet worden ingesteld op: AmazonRedshift Ja
Versie De versie die je opgeeft. Ja voor versie 2.0.
bedieningscomputer IP-adres of hostnaam van de Amazon Redshift-server. Ja
poort Het nummer van de TCP-poort die de Amazon Redshift-server gebruikt om te luisteren naar clientverbindingen. Nee, standaard is 5439
gegevensbank Naam van de Amazon Redshift-database. Ja
gebruikersnaam Naam van de gebruiker die toegang heeft tot de database. Ja
wachtwoord Wachtwoord voor het gebruikersaccount. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault. Ja
connectVia De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. U kunt Azure Integration Runtime of zelf-hostende Integration Runtime gebruiken (als uw gegevensarchief zich in een privénetwerk bevindt). Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. Nee

Opmerking

Versie 2.0 ondersteunt Azure Integration Runtime en zelf-hostende Integration Runtime versie 5.61 of hoger. Installatie van stuurprogramma's is niet meer nodig met zelf-hostende Integration Runtime versie 5.61 of hoger.

Voorbeeld: versie 2.0

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "version": "2.0",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld: versie 1.0

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Amazon Redshift-gegevensset.

Als u gegevens van Amazon Redshift wilt kopiëren, worden de volgende eigenschappen ondersteund:

Eigenschappen Beschrijving Vereist
soort De typeeigenschap van de gegevensset moet zijn ingesteld op: AmazonRedshiftTable Ja
overzicht Naam van het schema. Nee (als 'query' in de activiteitsbron is opgegeven)
tafel Naam van de tabel. Nee (als 'query' in de activiteitsbron is opgegeven)
tabelnaam Naam van de tabel met schema. Deze eigenschap wordt ondersteund voor compatibiliteit met eerdere versies. Gebruik schema en table voor nieuwe workload. Nee (als 'query' in de activiteitsbron is opgegeven)

Voorbeeld

{
    "name": "AmazonRedshiftDataset",
    "properties":
    {
        "type": "AmazonRedshiftTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Amazon Redshift linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Als u RelationalTable getypte gegevensset gebruikt, wordt deze nog steeds ondersteund terwijl u wordt aangeraden de nieuwe gegevensset te gebruiken.

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door amazon Redshift-bron.

Amazon Redshift als bron

Als u gegevens van Amazon Redshift wilt kopiëren, stelt u het brontype in de kopieeractiviteit in op AmazonRedshiftSource. De volgende eigenschappen worden ondersteund in de sectie bron van kopieeractiviteit:

Eigenschappen Beschrijving Vereist
soort De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op: AmazonRedshiftSource Ja
zoekopdracht Gebruik de aangepaste query om gegevens te lezen. Bijvoorbeeld: selecteer * in MyTable. Nee (als 'tableName' in de gegevensset is opgegeven)
redshiftUnloadInstellingen Eigenschapsgroep bij gebruik van Amazon Redshift UNLOAD. Nee
s3LinkedServiceName Verwijst naar een Amazon S3 die moet worden gebruikt als een tussentijdse winkel door een gekoppelde servicenaam van het type AmazonS3 op te geven. Ja als u UNLOAD gebruikt
naam emmer Geef de S3-bucket aan om de tussentijdse gegevens op te slaan. Als deze niet is opgegeven, genereert de service deze automatisch. Ja als u UNLOAD gebruikt

Voorbeeld: Amazon Redshift-bron in kopieeractiviteit met UNLOAD

"source": {
    "type": "AmazonRedshiftSource",
    "query": "<SQL query>",
    "redshiftUnloadSettings": {
        "s3LinkedServiceName": {
            "referenceName": "<Amazon S3 linked service>",
            "type": "LinkedServiceReference"
        },
        "bucketName": "bucketForUnload"
    }
}

Meer informatie over het gebruik van UNLOAD om gegevens van Amazon Redshift efficiënt te kopiëren vanuit de volgende sectie.

UNLOAD gebruiken om gegevens van Amazon Redshift te kopiëren

UNLOAD is een mechanisme dat wordt geleverd door Amazon Redshift, waarmee de resultaten van een query kunnen worden verwijderd naar een of meer bestanden op Amazon Simple Storage Service (Amazon S3). Het wordt door Amazon aanbevolen voor het kopiëren van grote gegevenssets vanuit Redshift.

Voorbeeld: gegevens kopiëren van Amazon Redshift naar Azure Synapse Analytics met behulp van UNLOAD, gefaseerde kopie en PolyBase

Voor dit voorbeeldgebruik worden gegevens van Amazon Redshift naar Amazon S3 als geconfigureerd in 'redshiftUnloadSettings' verwijderd en kopieert u vervolgens gegevens van Amazon S3 naar Azure Blob, zoals is opgegeven in 'stagingSettings', en gebruikt u ten slotte PolyBase om gegevens te laden in Azure Synapse Analytics. Alle tussentijdse indeling wordt verwerkt door de kopieeractiviteit correct.

Redshift naar azure Synapse Analytics-kopieerwerkstroom 

"activities":[
    {
        "name": "CopyFromAmazonRedshiftToSQLDW",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "AmazonRedshiftDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRedshiftSource",
                "query": "select * from MyTable",
                "redshiftUnloadSettings": {
                    "s3LinkedServiceName": {
                        "referenceName": "AmazonS3LinkedService",
                        "type": "LinkedServiceReference"
                    },
                    "bucketName": "bucketForUnload"
                }
            },
            "sink": {
                "type": "SqlDWSink",
                "allowPolyBase": true
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": "AzureStorageLinkedService",
                "path": "adfstagingcopydata"
            },
            "dataIntegrationUnits": 32
        }
    }
]

Toewijzing van gegevenstypen voor Amazon Redshift

Wanneer u gegevens van Amazon Redshift kopieert, zijn de volgende toewijzingen van de gegevenstypen van Amazon Redshift van toepassing op de interne gegevenstypen die door de service worden gebruikt. Zie Schema- en gegevenstypetoewijzingen voor meer informatie over hoe de kopieeractiviteit het bronschema en het gegevenstype toewijst aan de sink.

Amazon Redshift-gegevenstype Tussentijds servicedatatype (voor versie 2.0) Interim service-gegevenssoort (voor versie 1.0)
BIGINT Int64 Int64
Booleaans Booleaan Snaar / Touwtje
VERKOLEN Snaar / Touwtje Snaar / Touwtje
DATUM Datum en tijd Datum en tijd
DECIMAAL (precisie <= 28) Decimaal Decimaal
DECIMAAL (Precisie > 28) Snaar / Touwtje Snaar / Touwtje
DUBBELE PRECISIE Dubbel Dubbel
GEHEEL GETAL Int32 Int32
WERKELIJK Eén Eén
SMALLINT Int16 Int16
SMS Snaar / Touwtje Snaar / Touwtje
TIJDSTEMPEL Datum en tijd Datum en tijd
VARCHAR Snaar / Touwtje Snaar / Touwtje

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

Levenscyclus en upgrade van Amazon Redshift-connector

In de volgende tabel ziet u de releasefase en wijzigingslogboeken voor verschillende versies van de Amazon Redshift-connector:

Versie Releasefase Wijzigingslogboek
Versie 1.0 GA-versie beschikbaar /
Versie 2.0 GA-versie beschikbaar • Ondersteunt Azure Integration Runtime en zelf-hostende Integration Runtime versie 5.61 of hoger. Installatie van stuurprogramma's is niet meer nodig met zelf-hostende Integration Runtime versie 5.61 of hoger.

• Boolean wordt gelezen als een Booleaans gegevenstype.

De Amazon Redshift-connector upgraden van versie 1.0 naar versie 2.0

  1. Selecteer op de pagina Gekoppelde service bewerken versie 2.0 en configureer de gekoppelde service door te verwijzen naar de eigenschappen van de gekoppelde service.

  2. De gegevens-type mapping voor de gekoppelde Amazon Redshift-service versie 2.0 verschilt van die voor versie 1.0. Zie Gegevenstypetoewijzing voor Amazon Redshift voor meer informatie over de meest recente toewijzing van gegevenstypen.

  3. Pas een zelf-gehoste Integration Runtime toe met versie 5.61 of hoger. Installatie van stuurprogramma's is niet meer nodig met zelf-hostende Integration Runtime versie 5.61 of hoger.

Gerelateerde inhoud

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.

  • Last updated on