Gegevens kopiëren van en naar ODBC-gegevensarchieven met behulp van Azure Data Factory of Synapse Analytics
VAN TOEPASSING OP: Azure Data Factory
Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
In dit artikel wordt beschreven hoe u de kopieeractiviteit in Azure Data Factory gebruikt om gegevens van en naar een ODBC-gegevensarchief te kopiëren. Het is gebaseerd op het artikel over het overzicht van kopieeractiviteiten met een algemeen overzicht van de kopieeractiviteit.
Ondersteunde mogelijkheden
Deze ODBC-connector wordt ondersteund voor de volgende mogelijkheden:
Ondersteunde mogelijkheden | IR |
---|---|
Copy-activiteit (bron/sink) | (2) |
Activiteit Lookup | (2) |
(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime
Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen/sinks.
Deze ODBC-connector ondersteunt het kopiëren van gegevens van/naar alle ODBC-compatibele gegevensarchieven met behulp van Basis - of Anonieme verificatie. Er is een 64-bits ODBC-stuurprogramma vereist. Voor ODBC-sink ondersteunt de service ODBC versie 2.0 standard.
Vereisten
Als u deze ODBC-connector wilt gebruiken, moet u het volgende doen:
- Stel een zelf-hostende Integration Runtime in. Zie het artikel over zelf-hostende Integration Runtime voor meer informatie.
- Installeer het 64-bits ODBC-stuurprogramma voor het gegevensarchief op de Integration Runtime-computer.
Aan de slag
Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:
- Het hulpprogramma voor het kopiëren van gegevens
- Azure Portal
- De .NET-SDK
- De Python-SDK
- Azure PowerShell
- De REST API
- Een Azure Resource Manager-sjabloon
Een gekoppelde service maken voor een ODBC-gegevensarchief met behulp van de gebruikersinterface
Gebruik de volgende stappen om een gekoppelde service te maken voor een ODBC-gegevensarchief in de gebruikersinterface van Azure Portal.
Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:
Zoek naar ODBC en selecteer de ODBC-connector.
Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.
Configuratiedetails van connector
De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor ODBC-connector.
Eigenschappen van gekoppelde service
De volgende eigenschappen worden ondersteund voor de gekoppelde ODBC-service:
Eigenschappen | Beschrijving | Vereist |
---|---|---|
type | De typeeigenschap moet worden ingesteld op: Odbc | Ja |
connectionString | De verbindingsreeks exclusief het referentiegedeelte. U kunt het verbindingsreeks opgeven met een patroon zoals Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase; , of het systeem-DSN (naam van gegevensbron) gebruiken waarmee u op de Integration Runtime-machine DSN=<name of the DSN on IR machine>; hebt ingesteld (u moet het referentiegedeelte in de gekoppelde service dienovereenkomstig opgeven).U kunt ook een wachtwoord in Azure Key Vault plaatsen en de password configuratie uit de verbindingsreeks halen. Raadpleeg De referenties van de Store in Azure Key Vault met meer informatie. |
Ja |
authenticationType | Type verificatie dat wordt gebruikt om verbinding te maken met het ODBC-gegevensarchief. Toegestane waarden zijn: Basis en Anoniem. |
Ja |
gebruikersnaam | Geef de gebruikersnaam op als u basisverificatie gebruikt. | Nee |
password | Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault. | Nee |
referenties | Het toegangsreferentiegedeelte van de verbindingsreeks opgegeven in de indeling van de eigenschapswaarde van het stuurprogramma. Voorbeeld: "RefreshToken=<secret refresh token>;" . Markeer dit veld als securestring. |
Nee |
connectVia | De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Een zelf-hostende Integration Runtime is vereist, zoals vermeld in vereisten. | Ja |
Voorbeeld 1: basisverificatie gebruiken
{
"name": "ODBCLinkedService",
"properties": {
"type": "Odbc",
"typeProperties": {
"connectionString": "<connection string>",
"authenticationType": "Basic",
"userName": "<username>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Voorbeeld 2: anonieme verificatie gebruiken
{
"name": "ODBCLinkedService",
"properties": {
"type": "Odbc",
"typeProperties": {
"connectionString": "<connection string>",
"authenticationType": "Anonymous",
"credential": {
"type": "SecureString",
"value": "RefreshToken=<secret refresh token>;"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Eigenschappen van gegevensset
Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-gegevensset.
Als u gegevens wilt kopiëren van/naar odbc-compatibel gegevensarchief, worden de volgende eigenschappen ondersteund:
Eigenschappen | Beschrijving | Vereist |
---|---|---|
type | De typeeigenschap van de gegevensset moet worden ingesteld op: OdbcTable | Ja |
tableName | Naam van de tabel in het ODBC-gegevensarchief. | Nee voor bron (als 'query' in de activiteitsbron is opgegeven); Ja voor sink |
Voorbeeld
{
"name": "ODBCDataset",
"properties": {
"type": "OdbcTable",
"schema": [],
"linkedServiceName": {
"referenceName": "<ODBC linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {
"tableName": "<table name>"
}
}
}
Als u RelationalTable
getypte gegevensset gebruikt, wordt deze nog steeds ondersteund terwijl u wordt aangeraden de nieuwe gegevensset te gebruiken.
Eigenschappen van de kopieeractiviteit
Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-bron.
ODBC als bron
Als u gegevens wilt kopiëren uit het odBC-compatibele gegevensarchief, worden de volgende eigenschappen ondersteund in de sectie bron van de kopieeractiviteit:
Eigenschappen | Beschrijving | Vereist |
---|---|---|
type | De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op: OdbcSource | Ja |
query | Gebruik de aangepaste SQL-query om gegevens te lezen. Voorbeeld: "SELECT * FROM MyTable" . |
Nee (als 'tableName' in de gegevensset is opgegeven) |
Voorbeeld:
"activities":[
{
"name": "CopyFromODBC",
"type": "Copy",
"inputs": [
{
"referenceName": "<ODBC input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "OdbcSource",
"query": "SELECT * FROM MyTable"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Als u RelationalSource
getypte bron gebruikt, wordt deze nog steeds ondersteund, terwijl u wordt aangeraden de nieuwe bron te gebruiken.
ODBC als sink
Als u gegevens wilt kopiëren naar een met ODBC compatibel gegevensarchief, stelt u het sinktype in de kopieeractiviteit in op OdbcSink. De volgende eigenschappen worden ondersteund in de sectie sink voor kopieeractiviteit:
Eigenschappen | Beschrijving | Vereist |
---|---|---|
type | De typeeigenschap van de sink van de kopieeractiviteit moet worden ingesteld op: OdbcSink | Ja |
writeBatchTimeout | Wachttijd voordat de batchinvoegbewerking is voltooid voordat er een time-out optreedt. Toegestane waarden zijn: tijdspanne. Voorbeeld: '00:30:00' (30 minuten). |
Nee |
writeBatchSize | Hiermee worden gegevens in de SQL-tabel ingevoegd wanneer de buffergrootte writeBatchSize bereikt. Toegestane waarden zijn: geheel getal (aantal rijen). |
Nee (standaard is 0 - automatisch gedetecteerd) |
preCopyScript | Geef in elke uitvoering een SQL-query op voor kopieeractiviteit die moet worden uitgevoerd voordat u gegevens naar het gegevensarchief schrijft. U kunt deze eigenschap gebruiken om de vooraf geladen gegevens op te schonen. | Nr. |
Notitie
Als 'writeBatchSize' niet is ingesteld (automatisch gedetecteerd), detecteert de kopieeractiviteit eerst of het stuurprogramma batchbewerkingen ondersteunt en stelt deze in op 10000 als dit het geval is, of stelt deze in op 1 als dat niet het geval is. Als u de andere waarde dan 0 expliciet instelt, wordt de waarde gehonoreerd en mislukt de kopieeractiviteit tijdens runtime als het stuurprogramma geen batchbewerkingen ondersteunt.
Voorbeeld:
"activities":[
{
"name": "CopyToODBC",
"type": "Copy",
"inputs": [
{
"referenceName": "<input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<ODBC output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>"
},
"sink": {
"type": "OdbcSink",
"writeBatchSize": 100000
}
}
}
]
Eigenschappen van opzoekactiviteit
Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.
Verbindingsproblemen oplossen
Gebruik het tabblad Diagnostische gegevens van Integration Runtime Configuration Manager om verbindingsproblemen op te lossen.
- Start Integration Runtime Configuration Manager.
- Ga naar het tabblad Diagnostische gegevens.
- Selecteer in de sectie Verbinding testen het type gegevensarchief (gekoppelde service).
- Geef de verbindingsreeks op die wordt gebruikt om verbinding te maken met het gegevensarchief, kies de verificatie en voer gebruikersnaam, wachtwoord en/of referenties in.
- Klik op Verbinding testen om de verbinding met het gegevensarchief te testen.
Gerelateerde inhoud
Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.