Kopírování dat z a do úložišť dat ODBC pomocí Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Tento článek popisuje, jak používat aktivitu kopírování v Azure Data Factory ke kopírování dat z a do úložiště dat ODBC. Vychází z článku přehled aktivity kopírování, který představuje obecný přehled aktivity kopírování.

Poznámka:

Tento konektor je také k dispozici ve službě Data Factory v Microsoft Fabric. Informace o konfiguraci a funkcích specifických pro Fabric najdete v dokumentaci ke konektoru FABRIC ODBC.

Podporované funkce

Tento konektor ODBC je podporovaný pro následující funkce:

Podporované funkce IR
aktivita Copy (zdroj/jímka) (2)
Vyhledávací aktivita (2)

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky najdete v tabulce Podporované úložiště dat.

Konkrétně tento konektor ODBC podporuje kopírování dat z/do všech úložišť dat kompatibilních s rozhraním ODBC pomocí základního nebo anonymního ověřování. Vyžaduje se 64bitový ovladač ODBC. Služba pro ODBC sink podporuje rozhraní ODBC verze 2.0.

Požadavky

Pokud chcete použít tento konektor ODBC, musíte:

  • Nastavte Integration Runtime v místním prostředí. Podrobnosti najdete v článku Integration Runtime s vlastním hostováním.
  • Nainstalujte 64bitový ovladač ODBC pro úložiště dat na Integration Runtime počítači.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby do úložiště dat ODBC pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu do úložiště dat ODBC v uživatelském rozhraní portálu Azure.

  1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a potom klikněte na Nový:

  2. Vyhledejte odbc a vyberte konektor ODBC.

    Snímek obrazovky s konektorem ODBC

  3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

    Snímek obrazovky s konfigurací propojené služby pro úložiště dat ODBC

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor ODBC.

Vlastnosti propojené služby

Propojená služba ODBC podporuje následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu musí být nastavená na: Odbc Ano
připojovací řetězec Connection string s výjimkou části přihlašovacích údajů. Můžete zadat připojovací řetězec se vzorem, jako je Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase;, nebo použít systémový název DSN (název zdroje dat), který jste nastavili na počítači Integration Runtime pomocí DSN=<name of the DSN on IR machine>; (potřebujete stále zadat část přihlašovacích údajů v propojené službě).
Můžete také vložit heslo do Azure Key Vault a stáhnout konfiguraci password z připojovací řetězec. Další podrobnosti najdete v části Storové přihlašovací údaje v Azure Key Vault.
Ano
typ autentizace Typ ověřování sloužící k připojení k úložišti dat ODBC.
Povolené hodnoty jsou: Základní a Anonymní.
Ano
userName Zadejte uživatelské jméno, pokud používáte základní ověřování. Ne
heslo Zadejte heslo pro uživatelský účet, který jste zadali pro uživatelské jméno. Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault. Ne
přihlašovací údaje Část přihlašovacích údajů řetězce připojení specifikovaná ve formátu vlastností specifického pro ovladač. Příklad: "RefreshToken=<secret refresh token>;". Označte toto pole jako securestring. Ne
connectVia Integration Runtime pro připojení k úložišti dat. Vyžaduje se Integration Runtime v místním prostředí, jak je uvedeno v Prerequisites. Ano

Příklad 1: Použití základního ověřování

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad 2: Použití anonymního ověřování

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Anonymous",
            "credential": {
                "type": "SecureString",
                "value": "RefreshToken=<secret refresh token>;"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou ODBC.

Pokud chcete kopírovat data z úložiště dat kompatibilního s rozhraním ODBC nebo do úložiště dat kompatibilního s rozhraním ODBC, jsou podporovány následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu datové sady musí být nastavená na: OdbcTable. Ano
tableName Název tabulky v úložišti dat ODBC Ne pro zdroj (pokud je zadán dotaz ve zdroji aktivity);
Ano pro jímku

Příklad

{
    "name": "ODBCDataset",
    "properties": {
        "type": "OdbcTable",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<ODBC linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Pokud jste používali RelationalTable typovanou datovou sadu, je stále podporována v původní podobě, ale doporučuje se používat novější verzi.

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem ODBC.

ODBC jako zdroj

Pokud chcete kopírovat data z úložiště dat kompatibilního s rozhraním ODBC, podporují se v části zdroje aktivity kopírování následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu zdroje aktivity kopírování musí být nastavena na: OdbcSource. Ano
dotaz Ke čtení dat použijte vlastní dotaz SQL. Například: "SELECT * FROM MyTable". Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ODBC input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OdbcSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pokud jste používali RelationalSource typovaný zdroj, je stále podporovaný tak, jak je, zatímco se navrhuje používat nový zdroj.

ODBC jako jímka

Pokud chcete kopírovat data do úložiště dat kompatibilního s rozhraním ODBC, nastavte typ jímky v aktivitě kopírování na OdbcSink. V části zásobníku aktivity kopírování jsou podporovány následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu jímky aktivity kopírování musí být nastavena na: OdbcSink Ano
writeBatchTimeout Doba čekání na dokončení operace dávkového vložení před vypršením časového limitu.
Povolené hodnoty jsou: časový rozsah. Příklad: 00:30:00 (30 minut).
Ne
writeBatchSize Vloží data do tabulky SQL, když velikost vyrovnávací paměti dosáhne hodnoty writeBatchSize.
Povolené hodnoty jsou: celé číslo (počet řádků).
Ne (výchozí hodnota je 0 – automaticky zjištěno)
preCopyScript Zadejte dotaz SQL pro aktivitu kopírování, který se má spustit před zápisem dat do úložiště dat v každém spuštění. Tuto vlastnost můžete použít k vyčištění předem načtených dat. Ne

Poznámka:

Pokud není nastavená hodnota writeBatchSize (automaticky zjištěná), aktivita kopírování nejprve zjistí, jestli ovladač podporuje dávkové operace, a pokud ano, nastavte ji na 1 0000, nebo ji nastavte na 1, pokud ne. Pokud explicitně nastavíte jinou hodnotu než 0, aktivita kopírování tuto hodnotu respektuje a za běhu selže, pokud ovladač nepodporuje dávkové operace.

Příklad:

"activities":[
    {
        "name": "CopyToODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ODBC output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OdbcSink",
                "writeBatchSize": 100000
            }
        }
    }
]

Vlastnosti aktivity vyhledávání

Zjistit podrobnosti o vlastnostech můžete v aktivitě Vyhledávání.

Řešení potíží s připojením

Při řešení potíží s připojením použijte záložku Diagnostics v Integration Runtime Správce konfigurace.

  1. Spusťte Integration Runtime Správce konfigurace.
  2. Přepněte na kartu Diagnostika.
  3. V části Test připojení vyberte typ úložiště dat (propojená služba).
  4. Zadejte připojovací řetězec sloužící k připojení k úložišti dat. zvolte authentication a zadejte uživatelské jméno, password a/nebo credentials.
  5. Kliknutím na test připojení otestujte připojení k úložišti dat.

Úložiště dat, která kopírovací aktivita podporuje jako zdroje a cíle, najdete v seznamu podporovaných úložišť dat.