Kopírování dat z a do úložišť dat ODBC pomocí služby Azure Data Factory nebo Synapse Analytics

Článek
12/09/2023

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak pomocí aktivity kopírování ve službě Azure Data Factory kopírovat data z a do úložiště dat ODBC. Vychází z článku s přehledem aktivity kopírování, který představuje obecný přehled aktivity kopírování.

Podporované funkce

Tento konektor ODBC je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/jímka)	②
Aktivita Lookup	②

(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky najdete v tabulce Podporované úložiště dat.

Konkrétně tento konektor ODBC podporuje kopírování dat z/do všech úložišť dat kompatibilních s rozhraním ODBC pomocí základního nebo anonymního ověřování. Vyžaduje se 64bitový ovladač ODBC. Pro jímku ODBC podporuje služba rozhraní ODBC verze 2.0 standard.

Požadavky

Pokud chcete použít tento konektor ODBC, musíte:

Nastavte místní prostředí Integration Runtime. Podrobnosti najdete v článku o místním prostředí Integration Runtime .
Nainstalujte 64bitový ovladač ODBC pro úložiště dat na počítač s prostředím Integration Runtime.

Začínáme

K provedení aktivita Copy s kanálem můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby do úložiště dat ODBC pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu do úložiště dat ODBC v uživatelském rozhraní webu Azure Portal.

Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak klikněte na Nový:
- Azure Data Factory
- Azure Synapse
Vyhledejte odbc a vyberte konektor ODBC.
Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

podrobnosti o konfiguraci Připojení oru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit služby Data Factory specifických pro konektor ODBC.

Vlastnosti propojené služby

Propojená služba ODBC podporuje následující vlastnosti:

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu musí být nastavená na: Odbc	Ano
připojovací řetězec	Připojovací řetězec s výjimkou části přihlašovacích údajů. Můžete zadat připojovací řetězec se vzorem, například `Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase;`, nebo použít systémový název DSN (název zdroje dat), který jste nastavili na počítači `DSN=<name of the DSN on IR machine>;` s prostředím Integration Runtime (potřebujete stále zadat část přihlašovacích údajů v propojené službě odpovídajícím způsobem). Do služby Azure Key Vault můžete také zadat heslo a vytáhnout `password` konfiguraci z připojovací řetězec. Další podrobnosti najdete v tématu Ukládání přihlašovacích údajů ve službě Azure Key Vault .	Ano
authenticationType	Typ ověřování sloužící k připojení k úložišti dat ODBC. Povolené hodnoty jsou: Základní a Anonymní.	Ano
userName	Zadejte uživatelské jméno, pokud používáte základní ověřování.	No
Heslo	Zadejte heslo pro uživatelský účet, který jste zadali pro uživatelské jméno. Označte toto pole jako securestring, abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault.	No
pověření	Část přihlašovacích údajů přístupu připojovací řetězec určená ve formátu vlastnosti specifického pro ovladač. Příklad: `"RefreshToken=<secret refresh token>;"`. Označte toto pole jako securestring.	No
connectVia	Prostředí Integration Runtime , které se má použít pro připojení k úložišti dat. Vyžaduje se místní prostředí Integration Runtime, jak je uvedeno v požadavcích.	Ano

Příklad 1: Použití základního ověřování

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad 2: Použití anonymního ověřování

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Anonymous",
            "credential": {
                "type": "SecureString",
                "value": "RefreshToken=<secret refresh token>;"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku o datových sadách . Tato část obsahuje seznam vlastností podporovaných datovou sadou ODBC.

Pokud chcete kopírovat data z úložiště dat kompatibilního s rozhraním ODBC nebo do úložiště dat kompatibilního s rozhraním ODBC, jsou podporovány následující vlastnosti:

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu datové sady musí být nastavená na: OdbcTable.	Ano
tableName	Název tabulky v úložišti dat ODBC	Ne pro zdroj (pokud je zadán dotaz ve zdroji aktivity); Ano pro jímku

Příklad

{
    "name": "ODBCDataset",
    "properties": {
        "type": "OdbcTable",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<ODBC linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Pokud jste používali RelationalTable zadaná datová sada, je stále podporovaná tak, jak je, zatímco se navrhuje, abyste mohli použít novou datovou sadu.

Vlastnosti aktivity kopírování

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem ODBC.

ODBC jako zdroj

Pokud chcete kopírovat data z úložiště dat kompatibilního s rozhraním ODBC, podporují se v části zdroje aktivity kopírování následující vlastnosti:

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu zdroje aktivity kopírování musí být nastavena na: OdbcSource.	Ano
query	Ke čtení dat použijte vlastní dotaz SQL. Například: `"SELECT * FROM MyTable"`.	Ne (pokud je v datové sadě zadán název tabulky)

Příklad:

"activities":[
    {
        "name": "CopyFromODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ODBC input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OdbcSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pokud jste používali RelationalSource typovaný zdroj, je stále podporovaný tak, jak je, zatímco se navrhuje používat nový zdroj.

ODBC jako jímka

Pokud chcete kopírovat data do úložiště dat kompatibilního s rozhraním ODBC, nastavte typ jímky v aktivitě kopírování na OdbcSink. V části jímky aktivity kopírování jsou podporovány následující vlastnosti:

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu jímky aktivity kopírování musí být nastavena na: OdbcSink	Ano
writeBatchTimeout	Počkejte, než se operace dávkového vložení dokončí, než vyprší časový limit. Povolené hodnoty jsou: časový rozsah. Příklad: 00:30:00 (30 minut).	No
writeBatchSize	Vloží data do tabulky SQL, když velikost vyrovnávací paměti dosáhne writeBatchSize. Povolené hodnoty jsou: celé číslo (počet řádků).	Ne (výchozí hodnota je 0 – automaticky zjištěno)
preCopyScript	Zadejte dotaz SQL pro aktivitu kopírování, který se má spustit před zápisem dat do úložiště dat v každém spuštění. Tuto vlastnost můžete použít k vyčištění předem načtených dat.	No

Poznámka:

Pokud není nastavená hodnota writeBatchSize (automaticky zjištěná), aktivita kopírování nejprve zjistí, jestli ovladač podporuje dávkové operace, a pokud ano, nastavte ji na 1 0000, nebo ji nastavte na 1, pokud ne. Pokud explicitně nastavíte jinou hodnotu než 0, aktivita kopírování tuto hodnotu respektuje a za běhu selže, pokud ovladač nepodporuje dávkové operace.

Příklad:

"activities":[
    {
        "name": "CopyToODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ODBC output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OdbcSink",
                "writeBatchSize": 100000
            }
        }
    }
]

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Vyhledávání.

Řešení potíží s připojením

Při řešení potíží s připojením použijte kartu Diagnostika nástroje Integration Runtime Configuration Manager.

Spusťte Nástroj Integration Runtime Configuration Manager.
Přepněte na kartu Diagnostika.
V části Testovací Připojení ion vyberte typ úložiště dat (propojená služba).
Zadejte připojovací řetězec, který se používá pro připojení k úložišti dat, zvolte ověřování a zadejte uživatelské jméno, heslo a/nebo přihlašovací údaje.
Kliknutím na test připojení otestujte připojení k úložišti dat.

Seznam úložišť dat podporovaných jako zdroje a jímky aktivitou kopírování najdete v podporovaných úložištích dat.