Megosztás:


Adatok másolása a MariaDB-ből az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan másolhat adatokat a MariaDB-ből az Azure Data Factory vagy a Synapse Analytics-folyamat másolási tevékenységével. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Fontos

A MariaDB-összekötő 1.0-s verziója eltávolítási szakaszban van. Javasoljuk, hogy frissítse a MariaDB-összekötőt az 1.0-s verzióról a 2.0-s verzióra.

Támogatott képességek

Ez a MariaDB-összekötő a következő képességeket támogatja:

Támogatott képességek integrációs modul
Copy tevékenység (forrás/-) (1) (2)
Keresési tevékenység (1) (2)

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez, ezért nem kell manuálisan telepítenie egyetlen illesztőprogramot sem ezzel az összekötővel.

Ez az összekötő jelenleg a MariaDB 10.x és 11.x verzióját támogatja a MariaDB-összekötő 2.0-s és 10.0-10.5-ös verziójában az 1.0-s verzióhoz.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

A másolási tevékenység végrehajtásához egy folyamattal használhatja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása a MariaDB-hez felhasználói felületen

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a MariaDB-hez az Azure Portal felhasználói felületén.

  1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keresse meg a Maria-t, és válassza ki a MariaDB-összekötőt.

    Képernyőkép a MariaDB-összekötőről.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Képernyőkép a MariaDB társított szolgáltatáskonfigurációjáról.

Az összekötő konfigurációjának részletei

A következő szakaszok a MariaDB-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Ha a 2.0-s verziót használja, a MariaDB társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A típustulajdonságnak a következőnek kell lennie: MariaDB Igen
illesztőprogram-verzió Az illesztőprogram verziója a 2.0-s verzió kiválasztásakor. Az érték v2. Igen
kiszolgáló A MariaDB-kiszolgáló neve. Igen
átvisz A MariaDB-kiszolgálóhoz való csatlakozáshoz használt portszám. Nem
adatbázis A MariaDB-adatbázis neve. Igen
felhasználónév Az Ön felhasználóneve. Igen
jelszó A felhasználónév jelszava. Jelölje meg ezt a mezőt SecureStringként a biztonságos tároláshoz. Hivatkozhat az Azure Key Vaultban tárolt titkos kódokra is. Igen
SSL mód Ez a beállítás azt határozza meg, hogy az illesztőprogram TLS-titkosítást és -ellenőrzést használ-e a MariaDB-hez való csatlakozáskor. Például. SSLMode=<0/1/2/3/4>
Beállítások: LETILTVA (0) / PREFERÁLT (1) / KÖTELEZŐ (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4) (Alapértelmezett)
Igen
rendszerbizalmi tároló használata Ez a beállítás azt határozza meg, hogy a rendszer megbízhatósági tárolójából vagy egy megadott PEM-fájlból használjon-e hitelesítésszolgáltatói tanúsítványt. Például; UseSystemTrustStore=<0/1>
Beállítások: Engedélyezve (1) / Letiltva (0) (Alapértelmezett)
Nem
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. Nem

Megjegyzés:

A MariaDB-összekötő 2.0-s verziója alapértelmezés szerint a legmagasabb TLS-titkosítás és -ellenőrzés sslMode=VERIFY_IDENTITY (4) használatával. A kiszolgáló TLS-konfigurációja alapján szükség szerint módosítsa az sslMode-t.

Példa:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása az Azure Key Vaultban

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ha az 1.0-s verziót használja, a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A típustulajdonságnak a következőnek kell lennie: MariaDB Igen
csatlakozási karakterlánc Egy ODBC kapcsolati sztring a MariaDB-hez való csatlakozáshoz.
A jelszót is elhelyezheti az Azure Key Vaultban, és kiolvashatja a pwd konfigurációt a kapcsolati sztringből. További részletekért tekintse meg az alábbi példákat és a hitelesítő adatok tárolását az Azure Key Vaultban .
Igen
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. Nem

Példa:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "connectionString": "Server=<host>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz a MariaDB-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a MariaDB-ből, állítsa be az adathalmaz típustulajdonságát MariaDBTable értékre. Ebben az adatkészlettípusban nincs további típusspecifikus tulajdonság.

Példa

{
    "name": "MariaDBDataset",
    "properties": {
        "type": "MariaDBTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MariaDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a MariaDB-forrás által támogatott tulajdonságok listáját tartalmazza.

MariaDB mint forrás

Ha adatokat szeretne másolni a MariaDB-ből, állítsa be a másolási tevékenység forrástípusát MariaDBSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: MariaDBSource Igen
lekérdezés Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "SELECT * FROM MyTable" Nem (ha "tableName" van megadva az adathalmazban)

Példa:

"activities":[
    {
        "name": "CopyFromMariaDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MariaDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MariaDBSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Adattípus-leképezés a MariaDB-hez

Ha adatokat másol a MariaDB-ből, a rendszer a következő leképezéseket használja a MariaDB-adattípusokból a szolgáltatás által belsőleg használt köztes adattípusokra. A séma- és adattípus-leképezések részben megtudhatja, hogyan térképezi fel a másolási tevékenység a forrássémát és az adattípust a célsémára.

MariaDB-adattípus Köztes szolgáltatás adattípusa (a 2.0-s verzióhoz) Köztes szolgáltatás adattípusa (1.0-s verzióhoz)
BIGINT Int64 Int64
BIGINT JELE NÉLKÜLI (UNSIGNED) UInt64 Decimal
BIT(1) UInt64 logikai
BIT(M), M>1 UInt64 Bájt[]
BLOB Bájt[] Bájt[]
BOOL Boolean
(Ha TreatTinyAsBoolean=false, akkor sbyte-ként van leképezve. A TreatTinyAsBoolean alapértelmezés szerint igaz)
Int16
CHAR Sztring Sztring
DATE Dátumidő Dátumidő
dátum és idő Dátumidő Dátumidő
TIZEDES Decimal Decimális, karakterlánc
DUPLA Double Double
DUPLA PONTOSSÁG Double Double
ENUM Sztring Sztring
FLOAT Single Single
INT Int32 Int32
INT SIGNÁLATLAN (nem előjeles egész szám) Int64 Int64
INTEGER Int32 Int32
ALÁÍRATLAN EGÉSZ SZÁM UInt32 Int64
JSON Sztring Bájt[]
HOSSZÚ VARBINARY Bájt[] Bájt[]
HOSSZÚ VARCHAR Sztring Sztring
LONGBLOB Bájt[] Bájt[]
HOSSZÚ SZÖVEG Sztring Sztring
MEDIUMBLOB Bájt[] Bájt[]
MEDIUMINT Int32 Int32
MEDIUMINT ALÁÍRATLAN UInt32 Int64
KÖZEPES SZÖVEG Sztring Sztring
NUMERIKUS Decimal Decimal
VALÓDI Double Double
SET Sztring Sztring
SMALLINT Int16 Int16
SMALLINT ELŐJEL NÉLKÜLI UInt16 Int32
szöveg Sztring Sztring
TIME TimeSpan TimeSpan
TIMESTAMP Dátumidő Dátumidő
TINYBLOB Bájt[] Bájt[]
TINYINT SByte Int16
TINYINT előjelnélküli Int16 Int16
TINYTEXT Sztring Sztring
VARCHAR Sztring Sztring
YEAR Int Int

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A MariaDB-összekötő frissítése

Az alábbi lépések segítenek a MariaDB-összekötő frissítésében:

  1. A Hivatkozott szolgáltatás szerkesztése lapon válassza a 2.0 lehetőséget a Verzió területen, és konfigurálja a csatolt szolgáltatást a csatolt szolgáltatás tulajdonságaira hivatkozva.

  2. A 2.0-s verzió adattípus-leképezése eltér az 1.0-s verziótól. A 2.0-s verzió adattípus-leképezésének megismeréséhez tekintse meg a MariaDB adattípus-leképezését.

  3. A legújabb 2-es verziójú illesztőprogram több MariaDB-verziót támogat. További információ: Támogatott képességek.

Az alábbi táblázat a MariaDB 2.0-s és 1.0-s verziója közötti adattípus-leképezési különbségeket mutatja be.

MariaDB-adattípus Köztes szolgáltatás adattípusa (a 2.0-s verzióval) Köztes szolgáltatás adattípusa (az 1.0-s verzió használatával)
BIGINT UNSIGNED UInt64 Decimal
BIT(1) UInt64 logikai
BIT(M), M>1 UInt64 Bájt[]
BOOL logikai Int16
TIZEDES Decimal Decimális, karakterlánc
ALÁÍRATLAN EGÉSZ SZÁM UInt32 Int64
JSON Sztring Bájt[]
MEDIUMINT ALÁÍRATLAN UInt32 Int64
SMALLINT ELŐJEL NÉLKÜLI UInt16 Int32
TINYINT SByte Int16

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.