Bagikan melalui


Menyalin data dari MariaDB menggunakan Azure Data Factory atau Synapse Analytics

Azure Data Factory Azure Synapse Analytics

Petunjuk / Saran

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

Artikel ini menguraikan cara menggunakan Aktivitas Salin di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari MariaDB. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.

Penting

Konektor MariaDB versi 1.0 berada pada tahap penghapusan. Anda disarankan untuk meningkatkan konektor MariaDB dari versi 1.0 ke 2.0.

Kemampuan yang didukung

Konektor MariaDB ini didukung untuk kemampuan berikut:

Kemampuan yang didukung IR
Aktivitas menyalin (sumber/-) (1) (2)
Aktivitas pencarian (1) (2)

(1) Azure runtime integrasi (2) Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber/sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung.

Layanan ini menyediakan driver bawaan untuk mengaktifkan konektivitas, oleh karena itu Anda tidak perlu memasang driver apa pun secara manual menggunakan konektor ini.

Konektor ini saat ini mendukung MariaDB versi 10.x, 11.x di bawah konektor MariaDB versi 2.0 dan 10.0 hingga 10.5 untuk versi 1.0.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda perlu mengonfigurasi runtime integrasi yang dihosting sendiri self-hosted integration runtime untuk menyambungkannya.

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar izinkan.

Anda juga dapat menggunakan fitur managed virtual network integration runtime di Azure Data Factory untuk mengakses jaringan di lokasi tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Memulai

Untuk melakukan aktivitas salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

Membuat layanan tertaut ke MariaDB menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke MariaDB di UI portal Azure.

  1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

  2. Cari Maria dan pilih konektor MariaDB.

    Cuplikan layar konektor MariaDB.

  3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

    Cuplikan layar konfigurasi layanan tertaut untuk MariaDB.

Detail konfigurasi konektor

Bagian berikut ini memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor MariaDB.

Properti layanan tertaut

Jika Anda menggunakan versi 2.0, properti berikut ini didukung untuk layanan tertaut MariaDB:

Properti Deskripsi Wajib
jenis Properti jenis harus diatur ke: MariaDB Ya
versi driver Versi driver saat Anda memilih versi 2.0. Nilainya adalah v2. Ya
server Nama Server MariaDB Anda. Ya
port Nomor port untuk menyambungkan ke server MariaDB. Tidak
database Nama database MariaDB Anda. Ya
nama pengguna Nama pengguna Anda. Ya
kata sandi Kata sandi untuk nama pengguna. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman. Atau, Anda dapat mengacu pada rahasia yang tersimpan di Azure Key Vault. Ya
sslMode Opsi ini menentukan apakah driver menggunakan enkripsi dan verifikasi TLS saat menyambungkan ke MariaDB. Misalnya, SSLMode=<0/1/2/3/4>.
Opsi: DINONAKTIFKAN (0) / PILIHAN (1) / DIPERLUKAN (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4) (Default)
Ya
useSystemTrustStore Opsi ini menentukan apakah akan menggunakan sertifikat OS dari penyimpanan kepercayaan sistem atau dari file PEM tertentu. Misalnya; UseSystemTrustStore=<0/1>
Opsi: Diaktifkan (1) / Dinonaktifkan (0) (Default)
Tidak
sambungkan melalui Integration Runtime yang akan digunakan untuk menyambungkan ke penyimpanan data. Pelajari selengkapnya dari bagian Prasyarat. Jika tidak ditentukan, ia menggunakan Azure Integration Runtime default. Tidak

Nota

Konektor MariaDB versi 2.0 secara default menggunakan enkripsi dan verifikasi TLS tertinggi dengan sslMode=VERIFY_IDENTITY (4). Berdasarkan konfigurasi TLS server Anda, sesuaikan sslMode sesuai kebutuhan.

Contoh:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: menyimpan kata sandi di Azure Key Vault

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Jika Anda menggunakan versi 1.0, properti berikut ini didukung:

Properti Deskripsi Wajib
jenis Properti jenis harus diatur ke: MariaDB Ya
koneksiString ODBC connection string untuk terhubung ke MariaDB.
Anda juga dapat memasukkan kata sandi ke dalam Azure Key Vault dan menarik konfigurasi pwd dari connection string. Lihat sampel berikut dan kredensial Store di artikel Azure Key Vault dengan detail selengkapnya.
Ya
sambungkan melalui Integration Runtime yang akan digunakan untuk menyambungkan ke penyimpanan data. Pelajari selengkapnya dari bagian Prasyarat. Jika tidak ditentukan, ia menggunakan Azure Integration Runtime default. Tidak

Contoh:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "connectionString": "Server=<host>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini memberikan daftar properti yang didukung oleh himpunan data MariaDB.

Untuk menyalin data dari MariaDB, atur properti jenis himpunan data ke MariaDBTable. Tidak ada properti khusus jenis tambahan dalam jenis himpunan data ini.

Contoh

{
    "name": "MariaDBDataset",
    "properties": {
        "type": "MariaDBTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MariaDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti Aktivitas Salin

Untuk daftar lengkap bagian dan properti yang tersedia guna mendefinisikan aktivitas, silakan lihat artikel Pipeline. Bagian ini memberikan daftar properti yang didukung oleh sumber MariaDB.

MariaDB sebagai sumber

Untuk menyalin data dari MariaDB, atur jenis sumber dalam aktivitas penyalinan ke MariaDBSource. Berikut ini properti yang didukung pada bagian aktivitas salin sumber:

Properti Deskripsi Wajib
jenis Properti jenis sumber aktivitas penyalinan harus diatur ke: MariaDBSource Ya
kueri Gunakan kueri SQL kustom untuk membaca data. Misalnya: "SELECT * FROM MyTable". Tidak (jika "tableName" di himpunan data ditentukan)

Contoh:

"activities":[
    {
        "name": "CopyFromMariaDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MariaDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MariaDBSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pemetaan jenis data untuk MariaDB

Saat menyalin data dari MariaDB, pemetaan berikut digunakan dari jenis data MariaDB ke jenis data sementara yang digunakan oleh layanan secara internal. Lihat Pemetaan skema dan jenis data untuk mempelajari bagaimana aktivitas penyalinan memetakan skema sumber dan jenis data ke sink.

Jenis data MariaDB Jenis data layanan sementara (untuk versi 2.0) Jenis data layanan sementara (untuk versi 1.0)
BIGINT Int64 Int64
BIGINT TIDAK DITANDATANGANI UInt64 Decimal
BIT(1) UInt64 Boolean
BIT(M), M>1 UInt64 Byte[]
BLOB Byte[] Byte[]
BOOL Boolean
(Jika TreatTinyAsBoolean=false, maka dipetakan sebagai SByte. TreatTinyAsBoolean benar secara default)
Int16
CHAR string string
DATE Tanggalwaktu Tanggalwaktu
TANGGALWAKTU Tanggalwaktu Tanggalwaktu
DESIMAL Decimal Desimal, String
DOBEL Double Double
PRESISI GANDA Double Double
ENUM string string
FLOAT Single Single
INT Int32 Int32
INT tak bertanda Int64 Int64
INTEGER Int32 Int32
BILANGAN BULAT TIDAK DITANDATANGANI UInt32 Int64
JSON string Byte[]
VARBINARY PANJANG Byte[] Byte[]
VARCHAR PANJANG string string
LONGBLOB Byte[] Byte[]
LONGTEXT string string
MEDIUMBLOB Byte[] Byte[]
MEDIUMINT Int32 Int32
MEDIUMINT UNSIGNED (bilangan bulat sedang tanpa tanda) UInt32 Int64
Teks Sedang string string
NUMERIK Decimal Decimal
NYATA Double Double
SET string string
SMALLINT Int16 Int16
SMALLINT TANPA TANDA UInt16 Int32
TEKS string string
TIME TimeSpan TimeSpan
TIMESTAMP Tanggalwaktu Tanggalwaktu
TINYBLOB Byte[] Byte[]
TINYINT SByte Int16
TINYINT tidak ditandatangani Int16 Int16
TINYTEXT string string
VARCHAR string string
YEAR Integer Integer

Properti aktivitas penelusuran

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Meningkatkan konektor MariaDB

Berikut adalah langkah-langkah yang membantu Anda meningkatkan konektor MariaDB Anda:

  1. Di halaman Edit layanan tertaut, pilih 2.0 di bawah Versi dan konfigurasikan layanan tertaut dengan merujuk ke Properti layanan tertaut.

  2. Pemetaan jenis data untuk versi 2.0 berbeda dari itu untuk versi 1.0. Untuk mempelajari pemetaan jenis data versi 2.0, lihat Pemetaan jenis data untuk MariaDB.

  3. Versi driver terbaru v2 mendukung lebih banyak versi MariaDB. Untuk informasi selengkapnya, lihat Kemampuan yang didukung.

Tabel di bawah ini memperlihatkan perbedaan pemetaan jenis data antara MariaDB versi 2.0 dan versi 1.0.

Jenis data MariaDB Jenis data layanan sementara (menggunakan versi 2.0) Jenis data layanan sementara (menggunakan versi 1.0)
BIGINT TIDAK DITANDATANGANI UInt64 Decimal
BIT(1) UInt64 Boolean
BIT(M), M>1 UInt64 Byte[]
BOOL Boolean Int16
DESIMAL Decimal Desimal, String
BILANGAN BULAT TIDAK DITANDATANGANI UInt32 Int64
JSON string Byte[]
MEDIUMINT UNSIGNED (bilangan bulat sedang tanpa tanda) UInt32 Int64
SMALLINT TANPA TANDA UInt16 Int32
TINYINT SByte Int16

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.