Azure Data Factory または Synapse Analytics を使用して MariaDB からデータをコピーする

[アーティクル]
10/24/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新たに試用を開始する方法については、こちらをご覧ください。

この記事では、Azure Data Factory または Synapse Analytics パイプラインでコピーアクティビティを使用して、MariaDB からデータをコピーする方法について説明します。この記事は、コピーアクティビティの概要を示しているコピーアクティビティの概要に関する記事に基づいています。

重要

推奨されるドライバーバージョンを使用する MariaDB コネクタは、ネイティブ MariaDB の強化されたサポートを提供します。従来のドライバーバージョンでコネクタを使用している場合は、2024 年 10 月 31 日より前にアップグレードしてください。レガシバージョンと推奨バージョンの違いの詳細については、このセクションを参照してください。

サポートされる機能

この MariaDB コネクタでは、次の機能をサポートしています。

サポートされる機能	IR
Copy アクティビティ (ソース/-)	① ②
Lookup アクティビティ	① ②

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピーアクティビティによってソースまたはシンクとしてサポートされているデータストアの一覧については、サポートされているデータストアに関する記事の表をご覧ください。

このサービスでは接続を有効にする組み込みのドライバーが提供されるので、このコネクタを使用してドライバーを手動でインストールする必要はありません。

このコネクタは現在、推奨される新しいドライバーバージョン v2 ではバージョン 10.x、11.x の MariaDB と、レガシドライバーバージョンでは 10.0 から 10.5 をサポートしています。

前提条件

データストアがオンプレミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。

データストアがマネージドクラウドデータサービスである場合は、Azure Integration Runtime を使用できます。ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミスネットワークにアクセスすることができます。

Data Factory によってサポートされるネットワークセキュリティメカニズムやオプションの詳細については、「データアクセス戦略」を参照してください。

作業の開始

パイプラインでコピーアクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

UI を使用して MariaDB のリンクサービスを作成する

次の手順を使用して、Azure portal UI で MariaDB のリンクサービスを作成します。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクされたサービス] を選択して、[新規] をクリックします。
- Azure Data Factory
- Azure Synapse
Maria を検索し、MariaDB コネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

次のセクションでは、MariaDB コネクタに固有の Data Factory エンティティを定義するために使用されるプロパティについて詳しく説明します。

リンクされたサービスプロパティ

推奨されるドライバーバージョンを使用する場合は、MariaDB のリンクサービスで次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティは、次のように設定する必要があります:MariaDB	はい
driverVersion	推奨されるドライバーバージョンを選んだときのドライバーのバージョン。値は v2 です。	はい
サーバー	MariaDB サーバーの名前。	はい
port	MariaDB サーバーに接続するポート番号。	いいえ
database	MariaDB データベース名。	はい
username	ユーザー名。	はい
password	該当するユーザー名のパスワード。安全に保存するには、このフィールドを SecureString としてマークします。また、Azure Key Vault に格納されているシークレットを参照することもできます。	はい
sslMode	このオプションは、MariaDB に接続するときにドライバーで TLS 暗号化および検証を使用するかどうかを指定します。例: `SSLMode=<0/1/2/3/4>`。オプション: DISABLED (0) / PREFERRED (1) / REQUIRED (2) / VERIFY_CA (3) / VERIFY_IDENTITY (4) (既定値)	はい
useSystemTrustStore	このオプションは、システムの信頼ストアと指定した PEM ファイルのどちらの CA 証明書を使用するかを指定します。例: `UseSystemTrustStore=<0/1>` オプション: Enabled (1) / Disabled (0) (既定値)	いいえ
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

例:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

レガシドライバーバージョンを使った場合、次のプロパティがサポートされます。

プロパティ	内容	必須
type	type プロパティは、次のように設定する必要があります:MariaDB	はい
connectionString	MariaDB に接続するための ODBC 接続文字列。パスワードを Azure Key Vault に格納して、接続文字列から `pwd` 構成をプルすることもできます。詳細については、下記の例と、「Azure Key Vault への資格情報の格納」の記事を参照してください。	はい
connectVia	データストアに接続するために使用される統合ランタイム。詳細については、「前提条件」セクションを参照してください。指定されていない場合は、既定の Azure 統合ランタイムが使用されます。	いいえ

例:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "connectionString": "Server=<host>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。このセクションでは、MariaDB データセットでサポートされるプロパティの一覧を示します。

MariaDB からデータをコピーするには、データセットの type プロパティを MariaDBTable に設定します。この種類のデータセットに追加の種類固有のプロパティはありません。

例

{
    "name": "MariaDBDataset",
    "properties": {
        "type": "MariaDBTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MariaDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

コピーアクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、MariaDB ソースでサポートされるプロパティの一覧を示します。

ソースとしての MariaDB

MariaDB からデータをコピーするには、コピーアクティビティのソースの種類を MariaDBSource に設定します。コピーアクティビティの source セクションでは、次のプロパティがサポートされます。

プロパティ	内容	必須
type	コピーアクティビティのソースの type プロパティは、次のように設定する必要があります:MariaDBSource	はい
query	カスタム SQL クエリを使用してデータを読み取ります。 (例: `"SELECT * FROM MyTable"`)。	いいえ (データセットの "tableName" が指定されている場合)

例:

"activities":[
    {
        "name": "CopyFromMariaDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MariaDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MariaDBSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MariaDB のデータ型マッピング

MariaDB からデータをコピーする場合、MariaDB データ型からサービスが内部的に使用する中間データ型への次のマッピングが使用されます。コピーアクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

MariaDB データ型	中間サービスデータ型	中間サービスデータ型 (レガシドライバーバージョンの場合)
`bigint`	`Int64`	`Int64`
`bigint unsigned`	`Decimal`	`Decimal`
`bit(1)`	`UInt64`	`Boolean`
`bit(M), M>1`	`UInt64`	`Byte[]`
`blob`	`Byte[]`	`Byte[]`
`bool`	`Boolean` (TreatTinyAsBoolean=false の場合は、`SByte` としてマップされます。TreatTinyAsBoolean は既定で true です)	`Int16`
`char`	`String`	`String`
`date`	`Datetime`	`Datetime`
`datetime`	`Datetime`	`Datetime`
`decimal`	`Decimal`	`Decimal, String`
`double`	`Double`	`Double`
`double precision`	`Double`	`Double`
`enum`	`String`	`String`
`float`	`Single`	`Single`
`int`	`Int32`	`Int32`
`int unsigned`	`Int64`	`Int64`
`integer`	`Int32`	`Int32`
`integer unsigned`	`Int64`	`Int64`
`JSON`	`String`	-
`long varbinary`	`Byte[]`	`Byte[]`
`long varchar`	`String`	`String`
`longblob`	`Byte[]`	`Byte[]`
`longtext`	`String`	`String`
`mediumblob`	`Byte[]`	`Byte[]`
`mediumint`	`Int32`	`Int32`
`mediumint unsigned`	`Int64`	`Int64`
`mediumtext`	`String`	`String`
`numeric`	`Decimal`	`Decimal`
`real`	`Double`	`Double`
`set`	`String`	`String`
`smallint`	`Int16`	`Int16`
`smallint unsigned`	`Int32`	`Int32`
`text`	`String`	`String`
`time`	`TimeSpan`	`TimeSpan`
`timestamp`	`Datetime`	`Datetime`
`tinyblob`	`Byte[]`	`Byte[]`
`tinyint`	`SByte`	`Int16`
`tinyint unsigned`	`Int16`	`Int16`
`tinytext`	`String`	`String`
`varchar`	`String`	`String`
`year`	`Int`	`Int`

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

MariaDB コネクタをアップグレードする

MariaDB コネクタをアップグレードするのに役立つ手順を次に示します。

[リンクサービスの編集] ページの [ドライバーのバージョン] で [推奨] を選び、「リンクサービスのプロパティ」を参照してリンクサービスを構成します。
最新の MariaDB リンクサービスのデータ型マッピングは、レガシバージョンのデータ型マッピングのものとは異なります。最新のデータ型マッピングについては、「MariaDB のデータ型マッピング」を参照してください。
最新のドライバーバージョン v2 では、より多くの MariaDB バージョンがサポートされています。詳細については、「サポートされる機能」を参照してください。

推奨ドライバーバージョンとレガシドライバーバージョンの違い

以下の表は、推奨ドライバーバージョンとレガシドライバーバージョンを使用する MariaDB 間のデータ型マッピングの違いを示しています。

MariaDB データ型	中間サービスデータ型 (推奨ドライバーバージョンを使用)	中間サービスデータ型 (レガシドライバーバージョンを使用)
bit(1)	UInt64	Boolean
bit(M)、M>1	UInt64	Byte[]
[bool]	Boolean	Int16
JSON	String	Byte[]

Copy アクティビティでソースおよびシンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関するセクションを参照してください。

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して MariaDB からデータをコピーする

サポートされる機能

前提条件

作業の開始

UI を使用して MariaDB のリンクサービスを作成する

コネクタの構成の詳細

リンクされたサービスプロパティ

データセットのプロパティ

コピーアクティビティのプロパティ

ソースとしての MariaDB

MariaDB のデータ型マッピング

Lookup アクティビティのプロパティ

MariaDB コネクタをアップグレードする

推奨ドライバーバージョンとレガシドライバーバージョンの違い

フィードバック

その他のリソース

次の方法で共有

Azure Data Factory または Synapse Analytics を使用して MariaDB からデータをコピーする

サポートされる機能

前提条件

作業の開始

UI を使用して MariaDB のリンク サービスを作成する

コネクタの構成の詳細

リンクされたサービス プロパティ

データセットのプロパティ

コピー アクティビティのプロパティ

ソースとしての MariaDB

MariaDB のデータ型マッピング

Lookup アクティビティのプロパティ

MariaDB コネクタをアップグレードする

推奨ドライバー バージョンとレガシ ドライバー バージョンの違い

関連するコンテンツ

フィードバック

その他のリソース

UI を使用して MariaDB のリンクサービスを作成する

リンクされたサービスプロパティ

コピーアクティビティのプロパティ

推奨ドライバーバージョンとレガシドライバーバージョンの違い