このページでは、SQL Server コネクタの主要な概念を含め、どのように動作するかを説明します。
Azure Databricks は SQL Server にどのように接続しますか?
Azure Databricks は、トランスポート層セキュリティ (TLS) と JDBC 接続を使用して SQL Server に接続します。 新しく作成されたパイプラインでは、サーバーの TLS 証明書も検証され、サーバー ID が検証されます。 詳細と構成オプションについては、 TLS サーバー証明書の検証に関するページを参照してください。 資格情報は Unity カタログに安全に格納され、インジェスト フローを実行しているユーザーが適切なアクセス許可を持っている場合にのみ取得できます。 Databricks では、データ インジェスト用に別の SQL Server ユーザーを作成することをお勧めします。 このユーザーに公開しないデータベースまたはテーブルがある場合は、組み込みの SQL Server アクセス許可を使用できます。
コネクタがデータを増分的にプルする方法
コネクタでは、Microsoft Change Tracking と Microsoft Change Data Capture (CDC) が使用されます。 テーブルに主キーがある場合、Databricks では、最適なパフォーマンスを得るための変更追跡を使用することをお勧めします。 テーブルに主キーがない場合、Databricks では CDC を使用することをお勧めします。 変更の追跡と CDC の両方が有効になっている場合、コネクタは変更の追跡を使用します。
データベースのバリエーション
このコネクタは、Azure SQL および AWS RDS SQL データベースをサポートしています。 これには、Azure 仮想マシン (VM) と Amazon EC2 で実行されている SQL Server が含まれます。 また、十分な帯域幅が使用可能な場合は、Azure ExpressRoute、AWS Direct Connect、VPN を使用したオンプレミスの SQL Server もサポートされます。
認証方法
- コネクタでは、次の認証方法がサポートされています。
- Microsoft Entra ID を使用したユーザー対マシン (U2M) OAuth
- Microsoft Entra ID を使用したマシン間 (M2M) OAuth
- ユーザー名とパスワード
SQL Server インジェストとクエリフェデレーション
Databricks は、Lakeflow Connect の SQL Server インジェスト コネクタに加えて、Lakehouse フェデレーションで ゼロコピー コネクタ を提供します。 ゼロ コピー コネクタを使用すると、SQL Server 内のデータを移動せずにクエリを実行できます。