SSH リバーストンネルを使用してオンプレミスリソースに接続する

受信ファイアウォールアクセスを開かずに、オンプレミスのリソースをAzure Databricksに接続します。オンプレミストンネルホストは、Azure内のプロキシ仮想マシン (VM) への送信 SSH 接続を開き、Azure Databricksクラシックコンピューティングとサーバーレスコンピューティングがオンプレミスリソースに到達できるようにします。

どのように機能するのか

SSH リバーストンネルを使用すると、オンプレミスのトンネルホストは、Azure内のクラウドプロキシ VM への送信 SSH 接続を開くことができます。 Azure Databricksはロードバランサーを介してプロキシ VM に接続し、トラフィックはトンネルを経由してオンプレミスリソースに戻ります。オンプレミスネットワークでは、Azureするために送信 SSH (ポート 22) のみが必要であるため、受信ポートは必要ありません。

逆トンネルでは、ファイアウォールの制限を緩和せずに、オンプレミスのホストがオンプレミスからクラウドへ接続を開始します。そして、確立されたパスを通じて、クラウドからオンプレミスへと戻るトラフィックが流れます。

クラシックコンピューティングは、ピアリングを介してプロキシ VM に到達します。サーバーレスコンピューティングは、クラウドプロバイダーのプライベート接続サービスを使用して、プライベートエンドポイント接続を介してそれらに到達します。

Note

これは自己管理型のソリューションです。プロキシ VM とオンプレミストンネルホストをプロビジョニングして管理します。

必須コンポーネントと省略可能なコンポーネント

Note

このセットアップには、クラウド環境とオンプレミスネットワークの間に専用のネットワーク回線が必要です。この回線により、オンプレミスのトンネルホストは、プロキシ VM のプライベート IP アドレスへの送信 SSH を開始できます。一般的なオプションには、ExpressRoute または VPN トンネルがあります。

必須 (最小作業セットアップ):

送信 SSH 接続を確立するために autossh 実行されているオンプレミストンネルホスト。
実行中のクラウド内の 1 つのプロキシ VM socat トンネルを受け入れ、そのネットワークインターフェイスでリソースポートを公開します。
Azure Databricksからプロキシ VM へのネットワークパス:
- Classic compute: Azure Databricks VNet とプロキシハブ VNet の間のピアリング。
- サーバーレスコンピューティング: クラウドプロバイダーのプライベート接続サービスと、プライベートエンドポイント規則を使用したネットワーク接続構成 (NCC) を使用したプライベートエンドポイント接続。
- 両方のコンピューティングの種類: 両方のパスを構成します。

ロードバランサーのない単一のプロキシ VM で、開発とテストに十分です。

省略可能 (高可用性と運用の堅牢性を追加):

冗長性のための追加のプロキシ VM。
プロキシ VM の前面にあるロードバランサー。トンネルに障害が発生した場合の安定したエンドポイントと自動フェールオーバーを提供します。
各プロキシ VM 上の HTTP 正常性チェックサービス。これにより、ロードバランサーは VM やポートの可用性だけでなく、トンネルレベルの障害を検出できます。

Azure Databricksは、この構成を推奨しますが、環境とセキュリティの要件に合わせて調整します。

トンネルプロキシハブ

プロキシハブは、次のコンポーネントで構成されます。

プロキシ VM (高可用性のために少なくとも 2 つ)。各プロキシ VM は、次の 3 つのサービスを実行します。
- sshd: SSH デーモンは、オンプレミスのトンネルホストからの着信逆トンネルを受け入れ、トンネルリスナーを localhost に配置します (たとえば、mySQL の localhost:13306 )。
- socat: VM のネットワークインターフェイスをトンネルリスナー (たとえば、NIC:3306 → localhost:13306) にブリッジするので、Azure Databricksからのトラフィックはトンネルエンドポイントに到達できます。
- HTTP 正常性チェックサービス: トンネルがアクティブな場合は HTTP 200 を返し、アクティブでない場合は HTTP 503 を返します。プレーン TCP プローブは、socat がリッスンしているかどうかを検出するだけです。アプリケーションレベルの HTTP プローブは、socat がまだ実行されている場合でも、デッドトンネルを検出します。
ロードバランサー:
- フロントエンド: プロキシサブネット内のプライベート IP。
- バックエンドプール: すべてのプロキシ VM。
- 負荷分散規則: リソースポートの TCP (たとえば、MySQL のポート 3306)。
- 正常性プローブ: 各プロキシ VM の正常性チェックエンドポイントに対する HTTP GET 。推奨される開始点は、VM に異常をマークするために連続して 2 回失敗した 5 秒の間隔です。復旧の許容範囲に合わせて調整します。
プライベート接続サービス (サーバーレスコンピューティングに必要): 専用 NAT サブネットを使用してロードバランサーフロントエンドに接続されます。 Azureは、Private Link サービス (PLS) を使用します。
オンプレミストンネルホスト: プロキシ VM ごとに 1 つの autossh プロセスを実行します。 1 つの autossh 接続では、複数の -R ポート転送 (1 つの SSH 接続、複数のトンネル) が複数リソースのセットアップに対応しています。 Restart=alwaysで systemd サービスを使用します。対話型トンネルはログオフ時に終了し、運用環境には適していません。

Azure Databricks を構成する

ロードバランサーのフロントエンド IP を使用して、オンプレミスリソースへの接続を作成します。コンピューティングの種類のタブを選択します。

Note

次の例では MySQL を使用します。他のデータベースの場合は、接続の種類、ポート、および JDBC ドライバーの Maven 座標に置き換える必要があります。

クラシックコンピューティング

接続する前に、プロキシハブ VNet と Azure Databricks ワークスペース VNet の間のピアリングがアクティブであることを確認します。次に、接続構成でロードバランサーフロントエンドプライベート IP を使用します。

CREATE CONNECTION mysql_onprem TYPE mysql
OPTIONS (
  host '<lb-frontend-ip>',
  port '3306',
  user '<db-user>',
  password '<db-password>'
);

CREATE FOREIGN CATALOG onprem_catalog
USING CONNECTION mysql_onprem
OPTIONS (database '<db-name>');

クラスローダーの分離により、Executor が Maven ベースの JDBC ドライバーにアクセスできなくなるため、クエリは共有アクセスモードで失敗します。シングルユーザーアクセスモードを使用して、ドライバーがクラスター全体で使用可能であることを確認します。接続を作成する前に、JDBC ドライバーを Unity カタログの許可リストに追加します。

ALTER METASTORE ADD ALLOWLIST maven ('mysql:mysql-connector-java:8.0.33');

サーバーレスコンピューティング

アカウント管理者として、アカウントコンソールに移動します。
サイドバーで[ セキュリティ]をクリックします。
[ ネットワーク接続の構成 ] をクリックし、ワークスペースリージョンの NCC を作成します。
NCC で、プライベートエンドポイント規則を追加し、サービスリソース ID を入力します。
NCC をワークスペースにアタッチし、伝達されるまで 10 ~ 15 分待ちます。

プライベート接続サービスでプライベートエンドポイント接続を承認します。

az network private-link-service connection update \
  --service-name <pls-name> \
  --resource-group <rg> \
  --name "<connection-name>" \
  --connection-status Approved

プライベートエンドポイントドメインを使用して接続を作成します。

CREATE CONNECTION mysql_onprem_serverless TYPE mysql
OPTIONS (
  host '<pe-domain>',
  port '3306',
  user '<db-user>',
  password '<db-password>'
);

Azure Databricks UI の Test Connection ボタンは、プライベートエンドポイント接続では機能しません。それをスキップし、接続を直接作成します。

Lakeflow Connect CDC

Lakeflow Connect ゲートウェイは、ワークスペース VNet のクラシックコンピューティングで実行され、ピアリングを介してプロキシ VM に到達します。ロードバランサーのフロントエンドプライベート IP は、個々のプロキシ VM の IP ではなく、接続ホストとして使用します。高可用性とパイプラインの回復性に関する説明を参照してください。

CDC パイプラインを作成する前に、データベースエンジンに対して次の手順を実行します。

変更ログを有効にする: 行レベルの変更をログに記録するようにデータベースを構成します (たとえば、MySQL でのバイナリログ記録、PostgreSQL での論理レプリケーション、Oracle での補足ログ記録など)。
レプリケーションのアクセス許可を付与する: 変更ログの読み取りとスナップショットの実行に必要なアクセス許可をパイプラインユーザーに提供します。特定のデータベースについては、コネクタのドキュメントを参照してください。
ログリテンション期間の設定: ログリテンション期間を少なくとも 7 日間に構成します。ログの有効期限が切れたときに CDC ゲートウェイがオフラインの場合、パイプラインはすべてのソーステーブルの完全な再スナップショットを実行する必要があります。

エンジン固有の構成については、 Lakeflow Connect コネクタのドキュメントを参照してください。

高可用性とパイプラインの回復性

バックエンドプールに 2 つ以上のプロキシ VM がある場合、1 つのインスタンスでトンネル障害が発生してもサービスは中断されません。トンネルに障害が発生した場合、正常性チェックサービスは HTTP 503 を返します。ロードバランサーは、約 10 秒以内にその VM への新しい接続のルーティングを停止します。

Note

個々のプロキシ VM の IP ではなく、接続文字列でロードバランサーのフロントエンド IP を使用します。トンネルが切断された場合、ロードバランサーは手動による介入やパイプラインのダウンタイムなしでトラフィックを自動的に再ルーティングします。

失敗シナリオ	アプリケーションの正常性チェックなし	アプリケーションの正常性チェックを伴った
プロキシ VM が応答を停止する	ロードバランサーがフェールオーバーを検出します。	ロードバランサーがフェールオーバーを検出する
ポートフォワーダーが停止する	ロードバランサーはフェールオーバーを検出します。	ロードバランサーがフェールオーバーを検出する
SSH トンネルが失敗し、ポートフォワーダーが実行されている	ロードバランサーは断続的な障害を検出できません。	ロードバランサーがフェールオーバー→ (HTTP 503) を検出する

Lakeflow Connect CDC パイプラインの場合は、バイナリログリテンション期間を少なくとも 7 日間に設定します。バイナリログの有効期限が切れたときに CDC ゲートウェイがオフラインの場合、パイプラインはすべてのソーステーブルの完全な再スナップショットを実行する必要があります。

既知の制限

このソリューションには、次の制限があります。

各オンプレミスリソースには、各プロキシ VM で個別のポートマッピングが必要です。同じ既定のポートで同じ種類の複数のリソースを使用する場合は、プロキシ VM のネットワークインターフェイスで異なるポート (3306、3307、3308 など) を使用するか、別のプロキシ VM を使用します。
プロキシ VM とオンプレミストンネルホストをプロビジョニングして維持する必要があります。
ロードバランサーは、バックエンドプール内の VM の既定の送信インターネット接続をブロックします。プールに VM を追加する前に、必要なパッケージをインストールします。
Azure Databricks UI の Test Connection ボタンは、プライベートエンドポイント接続では機能しません。
共有アクセスモードでは、Maven JDBC ライブラリはドライバーノードでのみ使用できます。 JDBC ワークロードにはシングルユーザーアクセスモードを使用します。

次のステップ

Azure リソースへのプライベート接続を構成する

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-05-03

SSH リバース トンネルを使用してオンプレミスリソースに接続する

どのように機能するのか

必須コンポーネントと省略可能なコンポーネント

トンネル プロキシ ハブ

Azure Databricks を構成する

クラシック コンピューティング

サーバーレス コンピューティング

Lakeflow Connect CDC

高可用性とパイプラインの回復性

既知の制限

次のステップ

フィードバック

その他のリソース

SSH リバーストンネルを使用してオンプレミスリソースに接続する

トンネルプロキシハブ

クラシックコンピューティング

サーバーレスコンピューティング