マネージド仮想ネットワーク内の統合ランタイムを監視する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

Azure Data Factory のマネージド仮想ネットワークを使用して、Data Factory サービスによって管理されている仮想ネットワークにデータ ソースを安全に接続できます。 この機能を使用すると、データ統合とオーケストレーション プロセス用のプライベートな分離環境を確立できます。

マネージド仮想ネットワークを使用する場合は、Data Factory のデータ統合とオーケストレーションの機能と、Azure 仮想ネットワークのセキュリティと柔軟性を組み合わせます。 オンプレミスでもクラウドでも、ネットワーク リソースにシームレスに接続する、堅牢かつスケーラブルな、セキュリティで保護されたデータ統合パイプラインを構築できます。

マネージド コンピューティングの一般的な問題の 1 つは、特にマネージド仮想ネットワーク環境内でのパフォーマンスと正常性の可視性の欠如です。 適切な監視が行われない場合、問題の特定と解決が困難になり、遅延、エラー、パフォーマンスの低下につながる可能性があります。

Data Factory の強化された監視を使用すると、データ統合プロセスに関する重要な分析情報を得ることができます。 これらの分析情報は、効率の向上、リソース使用率の向上、および全体的なパフォーマンスの向上につながる可能性があります。 事前対応型の監視とタイムリーなアラートを使用して、問題に対処し、ワークフローを最適化し、マネージド仮想ネットワーク環境内でデータ統合パイプラインをスムーズに実行できます。

新しいメトリック

新しいメトリックの導入により、マネージド仮想ネットワーク環境内の可視性と監視機能が強化されます。

Azure Data Factory には、次の 3 種類のコンピューティング プールが用意されています。

• コピー アクティビティのコンピューティング
• パイプライン アクティビティのコンピューティング (検索など)
• 外部アクティビティのコンピューティング (Azure Databricks ノートブックなど)

これらのコンピューティング プールにより、多様なワークロードに対応し、リソースを最適に割り当てるための柔軟性とスケーラビリティが提供されます。 それぞれは、特定のアクティビティの実行要件を処理するように調整されています。

すべてのコンピューティング プールで一貫した包括的な監視を確保するために、次に示す同じ監視メトリックのセットを実装しました。

• 容量使用率
• 使用可能な容量の割合
• 待機キューの長さ

使用しているコンピューティング プールの種類に関係なく、標準化されたメトリックのセットにアクセスして分析し、データ統合アクティビティのパフォーマンスと正常性に関する分析情報を得ることができます。

Note

これらのメトリックは、マネージド仮想ネットワーク内の統合ランタイムで有効期限 (TTL) を有効にする場合にのみ有効です。

メトリック	ユニット	説明
Copy capacity utilization of MVNet integration runtime (MVNet 統合ランタイムのコピー容量の使用率)	Percent	マネージド仮想ネットワークの統合ランタイムにおける TTL コピー アクティビティに対する Data Integration ユニット (DIU) 使用率の最大パーセンテージ (1 分以内)。
Copy available capacity percentage of MVNet integration runtime (MVNet 統合ランタイムの使用可能なコピー容量の割合)	Percent	マネージド仮想ネットワークの統合ランタイムにおける TTL コピー アクティビティに対する使用可能な DIU の最大パーセンテージ (1 分以内)。
Copy waiting queue length of MVNet integration runtime (MVNet 統合ランタイムのコピー待機キューの長さ)	Count	マネージド仮想ネットワークの統合ランタイムにおける TTL コピー アクティビティの待機キューの長さ (1 分以内)。
Pipeline capacity utilization of MVNet integration runtime (MVNet 統合ランタイムのパイプライン容量の使用率)	Percent	マネージド仮想ネットワークの統合ランタイムにおけるパイプライン アクティビティに対する DIU 使用率の最大パーセンテージ (1 分以内)。
Pipeline available capacity percentage of MVNet integration runtime (MVNet 統合ランタイムの使用可能なパイプライン容量の割合)	Percent	マネージド仮想ネットワークの統合ランタイムにおけるパイプライン アクティビティに対する使用可能な DIU の最大パーセンテージ (1 分以内)。
Pipeline waiting queue length of MVNet integration runtime (MVNet 統合ランタイムのパイプライン待機キューの長さ)	Count	マネージド仮想ネットワークの統合ランタイムにおけるパイプライン アクティビティの待機キューの長さ (1 分以内)。
External capacity utilization of MVNet integration runtime (MVNet 統合ランタイムの外部容量の使用率)	Percent	マネージド仮想ネットワークの統合ランタイムにおける外部アクティビティに対する DIU 使用率の最大パーセンテージ (1 分以内)。
Copy available capacity percentage of MVNet integration runtime (MVNet 統合ランタイムの使用可能な外部容量の割合)	Percent	マネージド仮想ネットワークの統合ランタイムにおける外部アクティビティに対する使用可能な DIU の最大パーセンテージ (1 分以内)。
External waiting queue length of MVNet integration runtime (MVNet 統合ランタイムの外部待機キューの長さ)	Count	マネージド仮想ネットワークの統合ランタイムにおける外部アクティビティの待機キューの長さ (1 分以内)。

これらのメトリックの詳細については、「Microsoft.DataFactory/factories でサポートされているメトリック」を参照してください。

パフォーマンスの最適化のためにメトリックを使用する

メトリックを使用すると、マネージド仮想ネットワーク内の統合ランタイムのパフォーマンスと堅牢性をシームレスに追跡して評価できます。 また、コンピューティング設定とワークフローを最適化して効率を最大限に高めることで、継続的な改善の候補となる領域を明らかにすることもできます。

これらのメトリックの実際の適用をより明確にするため、シナリオの例をいくつか次に示します。

Balanced

容量使用率が 100% を下回り、使用可能な容量のパーセンテージが高い場合は、予約したコンピューティング リソースが効率的に利用されています。

待機キューの長さが一貫して低いままの場合、またはときどき短いスパイクが発生する場合は、容量使用率が 100% に到達するまで他のアクティビティをキューに登録することをお勧めします。 このアプローチは、リソースの最適な使用率を確保し、遅延を最小限に抑えてスムーズなワークフローを維持するのに役立ちます。

パフォーマンス指向

容量使用率が一貫して低く、待機キューの長さが一貫して低いままであるか、スパイクが発生する場合、予約したコンピューティング リソースはアクティビティの需要よりも高くなります。

このような場合は、使用可能な容量のパーセンテージが高いか低いかに関係なく、割り当てられたコンピューティング リソースを減らしてコストを削減することをお勧めします。 ワークロードの要件に合わせてコンピューティングのサイズを適切に設定することで、運用の効率を損なうことなく、リソースの使用率を最適化し、コストを節約できます。

コスト指向

すべてのメトリック (容量使用率、使用可能な容量のパーセンテージ、待機キューの長さなど) が高い場合は、予約したコンピューティング リソースがアクティビティに対して不十分である可能性があります。

このシナリオでは、キュー時間を短縮するために、割り当てられたコンピューティング リソースを増やすことをお勧めします。 コンピューティング容量を増やすと、アクティビティを効率的に実行するための十分なリソースが確保され、キューが混雑した場合に発生する遅延を最小限に抑えることができます。

間欠的なアクティビティの実行

使用可能な容量の割合が特定の時間帯に低と高の間で変動する場合は、アクティビティの間欠的な実行が原因である可能性があります。その場合、構成した Time-To-Live (TTL) 期間が、アクティビティの間隔よりも短くなっています。 これは、ワークフローのパフォーマンスに大きな影響を与える可能性があります。 この問題に対処するための解決策には、次の 2 つが考えられます。 まず、一貫したワークロードを維持し、使用可能なコンピューティング リソースをより効果的に利用するために、より多くのアクティビティをキューに入れることができます。 コンピューティングを継続的に使用することで、ウォームアップ時間を回避し、パフォーマンスを向上させることができます。 あるいは、アクティビティの間隔に合わせた TTL 期間の拡大を検討することもできます。 これにより、コンピューティング リソースをより長期間利用できるようになるため、ウォームアップ期間の頻度が減り、コスト効率が最適化されます。

これらのソリューションのいずれかを実装することで、ワークフローのパフォーマンスを向上させ、コストへの影響を最小限に抑え、間欠的なアクティビティをよりスムーズに実行できるようになります。

関連するコンテンツ

マネージド仮想ネットワークとマネージド プライベート エンドポイントの詳細については、次の記事に進んでください: Azure Data Factory のマネージド仮想ネットワーク。