マッピング データ フローをデバッグする

完了済み

マッピング データ フローの構築中は、データ変換をデバッグできるように、それらがどのように実行されているかを対話形式で監視できます。 この機能を使用するには、まず "Data Flow デバッグ" 機能を有効にする必要があります。

Debug を選択すると、マッピングData Flow変換との対話に必要な Spark クラスターがプロビジョニングされます。 [デバッグ] をオンにすると、環境で使用する必要があるIntegration Runtimeを選択するように求められます。 AutoResolveIntegrationRuntime を選択すると、8 コアで、既定の有効期間 (TTL) が 60 分のクラスターが開始されます。 セッションがタイムアウトする前により多くのアイドル時間を許可する場合は、より高い TTL を選択できます。

注

通常、クラスターのスピンアップには 5 分から 7 分かかります。 このモードをオンにして Spark クラスターを実行すると、データ フローを段階的に構築し、各変換フェーズで実行されるデータを表示できます。

[データ プレビュー] タブはデバッグ モードで使用でき、パイプラインの各ステージでデータを表示できます。 各変換後に、データを表示できます。 データ プレビューアーは、説明的な統計の表示、列のデータ型の変更、列の削除など、データに対してアクションを実行する機能も提供します。

また、デバッグ設定を使用して、データ プレビューアー内で返される行の数を制御できます。

注

データが正しいことを確認するのに十分な行数に制限することをお勧めします。 データ セットが大きいほど、結果を返すためにかかる時間が長くなります。 また、デバッグ設定を使用して、パイプラインの実行中に使用されるパラメーター値を指定することもできます。

TTL 時間を含め、デバッグ セッションの実行中は 1 時間ごとに課金されます。 デバッグが完了したらデバッグ スイッチをオフにして、Spark クラスターが終了するようにします。