このページでは、Salesforce インジェスト パイプラインを維持するための継続的な操作について説明します。
パイプラインの一般的なメンテナンス
このセクションのパイプライン メンテナンス タスクは、Lakeflow Connect のすべてのマネージド コネクタに適用されます。
ターゲット テーブルを完全に更新する
インジェスト パイプラインを完全に更新すると、テーブルのデータと状態がクリアされ、データ ソースからすべてのレコードが再処理されます。
選択したテーブルを完全に更新するには:
ある。 Azure Databricks ワークスペースのサイドバーで、[ パイプライン] をクリックします。 ある。 パイプラインを選択します。 ある。 パイプラインの詳細ページで、インジェスト パイプライン の更新のために [テーブルの選択 ] をクリックします。 ある。 目的のテーブルを選択し、[ 完全な更新の選択] をクリックします。
- 代わりにインジェスト パイプラインのすべてのテーブルを完全に更新するには、[ スタート ] ボタンの横にあるドロップダウン メニューをクリックし、[ すべて更新] をクリックします。
重要
インジェスト パイプラインの更新は、 Initializing または Resetting tables フェーズ中に失敗する可能性があります。 Lakeflow Connect は、パイプラインを複数回自動的に再試行します。 自動再試行が手動で中断されたか、最終的に致命的に失敗した場合は、前のテーブル更新の選択を使用して新しいパイプライン更新を手動で開始します。 そうしないと、ターゲット テーブルが部分的なデータと矛盾した状態になる可能性があります。 手動再試行も失敗した場合は、サポート チケットを作成します。
インジェスト パイプラインのスケジュールを変更する
- Azure Databricks ワークスペースのサイドバーで、[ パイプライン] をクリックします。
- パイプラインを選択し、[ スケジュール] をクリックします。
アラートと通知をカスタマイズする
Lakeflow Connect では、すべてのインジェスト パイプラインとスケジュール ジョブの通知が自動的に設定されます。 通知は、UI または Pipelines API を使用してカスタマイズできます。
ユーザーインターフェース
- 左側のパネルで、[ パイプライン] をクリックします。
- パイプラインを選択します。
- [スケジュール] をクリックします。
- 通知を受信するスケジュールが既にある場合: a. リストのスケジュールを特定します。 ある。 ケバブ メニューをクリックし、[ 編集] をクリックします。 ある。 [ その他のオプション] をクリックし、通知を追加します。
- 新しいスケジュールが必要な場合: a. [スケジュールの追加] をクリックします。 ある。 スケジュールを構成します。 ある。 [ その他のオプション] をクリックし、通知を追加します。
API（アプリケーション・プログラミング・インターフェース）
PUT /api/2.0/pipelines/{pipeline_id} のドキュメントにある通知を参照してください。
取り込むテーブルを指定する
Pipelines API は、objects フィールドに取り込むテーブルを指定するための方法として、2 つのメソッドを提供します。 ingestion_definition:
- テーブル仕様: 指定したソース カタログとスキーマから、指定した宛先カタログとスキーマに個々のテーブルを取り込みます。
- スキーマ仕様: 指定したソース カタログとスキーマから、指定したカタログとスキーマにすべてのテーブルを取り込みます。
スキーマ全体を取り込む場合は、コネクタのパイプラインあたりのテーブル数に関する制限事項を確認する必要があります。
CLI コマンド
パイプラインを編集するには、次のコマンドを実行します。
databricks pipelines update --json "<<pipeline_definition OR json file path>"
パイプライン定義を取得するには、次のコマンドを実行します。
databricks pipelines get "<your_pipeline_id>"
パイプラインを削除するには、次のコマンドを実行します。
databricks pipelines delete "<your_pipeline_id>"
詳細については、いつでも次のコマンドを実行できます。
databricks pipelines --help
databricks pipelines <create|update|get|delete|...> --help