DLT リリース 2022.49

2022 年 12 月 6 日から 9 日

これらの機能と機能強化は、DLT の 2022.49 リリースでリリースされました。

このリリースで使用される Databricks Runtime のバージョン

チャネル:

• CURRENT (既定値): Databricks Runtime 11.0.11
• プレビュー: Databricks Runtime 11.3.2

このリリースの新機能と機能強化

• Databricks Git フォルダーからファイルを Python モジュールとしてインポートできるようになりました。 sys.path.append() を使用して、現在のリポジトリ パスまたは指定したリポジトリ パスからファイルを インポートできます。

• 強化された自動スケーリングが一般に利用可能になりました。 このリリースでは、拡張自動スケールは、UI で作成された新しいパイプラインの既定の自動スケール モードです。 Databricks では、拡張自動スケーリングを使用するために、既存のクラスター自動スケーリングを使用するパイプラインを更新することをお勧めします。

• 継続的モードでのパイプライン実行の場合、再試行可能なエラーが発生したときの既定の再試行制限が 2 になりました。 元の試行を含め、すべてのフローでは、致命的でないエラーが発生したときに、3 回の試行 (指数バックオフあり) が実行されます。 以前は、既定値がバッチ フローの場合の無制限の再試行と、ストリーミング フローの場合の 5 回の再試行でした。

• 構成パラメーター pipelines.maxFlowRetryAttempts が、バッチ フローとストリーミング フロー、継続的パイプラインまたはトリガーされたパイプラインを含むすべてのフローの再試行制限に適用されるようになりました。 以前は、pipelines.maxFlowRetryAttempts は、トリガー モードではすべての再試行制限に適用されていましたが、継続的モードではバッチ フローにのみ適用されており、継続的モードでのストリーミング パイプラインの再試行は、pipelines.numStreamRetryAttempts によって制御されていました。 既存のパイプラインの場合、継続的モードのストリーミング フローに対して、pipelines.numStreamRetryAttempts が引き続きサポートされます。 pipelines.numStreamRetryAttempts と pipelines.maxFlowRetryAttempts の両方が設定されている場合、継続的モードのストリーミング フローでは pipelines.numStreamRetryAttempts が優先されます。 それ以外の場合は、pipelines.maxFlowRetryAttempts に構成された値が使用されます。 パイプラインのプロパティのリファレンスを参照してください。

このリリースのバグ修正

• このリリースでは、Photon 対応クラスターに対して、1 時間あたりの DBU の誤った計算が表示されるバグが修正されました。

• このリリースでは、Unity カタログが有効なワークスペースで DLT メンテナンス タスクが失敗する原因となったバグが修正されました。

• このリリースでは、自動ローダーによってデータを取り込む継続的パイプラインを停止または再起動すると、パイプラインが数分間ハングするバグが修正されました。