この記事では、Lakeflow Spark 宣言パイプラインの ID、アクセス許可、特権の概要について説明します。
Databricks では、すべての新しいパイプラインに Unity カタログを使用することをお勧めします。 既定では、Unity Catalog で構成されたパイプラインによって作成された具体化されたビューとストリーミング テーブルは、パイプライン所有者のみがクエリを実行できます。 「パイプラインで Unity カタログを使用する」を参照してください。
パイプラインでデータセットを従来の Hive メタストアに発行する場合は、「従来の Hive メタストアで Lakeflow Spark 宣言パイプラインを使用する」を参照してください。
ID 構成に関する一般的なベスト プラクティスについては、「 ID のベスト プラクティス」を参照してください。
パイプラインの更新に使用される ID は何ですか?
パイプラインは、パイプライン所有者の ID を使用して更新を処理します。 新しいパイプライン所有者を割り当てて、パイプラインの実行に使用する ID を変更します。
Databricks では、サービス プリンシパルをパイプライン所有者として設定することをお勧めします。 サービス プリンシパルを参照してください。
誰がパイプライン更新を実行できますか？
パイプラインの更新は、CAN RUN、CAN MANAGE、または IS OWNER アクセス許可を持つ任意のユーザーまたはサービス プリンシパルによって実行できます。
パイプラインのアクセス許可を構成する
アクセス許可を管理するには、パイプラインに対する CAN MANAGE または IS OWNER アクセス許可が必要です。 パイプラインでは、アクセス制御リスト (ACL) を使用してアクセス許可を制御します。 アクセス許可とその機能の完全な一覧については、「 Lakeflow Spark 宣言パイプライン ACL」を参照してください。
- サイドバーで、[ ジョブとパイプライン] をクリックします。
- パイプラインの 名前 を選択します。
- [共有] をクリックします。 [ アクセス許可の設定] ダイアログが表示されます。
- [ ユーザー、グループ、またはサービス プリンシパルの選択...] をクリックし、ユーザー、グループ、またはサービス プリンシパルを選択します。
- [アクセス許可] ドロップダウン メニューからアクセス許可を選択します。
- 追加をクリックします。
- [保存] をクリックします。
管理者以外のユーザーが Unity カタログ対応パイプラインからドライバー ログを表示できるようにする
既定では、Unity カタログ対応パイプラインを実行するクラスターのドライバー ログを表示できるのは、パイプライン所有者とワークスペース管理者だけです。 パイプライン設定の オブジェクトに次の Spark 構成パラメーターを追加することでconfigurationを持つ任意のユーザーのドライバー ログへのアクセスを有効にすることができます。
{
"configuration": {
"spark.databricks.acl.needAdminPermissionToViewLogs": "false"
}
}