この記事では、タグを使用して、コンピューティング使用量を特定のワークスペース、チーム、プロジェクト、またはユーザーに属性付けして、コストの追跡と予算作成をサポートする方法について説明します。
タグには次の 2 種類があります。
- 既定のタグ: Databricks によってクラウドにデプロイされたリソースに自動的に適用されます。 これらは、ベンダー、クラスター ID、作成者などの基本的なメタデータを提供します。
- カスタム タグ: コンピューティング リソースとサーバーレス ワークロードに追加できるユーザー定義タグ。 これにより、詳細な追跡、レポート、予算作成が可能になります。
警告
タグ データはグローバルにレプリケートできます。 リソースのセキュリティを損なう可能性のあるタグ名や値は使用しないでください。 たとえば、個人や機密の情報を含むタグ名は使用しません。
既定のタグ
Azure Databricks は、クラウド アカウントにデプロイするコンピューティング リソースに既定のタグを自動的に追加します。 これらのタグは、使用状況を Databricks に属性付けし、リソースに関する基本情報 (名前、ID、作成者など) を提供します。
既定のタグは、Azure portal でアクセスできる詳細な コスト分析レポート に自動的に反映されます。
以下は、1か月分の clusterid タグごとのコストを詳細に表示している、Azure portal の詳細な請求書のコスト分析レポートです。
既定のタグ キーと値
Azure Databricks では、コンピューティング リソースに次の既定のタグが追加されます。
| タグ キー | 価値 |
|---|---|
Vendor |
定数値: Databricks |
ClusterId |
クラスターの Azure Databricks 内部 ID |
ClusterName |
クラスターの名前 |
Creator |
クラスターを作成したユーザーのユーザー名 (メール アドレス) |
RunName |
ジョブ名 (ジョブのコンピューティング時にのみ伝播されます)。 Jobs API 2.0 を使用する場合、これは run_nameと同じです。 Jobs API 2.1 では、これは task_keyです。 |
JobId |
ジョブ ID (ジョブ コンピューティングでのみ伝達) |
Lakehouse 監視で使用されるコンピューティングには、次の追加タグが含まれます。
| タグ キー | 価値 |
|---|---|
LakehouseMonitoring |
本当 |
LakehouseMonitoringTableId |
監視対象テーブルの ID |
LakehouseMonitoringWorkspaceId |
モニターが作成されたワークスペースの ID |
LakehouseMonitoringMetastoreId |
監視対象テーブルが存在するメタストアの ID |
Azure Databricks では、プールとプールによって作成されたコンピューティング リソースに、次の既定のタグが追加されます。
| タグ キー | 価値 |
|---|---|
Vendor |
定数値: Databricks |
DatabricksInstancePoolCreatorId |
プールを作成したユーザーの Azure Databricks 内部 ID |
DatabricksInstancePoolId |
プールの Azure Databricks 内部 ID |
カスタム タグ
カスタム タグを使用すると、既定のタグよりも粒度の高い特定のチーム、プロジェクト、またはコスト センターにコンピューティング使用量を属性付けできます。 これらのタグは、ユーザーまたは管理者によって適用され、アカウントの使用状況ログと適用可能なクラウド リソースの両方に伝達されます。 これらのタグは、Azure Databricks アカウントで予算を作成および監視するためにも使用されます。
カスタム タグでサポートされているリソース
| オブジェクト | タグ付けインターフェイス (UI) | タグ付けインターフェイス (API) |
|---|---|---|
| ワークスペース | Azure Portal | Azure リソース API |
| プール | Azure Databricks ワークスペースのプール UI | インスタンス プール API |
| 汎用コンピューティングとジョブ計算 | Azure Databricks ワークスペースのコンピューティング UI | クラスター API |
| SQL ウェアハウス | Azure Databricks ワークスペースの SQL ウェアハウス UI | Warehouses API |
カスタム タグは、GCE ログで小文字で表示されます。 文字、数字、アンダースコア、またはダッシュでない場合、それらの文字は削除されます。 たとえば、 My Key は mykey になり、 My.Val は myvalになります。
警告
キー Name を持つカスタム タグをクラスターに割り当てないでください。 すべてのクラスターにはタグ Name があり、この値は Azure Databricks によって設定されます。 キー Name に関連付けられている値を変更すると、Azure Databricks でそのクラスターを追跡できなくなります。 その結果、アイドル状態になってもクラスターが終了されない可能性があり、使用コストが引き続き発生することになります。
サーバーレス コンピューティング ワークロードにタグを付けます
重要
この機能はパブリック プレビュー段階にあります。
サーバーレス コンピューティング使用量をユーザー、グループ、またはプロジェクトに属性付けするには、サーバーレス予算ポリシーを使用できます。 ユーザーにサーバーレス予算ポリシーが割り当てられると、サーバーレスの使用状況にポリシーのカスタム タグが自動的にタグ付けされます。 サーバーレス予算ポリシーは、サーバーレス ノートブック、ジョブ、パイプライン、およびエンドポイントを提供するモデルに適用できます。
注
サーバーレス コンピューティングの使用状況は、アカウントの 課金対象の使用状況システム テーブルに記録されます。 従来の DBU 使用状況レポート には、サーバーレス使用状況またはサーバーレス予算ポリシー タグは含まれません。
サーバーレス予算ポリシー属性の使用を参照してください。
タグの伝搬
ワークスペース、プール、クラスターのタグは Azure Databricks で集計され、コスト分析レポートのために Azure VM に伝達されます。 ただし、プールとクラスターのタグは相互に異なる方法で伝達されます。
ワークスペース タグとプール タグは集計され、プールをホストする Azure VM のリソース タグとして割り当てられます。
ワークスペース タグとクラスター タグは集計され、クラスターをホストする Azure VM のリソース タグとして割り当てられます。
クラスターがプールから作成される場合、ワークスペース タグとプール タグのみが VM に伝達されます。 プール クラスターの起動パフォーマンスを維持するために、クラスター タグは伝達されません。
タグ競合の解決
カスタムのクラスター タグ、プール タグ、またはワークスペース タグに Azure Databricks の既定のクラスターまたはプール タグと同じ名前が付いている場合、伝達されるときに、カスタム タグの方に x_ がプレフィックスとして付加されます。
たとえば、ワークスペースにタグ vendor = Azure Databricks が付けられている場合、このタグは既定のクラスター タグ vendor = Databricks と競合します。 そのため、タグは x_vendor = Azure Databricks と vendor = Databricks として伝達されます。
警告
コンピューティング ポリシーによって追加されたカスタム タグの競合が解決されず、クラスターまたはプールが無効な設定エラーで失敗します。 コンピューティング ポリシーで競合するタグ名が追加されていないことを確認します。
タグの強制
特定のカスタム タグの使用を強制するには、コンピューティング ポリシーを使用できます。 「カスタム タグの適用」をご覧ください。 サーバーレス コンピューティング ワークロードにカスタム タグを適用するには、 サーバーレス予算ポリシーを使用します。
制限事項
- カスタム ワークスペース タグが変更された後に Azure Databricks に反映されるまで、最大 1 時間かかることがあります。
- Azure リソースに割り当てることができるタグは 50 個までです。 集計されたタグの総数がこの制限個数を超えると、
x_がプレフィックスとして付加されたタグはアルファベット順に評価され、制限個数を超えるタグは無視されます。 すべてのx_プレフィックス付きのタグを無視しても、タグの個数が制限を超えている場合、残りのタグがアルファベット順に評価され、制限個数を超えるタグは無視されます。 - タグ キーと値には、文字、スペース、数字、または文字
+、-、=、.、_、:、/、@のみを含めることができます。 他の文字を含むタグが無効です。 - タグ キー名または値を変更した場合、これらの変更は、クラスターの再起動またはプールの展開の後にのみ適用されます。
- クラスターのカスタム タグがプールのカスタム タグと競合する場合、クラスターを作成できません。
- 新しく追加されたワークスペース タグは、既存のコンピューティング リソースに自動的には反映されません。 伝達する新しいタグを取得するには、コンピューティング リソースの詳細ページを開き、[ 編集] をクリックし、[ 確認して再起動] をクリックします。