Verwenden von Tags zum Attributieren und Nachverfolgen der Verwendung

In diesem Artikel wird erläutert, wie Sie mithilfe von Tags die Computenutzung bestimmten Arbeitsbereichen, Teams, Projekten oder Benutzern zur Unterstützung der Kostennachverfolgung und -budgetierung zuordnen.

Es gibt zwei Arten von Tags:

• Standardtags: Automatisch von Databricks auf in der Cloud bereitgestellte Ressourcen angewendet. Diese stellen grundlegende Metadaten wie Anbieter, Cluster-ID und Ersteller bereit.
• Benutzerdefinierte Tags: Benutzerdefinierte Tags, die Sie zur Berechnung von Ressourcen und serverlosen Workloads hinzufügen können. Diese ermöglichen eine präzise Nachverfolgung, Berichterstellung und Budgetierung.

Warnung

Tagdaten können global repliziert werden. Verwenden Sie keine Tagnamen oder Werte, die die Sicherheit Ihrer Ressourcen gefährden könnten. Verwenden Sie beispielsweise keine Tagnamen, die personenbezogene oder vertrauliche Informationen enthalten.

Standardtags

Azure Databricks fügt automatisch Standardtags hinzu, um Ressourcen zu berechnen, die es in Ihrem Cloudkonto bereitstellt. Diese Tags weisen die Verwendung auf Databricks zurück und stellen grundlegende Informationen zur Ressource bereit, z. B. name, ID und Creator.

Die Standardtags werden automatisch an detaillierte Kostenanalyseberichte weitergegeben, auf die Sie im Azure-Portal zugreifen können.

Hier sehen Sie einen Bericht mit den Rechnungsdetails der Kostenanalyse im Azure-Portal, in dem die Kosten nach clusterid-Tag für einen Zeitraum von einem Monat angegeben werden:

Standardtagschlüssel und -werte

Azure Databricks fügt die folgenden Standardtags zur Berechnung von Ressourcen hinzu:

Tagschlüssel	Wert
Vendor	Konstanter Wert: Databricks
ClusterId	Interne Azure Databricks-ID des Clusters
ClusterName	Name des Clusters
Creator	Benutzername (E-Mail-Adresse) des Benutzers, der den Cluster erstellt hat
RunName	Auftragsname (wird nur für Berechnungsaufträge verteilt)
JobId	Auftrags-ID (gilt nur für berechnete Aufträge)

Die von der Lakehouse-Überwachung verwendeten Rechenressourcen umfassen die folgenden zusätzlichen Tags:

Tagschlüssel	Wert
LakehouseMonitoring	Wahr
LakehouseMonitoringTableId	ID der überwachten Tabelle
LakehouseMonitoringWorkspaceId	ID des Arbeitsbereichs, in dem der Monitor erstellt wurde
LakehouseMonitoringMetastoreId	ID des Metastores, in dem die überwachte Tabelle vorhanden ist

Azure Databricks fügt den Pools und den von Pools erstellten Computeressourcen die folgenden Standardtags hinzu.

Tagschlüssel	Wert
Vendor	Konstanter Wert: Databricks
DatabricksInstancePoolCreatorId	Interne Azure Databricks-ID des Benutzers, der den Pool erstellt hat
DatabricksInstancePoolId	Interne Azure Databricks-ID des Pools

Benutzerdefinierte Tags

Mit benutzerdefinierten Tags können Sie die Berechnungsnutzung bestimmten Teams, Projekten oder Kostenstellen mit mehr Granularität als Standardtags zuordnen. Diese Tags werden von Benutzern oder Administratoren angewendet und sowohl in die Nutzungsprotokolle Ihres Kontos als auch auf die entsprechenden Cloudressourcen weitergegeben. Diese Tags werden auch verwendet, um Budgets in Ihrem Azure Databricks-Konto zu erstellen und zu überwachen.

Unterstützte Ressourcen für benutzerdefinierte Tags

Objekt	Taggingschnittstelle (UI)	Taggingschnittstelle (API)
Arbeitsbereich	Azure-Portal	Azure-Ressourcen-API
Tümpel	Pool-Benutzeroberfläche im Azure Databricks-Arbeitsbereich	Instanzpool-API
All-Purpose Compute und Job Compute	Compute-Benutzeroberfläche im Azure Databricks-Arbeitsbereich	Cluster-API
SQL-Warehouse	SQL-Warehouse-Benutzeroberfläche im Azure Databricks-Arbeitsbereich	Warehouses-API

Benutzerdefinierte Tags werden in GCE-Protokollen in Kleinbuchstaben angezeigt. Zeichen werden entfernt, wenn sie keine Buchstaben, Zahlen, Unterstriche oder Gedankenstriche sind. Zum Beispiel My Key wird mykey und My.Val wird .myval

Warnung

Weisen Sie einem Cluster kein benutzerdefiniertes Tag mit dem Schlüssel Name zu. Jeder Cluster verfügt über ein Tag Name, dessen Wert von Azure Databricks festgelegt wird. Wenn Sie den Wert für den Schlüssel Name ändern, kann der Cluster nicht mehr von Azure Databricks nachverfolgt werden. Dies hat zur Folge, dass der Cluster im Leerlauf möglicherweise nicht beendet wird, sodass weiterhin Nutzungskosten anfallen.

Markieren von serverlosen Computeworkloads

Wichtig

Dieses Feature befindet sich in Public Preview.

Um die Nutzung von serverlosen Rechenressourcen für Benutzer, Gruppen oder Projekte zuzuordnen, können Sie Serverless-Budgetrichtlinien verwenden. Wenn einem Benutzer eine serverlose Budgetrichtlinie zugewiesen wird, wird die serverlose Verwendung automatisch mit den benutzerdefinierten Tags der Richtlinie markiert. Serverlose Budgetrichtlinien können auf serverlose Notizbücher, Aufträge, Pipelines und Modellbereitstellungsendpunkte angewendet werden.

Hinweis

Die Serverlose Computenutzung wird in der Tabelle des abrechnungsfähigen Nutzungssystems Ihres Kontos protokolliert. Die Legacy-DBU-Nutzungsberichte umfassen keinen Serverless-Nutzungen und keine Tags für Serverless-Budgetsrichtlinien.

Siehe Attributverwendung mit serverlosen Budgetrichtlinien.

Tagweitergabe

Arbeitsbereichs-, Pool- und Clustertags werden von Azure Databricks aggregiert und für Berichte zur Kostenanalyse an Azure-VMs weitergegeben. Pool- und Clustertags werden jedoch unterschiedlich voneinander weitergegeben.

Arbeitsbereichs- und Pooltags werden aggregiert und als Ressourcentags der Azure-VMs zugewiesen, die die Pools hosten.

Arbeitsbereichs- und Clustertags werden aggregiert und als Ressourcentags der Azure-VMs zugewiesen, die die Cluster hosten.

Wenn Cluster aus Pools erstellt werden, werden nur Arbeitsbereichstags und Pooltags an die VMs weitergegeben. Clustertags werden nicht weitergegeben, um die Startleistung des Poolclusters beizubehalten.

Tagkonfliktlösung

Wenn ein benutzerdefiniertes Clustertag, Pooltag oder Arbeitsbereichstag den gleichen Namen wie ein Standardcluster- oder Pooltag von Azure Databricks hat, wird dem benutzerdefinierten Tag bei der Verteilung ein x_ vorangestellt.

Wenn ein Arbeitsbereich beispielsweise mit vendor = Azure Databricksgekennzeichnet ist, steht dieses Tag in Konflikt mit dem Standardclustertag vendor = Databricks. Die Tags werden daher als x_vendor = Azure Databricks und vendor = Databricksweitergegeben.

Warnung

Konflikt auslösende benutzerdefinierte Tags, die über Compute-Richtlinien hinzugefügt wurden, werden nicht aufgelöst, sodass der Cluster oder Pool aufgrund eines ungültigen Einstellungsfehlers ausfallen. Stellen Sie sicher, dass Ihre Computerrichtlinien keine widersprüchlichen Tagnamen hinzufügen.

Durchsetzung von Tags

Um die Verwendung bestimmter benutzerdefinierter Tags zu erzwingen, können Sie Berechnungsvorgaben verwenden. Weitere Informationen finden Sie unter Erzwingung benutzerdefinierter Tags. Verwenden Sie Budgetrichtlinien für serverlose Berechnungen, um benutzerdefinierte Tags für serverlose Computing-Workloads durchzusetzen.

Einschränkungen

• Es kann bis zu einer Stunde dauern, bis benutzerdefinierte Arbeitsbereichstags nach jeder Änderung an Azure Databricks weitergeleitet werden.
• Einer Azure-Ressource können nicht mehr als 50 Tags zugewiesen werden. Wenn die Gesamtanzahl aggregierter Tags diesen Grenzwert überschreitet, werden Tags mit dem Präfix x_ in alphabetischer Reihenfolge ausgewertet, und Tags, die den Grenzwert überschreiten, werden ignoriert. Wenn alle Tags mit dem Präfix x_ ignoriert werden und die Anzahl über dem Limit des Grenzwerts liegt, werden die verbleibenden Tags in alphabetischer Reihenfolge ausgewertet, und Tags, die den Grenzwert überschreiten, werden ignoriert.
• Tagtasten und -werte können nur Buchstaben, Leerzeichen, Zahlen oder die Zeichen +, , , -, =, ._, . :/@ Tags, die andere Zeichen enthalten, sind ungültig.
• Wenn Sie Tagschlüsselnamen oder -werte ändern, werden diese Änderungen erst nach dem Neustart des Clusters oder der Poolerweiterung wirksam.
• Wenn die benutzerdefinierten Tags des Clusters mit den benutzerdefinierten Tags eines Pools in Konflikt stehen, kann der Cluster nicht erstellt werden.
• Neu hinzugefügte Arbeitsbereichstags werden nicht automatisch an vorhandene Computeressourcen weitergegeben. Um neue Tags zu propagieren, öffnen Sie die Detailseite der Rechnerressource, klicken Sie auf Bearbeiten und dann auf Bestätigen und neu starten.