Monitorizar a utilização com etiquetas
Para monitorar o custo e atribuir com precisão o uso do Azure Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), você pode marcar espaços de trabalho (grupos de recursos) e recursos de computação. Estas etiquetas são propagadas para relatórios de análise de custos detalhados aos quais pode aceder no portal do Azure.
Aqui está um relatório de detalhes da fatura de análise de custos no portal do Azure que detalha o custo por clusterid
tag durante um período de um mês:
Objetos e recursos com etiquetas
Object | Interface de marcação (UI) | Interface de marcação (API) |
---|---|---|
Área de trabalho | Portal do Azure | API de Recursos do Azure |
Conjunto | Interface do usuário de pools no espaço de trabalho do Azure Databricks | API do pool de instâncias |
Computação polivalente e de trabalho | Interface do usuário de computação no espaço de trabalho do Azure Databricks | API de Clusters |
Armazém SQL | Interface do usuário do SQL warehouse no espaço de trabalho do Azure Databricks | API de Armazéns |
Aviso
Não atribua uma tag personalizada com a chave Name
a um cluster. Cada cluster tem uma marca Name
cujo valor é definido pelo Azure Databricks. Se você alterar o valor associado à chave Name
, o cluster não poderá mais ser rastreado pelo Azure Databricks. Como consequência, o cluster pode não ser encerrado depois de ficar ocioso e continuará a incorrer em custos de uso.
Tags padrão
O Azure Databricks adiciona as seguintes marcas padrão à computação para todos os fins:
Tecla de etiqueta | Value |
---|---|
Vendor |
Valor constante: Databricks |
ClusterId |
ID interna do Azure Databricks do cluster |
ClusterName |
Nome do cluster |
Creator |
Nome de usuário (endereço de e-mail) do usuário que criou o cluster |
Em clusters de trabalho, o Azure Databricks também aplica as seguintes tags padrão:
Tecla de etiqueta | Value |
---|---|
RunName |
Nome da tarefa |
JobId |
ID da tarefa |
O Azure Databricks adiciona as seguintes marcas padrão a todos os pools:
Tecla de etiqueta | Value |
---|---|
Vendor |
Valor constante: Databricks |
DatabricksInstancePoolCreatorId |
ID interna do Azure Databricks do usuário que criou o pool |
DatabricksInstancePoolId |
ID interna do Azure Databricks do pool |
Na computação usada pelo Lakehouse Monitoring, o Azure Databricks também aplica as seguintes tags:
Tecla de etiqueta | Value |
---|---|
LakehouseMonitoring |
verdadeiro |
LakehouseMonitoringTableId |
ID da tabela monitorada |
LakehouseMonitoringWorkspaceId |
ID do espaço de trabalho onde o monitor foi criado |
LakehouseMonitoringMetastoreId |
ID do metastore onde a tabela monitorada existe |
Propagação de etiquetas
As tags de espaço de trabalho, pool e cluster são agregadas pelo Azure Databricks e propagadas para VMs do Azure para relatórios de análise de custos. Mas as tags de pool e cluster são propagadas de forma diferente uma da outra.
As tags de espaço de trabalho e pool são agregadas e atribuídas como marcas de recursos das VMs do Azure que hospedam os pools.
As etiquetas da área de trabalho e do cluster são agregadas e atribuídas como etiquetas de recursos das VMs do Azure que alojam os clusters.
Quando os clusters são criados a partir de conjuntos, apenas as etiquetas da área de trabalho e as etiquetas de conjunto são propagadas para as VMs. As tags de cluster não são propagadas para preservar o desempenho de inicialização do cluster de pool.
Resolução de conflitos de tags
Se uma marca de cluster personalizada, uma tag de pool ou uma tag de espaço de trabalho tiver o mesmo nome que uma tag de cluster ou pool padrão do Azure Databricks, a marca personalizada será prefixada com uma x_
quando for propagada.
Por exemplo, se um espaço de trabalho estiver marcado com vendor = Azure Databricks
, essa tag entrará em conflito com a tag vendor = Databricks
de cluster padrão. As tags serão, portanto, propagadas como x_vendor = Azure Databricks
e vendor = Databricks
.
Limitações
- As etiquetas de área de trabalho personalizadas podem demorar até uma hora a ser propagadas para o Azure Databricks após qualquer alteração.
- Não podem ser atribuídas mais de 50 etiquetas a um recurso do Azure. Se a contagem geral de etiquetas agregadas exceder este limite,
x_
as etiquetas com prefixo são avaliadas por ordem alfabética e as que excedem o limite serão ignoradas. Se todas asx_
etiquetas com prefixo forem ignoradas e a contagem continuar a ultrapassar o limite, as restantes etiquetas serão avaliadas por ordem alfabética e as que excederem o limite serão ignoradas. - As teclas de etiqueta e os valores só podem conter carateres do conjunto ISO 8859-1 (latin1). As etiquetas que contêm outros carateres são ignoradas.
- Se alterar os nomes ou valores das chaves de etiqueta, estas alterações aplicam-se apenas após o reinício do cluster ou a expansão do conjunto.
- Se as etiquetas personalizadas do cluster entrarem em conflito com as etiquetas personalizadas de um conjunto, não é possível criar o cluster.
Aplicação de tags com políticas
Você pode impor tags em clusters usando políticas de computação. Para obter mais informações, consulte Imposição de tags personalizadas.