Azure Databricks

O Azure Databricks oferece uma plataforma unificada para gerenciamento, governança e análise de dados escaláveis, combinando fluxos de trabalho simplificados com a capacidade de lidar com diversos tipos de dados de forma eficiente

Este conector está disponível nos seguintes produtos e regiões:

Serviço	Class	Regiões
Estúdio Copiloto	Premium	Todas as regiões do Power Automatic , exceto as seguintes:      - Governo dos EUA (CCG)      - Governo dos EUA (GCC High)      - China Cloud operado pela 21Vianet      - Departamento de Defesa dos EUA (DoD)
Aplicações Power	Premium	Todas as regiões do Power Apps , exceto as seguintes:      - Governo dos EUA (CCG)      - Governo dos EUA (GCC High)      - China Cloud operado pela 21Vianet      - Departamento de Defesa dos EUA (DoD)
Automatize o poder	Premium	Todas as regiões do Power Automatic , exceto as seguintes:      - Governo dos EUA (CCG)      - Governo dos EUA (GCC High)      - China Cloud operado pela 21Vianet      - Departamento de Defesa dos EUA (DoD)

Contato
Nome	Suporte a Databricks
URL	https://help.databricks.com
Email	eng-partner-eco-help@databricks.com

Metadados do conector
Editora	Databricks Inc.
Sítio Web	https://www.databricks.com/
Política de privacidade	https://www.databricks.com/legal/privacynotice
Categorias	Data

Ligar ao Azure Databricks a partir da Microsoft Power Platform

Esta página explica como se conectar ao Azure Databricks a partir da Microsoft Power Platform adicionando o Azure Databricks como uma conexão de dados. Quando conectado, você pode usar seus dados do Azure Databricks das seguintes plataformas:

• Power Apps: crie aplicativos que podem ler e gravar no Azure Databricks, preservando seus controles de governança do Azure Databricks.
• Power Automate: crie fluxos e adicione ações que permitam executar SQL personalizado ou um trabalho existente e recupere os resultados.
• Copilot Studio: crie agentes personalizados usando seus dados do Azure Databricks como uma fonte de conhecimento.

Antes de começar

Antes de se conectar ao Azure Databricks a partir da Power Platform, você deve atender aos seguintes requisitos:

• Você tem uma conta do Microsoft Entra ID (anteriormente Azure Ative Directory).
• Você tem uma licença premium do Power Apps.
• Você tem uma conta do Azure Databricks.
• Você tem acesso a um SQL warehouse no Azure Databricks.

Opcional: Conectar-se com as Redes Virtuais do Azure

Se seu espaço de trabalho do Azure Databricks usa Redes Virtuais, há duas maneiras de se conectar:

1. Integre a Power Platform com recursos dentro da sua rede virtual sem os expor através da Internet pública. Para se conectar ao ponto de extremidade privado do seu espaço de trabalho do Azure Databricks, faça o seguinte depois de configurar a conectividade privada com o Azure Databricks:

   • Configurar o suporte de Rede Virtual para o Power Platform.

   • Se a sua rede virtual da Power Platform (seja Primária ou Secundária) for diferente da sua rede virtual do Azure Databricks, utilize o emparelhamento de rede virtual para ligar a rede virtual ao Azure Databricks.

   Para obter mais informações sobre redes virtuais, consulte Visão geral do suporte de rede virtual.

2. Ativar o acesso com uma implantação híbrida, onde um link privado de front-end com um ponto de extremidade público é protegido por uma Lista de Acesso de IP do Workspace. Para habilitar o acesso, faça o seguinte:

   1. Habilite o acesso público no nível do espaço de trabalho. Para obter mais detalhes, consulte Configurar listas de acesso IP para espaços de trabalho.
   2. Adicione o intervalo de IP do AzureConnectors, ou o intervalo de IP da Plataforma de Energia específico com base na região do seu ambiente, à sua lista de acesso IP do Espaço de Trabalho.

Opcional: Criar uma entidade de serviço do Microsoft Entra

Importante

Se o Azure Databricks e a Power Platform estiverem em locatários diferentes, você deverá usar Entidades de Serviço para autenticação.

Antes de se conectar, conclua as seguintes etapas para criar, configurar e atribuir um Principal de Serviço do Microsoft Entra à sua conta ou espaço de trabalho do Azure Databricks.

• Registre uma nova entidade de serviço no Microsoft Entra ID.
• Adicione entidades de serviço à sua conta.
• Atribua um service principal a um espaço de trabalho.

Etapa 1: Adicionar uma conexão do Azure Databricks à Power Platform

Observação: Se você estiver usando o Copilot Studio, recomendamos criar a conexão Databricks no Power Apps ou no Power Automate. Em seguida, pode ser usado no Copilot Studio.

Para adicionar uma conexão do Azure Databricks, faça o seguinte:

1. Em Power Apps ou Power Automate, na barra lateral, clique em Conexões.

2. Clique em + Nova conexão no canto superior esquerdo.

3. Pesquise por "Azure Databricks" usando a barra de pesquisa no canto superior direito.

4. Selecione o bloco Azure Databricks .

5. Selecione o tipo de autenticação no menu suspenso.

6. Selecione seu método de autenticação e insira suas informações de autenticação.

   • Se sua implantação da Power Platform e a conta do Azure Databricks estiverem no mesmo locatário do Microsoft Entra, você poderá usar a conexão OAuth. Insira as seguintes informações:

     • Em Nome do Host do Servidor, insira o nome do host do SQL warehouse do Azure Databricks.
     • Para Caminho HTTP, insira o caminho HTTP do SQL warehouse.
     • Clique em Criar.
     • Inicie sessão com a sua ID do Microsoft Entra.

   • A conexão da entidade de serviço pode ser usada em qualquer cenário. Antes de se conectar, crie uma entidade de serviço do Microsoft Entra. Insira as seguintes informações:

     • Em ID do Cliente, insira o ID do principal de serviço.
     • Em Segredo do Cliente, insira a credencial principal do serviço.
     • Em Inquilino, insira o locatário principal do serviço.
     • Em Hostname, insira o nome do host do SQL warehouse do Azure Databricks.
     • Para Caminho HTTP, insira o caminho HTTP do SQL warehouse.
     • (Opcional) Você pode renomear ou compartilhar a conexão do principal de serviço com os membros da sua equipe após a criação da conexão.

   • Para localizar os detalhes de conexão do SQL warehouse do Azure Databricks, consulte Obter detalhes de conexão para um recurso de computação do Azure Databricks.

7. Clique em Criar.

Etapa 2: Usar a conexão do Azure Databricks

Depois de criar uma conexão do Azure Databricks no Power Apps ou no Power Automate, você pode usar seus dados do Azure Databricks para criar aplicativos Power Canvas, fluxos Power Automate e agentes do Copilot Studio.

Usar seus dados do Azure Databricks para criar aplicativos Power canvas

Importante

Você só pode usar aplicativos de tela se se conectar diretamente ao Azure Databricks no aplicativo. Não é possível usar tabelas virtuais.

Para adicionar seus dados do Azure Databricks ao seu aplicativo, faça o seguinte:

1. Na barra de navegação mais à esquerda, clique em Criar.
2. Clique em Iniciar com uma tela em branco e selecione o tamanho de tela desejado para criar um novo aplicativo de tela.
3. No seu aplicativo, clique em Adicionarconectores de>dados>Azure Databricks. Selecione a conexão do Azure Databricks que você criou.
4. Selecione um catálogo na barra lateral Escolha um conjunto de dados .
5. Na barra lateral Escolha um conjunto de dados , selecione todas as tabelas às quais você deseja conectar seu aplicativo de tela.
6. Clique em Conectar.

Operações de dados no Power Apps:

O conector suporta operações de criação, atualização e exclusão, mas apenas para tabelas que têm uma chave primária definida. Ao executar operações de criação, você sempre deve especificar a chave primária.

Observação: O Azure Databricks dá suporte a colunas de identidade geradas. Nesse caso, os valores de chave primária são gerados automaticamente no servidor durante a criação da linha e não podem ser especificados manualmente.

Usar seus dados do Azure Databricks para criar fluxos do Power Automate

A API de Execução de Instruções e a API de Trabalhos são expostas no Power Automate, permitindo que você escreva instruções SQL e execute Jobs existentes. Para criar um fluxo do Power Automate usando o Azure Databricks como uma ação, faça o seguinte:

1. Na barra de navegação mais à esquerda, clique em Criar.
2. Crie um fluxo e adicione qualquer tipo de gatilho.
3. No seu novo fluxo, clique + e procure por "Databricks" para ver as ações disponíveis.

Para escrever SQL, selecione uma das seguintes ações:

• Executar uma instrução SQL: escreva e execute uma instrução SQL. Insira o seguinte:

  • Para Body/warehouse_id, insira a ID do depósito no qual executar a instrução SQL.
  • Em Body/statement_id, insira a ID da instrução SQL a ser executada.
  • Para mais informações sobre os parâmetros avançados, consulte aqui.

• Verifique o status e obtenha resultados: verifique o status de uma instrução SQL e reúna resultados. Insira o seguinte:

  • Para ID da instrução, insira a ID retornada quando a instrução SQL foi executada.
  • Para mais informações sobre o parâmetro, consulte aqui.

• Cancelar a execução de uma instrução: encerre a execução de uma instrução SQL. Insira o seguinte:

  • Para ID da instrução, insira a ID da instrução SQL a ser encerrada.
  • Para mais informações sobre o parâmetro, consulte aqui.

• Obter resultado por índice de blocos: obtenha resultados por índice de blocos, que é adequado para grandes conjuntos de resultados. Insira o seguinte:

  • Para ID da instrução, insira a ID da instrução SQL cujos resultados você deseja recuperar.
  • Para Índice de blocos, insira o índice de bloco de destino.
  • Para mais informações sobre os parâmetros, consulte aqui.

Para interagir com um Trabalho Databricks existente, selecione uma das seguintes ações:

• Listar trabalhos: recupera uma lista de trabalhos. Para mais informações consulte aqui.
• Acionar uma nova execução de trabalho: executa um trabalho e retorna o run_id da execução acionada. Para mais informações consulte aqui.
• Obter uma única execução de trabalho: retorna metadados sobre uma execução, incluindo status da execução (por exemplo, EXECUÇÃO, SUCESSO, FALHA), hora de início e fim, durações de execução, informações de cluster, etc. Para mais informações consulte aqui.
• Cancelar uma execução de trabalho: cancela uma execução de trabalho ou de uma tarefa. Para obter mais informações, consulte aqui.
• Obter a saída para uma única execução de trabalho: recupera a saída e os metadados de uma única tarefa executada. Para obter mais informações, consulte aqui.

Usar o Azure Databricks como uma fonte de conhecimento no Copilot Studio

Para adicionar seus dados do Azure Databricks como uma fonte de conhecimento a um agente do Copilot Studio, faça o seguinte:

1. Na barra lateral, clique em Agente.
2. Selecione um agente existente ou crie um novo agente clicando em + Novo agente.
   • Descreva o agente inserindo uma mensagem e clique em Criar.
   • Ou clique em Ignorar para especificar manualmente as informações do agente.
3. Na guia Conhecimento , clique em + Conhecimento.
4. Clique em Avançado.
5. Selecione Azure Databricks como a fonte de conhecimento.
6. Insira o nome do catálogo em que seus dados estão.
7. Clique em Conectar.
8. Selecione as tabelas que você deseja que seu agente use como fonte de conhecimento e clique em Adicionar.

Criar tabelas virtuais do Dataverse com seus dados do Azure Databricks

Você também pode criar tabelas virtuais Dataverse com o conector Azure Databricks. As tabelas virtuais, também conhecidas como entidades virtuais, integram dados de sistemas externos com o Microsoft Dataverse. Uma tabela virtual define uma tabela no Dataverse sem armazenar a tabela física no banco de dados Dataverse. Para saber mais sobre tabelas virtuais, consulte Introdução às tabelas virtuais (entidades).

Nota

Embora as tabelas virtuais não consumam a capacidade de armazenamento do Dataverse, o Databricks recomenda que você use conexões diretas para obter um melhor desempenho.

Você deve ter a função Personalizador do Sistema ou Administrador do Sistema. Para obter mais informações, consulte funções de segurança para Power Platform.

Siga estas etapas para criar uma tabela virtual Dataverse:

1. Em Power Apps, na barra lateral, clique em Tabelas.

2. Clique em + Nova tabela na barra de menus e selecione Criar uma tabela virtual.

3. Selecione uma conexão existente do Azure Databricks ou crie uma nova conexão com o Azure Databricks. Para adicionar uma nova conexão, consulte Etapa 1: Adicionar uma conexão do Azure Databricks à Power Platform.

   O Databricks recomenda usar uma conexão de principal de serviço para criar uma tabela virtual.

4. Clique em Next.

5. Selecione as tabelas a serem representadas como uma tabela virtual do Dataverse.

   • As tabelas virtuais Dataverse requerem uma chave primária. Portanto, as visualizações não podem ser tabelas virtuais, mas as visualizações materializadas podem.

6. Clique em Next.

7. Configure a tabela virtual atualizando os detalhes da tabela, se necessário.

8. Clique em Next.

9. Confirme os detalhes da fonte de dados e clique em Concluir.

10. Utilize a tabela virtual do Dataverse no Power Apps, Power Automate e no Copilot Studio.

Para obter uma lista de limitações conhecidas das tabelas virtuais do Dataverse, consulte Limitações conhecidas e solução de problemas.

Realizar atualizações em lote

Se precisar realizar operações em massa de criação, atualização ou exclusão em resposta a entradas do Power Apps, o Databricks recomenda implementar um fluxo do Power Automate. Para fazer isso, faça o seguinte:

1. Crie uma aplicação de tela utilizando a sua ligação ao Azure Databricks nos Power Apps.

2. Crie um fluxo do Power Automate usando a conexão do Azure Databricks com o Power Apps como disparador.

3. No gatilho Power Automate, adicione os campos de entrada que pretende passar do Power Apps para o Power Automate.

4. Crie um objeto de coleção no Power Apps para coletar todas as suas alterações.

5. Adicione o fluxo do Power Automate à sua aplicação de canvas.

6. Chame o fluxo Power Automate do seu aplicativo de tela e itere sobre a coleção usando um ForAll comando.

   ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
   

Gravações simultâneas

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas, detetando alterações no nível da linha e resolvendo automaticamente os conflitos que ocorrem quando gravações simultâneas atualizam ou excluem linhas diferentes no mesmo arquivo de dados.

A simultaneidade em nível de linha está incluída no Databricks Runtime 14.2 ou superior. A simultaneidade em nível de linha é suportada por padrão para os seguintes tipos de tabelas:

• Tabelas com vetores de exclusão habilitados e sem particionamento
• Tabelas com agrupamento líquido, a menos que os vetores de exclusão estejam desabilitados

Para habilitar vetores de exclusão, execute o seguinte comando SQL:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Para obter mais informações sobre conflitos de gravação simultâneos no Azure Databricks, consulte Níveis de isolamento e conflitos de gravação no Azure Databricks.

Adicionar o Azure Databricks a uma política de dados

Ao adicionar o Azure Databricks a uma política de dados corporativos, o Azure Databricks não pode compartilhar dados com conectores em outros grupos. Isso protege seus dados e impede que eles sejam compartilhados com aqueles que não deveriam ter acesso a eles. Para obter mais informações, consulte Gerenciar políticas de dados.

Para adicionar o conector do Azure Databricks a uma política de dados da Power Platform:

1. Em qualquer aplicativo Power Platform, clique na engrenagem de configurações no canto superior direito e selecione Centro de Administração.
2. Na barra lateral, clique em Políticas>Políticas de Dados.
3. Se estiver a utilizar o novo centro de administração, clique em Dados de Segurança> ePolítica de Dados de>.
4. Clique em + Nova política ou selecione uma política existente.
5. Se estiver a criar uma nova política, introduza um nome.
6. Selecione um ambiente para adicionar à sua política e clique em + Adicionar à política acima.
7. Clique em Next.
8. Procure e selecione o conector do Azure Databricks .
9. Clique em Mover para Empresas e clique em Avançar.
10. Reveja a sua política e clique em Criar política.

Limitações

• O conector da Power Platform não suporta nuvens governamentais.

Limitações do Power App

As seguintes fórmulas PowerFx calculam valores usando apenas os dados que foram recuperados localmente:

Categoria	Formula
Função Tabela	- GroupBy - Distintos
Aggregation	- CountRows - StdevP - StdevS

A criar uma ligação

O conector suporta os seguintes tipos de autenticação:

Conexão OAuth	Conexão OAuth	Todas as regiões	Não compartilhável
Conexão da entidade de serviço	Conexão da entidade de serviço	Todas as regiões	Compartilhável
Padrão [DEPRECATED]	Esta opção é apenas para conexões mais antigas sem um tipo de autenticação explícita e é fornecida apenas para compatibilidade com versões anteriores.	Todas as regiões	Não compartilhável

Conexão OAuth

ID de autenticação: oauth2-auth

Aplicável: Todas as regiões

Conexão OAuth

Esta conexão não é compartilhável. Se o aplicativo avançado for compartilhado com outro usuário, outro usuário será solicitado a criar uma nova conexão explicitamente.

Nome	Tipo	Description	Obrigatório
Nome do host do servidor (exemplo: adb-3980263885549757139.2.azuredatabricks.net)	cadeia (de caracteres)	Nome do servidor do espaço de trabalho Databricks	Verdade
Caminho HTTP (exemplo: /sql/1.0/warehouses/a9c4e781bd29f315)	cadeia (de caracteres)	Caminho HTTP do Databricks SQL Warehouse	Verdade

Conexão da entidade de serviço

ID de autenticação: oAuthClientCredentials

Aplicável: Todas as regiões

Conexão da entidade de serviço

Esta é uma conexão compartilhável. Se o aplicativo de energia for compartilhado com outro usuário, a conexão também será compartilhada. Para obter mais informações, consulte a Visão geral de conectores para aplicativos de tela - Power Apps | Documentos Microsoft

Nome	Tipo	Description	Obrigatório
ID do Cliente	cadeia (de caracteres)		Verdade
Segredo do Cliente	securestring		Verdade
Tenant	cadeia (de caracteres)		Verdade
Nome do host do servidor (exemplo: adb-3980263885549757139.2.azuredatabricks.net)	cadeia (de caracteres)	Nome do servidor do espaço de trabalho Databricks	Verdade
Caminho HTTP (exemplo: /sql/1.0/warehouses/a9c4e781bd29f315)	cadeia (de caracteres)	Caminho HTTP do Databricks SQL Warehouse	Verdade

Padrão [DEPRECATED]

Aplicável: Todas as regiões

Esta opção é apenas para conexões mais antigas sem um tipo de autenticação explícita e é fornecida apenas para compatibilidade com versões anteriores.

Esta conexão não é compartilhável. Se o aplicativo avançado for compartilhado com outro usuário, outro usuário será solicitado a criar uma nova conexão explicitamente.

Limites de Limitação

Name	Chamadas	Período de Renovação
Chamadas de API por conexão	100	60 segundos

Ações

Acionar uma nova execução de trabalho	Execute um trabalho e retorne o run_id da execução acionada.
Azure Databricks Genie	Consulte espaços do Genie para obter informações dos seus dados.
Cancelar execução de instrução	Solicita que uma instrução de execução seja cancelada. Os chamadores devem pesquisar o status para ver o estado do terminal.
Cancelar uma execução	Cancela uma execução de trabalho ou de uma tarefa. A execução é cancelada de forma assíncrona, portanto, ainda pode estar em execução quando essa solicitação for concluída.
Executar uma instrução SQL	Execute uma instrução SQL e, opcionalmente, aguarde seus resultados por um tempo especificado.
Listar vagas	Recupera uma lista de trabalhos.
Obtenha uma única execução de trabalho	Recupera os metadados de uma execução. Grandes matrizes nos resultados serão paginadas quando excederem 100 elementos. Uma solicitação para uma única execução retornará todas as propriedades dessa execução e os primeiros 100 elementos das propriedades da matriz (tarefas, job_clusters, job_parameters e repair_history). Use o campo next_page_token para verificar mais resultados e passar seu valor como o page_token em solicitações subsequentes. Se qualquer propriedade de matriz tiver mais de 100 elementos, resultados adicionais serão retornados em solicitações subsequentes. As matrizes sem resultados adicionais ficarão vazias nas páginas posteriores.
Obter a saída para uma única execução	Recupere a saída e os metadados de uma única tarefa executada. Quando uma tarefa de bloco de anotações retorna um valor por meio da chamada dbutils.notebook.exit(), você pode usar esse ponto de extremidade para recuperar esse valor. O Azure Databricks restringe essa API a retornar os primeiros 5 MB da saída. Para retornar um resultado maior, você pode armazenar os resultados do trabalho em um serviço de armazenamento em nuvem. Esse ponto de extremidade valida que o parâmetro run_id é válido e retorna um código de status HTTP 400 se o parâmetro run_id for inválido. As execuções são removidas automaticamente após 60 dias. Se quiser fazer referência a eles além de 60 dias, salve os resultados de execução antigos antes que eles expirem.
Obter resultado por índice de blocos	Depois que a execução da instrução for BEM-sucedida, essa solicitação poderá ser usada para buscar qualquer parte por índice.
Verificar o estado e obter resultados	Obter o status, manifesto e resultados da declaração

Acionar uma nova execução de trabalho

ID da Operação:

JobsRunNow

Execute um trabalho e retorne o run_id da execução acionada.

Parâmetros

Name	Chave	Necessário	Tipo	Description
idempotency_token	idempotency_token		string	Um token opcional para garantir a idempotência das solicitações de execução de trabalho. Se já existir uma execução com o token fornecido, a solicitação não criará uma nova execução, mas retornará a ID da execução existente. Se uma execução com o token fornecido for excluída, um erro será retornado. Se você especificar o token idempotency, em caso de falha, poderá tentar novamente até que a solicitação seja bem-sucedida. O Azure Databricks garante que exatamente uma execução seja iniciada com esse token de idempotência. Este token deve ter no máximo 64 caracteres. Para obter mais informações, consulte Como garantir idempotência para trabalhos.
job_id	job_id	True	integer	A ID do trabalho a ser executado
job_parameters	job_parameters		object	Parâmetros de nível de trabalho usados na execução. por exemplo "param": "overriding_val"
apenas	only		array of string	Uma lista de chaves de tarefas a serem executadas dentro do trabalho. Se este campo não for fornecido, todas as tarefas no trabalho serão executadas.
performance_target	performance_target		string
full_refresh	full_refresh		boolean	Se verdadeiro, dispara uma atualização completa na tabela delta live.
enabled	enabled	True	boolean	Se verdadeiro, habilite a fila para o trabalho. Este é um campo obrigatório.

Devoluções

Body

JobsRunNowResponse

Azure Databricks Genie

ID da Operação:

InvokeGenieMCP

Consulte espaços do Genie para obter informações dos seus dados.

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID do Espaço Genie	genie_space_id	True	string	ID do Espaço Genie

Cancelar execução de instrução

ID da Operação:

SqlCancelExecution

Solicita que uma instrução de execução seja cancelada. Os chamadores devem pesquisar o status para ver o estado do terminal.

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID da declaração	statement_id	True	string	ID da declaração

Cancelar uma execução

ID da Operação:

JobsCancelRun

Cancela uma execução de trabalho ou de uma tarefa. A execução é cancelada de forma assíncrona, portanto, ainda pode estar em execução quando essa solicitação for concluída.

Parâmetros

Name	Chave	Necessário	Tipo	Description
run_id	run_id	True	integer	Este campo é obrigatório.

Executar uma instrução SQL

ID da Operação:

SqlExecuteStatement

Execute uma instrução SQL e, opcionalmente, aguarde seus resultados por um tempo especificado.

Parâmetros

Name	Chave	Necessário	Tipo	Description
warehouse_id	warehouse_id	True	string	ID do armazém de destino
declaração	statement	True	string	A instrução SQL a ser executada. A instrução pode opcionalmente ser parametrizada, ver parâmetros
nome	name	True	string	Nome do marcador de parâmetro
tipo	type		string	Tipo de dados do parâmetro
valor	value		string	Valor do parâmetro
catálogo	catalog		string	Catálogo padrão para execução
esquema	schema		string	Esquema padrão para execução
disposição	disposition		string	Modo de busca de resultados
format	format		string	Formato do conjunto de resultados
on_wait_timeout	on_wait_timeout		string	Ação no tempo limite
wait_timeout	wait_timeout		string	Tempo limite de espera do resultado
byte_limit	byte_limit		integer	Limite de bytes de resultado
row_limit	row_limit		integer	Limite da linha de resultados

Devoluções

Resposta de execução da declaração

Body

SqlStatementResponse

Listar vagas

ID da Operação:

JobsListJobs

Recupera uma lista de trabalhos.

Parâmetros

Name	Chave	Necessário	Tipo	Description
Limite	limit		integer	O número de postos de trabalho a regressar. Este valor deve ser maior que 0 e menor ou igual a 100. O valor padrão é 20.
Expandir tarefas	expand_tasks		boolean	Se os detalhes da tarefa e do cluster devem ser incluídos na resposta. Observe que apenas os primeiros 100 elementos serão mostrados. Use :method:jobs/get para paginar todas as tarefas e clusters.
Nome do trabalho	name		string	Um filtro na lista com base no nome exato do trabalho (sem distinção entre maiúsculas e minúsculas).
Token da página	page_token		string	Use next_page_token ou prev_page_token retornados da solicitação anterior para listar a próxima ou a página anterior de trabalhos, respectivamente.

Devoluções

Body

JobsListJobsResponse

Obtenha uma única execução de trabalho

ID da Operação:

JobsGetRun

Recupera os metadados de uma execução. Grandes matrizes nos resultados serão paginadas quando excederem 100 elementos. Uma solicitação para uma única execução retornará todas as propriedades dessa execução e os primeiros 100 elementos das propriedades da matriz (tarefas, job_clusters, job_parameters e repair_history). Use o campo next_page_token para verificar mais resultados e passar seu valor como o page_token em solicitações subsequentes. Se qualquer propriedade de matriz tiver mais de 100 elementos, resultados adicionais serão retornados em solicitações subsequentes. As matrizes sem resultados adicionais ficarão vazias nas páginas posteriores.

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID de execução	run_id	True	integer	O identificador canônico da execução para a qual recuperar os metadados. Este campo é obrigatório.
Incluir História	include_history		boolean	Se o histórico de reparos deve ser incluído na resposta.
Incluir valores resolvidos	include_resolved_values		boolean	Se os valores de parâmetros resolvidos devem ser incluídos na resposta.
Token da página	page_token		string	Use next_page_token retornados da resposta GetRun anterior para solicitar a próxima página das propriedades da matriz da execução.

Devoluções

Body

JobsRun

Obter a saída para uma única execução

ID da Operação:

JobsGetRunOutput

Recupere a saída e os metadados de uma única tarefa executada. Quando uma tarefa de bloco de anotações retorna um valor por meio da chamada dbutils.notebook.exit(), você pode usar esse ponto de extremidade para recuperar esse valor. O Azure Databricks restringe essa API a retornar os primeiros 5 MB da saída. Para retornar um resultado maior, você pode armazenar os resultados do trabalho em um serviço de armazenamento em nuvem. Esse ponto de extremidade valida que o parâmetro run_id é válido e retorna um código de status HTTP 400 se o parâmetro run_id for inválido. As execuções são removidas automaticamente após 60 dias. Se quiser fazer referência a eles além de 60 dias, salve os resultados de execução antigos antes que eles expirem.

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID de execução	run_id	True	integer	O identificador canônico para a execução.

Devoluções

Body

JobsRunOutput

Obter resultado por índice de blocos

ID da Operação:

SqlGetStatementResultChunkN

Depois que a execução da instrução for BEM-sucedida, essa solicitação poderá ser usada para buscar qualquer parte por índice.

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID da declaração	statement_id	True	string	ID da declaração
Índice de blocos	chunk_index	True	string	Índice de blocos

Devoluções

Body

SqlResultData

Verificar o estado e obter resultados

ID da Operação:

SqlGetStatement

Obter o status, manifesto e resultados da declaração

Parâmetros

Name	Chave	Necessário	Tipo	Description
ID da declaração	statement_id	True	string	ID da declaração

Devoluções

Resposta de execução da declaração

Body

SqlStatementResponse

Definições

Objeto

SqlBaseChunkInfo

Metadados para um bloco de conjunto de resultados

Name	Caminho	Tipo	Description
byte_count	byte_count	integer	Número de bytes no bloco de resultados
chunk_index	chunk_index	integer	Posição na sequência de blocos do conjunto de resultados
row_count	row_count	integer	Número de linhas no bloco de resultados
row_offset	row_offset	integer	Deslocamento da linha inicial no conjunto de resultados

SqlColumnInfo

Name	Caminho	Tipo	Description
nome	name	string	Nome da coluna
posição	position	integer	Posição da coluna (com base em 0)
type_interval_type	type_interval_type	string	Formato do tipo de intervalo
type_name	type_name	SqlColumnInfoTypeName	O nome do tipo de dados base. Isso não inclui detalhes para tipos complexos, como STRUCT, MAP ou ARRAY.
type_precision	type_precision	integer	Número de dígitos para o tipo DECIMAL
type_scale	type_scale	integer	Número de casas decimais para o tipo DECIMAL
type_text	type_text	string	Especificação de tipo SQL completa

SqlColumnInfoTypeName

O nome do tipo de dados base. Isso não inclui detalhes para tipos complexos, como STRUCT, MAP ou ARRAY.

O nome do tipo de dados base. Isso não inclui detalhes para tipos complexos, como STRUCT, MAP ou ARRAY.

string

SqlStatementResponse

Resposta de execução da declaração

Name	Caminho	Tipo	Description
manifesto	manifest	SqlResultManifest	Esquema e metadados do conjunto de resultados
Resultado	result	SqlResultData
statement_id	statement_id	string	ID da declaração
estado	status	SqlStatementStatus	Status de execução da instrução

SqlResultManifest

Esquema e metadados do conjunto de resultados

Name	Caminho	Tipo	Description
pedaços	chunks	array of SqlBaseChunkInfo	Metadados do bloco de resultados
format	format	string
esquema	schema	SqlResultSchema	Definições de coluna do conjunto de resultados
total_byte_count	total_byte_count	integer	Total de bytes no conjunto de resultados
total_chunk_count	total_chunk_count	integer	Número total de pedaços
total_row_count	total_row_count	integer	Número total de linhas
truncado	truncated	boolean	Status de truncamento de resultados

SqlStatementStatus

Status de execução da instrução

Name	Caminho	Tipo	Description
erro	error	SqlServiceError
state	state	SqlStatementState	Estado de execução da declaração

SqlStatementState

Estado de execução da declaração

Estado de execução da declaração

string

SqlServiceError

Name	Caminho	Tipo	Description
error_code	error_code	string
mensagem	message	string	Mensagem de erro

SqlResultSchema

Definições de coluna do conjunto de resultados

Name	Caminho	Tipo	Description
column_count	column_count	integer
columns	columns	array of SqlColumnInfo

SqlResultData

Name	Caminho	Tipo	Description
byte_count	byte_count	integer	Bytes no bloco de resultados
chunk_index	chunk_index	integer	Posição do bloco
data_array	data_array	SqlJsonArray	Matriz de matrizes com valores de cadeia de caracteres
external_links	external_links	array of SqlExternalLink
next_chunk_index	next_chunk_index	integer	Índice de bloco seguinte
next_chunk_internal_link	next_chunk_internal_link	string	Link do próximo bloco
row_count	row_count	integer	Linhas em bloco
row_offset	row_offset	integer	Deslocamento da linha inicial

SqlJsonArray

Matriz de matrizes com valores de cadeia de caracteres

Name	Caminho	Tipo	Description
Itens		array of

SqlExternalLink

Name	Caminho	Tipo	Description
byte_count	byte_count	integer	Bytes em bloco
chunk_index	chunk_index	integer	Posição do bloco
expiração	expiration	date-time	Tempo de expiração do link
external_link	external_link	string
http_headers	http_headers	object	Cabeçalhos HTTP necessários
next_chunk_index	next_chunk_index	integer	Índice de bloco seguinte
next_chunk_internal_link	next_chunk_internal_link	string	Link do próximo bloco
row_count	row_count	integer	Linhas em bloco
row_offset	row_offset	integer	Deslocamento da linha inicial

JobsRunNowResponse

Name	Caminho	Tipo	Description
run_id	run_id	integer	O ID globalmente exclusivo da execução recém-acionada.

EmpregosDesempenhoAlvo

string

EmpregosPipelineParams

Name	Caminho	Tipo	Description
full_refresh	full_refresh	boolean	Se verdadeiro, dispara uma atualização completa na tabela delta live.

JobsQueueSettings

Name	Caminho	Tipo	Description
enabled	enabled	boolean	Se verdadeiro, habilite a fila para o trabalho. Este é um campo obrigatório.

JobsListJobsResponse

Name	Caminho	Tipo	Description
jobs	jobs	array of JobsBaseJob	A lista de empregos. Só incluído na resposta se houver vagas para listar.
next_page_token	next_page_token	string	Um token que pode ser usado para listar a próxima página de trabalhos (se aplicável).
prev_page_token	prev_page_token	string	Um token que pode ser usado para listar a página anterior de trabalhos (se aplicável).

JobsBaseJob

Name	Caminho	Tipo	Description
created_time	created_time	integer	A hora em que este trabalho foi criado em milissegundos de época (milissegundos desde 1/1/1970 UTC).
creator_user_name	creator_user_name	string	O nome de usuário do criador. Este campo não será incluído na resposta se o utilizador já tiver sido eliminado.
effective_budget_policy_id	effective_budget_policy_id	uuid	A identificação da política orçamental utilizada por este trabalho para efeitos de atribuição de custos. Isto pode ser definido através (por ordem de precedência): 1. Administradores de orçamento através da conta ou do console do espaço de trabalho 2. Interface do usuário de trabalhos na página de detalhes do trabalho e API de trabalhos usando o budget_policy_id 3. Incumprimento inferido com base em políticas orçamentais acessíveis da identidade run_as na criação ou modificação de postos de trabalho.
tem_mais	has_more	boolean	Indica se o trabalho tem mais propriedades de matriz (tarefas, job_clusters) que não são mostradas. Eles podem ser acessados via :method:jobs/get endpoint. Só é relevante para solicitações API 2.2 :method:jobs/list com expand_tasks=true.
job_id	job_id	integer	O identificador canônico para este trabalho.
definições	settings	JobsJobSettings
trigger_state	trigger_state	JobsTriggerStateProto

JobsJobSettings

Name	Caminho	Tipo	Description
budget_policy_id	budget_policy_id	uuid	A id da política de orçamento especificada pelo usuário a ser usada para este trabalho. Se não for especificado, uma política de orçamento padrão pode ser aplicada ao criar ou modificar o trabalho. Consulte effective_budget_policy_id para a política de orçamento usada por essa carga de trabalho.
em contínuo	continuous	JobsContinuous
implementação	deployment	JobsJobDeployment
descrição	description	string	Uma descrição opcional para o cargo. O comprimento máximo é de 27700 caracteres na codificação UTF-8.
edit_mode	edit_mode	JobsJobEditMode
email_notifications	email_notifications	JobsJobEmailNotifications
environments	environments	array of JobsJobEnvironment	Uma lista de especificações do ambiente em que as tarefas podem ser executadas, que podem ser referenciadas pelas tarefas sem servidor deste trabalho. É necessário que um ambiente esteja presente para tarefas sem servidor. Para tarefas de notebook sem servidor, o ambiente é acessível no painel de ambiente do notebook. Para outras tarefas sem servidor, o ambiente de tarefas deve ser especificado usando environment_key nas configurações da tarefa.
git_source	git_source	JobsGitSource
Saúde	health	JobsJobsHealthRules
job_clusters	job_clusters	array of JobsJobCluster	Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizadas entre tarefas deste trabalho. As bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefas.
max_concurrent_runs	max_concurrent_runs	integer	Um número máximo opcional permitido de execuções simultâneas do trabalho. Defina esse valor se quiser ser capaz de executar várias execuções do mesmo trabalho simultaneamente. Isso é útil, por exemplo, se você acionar seu trabalho em um cronograma frequente e quiser permitir que execuções consecutivas se sobreponham umas às outras, ou se quiser acionar várias execuções que diferem por seus parâmetros de entrada. Essa configuração afeta apenas novas execuções. Por exemplo, suponha que a simultaneidade do trabalho é 4 e há 4 execuções ativas simultâneas. Em seguida, definir a simultaneidade como 3 não matará nenhuma das execuções ativas. No entanto, a partir de então, novas execuções são ignoradas, a menos que haja menos de 3 execuções ativas. Este valor não pode exceder 1000. Definir esse valor como 0 faz com que todas as novas execuções sejam ignoradas.
nome	name	string	Um nome opcional para o trabalho. O comprimento máximo é de 4096 bytes na codificação UTF-8.
notification_settings	notification_settings	JobsJobNotificationSettings
parameters	parameters	array of JobsJobParameterDefinition	Definições de parâmetros de nível de trabalho
performance_target	performance_target	JobsPerformanceTarget
fila	queue	JobsQueueSettings
executar como	run_as	JobsJobRunAs
cronograma	schedule	JobsCronSchedule
tags	tags	object	Um mapa de tags associadas ao trabalho. Elas são encaminhadas para o cluster como marcas de cluster para clusters de trabalhos e estão sujeitas às mesmas limitações que as tags de cluster. Um máximo de 25 tags podem ser adicionadas ao trabalho.
tasks	tasks	array of JobsTask	Uma lista de especificações de tarefas a serem executadas por este trabalho. Ele suporta até 1000 elementos em pontos de extremidade de gravação (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Os pontos de extremidade de leitura retornam apenas 100 tarefas. Se mais de 100 tarefas estiverem disponíveis, você poderá paginar através delas usando :method:jobs/get. Use o campo next_page_token na raiz do objeto para determinar se mais resultados estão disponíveis.
timeout_seconds	timeout_seconds	integer	Um tempo limite opcional aplicado a cada execução desta tarefa. Um valor de 0 significa que não há tempo limite.
accionador	trigger	JobsTriggerSettings
webhook_notifications	webhook_notifications	JobsWebhookNotifications

EmpregosContínuo

Name	Caminho	Tipo	Description
pause_status	pause_status	JobsPauseStatus

JobsPauseStatus

string

JobsJobDeployment

Name	Caminho	Tipo	Description
tipo	kind	JobsJobDeploymentKind
metadata_file_path	metadata_file_path	string	Caminho do arquivo que contém metadados de implantação.

JobsJobDeploymentKind

string

JobsJobEditMode

string

JobsJobEmailNotifications

Name	Caminho	Tipo	Description
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of string	Uma lista de endereços de e-mail a serem notificados quando a duração de uma execução exceder o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Se nenhuma regra para a métrica RUN_DURATION_SECONDS for especificada no campo de integridade do trabalho, as notificações não serão enviadas.
on_failure	on_failure	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução for concluída sem êxito. Uma execução é considerada concluída sem êxito se terminar com um INTERNAL_ERROR life_cycle_state ou um FAILED, ou TIMED_OUT result_state. Se isso não for especificado na criação de trabalho, redefinição ou atualização, a lista estará vazia e as notificações não serão enviadas.
on_start	on_start	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução começar. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of string	Uma lista de endereços de e-mail para notificar quando quaisquer limites de lista de pendências de streaming forem excedidos para qualquer fluxo. Os limites da lista de pendências de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão reenviadas a cada 30 minutos.
on_success	on_success	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução for concluída com êxito. Uma execução é considerada concluída com êxito se terminar com um life_cycle_state TERMINADO e um result_state BEM-SUCEDIDO. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

EmpregosAmbiente de trabalho

Name	Caminho	Tipo	Description
environment_key	environment_key	string	A chave de um ambiente. Tem de ser único dentro de um trabalho.
especificações	spec	ComputeEnvironment

Ambiente de computação

Name	Caminho	Tipo	Description
dependências	dependencies	array of string	Lista de dependências de pip, conforme suportado pela versão de pip neste ambiente. Cada dependência é uma linha de arquivo de requisitos pip válida por https://pip.pypa.io/en/stable/reference/requirements-file-format/. As dependências permitidas incluem um especificador de requisitos, uma URL de arquivamento, um caminho de projeto local (como WSFS ou Volumes UC no Azure Databricks) ou uma URL de projeto VCS.
environment_version	environment_version	string	Required. Versão do ambiente usada pelo ambiente. Cada versão vem com uma versão específica do Python e um conjunto de pacotes Python. A versão é uma cadeia de caracteres, consistindo de um inteiro. Consulte https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions.

EmpregosGitSource

Name	Caminho	Tipo	Description
git_branch	git_branch	string	Nome da filial a ser verificada e usada por este trabalho. Este campo não pode ser especificado em conjunto com git_tag ou git_commit.
git_commit	git_commit	string	Comprometa-se a fazer check-out e ser usado por este trabalho. Este campo não pode ser especificado em conjunto com git_branch ou git_tag.
git_provider	git_provider	JobsGitProvider
git_snapshot	git_snapshot	JobsGitSnapshot
git_tag	git_tag	string	Nome da tag a ser verificada e usada por este trabalho. Este campo não pode ser especificado em conjunto com git_branch ou git_commit.
git_url	git_url	string	URL do repositório a ser clonado por este trabalho.

JobsGitProvider

string

JobsGitSnapshot

Name	Caminho	Tipo	Description
used_commit	used_commit	string	Commit que foi usado para executar a execução. Se git_branch foi especificado, isso aponta para o CHEFE do ramo no momento da execução; Se git_tag foi especificado, isso aponta para a confirmação para a qual a tag aponta.

EmpregosSaúdeRegras

Name	Caminho	Tipo	Description
rules	rules	array of JobsJobsHealthRule

JobsJobsHealthRule

Name	Caminho	Tipo	Description
métrica	metric	JobsJobsHealthMetric
PO	op	JobsJobsHealthOperator
valor	value	integer	Especifica o valor limite que a métrica de integridade deve obedecer para satisfazer a regra de integridade.

EmpregosSaúdeMétrica

string

EmpregosSaúdeOperador

string

JobsJobCluster

Name	Caminho	Tipo	Description
job_cluster_key	job_cluster_key	string	Um nome exclusivo para o cluster de trabalhos. Este campo é obrigatório e deve ser exclusivo dentro do trabalho. JobTaskSettings pode consultar este campo para determinar qual cluster iniciar para a execução da tarefa.
new_cluster	new_cluster	ComputeClusterSpec

ComputeClusterSpec

Name	Caminho	Tipo	Description
apply_policy_default_values	apply_policy_default_values	boolean	Quando definido como true, os valores fixos e padrão da política serão usados para campos omitidos. Quando definido como false, apenas os valores fixos da política serão aplicados.
dimensionamento automático	autoscale	ComputeAutoScale
autotermination_minutes	autotermination_minutes	integer	Encerra automaticamente o cluster depois que ele fica inativo por esse tempo em minutos. Se não estiver definido, este cluster não será encerrado automaticamente. Se especificado, o limite deve estar entre 10 e 10000 minutos. Os usuários também podem definir esse valor como 0 para desabilitar explicitamente a terminação automática.
azure_attributes	azure_attributes	ComputeAzureAttributes
cluster_log_conf	cluster_log_conf	ComputeClusterLogConf
nome do cluster	cluster_name	string	Nome do cluster solicitado pelo usuário. Isso não precisa ser único. Se não for especificado na criação, o nome do cluster será uma cadeia de caracteres vazia. Para clusters de trabalho, o nome do cluster é definido automaticamente com base nas IDs de trabalho e execução de trabalho.
custom_tags	custom_tags	object	Tags adicionais para recursos de cluster. O Azure Databricks marcará todos os recursos de cluster (por exemplo, instâncias da AWS e volumes do EBS) com essas tags, além de default_tags. Observações: - Atualmente, o Azure Databricks permite no máximo 45 tags personalizadas - Os clusters só podem reutilizar recursos de nuvem se as tags de recursos forem um subconjunto das tags de cluster
data_security_mode	data_security_mode	ComputeDataSecurityMode
docker_image	docker_image	ComputeDockerImage
driver_instance_pool_id	driver_instance_pool_id	string	O ID opcional do pool de instâncias ao qual pertence o driver do cluster. O cluster de pool usa o pool de instâncias com id (instance_pool_id) se o pool de drivers não estiver atribuído.
driver_node_type_id	driver_node_type_id	string	O tipo de nó do driver do Spark. Note que este campo é opcional; Se desdefinido, o tipo de nó do driver será definido como o mesmo valor node_type_id definido acima. Este campo, juntamente com node_type_id, não deve ser definido se virtual_cluster_size estiver definido. Se ambos os driver_node_type_id, node_type_id e virtual_cluster_size forem especificados, driver_node_type_id e node_type_id terão precedência.
enable_elastic_disk	enable_elastic_disk	boolean	Dimensionamento automático do Armazenamento Local: quando ativado, esse cluster adquirirá dinamicamente espaço em disco adicional quando seus trabalhadores do Spark estiverem com pouco espaço em disco. Esse recurso requer permissões específicas da AWS para funcionar corretamente - consulte o Guia do usuário para obter mais detalhes.
enable_local_disk_encryption	enable_local_disk_encryption	boolean	Se o LUKS deve ser habilitado nos discos locais das VMs de cluster
init_scripts	init_scripts	array of ComputeInitScriptInfo	A configuração para armazenar scripts de inicialização. Qualquer número de destinos pode ser especificado. Os scripts são executados sequencialmente na ordem fornecida. Se cluster_log_conf for especificado, os logs de script de inicialização serão enviados para <destination>/<cluster-ID>/init_scripts.
instance_pool_id	instance_pool_id	string	A ID opcional do pool de instâncias ao qual o cluster pertence.
is_single_node	is_single_node	boolean	Este campo só pode ser utilizado quando tipo = CLASSIC_PREVIEW. Quando definido como true, o Azure Databricks definirá automaticamente custom_tags, spark_conf e num_workers relacionados a um único nó
tipo	kind	ComputeKind
node_type_id	node_type_id	string	Este campo codifica, através de um único valor, os recursos disponíveis para cada um dos nós do Spark neste cluster. Por exemplo, os nós do Spark podem ser provisionados e otimizados para cargas de trabalho intensivas de memória ou computação. Uma lista de tipos de nó disponíveis pode ser obtida através da chamada à API :method:clusters/listNodeTypes.
num_workers	num_workers	integer	Número de nós de trabalho que este cluster deve possuir. Um cluster tem um Spark Driver e num_workers Executores para um total de num_workers + 1 nós Spark. Nota: Ao ler as propriedades de um cluster, este campo reflete o número desejado de trabalhadores em vez do número atual real de trabalhadores. Por exemplo, se um cluster for redimensionado de 5 para 10 trabalhadores, este campo será imediatamente atualizado para refletir o tamanho alvo de 10 trabalhadores, enquanto os trabalhadores listados em spark_info aumentarão gradualmente de 5 para 10 à medida que os novos nós forem provisionados.
policy_id	policy_id	string	A ID da política de cluster usada para criar o cluster, se aplicável.
runtime_engine	runtime_engine	ComputeRuntimeEngine
single_user_name	single_user_name	string	Nome de usuário único se data_security_mode estiver SINGLE_USER
spark_conf	spark_conf	object	Um objeto que contém um conjunto de pares opcionais de chave-valor de configuração do Spark especificados pelo usuário. Os usuários também podem passar uma sequência de opções JVM extras para o driver e os executores via spark.driver.extraJavaOptions e spark.executor.extraJavaOptions, respectivamente.
spark_env_vars	spark_env_vars	object	Um objeto que contém um conjunto de pares de chave-valor de variáveis de ambiente opcionais especificadas pelo utilizador. Observe que o par chave-valor do formulário (X,Y) será exportado como está (ou seja, exportar X='Y') ao iniciar o driver e os trabalhadores. Para especificar um conjunto adicional de SPARK_DAEMON_JAVA_OPTS, recomendamos anexá-los ao $SPARK_DAEMON_JAVA_OPTS, conforme mostrado no exemplo abaixo. Isso garante que todas as variáveis ambientais gerenciadas por databricks padrão também sejam incluídas. Exemplo de variáveis de ambiente do Spark: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} ou {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
spark_version	spark_version	string	A versão Spark do cluster, por exemplo, 3.3.x-scala2.11. Uma lista de versões disponíveis do Spark pode ser recuperada usando a chamada da API :method:clusters/sparkVersions.
ssh_public_keys	ssh_public_keys	array of string	Conteúdo de chave pública SSH que será adicionado a cada nó do Spark neste cluster. As chaves privadas correspondentes podem ser usadas para fazer login com o nome de usuário ubuntu na porta 2200. Até 10 chaves podem ser especificadas.
use_ml_runtime	use_ml_runtime	boolean	Este campo só pode ser utilizado quando tipo = CLASSIC_PREVIEW. effective_spark_version é determinado pelo spark_version (versão DBR), este campo use_ml_runtime e se node_type_id é nó gpu ou não.
workload_type	workload_type	ComputeWorkloadType

ComputeAutoScale

Name	Caminho	Tipo	Description
max_workers	max_workers	integer	O número máximo de trabalhadores para o qual o cluster pode ser dimensionado quando sobrecarregado. Observe que max_workers deve ser estritamente maior do que min_workers.
min_workers	min_workers	integer	O número mínimo de trabalhadores para o qual o cluster pode ser reduzido quando subutilizado. É também o número inicial de trabalhadores que o cluster terá após a criação.

ComputeAzureAttributes

Name	Caminho	Tipo	Description
disponibilidade	availability	ComputeAzureAvailability
first_on_demand	first_on_demand	integer	Os primeiros nós first_on_demand do cluster serão colocados em instâncias sob demanda. Esse valor deve ser maior que 0, para garantir que o nó do driver de cluster seja colocado em uma instância sob demanda. Se esse valor for maior ou igual ao tamanho atual do cluster, todos os nós serão colocados em instâncias sob demanda. Se esse valor for menor do que o tamanho atual do cluster, first_on_demand nós serão colocados em instâncias sob demanda e o restante será colocado em instâncias de disponibilidade. Observe que esse valor não afeta o tamanho do cluster e atualmente não pode ser mutado ao longo do tempo de vida de um cluster.
log_analytics_info	log_analytics_info	ComputeLogAnalyticsInfo
spot_bid_max_price	spot_bid_max_price	double	O preço máximo de lance a ser usado para instâncias spot do Azure. O preço máximo para o lance não pode ser maior do que o preço sob demanda da instância. Se não for especificado, o valor padrão será -1, que especifica que a instância não pode ser removida com base no preço e apenas com base na disponibilidade. Além disso, o valor deve > 0 ou -1.

ComputeAzureAvailability

string

ComputeLogAnalyticsInfo

Name	Caminho	Tipo	Description
log_analytics_primary_key	log_analytics_primary_key	string
log_analytics_workspace_id	log_analytics_workspace_id	string

ComputeClusterLogConf

Name	Caminho	Tipo	Description
DBFS	dbfs	ComputeDbfsStorageInfo
volumes	volumes	ComputeVolumesStorageInfo

ComputeDbfsStorageInfo

Name	Caminho	Tipo	Description
destino	destination	string	dbfs destino, por exemplo, dbfs:/my/path

ComputeVolumesStorageInfo

Name	Caminho	Tipo	Description
destino	destination	string	Destino dos volumes UC, por exemplo, /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh ou dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

ComputeDataSecurityMode

string

ComputeDockerImage

Name	Caminho	Tipo	Description
basic_auth	basic_auth	ComputeDockerBasicAuth
URL	url	string	URL da imagem do docker.

ComputeDockerBasicAuth

Name	Caminho	Tipo	Description
palavra-passe	password	string	Palavra-passe do utilizador
nome de utilizador	username	string	Nome do utilizador

ComputeInitScriptInfo

Name	Caminho	Tipo	Description
ABFSS	abfss	ComputeAdlsgen2Info
ficheiro	file	ComputeLocalFileInfo
GCS	gcs	ComputeGcsStorageInfo
volumes	volumes	ComputeVolumesStorageInfo
área de trabalho	workspace	ComputeWorkspaceStorageInfo

ComputeAdlsgen2Info

Name	Caminho	Tipo	Description
destino	destination	string	Destino abfss, por exemplo, abfss://< container-name>@<storage-account-name.dfs.core.windows.net/>< directory-name>.

ComputeLocalFileInfo

Name	Caminho	Tipo	Description
destino	destination	string	Destino do arquivo local, por exemplo, File:/my/local/file.sh

ComputeGcsStorageInfo

Name	Caminho	Tipo	Description
destino	destination	string	GCS destino/URI, por exemplo, gs://my-bucket/some-prefix

ComputeWorkspaceStorageInfo

Name	Caminho	Tipo	Description
destino	destination	string	Destino WSFS, por exemplo, workspace:/cluster-init-scripts/setup-datadog.sh

ComputeKind

string

ComputeRuntimeEngine

string

ComputeWorkloadType

Name	Caminho	Tipo	Description
clients	clients	ComputeClientsTypes

ComputeClientsTypes

Name	Caminho	Tipo	Description
jobs	jobs	boolean	Com trabalhos definidos, o cluster pode ser usado para trabalhos
Computadores portáteis	notebooks	boolean	Com blocos de notas definidos, este cluster pode ser utilizado para blocos de notas

JobsJobNotificationSettings

Name	Caminho	Tipo	Description
no_alert_for_canceled_runs	no_alert_for_canceled_runs	boolean	Se verdadeiro, não envie notificações aos destinatários especificados em on_failure se a execução for cancelada.
no_alert_for_skipped_runs	no_alert_for_skipped_runs	boolean	Se verdadeiro, não envie notificações aos destinatários especificados em on_failure se a execução for ignorada.

JobsJobParameterDefinition

Name	Caminho	Tipo	Description
predefinição	default	string	Valor padrão do parâmetro.
nome	name	string	O nome do parâmetro definido. Pode conter apenas caracteres alfanuméricos, _, -, e .

EmpregosJobRunAs

Name	Caminho	Tipo	Description
service_principal_name	service_principal_name	string	ID do aplicativo de uma entidade de serviço ativa. A definição deste campo requer a função servicePrincipal/user.
user_name	user_name	string	O e-mail de um usuário ativo do espaço de trabalho. Os utilizadores não administradores só podem definir este campo para o seu próprio e-mail.

JobsCronSchedule

Name	Caminho	Tipo	Description
pause_status	pause_status	JobsPauseStatus
quartz_cron_expression	quartz_cron_expression	string	Uma expressão Cron usando sintaxe Quartz que descreve o cronograma para um trabalho. Consulte Cron Trigger para obter detalhes. Este campo é obrigatório.
timezone_id	timezone_id	string	Um ID de fuso horário Java. O cronograma de um trabalho é resolvido em relação a esse fuso horário. Consulte Java TimeZone para obter detalhes. Este campo é obrigatório.

EmpregosTarefa

Name	Caminho	Tipo	Description
clean_rooms_notebook_task	clean_rooms_notebook_task	Object
condition_task	condition_task	JobsConditionTask
dashboard_task	dashboard_task	JobsDashboardTask
dbt_task	dbt_task	Object
depends_on	depends_on	array of JobsTaskDependency	Uma matriz opcional de objetos que especifica o gráfico de dependência da tarefa. Todas as tarefas especificadas neste campo devem ser concluídas antes de executar esta tarefa. A tarefa será executada somente se a condição run_if for verdadeira. A chave é task_key e o valor é o nome atribuído à tarefa dependente.
descrição	description	string	Uma descrição opcional para esta tarefa.
disable_auto_optimization	disable_auto_optimization	boolean	Uma opção para desativar a otimização automática no serverless
email_notifications	email_notifications	JobsTaskEmailNotifications
environment_key	environment_key	string	A chave que faz referência a uma especificação de ambiente em um trabalho. Este campo é necessário para tarefas de script Python, roda Python e dbt ao usar computação sem servidor.
existing_cluster_id	existing_cluster_id	string	Se existing_cluster_id, a ID de um cluster existente que é usado para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos executar trabalhos e tarefas em novos clusters para maior confiabilidade
for_each_task	for_each_task	JobsForEachTask
Saúde	health	JobsJobsHealthRules
job_cluster_key	job_cluster_key	string	Se job_cluster_key, essa tarefa é executada reutilizando o cluster especificado no job.settings.job_clusters.
libraries	libraries	array of ComputeLibrary	Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.
max_retries	max_retries	integer	Um número máximo opcional de vezes para tentar novamente uma execução malsucedida. Uma execução é considerada malsucedida se for concluída com a result_state ou INTERNAL_ERROR life_cycle_state FALHA. O valor -1 significa repetir indefinidamente e o valor 0 significa nunca mais tentar.
min_retry_interval_millis	min_retry_interval_millis	integer	Um intervalo mínimo opcional em milissegundos entre o início da execução com falha e a execução de repetição subsequente. O comportamento padrão é que as execuções malsucedidas são imediatamente repetidas.
new_cluster	new_cluster	ComputeClusterSpec
notebook_task	notebook_task	JobsNotebookTask
notification_settings	notification_settings	JobsTaskNotificationSettings
pipeline_task	pipeline_task	JobsPipelineTask
power_bi_task	power_bi_task	Object
python_wheel_task	python_wheel_task	JobsPythonWheelTask
retry_on_timeout	retry_on_timeout	boolean	Uma política opcional para especificar se um trabalho deve ser repetido quando ele expirar. O comportamento padrão é não repetir no tempo limite.
run_if	run_if	JobsRunIf
run_job_task	run_job_task	JobsRunJobTask
spark_jar_task	spark_jar_task	JobsSparkJarTask
spark_python_task	spark_python_task	JobsSparkPythonTask
spark_submit_task	spark_submit_task	JobsSparkSubmitTask
sql_task	sql_task	Object
task_key	task_key	string	Um nome exclusivo para a tarefa. Este campo é usado para se referir a esta tarefa de outras tarefas. Este campo é obrigatório e deve ser exclusivo dentro do trabalho pai. Em Atualizar ou Redefinir, esse campo é usado para fazer referência às tarefas a serem atualizadas ou redefinidas.
timeout_seconds	timeout_seconds	integer	Um tempo limite opcional aplicado a cada execução desta tarefa de trabalho. Um valor de 0 significa que não há tempo limite.
webhook_notifications	webhook_notifications	JobsWebhookNotifications

JobsConditionTask

Name	Caminho	Tipo	Description
esquerda	left	string	O operando esquerdo da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.
PO	op	JobsConditionTaskOp
Certo	right	string	O operando direito da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

JobsConditionTaskOp

string

JobsDashboardTask

Name	Caminho	Tipo	Description
dashboard_id	dashboard_id	string	O identificador do painel a ser atualizado.
subscrição	subscription	JobsSubscription
warehouse_id	warehouse_id	string	Opcional: O ID do depósito com o qual executar o painel para a agenda. Se não for especificado, o depósito padrão do painel será usado.

EmpregosSubscrição

Name	Caminho	Tipo	Description
custom_subject	custom_subject	string	Opcional: Permite que os usuários especifiquem uma linha de assunto personalizada no e-mail enviado aos assinantes.
pausado	paused	boolean	Quando verdadeiro, a assinatura não enviará e-mails.
Subscritores	subscribers	array of JobsSubscriptionSubscriber	A lista de assinantes para os quais enviar o instantâneo do painel.

JobsSubscriptionAssinante

Name	Caminho	Tipo	Description
destination_id	destination_id	string	Um instantâneo do painel será enviado para o destino quando o campo destination_id estiver presente.
user_name	user_name	string	Um instantâneo do painel será enviado para o e-mail do usuário quando o campo user_name estiver presente.

Fonte de empregos

string

JobsTaskDependency

Name	Caminho	Tipo	Description
Resultado	outcome	string	Só pode ser especificado em dependências de tarefas de condição. O resultado da tarefa dependente que deve ser cumprida para que essa tarefa seja executada.
task_key	task_key	string	O nome da tarefa da qual essa tarefa depende.

JobsTaskEmailNotifications

Name	Caminho	Tipo	Description
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of string	Uma lista de endereços de e-mail a serem notificados quando a duração de uma execução exceder o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Se nenhuma regra para a métrica RUN_DURATION_SECONDS for especificada no campo de integridade do trabalho, as notificações não serão enviadas.
on_failure	on_failure	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução for concluída sem êxito. Uma execução é considerada concluída sem êxito se terminar com um INTERNAL_ERROR life_cycle_state ou um FAILED, ou TIMED_OUT result_state. Se isso não for especificado na criação de trabalho, redefinição ou atualização, a lista estará vazia e as notificações não serão enviadas.
on_start	on_start	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução começar. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of string	Uma lista de endereços de e-mail para notificar quando quaisquer limites de lista de pendências de streaming forem excedidos para qualquer fluxo. Os limites da lista de pendências de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão reenviadas a cada 30 minutos.
on_success	on_success	array of string	Uma lista de endereços de e-mail a serem notificados quando uma execução for concluída com êxito. Uma execução é considerada concluída com êxito se terminar com um life_cycle_state TERMINADO e um result_state BEM-SUCEDIDO. Se não for especificado na criação, redefinição ou atualização do trabalho, a lista estará vazia e as notificações não serão enviadas.

Biblioteca de Computação

Name	Caminho	Tipo	Description
Guindaste	cran	ComputeRCranLibrary
frasco	jar	string	URI da biblioteca JAR a instalar. Os URIs suportados incluem caminhos de espaço de trabalho, caminhos de volumes de catálogo Unity e URIs ADLS. Por exemplo: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } ou { "jar": "abfss://my-bucket/library.jar" }. Se o ADLS for usado, verifique se o cluster tem acesso de leitura na biblioteca. Talvez seja necessário iniciar o cluster com uma entidade de serviço Microsoft Entra ID para acessar o URI do ADLS.
Maven	maven	ComputeMavenLibrary
PYPI	pypi	ComputePythonPyPiLibrary
Requerimentos	requirements	string	URI do arquivo requirements.txt a ser instalado. Somente caminhos de espaço de trabalho e caminhos de volumes de catálogo Unity são suportados. Por exemplo: { "requisitos": "/Workspace/path/to/requirements.txt" } ou { "requisitos" : "/Volumes/path/to/requirements.txt" }
WHL	whl	string	URI da biblioteca de rodas a instalar. Os URIs suportados incluem caminhos de espaço de trabalho, caminhos de volumes de catálogo Unity e URIs ADLS. Por exemplo: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } ou { "whl": "abfss://my-bucket/library.whl" }. Se o ADLS for usado, verifique se o cluster tem acesso de leitura na biblioteca. Talvez seja necessário iniciar o cluster com uma entidade de serviço Microsoft Entra ID para acessar o URI do ADLS.

JobsForEachTask

Name	Caminho	Tipo	Description
simultaneidade	concurrency	integer	Um número máximo permitido opcional de execuções simultâneas da tarefa. Defina esse valor se quiser ser capaz de executar várias execuções da tarefa simultaneamente.
Insumos	inputs	string	Matriz para tarefa a ser iterada. Isso pode ser uma cadeia de caracteres JSON ou uma referência a um parâmetro de matriz.
tarefa	task	Object

ComputeRCranLibrary

Name	Caminho	Tipo	Description
pacote	package	string	O nome do pacote CRAN a ser instalado.
repositório	repo	string	O repositório onde o pacote pode ser encontrado. Se não for especificado, o repositório CRAN padrão será usado.

ComputeMavenLibrary

Name	Caminho	Tipo	Description
coordenadas	coordinates	string	Coordenadas maven estilo Gradle. Por exemplo: "org.jsoup:jsoup:1.7.2".
Exclusões	exclusions	array of string	Lista de dependências a excluir. Por exemplo: ["slf4j:slf4j", "*:hadoop-client"]. Exclusões de dependência Maven: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.
repositório	repo	string	Maven repo para instalar o pacote Maven a partir de. Se omitido, o Maven Central Repository e o Spark Packages serão pesquisados.

ComputePythonPyPiLibrary

Name	Caminho	Tipo	Description
pacote	package	string	O nome do pacote pypi a ser instalado. Uma especificação de versão exata opcional também é suportada. Exemplos: "simplejson" e "simplejson==3.8.0".
repositório	repo	string	O repositório onde o pacote pode ser encontrado. Se não for especificado, o índice pip padrão será usado.

JobsNotebookTask

Name	Caminho	Tipo	Description
base_parameters	base_parameters	object	Parâmetros básicos a serem usados para cada execução deste trabalho. Se a execução for iniciada por uma chamada para :method:jobs/run Now com parâmetros especificados, os dois mapas de parâmetros serão mesclados. Se a mesma chave for especificada em base_parameters e em run-now, o valor de run-now será usado. Use variáveis de parâmetro Task para definir parâmetros contendo informações sobre execuções de trabalho. Se o bloco de anotações usar um parâmetro que não esteja especificado no base_parameters do trabalho ou nos parâmetros de substituição run-now, o valor padrão do bloco de anotações será usado. Recupere esses parâmetros em um bloco de anotações usando dbutils.widgets.get. A representação JSON deste campo não pode exceder 1MB.
notebook_path	notebook_path	string	O caminho do bloco de anotações a ser executado no espaço de trabalho do Azure Databricks ou no repositório remoto. Para blocos de anotações armazenados no espaço de trabalho do Azure Databricks, o caminho deve ser absoluto e começar com uma barra. Para blocos de anotações armazenados em um repositório remoto, o caminho deve ser relativo. Este campo é obrigatório.
origem	source	JobsSource
warehouse_id	warehouse_id	string	Opcional warehouse_id executar o bloco de anotações em um depósito SQL. Armazéns SQL clássicos NÃO são suportados, use armazéns SQL sem servidor ou pro SQL. Observe que os armazéns SQL suportam apenas células SQL; se o bloco de anotações contiver células não SQL, a execução falhará.

JobsTaskNotificationSettings

Name	Caminho	Tipo	Description
alert_on_last_attempt	alert_on_last_attempt	boolean	Se verdadeiro, não envie notificações aos destinatários especificados em on_start para as execuções repetidas e não envie notificações aos destinatários especificados no on_failure até a última repetição da execução.
no_alert_for_canceled_runs	no_alert_for_canceled_runs	boolean	Se verdadeiro, não envie notificações aos destinatários especificados em on_failure se a execução for cancelada.
no_alert_for_skipped_runs	no_alert_for_skipped_runs	boolean	Se verdadeiro, não envie notificações aos destinatários especificados em on_failure se a execução for ignorada.

JobsPipelineTask

Name	Caminho	Tipo	Description
full_refresh	full_refresh	boolean	Se verdadeiro, dispara uma atualização completa na tabela delta live.
pipeline_id	pipeline_id	string	O nome completo da tarefa de pipeline a ser executada.

JobsPythonWheelTask

Name	Caminho	Tipo	Description
entry_point	entry_point	string	Ponto de entrada nomeado para usar, se não existir nos metadados do pacote, ele executa a função do pacote diretamente usando $packageName.$entryPoint()
named_parameters	named_parameters	object	Parâmetros de linha de comando passados para a tarefa de roda Python na forma de ["--name=task", "--data=dbfs:/path/to/data.json"]. Deixe-o vazio se os parâmetros não forem nulos.
package_name	package_name	string	Nome do pacote a ser executado
parameters	parameters	array of string	Parâmetros de linha de comando passados para a tarefa de roda do Python. Deixe-o vazio se named_parameters não for nulo.

JobsRunIf

string

JobsRunJobTask

Name	Caminho	Tipo	Description
job_id	job_id	integer	ID do trabalho a ser acionado.
job_parameters	job_parameters	object	Parâmetros de nível de trabalho usados para disparar o trabalho.
pipeline_params	pipeline_params	JobsPipelineParams

JobsSparkJarTask

Name	Caminho	Tipo	Description
main_class_name	main_class_name	string	O nome completo da classe que contém o método principal a ser executado. Essa classe deve estar contida em um JAR fornecido como uma biblioteca. O código deve usar SparkContext.getOrCreate para obter um contexto Spark; caso contrário, as execuções do trabalho falharão.
parameters	parameters	array of string	Parâmetros passados para o método principal. Use variáveis de parâmetro Task para definir parâmetros contendo informações sobre execuções de trabalho.

JobsSparkPythonTask

Name	Caminho	Tipo	Description
parameters	parameters	array of string	Parâmetros de linha de comando passados para o arquivo Python. Use variáveis de parâmetro Task para definir parâmetros contendo informações sobre execuções de trabalho.
python_file	python_file	string	O arquivo Python a ser executado. Há suporte para URIs de arquivos na nuvem (como dbfs:/, s3:/, adls:/, gcs:/) e caminhos de espaço de trabalho. Para arquivos python armazenados no espaço de trabalho do Azure Databricks, o caminho deve ser absoluto e começar com /. Para arquivos armazenados em um repositório remoto, o caminho deve ser relativo. Este campo é obrigatório.
origem	source	JobsSource

JobsSparkSubmitTask

Name	Caminho	Tipo	Description
parameters	parameters	array of string	Parâmetros de linha de comando passados para envio de faísca. Use variáveis de parâmetro Task para definir parâmetros contendo informações sobre execuções de trabalho.

JobsWebhookNotifications

Name	Caminho	Tipo	Description
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of JobsWebhook	Uma lista opcional de IDs de notificação do sistema a serem chamadas quando a duração de uma execução exceder o limite especificado para a métrica RUN_DURATION_SECONDS no campo de integridade. Um máximo de 3 destinos podem ser especificados para a propriedade on_duration_warning_threshold_exceeded.
on_failure	on_failure	array of JobsWebhook	Uma lista opcional de IDs de notificação do sistema para chamar quando a execução falhar. Um máximo de 3 destinos podem ser especificados para a propriedade on_failure.
on_start	on_start	array of JobsWebhook	Uma lista opcional de IDs de notificação do sistema para chamar quando a execução for iniciada. Um máximo de 3 destinos podem ser especificados para o on_start propriedade.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of JobsWebhook	Uma lista opcional de IDs de notificação do sistema para chamar quando os limites da lista de pendências de streaming forem excedidos para qualquer fluxo. Os limites da lista de pendências de streaming podem ser definidos no campo de integridade usando as seguintes métricas: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS ou STREAMING_BACKLOG_FILES. O alerta é baseado na média de 10 minutos dessas métricas. Se o problema persistir, as notificações serão reenviadas a cada 30 minutos. Um máximo de 3 destinos podem ser especificados para a propriedade on_streaming_backlog_exceeded.
on_success	on_success	array of JobsWebhook	Uma lista opcional de IDs de notificação do sistema para chamar quando a execução for concluída com êxito. Um máximo de 3 destinos podem ser especificados para o on_success propriedade.

EmpregosWebhook

Name	Caminho	Tipo	Description
id	id	string

JobsTriggerSettings

Name	Caminho	Tipo	Description
file_arrival	file_arrival	JobsFileArrivalTriggerConfiguration
pause_status	pause_status	JobsPauseStatus
periódicos	periodic	JobsPeriodicTriggerConfiguration

JobsFileArrivalTriggerConfiguration

Name	Caminho	Tipo	Description
min_time_between_triggers_seconds	min_time_between_triggers_seconds	integer	Se definido, o gatilho inicia uma execução somente após a quantidade especificada de tempo decorrido desde a última vez que o gatilho foi acionado. O valor mínimo permitido é de 60 segundos
URL	url	string	URL a ser monitorado para chegadas de arquivos. O caminho deve apontar para a raiz ou um subcaminho do local externo.
wait_after_last_change_seconds	wait_after_last_change_seconds	integer	Se definido, o gatilho inicia uma execução somente depois que nenhuma atividade de arquivo tiver ocorrido durante o período de tempo especificado. Isso torna possível aguardar a chegada de um lote de arquivos de entrada antes de acionar uma execução. O valor mínimo permitido é de 60 segundos.

JobsPeriodicTriggerConfiguration

Name	Caminho	Tipo	Description
intervalo	interval	integer	O intervalo no qual o gatilho deve ser executado.
unidade	unit	JobsPeriodicTriggerConfigurationTimeUnit

JobsPeriodicTriggerConfigurationTimeUnit

string

JobsTriggerStateProto

Name	Caminho	Tipo	Description
file_arrival	file_arrival	JobsFileArrivalTriggerState

JobsFileArrivalTriggerState

Name	Caminho	Tipo	Description
using_file_events	using_file_events	boolean	Indica se o gatilho aproveita eventos de arquivo para detetar chegadas de arquivos.

JobsRun

Name	Caminho	Tipo	Description
attempt_number	attempt_number	integer	O número de sequência dessa tentativa de execução para uma execução de trabalho acionada. A tentativa inicial de uma corrida tem um attempt_number de 0. Se a tentativa de execução inicial falhar e o trabalho tiver uma política de repetição (max_retries > 0), as execuções subsequentes serão criadas com uma original_attempt_run_id da ID da tentativa original e um incremento attempt_number. As execuções são repetidas apenas até serem bem-sucedidas, e o attempt_number máximo é o mesmo que o valor max_retries para o trabalho.
cleanup_duration	cleanup_duration	integer	O tempo, em milissegundos, necessário para encerrar o cluster e limpar todos os artefatos associados. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo cleanup_duration é definido como 0 para execuções de trabalho multitarefa. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
cluster_instance	cluster_instance	JobsClusterInstance
cluster_spec	cluster_spec	JobsClusterSpec
creator_user_name	creator_user_name	string	O nome de usuário do criador. Este campo não será incluído na resposta se o utilizador já tiver sido eliminado.
descrição	description	string	Descrição da corrida
effective_performance_target	effective_performance_target	JobsPerformanceTarget
hora de fim	end_time	integer	A hora em que esta corrida terminou em milissegundos de época (milissegundos desde 1/1/1970 UTC). Este campo é definido como 0 se o trabalho ainda estiver em execução.
execution_duration	execution_duration	integer	O tempo em milissegundos que levou para executar os comandos no JAR ou no bloco de anotações até que eles fossem concluídos, falhassem, expirassem, fossem cancelados ou encontrassem um erro inesperado. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo execution_duration é definido como 0 para execuções de trabalho multitarefa. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
git_source	git_source	JobsGitSource
tem_mais	has_more	boolean	Indica se a execução tem mais propriedades de matriz (tarefas, job_clusters) que não são mostradas. Eles podem ser acessados via :method:jobs/getrun endpoint. Só é relevante para solicitações API 2.2 :method:jobs/listruns com expand_tasks=true.
job_clusters	job_clusters	array of JobsJobCluster	Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizadas entre tarefas deste trabalho. As bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefas. Se mais de 100 clusters de trabalho estiverem disponíveis, você poderá paginar através deles usando :method:jobs/getrun.
job_id	job_id	integer	O identificador canônico do trabalho que contém essa execução.
job_parameters	job_parameters	array of JobsJobParameter	Parâmetros de nível de trabalho usados na execução
job_run_id	job_run_id	integer	ID da execução do trabalho a que esta execução pertence. Para execuções de trabalho herdado e de tarefa única, o campo é preenchido com o ID de execução do trabalho. Para execuções de tarefas, o campo é preenchido com a ID da execução da tarefa à qual a tarefa é executada.
next_page_token	next_page_token	string	Um token que pode ser usado para listar a próxima página de propriedades da matriz.
original_attempt_run_id	original_attempt_run_id	integer	Se esta execução for uma repetição de uma tentativa de execução anterior, este campo contém o run_id da tentativa original; caso contrário, é o mesmo que o run_id.
overriding_parameters	overriding_parameters	JobsRunParameters
queue_duration	queue_duration	integer	O tempo, em milissegundos, que a execução passou na fila.
repair_history	repair_history	array of JobsRepairHistoryItem	O histórico de reparos da corrida.
run_duration	run_duration	integer	O tempo, em milissegundos, levou a execução do trabalho e todos os seus reparos para terminar.
run_id	run_id	integer	O identificador canônico da execução. Esse ID é exclusivo em todas as execuções de todos os trabalhos.
run_name	run_name	string	Um nome opcional para a execução. O comprimento máximo é de 4096 bytes na codificação UTF-8.
run_page_url	run_page_url	string	O URL para a página de detalhes da execução.
tipo_de_execução	run_type	JobsRunType
cronograma	schedule	JobsCronSchedule
setup_duration	setup_duration	integer	O tempo, em milissegundos, necessário para configurar o cluster. Para execuções executadas em novos clusters, este é o tempo de criação do cluster, para execuções executadas em clusters existentes, esse tempo deve ser muito curto. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo setup_duration é definido como 0 para execuções de tarefas multitarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
hora_de_início	start_time	integer	A hora em que esta corrida foi iniciada em milissegundos de época (milissegundos desde 1/1/1970 UTC). Este pode não ser o momento em que a tarefa de trabalho começa a ser executada, por exemplo, se o trabalho estiver agendado para ser executado em um novo cluster, esse é o momento em que a chamada de criação de cluster é emitida.
estado	status	JobsRunStatus
tasks	tasks	array of JobsRunTask	A lista de tarefas executadas pela execução. Cada tarefa tem seu próprio run_id que você pode usar para chamar JobsGetOutput para recuperar os resutls de execução. Se mais de 100 tarefas estiverem disponíveis, você poderá paginar através delas usando :method:jobs/getrun. Use o campo next_page_token na raiz do objeto para determinar se mais resultados estão disponíveis.
accionador	trigger	JobsTriggerType
trigger_info	trigger_info	JobsTriggerInfo

JobsClusterInstance

Name	Caminho	Tipo	Description
cluster_id	cluster_id	string	O identificador canônico para o cluster usado por uma execução. Este campo está sempre disponível para execuções em clusters existentes. Para execuções em novos clusters, ele fica disponível assim que o cluster é criado. Esse valor pode ser usado para exibir logs navegando até /#setting/sparkui/$cluster_id/driver-logs. Os logs continuam disponíveis após a conclusão da execução. A resposta não incluirá este campo se o identificador ainda não estiver disponível.
spark_context_id	spark_context_id	string	O identificador canônico para o contexto do Spark usado por uma execução. Este campo é preenchido assim que a execução começa. Esse valor pode ser usado para exibir a interface do usuário do Spark navegando até /#setting/sparkui/$cluster_id/$spark_context_id. A interface do usuário do Spark continua disponível após a conclusão da execução. A resposta não incluirá este campo se o identificador ainda não estiver disponível.

JobsClusterSpec

Name	Caminho	Tipo	Description
existing_cluster_id	existing_cluster_id	string	Se existing_cluster_id, a ID de um cluster existente que é usado para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos executar trabalhos e tarefas em novos clusters para maior confiabilidade
job_cluster_key	job_cluster_key	string	Se job_cluster_key, essa tarefa é executada reutilizando o cluster especificado no job.settings.job_clusters.
libraries	libraries	array of ComputeLibrary	Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.
new_cluster	new_cluster	ComputeClusterSpec

JobsJobParameter

Name	Caminho	Tipo	Description
predefinição	default	string	O valor padrão opcional do parâmetro
nome	name	string	O nome do parâmetro
valor	value	string	O valor usado na execução

JobsRunParameters

Name	Caminho	Tipo	Description
pipeline_params	pipeline_params	JobsPipelineParams

JobsRepairHistoryItem

Name	Caminho	Tipo	Description
effective_performance_target	effective_performance_target	JobsPerformanceTarget
hora de fim	end_time	integer	A hora de término da execução (reparada).
id	id	integer	O ID da reparação. Apenas devolvido para os itens que representam um reparo no repair_history.
hora_de_início	start_time	integer	A hora de início da execução (reparada).
estado	status	JobsRunStatus
task_run_ids	task_run_ids	array of integer	As IDs de execução da tarefa são executadas como parte desse item do histórico de reparos.
tipo	type	JobsRepairHistoryItemType

JobsRunStatus

Name	Caminho	Tipo	Description
queue_details	queue_details	JobsQueueDetails
state	state	JobsRunLifecycleStateV2State
termination_details	termination_details	JobsTerminationDetails

JobsQueueDetails

Name	Caminho	Tipo	Description
código	code	JobsQueueDetailsCodeCode
mensagem	message	string	Uma mensagem descritiva com os detalhes da fila. Este campo não está estruturado e o seu formato exato está sujeito a alterações.

JobsQueueDetailsCodeCode

string

JobsRunLifecycleStateV2State

string

JobsTerminationDetalhes

Name	Caminho	Tipo	Description
código	code	JobsTerminationCodeCode
mensagem	message	string	Uma mensagem descritiva com os detalhes da terminação. Este campo não está estruturado e o formato pode mudar.
tipo	type	JobsTerminationTypeType

JobsTerminationCodeCode

string

JobsTerminationTypeType

string

JobsRepairHistoryItemType

string

JobsRunType

string

JobsRunTask

Name	Caminho	Tipo	Description
attempt_number	attempt_number	integer	O número de sequência dessa tentativa de execução para uma execução de trabalho acionada. A tentativa inicial de uma corrida tem um attempt_number de 0. Se a tentativa de execução inicial falhar e o trabalho tiver uma política de repetição (max_retries > 0), as execuções subsequentes serão criadas com uma original_attempt_run_id da ID da tentativa original e um incremento attempt_number. As execuções são repetidas apenas até serem bem-sucedidas, e o attempt_number máximo é o mesmo que o valor max_retries para o trabalho.
clean_rooms_notebook_task	clean_rooms_notebook_task	Object
cleanup_duration	cleanup_duration	integer	O tempo, em milissegundos, necessário para encerrar o cluster e limpar todos os artefatos associados. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo cleanup_duration é definido como 0 para execuções de trabalho multitarefa. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
cluster_instance	cluster_instance	JobsClusterInstance
condition_task	condition_task	JobsRunConditionTask
dashboard_task	dashboard_task	Object
dbt_task	dbt_task	Object
depends_on	depends_on	array of JobsTaskDependency	Uma matriz opcional de objetos que especifica o gráfico de dependência da tarefa. Todas as tarefas especificadas neste campo devem ser concluídas com êxito antes de executar esta tarefa. A chave é task_key e o valor é o nome atribuído à tarefa dependente.
descrição	description	string	Uma descrição opcional para esta tarefa.
effective_performance_target	effective_performance_target	JobsPerformanceTarget
email_notifications	email_notifications	JobsJobEmailNotifications
hora de fim	end_time	integer	A hora em que esta corrida terminou em milissegundos de época (milissegundos desde 1/1/1970 UTC). Este campo é definido como 0 se o trabalho ainda estiver em execução.
environment_key	environment_key	string	A chave que faz referência a uma especificação de ambiente em um trabalho. Este campo é necessário para tarefas de script Python, roda Python e dbt ao usar computação sem servidor.
execution_duration	execution_duration	integer	O tempo em milissegundos que levou para executar os comandos no JAR ou no bloco de anotações até que eles fossem concluídos, falhassem, expirassem, fossem cancelados ou encontrassem um erro inesperado. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo execution_duration é definido como 0 para execuções de trabalho multitarefa. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
existing_cluster_id	existing_cluster_id	string	Se existing_cluster_id, a ID de um cluster existente que é usado para todas as execuções. Ao executar trabalhos ou tarefas em um cluster existente, talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. Sugerimos executar trabalhos e tarefas em novos clusters para maior confiabilidade
for_each_task	for_each_task	Object
git_source	git_source	JobsGitSource
job_cluster_key	job_cluster_key	string	Se job_cluster_key, essa tarefa é executada reutilizando o cluster especificado no job.settings.job_clusters.
libraries	libraries	array of Object	Uma lista opcional de bibliotecas a serem instaladas no cluster. O valor padrão é uma lista vazia.
new_cluster	new_cluster	Object
notebook_task	notebook_task	JobsNotebookTask
notification_settings	notification_settings	Object
pipeline_task	pipeline_task	Object
power_bi_task	power_bi_task	Object
python_wheel_task	python_wheel_task	Object
queue_duration	queue_duration	integer	O tempo, em milissegundos, que a execução passou na fila.
resolved_values	resolved_values	JobsResolvedValues
run_duration	run_duration	integer	O tempo, em milissegundos, levou a execução do trabalho e todos os seus reparos para terminar.
run_id	run_id	integer	A ID da tarefa executada.
run_if	run_if	JobsRunIf
run_job_task	run_job_task	JobsRunJobTask
run_page_url	run_page_url	string
setup_duration	setup_duration	integer	O tempo, em milissegundos, necessário para configurar o cluster. Para execuções executadas em novos clusters, este é o tempo de criação do cluster, para execuções executadas em clusters existentes, esse tempo deve ser muito curto. A duração de uma execução de tarefa é a soma dos setup_duration, execution_duration e cleanup_duration. O campo setup_duration é definido como 0 para execuções de tarefas multitarefas. A duração total de uma execução de trabalho multitarefa é o valor do campo run_duration.
spark_jar_task	spark_jar_task	Object
spark_python_task	spark_python_task	Object
spark_submit_task	spark_submit_task	Object
sql_task	sql_task	Object
hora_de_início	start_time	integer	A hora em que esta corrida foi iniciada em milissegundos de época (milissegundos desde 1/1/1970 UTC). Este pode não ser o momento em que a tarefa de trabalho começa a ser executada, por exemplo, se o trabalho estiver agendado para ser executado em um novo cluster, esse é o momento em que a chamada de criação de cluster é emitida.
estado	status	JobsRunStatus
task_key	task_key	string	Um nome exclusivo para a tarefa. Este campo é usado para se referir a esta tarefa de outras tarefas. Este campo é obrigatório e deve ser exclusivo dentro do trabalho pai. Em Atualizar ou Redefinir, esse campo é usado para fazer referência às tarefas a serem atualizadas ou redefinidas.
timeout_seconds	timeout_seconds	integer	Um tempo limite opcional aplicado a cada execução desta tarefa de trabalho. Um valor de 0 significa que não há tempo limite.
webhook_notifications	webhook_notifications	Object

JobsRunConditionTask

Name	Caminho	Tipo	Description
esquerda	left	string	O operando esquerdo da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.
PO	op	JobsConditionTaskOp
Resultado	outcome	string	O resultado da avaliação da expressão da condição. Preenchido se a tarefa foi concluída com êxito. Pode ser "verdadeiro" ou "falso"
Certo	right	string	O operando direito da tarefa de condição. Pode ser um valor de cadeia de caracteres ou um estado de trabalho ou referência de parâmetro.

JobsTriggerType

string

JobsTriggerInfo

Name	Caminho	Tipo	Description
run_id	run_id	integer	A id de execução da tarefa Executar Trabalho

JobsRunOutput

Name	Caminho	Tipo	Description
clean_rooms_notebook_output	clean_rooms_notebook_output	Object
dashboard_output	dashboard_output	Object
dbt_output	dbt_output	Object
erro	error	string	Uma mensagem de erro indicando por que uma tarefa falhou ou por que a saída não está disponível. A mensagem não está estruturada e o seu formato exato está sujeito a alterações.
error_trace	error_trace	string	Se houve um erro ao executar a execução, este campo contém todos os rastreamentos de pilha disponíveis.
info	info	string
registos	logs	string	A saída de tarefas que gravam em fluxos padrão (stdout/stderr), como spark_jar_task, spark_python_task, python_wheel_task. Não é suportado para o notebook_task, pipeline_task ou spark_submit_task. O Azure Databricks restringe essa API para retornar os últimos 5 MB desses logs.
logs_truncated	logs_truncated	boolean	Se os logs estão truncados.
metadados	metadata	Object
notebook_output	notebook_output	JobsNotebookOutput
run_job_output	run_job_output	JobsRunJobOutput
sql_output	sql_output	Object

JobsNotebookOutput

Name	Caminho	Tipo	Description
Resultado	result	string	O valor passado para dbutils.notebook.exit(). O Azure Databricks restringe essa API para retornar os primeiros 5 MB do valor. Para um resultado maior, seu trabalho pode armazenar os resultados em um serviço de armazenamento em nuvem. Este campo estará ausente se dbutils.notebook.exit() nunca tiver sido chamado.
truncado	truncated	boolean	Se o resultado foi truncado ou não.

JobsRunJobOutput

Name	Caminho	Tipo	Description
run_id	run_id	integer	A id de execução da execução do trabalho acionado

JobsResolvedValues

Name	Caminho	Tipo	Description
condition_task	condition_task	JobsResolvedConditionTaskValues
dbt_task	dbt_task	JobsResolvedDbtTaskValues
notebook_task	notebook_task	JobsResolvedNotebookTaskValues
python_wheel_task	python_wheel_task	JobsResolvedPythonWheelTaskValues
run_job_task	run_job_task	JobsResolvedRunJobTaskValues
simulation_task	simulation_task	JobsResolvedParamPairValues
spark_jar_task	spark_jar_task	JobsResolvedStringParamsValues
spark_python_task	spark_python_task	JobsResolvedStringParamsValues
spark_submit_task	spark_submit_task	JobsResolvedStringParamsValues
sql_task	sql_task	JobsResolvedParamPairValues

JobsResolvedConditionTaskValues

Name	Caminho	Tipo	Description
esquerda	left	string
Certo	right	string

JobsResolvedDbtTaskValues

Name	Caminho	Tipo	Description
comandos	commands	array of string

JobsResolvedNotebookTaskValues

Name	Caminho	Tipo	Description
base_parameters	base_parameters	object

JobsResolvedPythonWheelTaskValues

Name	Caminho	Tipo	Description
named_parameters	named_parameters	object
parameters	parameters	array of string

JobsResolvedRunJobTaskValues

Name	Caminho	Tipo	Description
job_parameters	job_parameters	object
parameters	parameters	object

JobsResolvedParamPairValues

Name	Caminho	Tipo	Description
parameters	parameters	object

JobsResolvedStringParamsValues

Name	Caminho	Tipo	Description
parameters	parameters	array of string