Compartilhar via

Referência da tabela do sistema de trabalhos

  • Artigo

Importante

Esse recurso está em uma versão prévia.

Este artigo fornece uma referência de como usar as tabelas do sistema workflow para monitorar trabalhos na sua conta. Essas tabelas incluem registros de todos os espaços de trabalho na sua conta implantados na mesma região de nuvem. Para ver registros de outras regiões, você precisa exibir as tabelas de um espaço de trabalho implantado nessa região.

O system.workflow deve ser habilitado por um administrador de conta. Você pode habilitá-lo usando a API SystemSchemas.

Para obter exemplos sobre como usar essas tabelas para a observabilidade de integridade e custo do trabalho, consulte Monitorar custos de trabalho com tabelas do sistema.

Tabelas de trabalho disponíveis

Todas as tabelas de sistema relacionadas a trabalhos residem no esquema system.workflow. Atualmente, o esquema hospeda quatro tabelas:

  • jobs: controla a criação, a exclusão e as informações básicas dos trabalhos.
  • job_tasks: controla a criação, a exclusão e as informações básicas das tarefas de trabalho.
  • job_run_timeline: registra o estado inicial, final e resultante das execuções de trabalho.
  • job_task_run_timeline: registra o estado inicial, final e resultante das tarefas de trabalho.

Esquema de tabela de trabalho

A tabela de jobs é uma tabela de dimensão de alteração lenta. Quando uma linha é alterada, uma nova linha é emitida, substituindo logicamente a anterior.

A tabela usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição
account_id string A ID da conta à qual este trabalho pertence.
workspace_id string A ID do espaço de trabalho ao qual este trabalho pertence.
job_id string A ID do trabalho. Essa chave só é exclusiva em um único workspace.
name string O nome fornecido pelo usuário do trabalho.
creator_id string A ID da entidade de segurança que criou o trabalho.
tags string As marcas personalizadas fornecidas pelo usuário associadas a este trabalho.
change_time timestamp A hora em que o trabalho foi modificado pela última vez.
delete_time timestamp A hora em que o trabalho foi excluído pelo usuário.
run_as string A ID do usuário ou da entidade de serviço cujas permissões são usadas para a execução do trabalho.

Esquema da tabela da tarefa de trabalho

A tabela de job_tasks é uma tabela de dimensão de alteração lenta. Quando uma linha é alterada, uma nova linha é emitida, substituindo logicamente a anterior.

A tabela usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição
account_id string A ID da conta à qual este trabalho pertence.
workspace_id string A ID do espaço de trabalho ao qual este trabalho pertence.
job_id string A ID do trabalho. Essa chave só é exclusiva em um único workspace.
task_key string A chave de referência para uma tarefa em um trabalho. Essa chave só é exclusiva em um único trabalho.
depends_on_keys matriz As chaves de tarefa de todas as dependências upstream dessa tarefa.
change_time timestamp A hora em que a tarefa foi modificada pela última vez.
delete_time timestamp A hora em que uma tarefa foi excluída pelo usuário.

Esquema da tabela da linha do tempo de execução do trabalho

A tabela job_run_timeline é imutável e concluída no momento em que é produzida.

A tabela usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição
account_id string A ID da conta à qual este trabalho pertence.
workspace_id string A ID do espaço de trabalho ao qual este trabalho pertence.
job_id string A ID do trabalho. Essa chave só é exclusiva em um único workspace.
run_id string A ID da execução do trabalho.
period_start_time timestamp A hora de início da execução ou do período.
period_end_time timestamp A hora de término da execução ou do período.
trigger_type string O tipo de gatilho que pode disparar uma execução.
result_state string O resultado da execução do trabalho. Veja os valores possíveis abaixo desta tabela.

Os valores possíveis para a coluna result_state são:

  • SUCCEEDED
  • FAILED
  • SKIPPED
  • CANCELLED
  • TIMED_OUT
  • ERROR
  • BLOCKED

Os valores possíveis para a coluna trigger_type são:

  • CONTINUOUS
  • CRON
  • FILE_ARRIVAL
  • ONETIME
  • ONETIME_RETRY

Esquema da tabela da linha do tempo de execução da tarefa de trabalho

A tabela job_task_run_timeline é imutável e concluída no momento em que é produzida.

A tabela usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição
account_id string A ID da conta à qual este trabalho pertence.
workspace_id string A ID do espaço de trabalho ao qual este trabalho pertence.
job_id string A ID do trabalho. Essa chave só é exclusiva em um único workspace.
run_id string A ID da execução da tarefa.
period_start_time timestamp A hora de início da tarefa ou do período.
period_end_time timestamp A hora de término da tarefa ou do período.
task_key string A chave de referência para uma tarefa em um trabalho. Essa chave só é exclusiva em um único trabalho.
compute_ids matriz Matriz que contém as IDs dos warehouses SQL que não são sem servidor e da computação de Trabalhos que não são sem servidor usados pela tarefa de trabalho.
result_state string O resultado da execução da tarefa de trabalho.

Os valores possíveis para a coluna result_state são:

  • SUCCEEDED
  • FAILED
  • SKIPPED
  • CANCELLED
  • TIMED_OUT
  • ERROR
  • BLOCKED

Consultas de exemplo

Esta seção inclui consultas de exemplo que você pode usar para aproveitar ao máximo as tabelas de fluxo de trabalho.

Obter a versão mais recente dos trabalhos

Como as tabelas jobs e job_tasks estão mudando lentamente as tabelas de dimensão, um novo registro é criado sempre que uma alteração é feita. Para obter a versão mais recente de um trabalho, você pode solicitar pela coluna change_time.

SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.workflow.jobs QUALIFY rn=1

Contagem diária de trabalhos por espaço de trabalho

Essa consulta obtém a contagem diária de trabalhos por espaço de trabalho nos últimos 7 dias:

SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  to_date(period_start_time) as date
FROM system.workflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

Distribuição diária de status do trabalho por espaço de trabalho

Essa consulta retorna a contagem diária de trabalhos por espaço de trabalho dos últimos 7 dias, distribuída pelo resultado da execução do trabalho. A consulta remove todos os registros em que os trabalhos estão em um estado pendente ou em execução.

SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  result_state,
  to_date(period_start_time) as date
FROM system.workflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

Visão geral dos trabalhos de execução mais longa

Essa consulta retorna o tempo médio de execuções do trabalho, medido em segundos. Os registros são organizados por trabalho. Uma coluna superior de 90 e 95 percentil mostra os comprimentos médios das execuções mais longas do trabalho.

with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.workflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
),
most_recent_jobs as (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM
    system.workflow.jobs QUALIFY rn=1
)
SELECT
    t1.workspace_id,
    t1.job_id,
    first(t2.name, TRUE) as name,
    COUNT(DISTINCT t1.run_id) as runs,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    job_run_duration t1
    LEFT OUTER JOIN most_recent_jobs t2 USING (workspace_id, job_id)
GROUP BY ALL
ORDER BY mean_seconds DESC
LIMIT 100

Análise de execução do trabalho

Essa consulta fornece um runtime histórico para um trabalho específico. Para que a consulta funcione, você deve definir um workspace_id e job_id.

Você também pode editar o período para análise atualizando a quantidade de dias na seção INTERVAL 60 DAYS.

with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        min(period_start_time) as run_start,
        max(period_start_time) as run_end,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration,
        FIRST(result_state, TRUE) as result_state
    FROM
        system.workflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 60 DAYS
      AND workspace_id={workspace_id}
      AND job_id={job_id}
    GROUP BY ALL
    ORDER BY run_start DESC
),
most_recent_jobs as (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM
    system.workflow.jobs QUALIFY rn=1
)
SELECT
    t1.workspace_id,
    t1.job_id,
    t2.name,
    t1.run_id,
    t1.run_start,
    t1.run_end,
    t1.duration,
    t1.result_state
FROM job_run_duration t1
    LEFT OUTER JOIN most_recent_jobs t2 USING (workspace_id, job_id)

Trabalhos em execução na Computação para Todas as Finalidades

Essa consulta une-se à tabela do sistema compute.clusters para retornar trabalhos recentes que estão em execução na Computação para Todas as Finalidades em vez de Computação de Trabalhos.

with clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  WHERE cluster_source="UI" OR cluster_source="API"
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.workflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 30 DAY
),
all_purpose_cluster_jobs AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN clusters t2 USING (workspace_id, cluster_id)
)
SELECT * FROM all_purpose_cluster_jobs LIMIT 10;

Execuções de trabalho repetidas

Essa consulta coleta uma lista de execuções de trabalho repetidas com o número de repetições de cada execução.

with repaired_runs as (
  SELECT
    workspace_id, job_id, run_id, COUNT(*) - 1 as retries_count
  FROM system.workflow.job_run_timeline
  WHERE result_state IS NOT NULL
  GROUP BY ALL
  HAVING retries_count > 0
)
SELECT
  *
FROM repaired_runs
ORDER BY retries_count DESC
LIMIT 10;