Examinar os detalhes da tabela do Delta Lake com describe detail

  • Artigo

Você pode recuperar informações detalhadas sobre uma tabela do Delta (por exemplo, número de arquivos, tamanho dos dados) usando DESCRIBE DETAIL.

DESCRIBE DETAIL '/data/events/'

DESCRIBE DETAIL eventsTable

Para obter detalhes de sintaxe do Spark SQL, veja DESCRIBE DETAIL.

Confira a documentação da API do Delta Lake para obter detalhes da sintaxe de Scala/Java/Python.

Esquema de detalhes

A saída desta operação tem apenas uma linha com o esquema a seguir.

Observação

As colunas exibidas dependem da versão do Databricks Runtime que você está usando e dos recursos de tabela que você habilitou.

Coluna Type Descrição
format string Formato da tabela, ou seja, delta.
id string ID exclusiva da tabela.
name string Nome da tabela como foi definida no metastore.
descrição string Descrição da tabela.
local string Local da tabela.
createdAt timestamp Quando a tabela foi criada.
lastModified timestamp Quando a tabela foi modificada pela última vez.
partitionColumns matriz de cadeias de caracteres Nomes das colunas de partição se a tabela está particionada.
numFiles long Número de arquivos na versão mais recente da tabela.
sizeInBytes INT Tamanho em bytes do instantâneo mais recente da tabela.
properties string-string map Todas as propriedades definidas para esta tabela.
minReaderVersion INT Versão mínima dos leitores (de acordo com o protocolo de log) que pode ler a tabela.
minWriterVersion INT Versão mínima dos gravadores (de acordo com o protocolo de log) que pode gravar dados na tabela.
estatísticas mapa com chaves de cadeia de caracteres Estatísticas de nível de tabela adicionais.
tableFeatures matriz de cadeias de caracteres Uma lista dos recursos de tabela com suporte da tabela. Confira Como o Azure Databricks gerencia a compatibilidade de recursos do Delta Lake?
clusteringColumns matriz de cadeias de caracteres As colunas que estão sendo usadas para o clustering líquido. Confira Usar o clustering líquido para tabelas Delta

Este é um exemplo de como deve ser a saída:

+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
|format|                  id|              name|description|            location|           createdAt|       lastModified|partitionColumns|numFiles|sizeInBytes|properties|minReaderVersion|minWriterVersion|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
| delta|d31f82d2-a69f-42e...|default.deltatable|       null|file:/Users/tuor/...|2020-06-05 12:20:...|2020-06-05 12:20:20|              []|      10|      12345|        []|               1|               2|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+