Suporte a Variant no Delta Lake

Importante

Esse recurso está em uma versão prévia.

É possível usar o tipo de dados VARIANT para armazenar dados semiestruturados no Delta Lake. Para obter exemplos de como trabalhar com VARIANT, confira Consultar dados do tipo Variant.

Use o Databricks Runtime 15.3 ou versões posteriores para ler e gravar tabelas com o suporte ao tipo Variant habilitado.

Habilitar o tipo Variant em uma tabela Delta

Para habilitar o tipo Variant, crie uma tabela com uma coluna do tipo VARIANT, por exemplo:

CREATE TABLE table_name (variant_column VARIANT)

Também é possível habilitar o suporte para VARIANT em uma tabela atual usando a seguinte sintaxe:

ALTER TABLE table_name SET TBLPROPERTIES('delta.feature.variantType-preview' = 'supported')

Aviso

Ao habilitar o tipo Variant, o protocolo da tabela é atualizado. Após a atualização, a tabela não poderá ser lida por clientes do Delta Lake que não dão suporte ao tipo Variant. Consulte a compatibilidade de recursos e protocolos do Delta Lake.

Limitações

As seguintes limitações existem:

• Não é possível usar colunas do tipo Variant para particionar uma tabela.
• Uma coluna Variant não pode ser uma chave de clustering para uma tabela.
• Não é possível usar colunas variantes com cláusulas GROUP BY ou ORDER BY.
• Não é possível invocar DISTINCT em uma coluna variante.
• Não é possível usar operadores de conjunto de SQL (INTERSECT, UNION, EXCEPT) com colunas variantes.
• Não é possível usar a geração de colunas para criar uma coluna Variant.
• O Delta não coleta estatísticas minValues ou maxValues para colunas Variant.
• Uma coluna variante não pode conter um valor maior que 128 MiB (16 MiB no Databricks Runtime 17.1 e inferior).