Entenda o V-Order para o depósito do Microsoft Fabric
Aplica-se a:✅Depósito no Microsoft Fabric
O depósito no armazenamento do Microsoft Fabric usa o formato de tabela Delta Lake para todos os dados do usuário. Além das otimizações fornecidas pelo formato Delta, um depósito aplica otimizações ao armazenamento para fornecer desempenho de consulta mais rápido em cenários de análise, mantendo a adesão ao formato Parquet. Este artigo aborda a otimização de gravação de V-Order, seus benefícios e como controlá-la.
O que é V-Order?
O V-Order é uma otimização de tempo de gravação para o formato de arquivo parquet que permite leituras rápidas nos mecanismos de computação do Microsoft Fabric, como Power BI, SQL, Spark e outros.
Os mecanismos do Power BI e do SQL usam a tecnologia Verti-Scan da Microsoft e arquivos parquet ordenados por V para obter tempos de acesso a dados como na memória. O Spark e outros mecanismos de computação que não sejam Verti-Scan também se beneficiam dos arquivos ordenados por V com uma média de tempos de leitura 10% mais rápidos, com alguns cenários de até 50%.
O V-Order funciona aplicando classificação especial, distribuição de grupo de linhas, codificação de dicionário e compactação em arquivos Parquet. Como resultado, os mecanismos de computação exigem menos recursos de rede, disco e CPU para ler dados do armazenamento, proporcionando eficiência de custo e desempenho. Ele é 100% conforme o formato parquet de software livre, todos os mecanismos parquet podem lê-lo como arquivos parquet regulares.
Considerações sobre o desempenho
Considere o seguinte antes de decidir desativar o V-Order:
- O modo Microsoft Fabric Direct Lake depende do V-Order.
- No depósito, o efeito do V-Order no desempenho pode variar dependendo dos esquemas de tabela, volumes de dados, consulta e padrões de ingestão.
- Certifique-se de testar como o V-Order afeta o desempenho da ingestão de dados e de suas consultas antes de decidir desativá-lo. Considere criar uma cópia do seu depósito de teste usando o controle do código-fonte, desabilitar o V-Order na cópia e executar tarefas de ingestão e consulta de dados para testar as implicações de desempenho.
Cenários em que o V-Order pode não ser benéfico
Considere o efeito do V-Order no desempenho antes de decidir se a desativação do V-Order é adequado para você.
Cuidado
Atualmente, a desativação do V-Order só pode ser feita no nível do depósito e é irreversível: uma vez desabilitada, ela não pode ser habilitada novamente. Os usuários devem considerar o desempenho se optarem por Desativar o V-Order no depósito to Fabric.
Desabilitar o V-Order pode ser útil para depósitos com uso intensivo de gravação, como depósitos dedicados à preparação de dados como parte de um processo de ingestão de dados. As tabelas de preparo geralmente são descartadas e recriadas (ou truncadas) para processar novos dados. Essas tabelas de preparo podem ser lidas apenas uma ou duas vezes, o que pode não justificar o tempo de ingestão adicionado pela aplicação do V-Order. Ao desativar o V-Order e reduzir o tempo de ingestão de dados, o tempo total de processamento de dados durante os trabalhos de ingestão pode ser reduzido. Nesse caso, você deve segmentar o depósito de preparo do seu depósito principal voltado para o usuário, para que as consultas de análise e o Power BI possam se beneficiar do V-Order.