Atualizar uma fonte de dados do Common Data Model para usar tabelas Delta
Atualize uma conexão de dados existente com tabelas do Common Data Model e mova para tabelas formatadas em Delta sem remover nem recriar uma configuração existente que dependa da conexão de dados.
Principais motivos para se conectar a dados armazenados no formato Delta:
- Importe diretamente dados formatados em Delta para economizar tempo e esforço.
- Elimine os custos de computação e armazenamento associados à transformação e ao armazenamento de uma cópia dos dados do lakehouse.
- Aumente automaticamente a confiabilidade da ingestão de dados no Customer Insights - Data oferecida pelo controle de versão Delta.
Delta é um termo introduzido com Delta Lake, o fundamento para armazenamento de dados e tabelas na Plataforma Databricks Lakehouse. Delta Lake é uma camada de armazenamento de código aberto que leva transações ACID (atomicidade, consistência, isolamento e durabilidade) para cargas de trabalho do big data. Para obter mais informações, consulte a Página de documentação do Delta Lake.
Pré-requisitos
O Azure Data Lake Storage deve estar no mesmo locatário e na mesma região do Azure do Customer Insights - Data.
A entidade de serviço do Customer Insights - Data deve ter permissões de Colaborador de Dados do Blob de Armazenamento para ter acesso à conta de armazenamento. Para obter mais informações, consulte Conceder permissões à entidade de serviço para acessar a conta de armazenamento.
O usuário que configura ou atualiza a fonte de dados precisa de, pelo menos, permissões de Leitor de Dados do Blob de Armazenamento na conta do Azure Data Lake Storage.
Os dados armazenados em serviços online podem ser armazenados em um local diferente daquele onde os dados são processados ou armazenados. Ao importar ou se conectar a dados armazenados em serviços online, você concorda que os dados podem ser transferidos. Saiba mais em Microsoft Trust Center.
As tabelas Delta devem estar em uma pasta no contêiner de armazenamento e não podem estar no diretório raiz do contêiner. Por exemplo:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
As tabelas Delta e o esquema devem corresponder às tabelas na fonte de dados Common Data Model existente e estar no mesmo contêiner de armazenamento. As tabelas na nova pasta de dados devem corresponder exatamente às tabelas selecionadas na fonte de dados Common Data Model. Os nomes das tabelas e os esquemas devem corresponder exatamente. Em Delta, os nomes das tabelas são iguais ao nome da pasta onde os dados são armazenados. Por isso, os nomes de tabela devem corresponder exatamente às tabelas selecionadas na fonte de dados Common Data Model. Do contrário, a atualização vai falhar.
Por exemplo, se as tabelas da fonte de dados Common Data Model selecionadas forem Tabela1 e Tabela2, a pasta escolhida por você para a atualização deverá mostrar Tabela1 e Tabela2 na hierarquia.
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
Atualizar tabelas de dados do Common Data Model para tabelas Delta
Acesse Dados>Fontes de dados.
Selecione a fonte de dados Common Data Model do Azure Data Lake e Atualizar para tabelas Delta. Ou selecione Começar atualização na página Adicionar tabelas se você estiver editando a fonte de dados Common Data Model.
Selecione Procurar e navegue até a pasta que contém os dados no formato Delta e corresponde exatamente à tabela da fonte de dados do Azure Data Lake selecionada. Selecione-a e, em seguida, selecione Atualizar fonte de dados.
A página Fontes de dados abre mostrando a nova fonte de dados no status Atualizando.
Importante
Não interrompa o processo de atualização, pois isso pode afetar negativamente a atualização da fonte de dados.
Dica
Existem status para tarefas e processos. A maioria dos processos depende de outros processos upstream, como atualizações de fontes de dados e perfis de dados.
Selecione o status para abrir o painel Detalhes de progresso e exibir o progresso das tarefas. Para cancelar o trabalho, selecione Cancelar trabalho na parte inferior do painel.
Em cada tarefa, você pode selecionar Ver detalhes para obter mais informações sobre o andamento, como tempo de processamento, a data do último processamento e possíveis erros e avisos aplicáveis associados à tarefa ou ao processo. Selecione Exibir status do sistema na parte inferior do painel para ver outros processos no sistema.
É recomendável continuar transmitindo os dados para o local do Data Lake Storage por meio do pipeline existente e manter os manifestos e esquemas até determinar se a atualização foi bem-sucedida e se tudo está funcionando conforme o esperado.
Reverter a conversão de tabelas Common Data Model em tabelas Delta
Se você tentou atualizar uma fonte de dados Common Data Model do Azure Data Lake para tabelas Delta e o processo falhou, realize as etapas a seguir.
Pré-requisitos
- A organização continuou transmitindo os dados do Data Lake Storage por meio do pipeline.
- A organização manteve os manifestos e esquemas do Data Lake Storage.
Reverter para uma fonte de dados Common Data Model do Azure Data Lake
Acesse Dados>Fontes de dados.
Selecione a fonte de dados Common Data Model do Azure Data Lake e Reverter para tabelas Common Data Model.
Confirme que você deseja reverter. A página Fontes de dados abre mostrando a nova fonte de dados no status Atualizando.
Importante
Não interrompa o processo de atualização, pois isso pode afetar negativamente a reversão da fonte de dados.