Atualizar uma origem de dados do Common Data Model para utilizar tabelas Delta
Atualize uma ligação de dados existente com tabelas do Common Data Model e passe para tabelas com formato Delta sem remover nem recriar uma configuração existente que dependa da ligação de dados.
Razões-chave para ligar a dados armazenados em formato Delta:
- Importe diretamente dados formatados em Delta para poupar tempo e esforço.
- Elimine os custos de computação e armazenamento associados à transformação e ao armazenamento de uma cópia dos dados do seu lakehouse.
- Melhore automaticamente a fiabilidade da ingestão de dados para o Customer Insights - Data fornecidos pelo controlo de versões Delta.
Delta é um termo introduzido com a Delta Lake, a fundação para armazenar dados e tabelas na Databricks Lakehouse Platform. A Delta Lake é uma camada de armazenamento open-source que traz transações ACID (atomicidade, consistência, isolamento e durabilidade) para cargas de trabalho de macrodados. Para mais informações, consulte a Página de Documentação da Delta Lake.
Pré-requisitos
O Azure Data Lake Storage tem de estar no mesmo inquilino e região do Azure que o Customer Insights - Data.
O principal de serviço do Customer Insights - Data tem de ter as permissões de Contribuidor de Dados de Blobs de Armazenamento para aceder à conta de armazenamento. Para mais informações, consulte Conceder permissões ao principal de serviço para aceder à conta de armazenamento.
O utilizador que configura ou atualiza a ligação à origem de dados necessita de, pelo menos, permissões de Leitor de Dados de Blobs de Armazenamento na conta do Azure Data Lake Storage.
Os dados armazenados em serviços online podem ser armazenados numa localização diferente do local onde os dados são tratados ou armazenados. Ao importar, ou ligar a, os dados armazenados em serviços online, concorda que os dados podem ser transferidos. Saiba mais no Centro de Confiança da Microsoft.
O Customer Insights - Data suporta a versão 2 do leitor Databricks. Não são suportadas tabelas Delta que utilizam caraterísticas que requeiram a versão 3 ou posterior do leitor do Databricks. Mais informações: Como é que o Databricks gere a compatibilidade de caraterísticas do Delta Lake?
As tabelas Delta têm de estar numa pasta no contentor de armazenamento e não podem estar no diretório raiz do contentor. Por exemplo:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
As tabelas Delta e o respetivo esquema têm de corresponder às tabelas na origem de dados do Common Data Model existente e de estar no mesmo contentor de armazenamento. As tabelas na nova pasta de dados têm de corresponder exatamente às tabelas selecionadas na origem de dados do Common Data Model. Os nomes das tabelas e os respetivos esquemas têm corresponder exatamente. Na Delta, os nomes das tabelas são os mesmo que o nome da pasta onde os dados são armazenados. Portanto, os nomes das pasta têm de corresponder exatamente às tabelas selecionadas na origem de dados do Common Data Model. Caso contrário, a atualização falha.
Por exemplo, se as tabelas de origem de dados do Common Data Model selecionadas forem Tabela1 e Tabela2, a pasta escolhida para a atualização tem de mostrar Tabela1 e Tabela2 na hierarquia.
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
Atualizar tabelas de dados do Common Data Model para tabelas Delta
Aceda a Dados>Origens de dados.
Selecione a origem de dados do Common Data Model do Azure Data Lake e, em seguida, selecione Atualizar para tabelas Delta. Ou selecione Iniciar atualização a partir da página Adicionar tabelas se estiver a editar a origem de dados do Common Data Model.
Selecione Navegar e navegue para a pasta que contém os dados no formato Delta e corresponde exatamente à tabela de origem de dados do Azure Data Lake selecionada. Selecione-o e, em seguida, selecione Atualizar origem de dados.
A página Origens de dados é aberta a mostrar a origem de dados novas no estado A atualizar.
Importante
Não interrompa o processo de atualização, pois isso pode afetar negativamente a atualização da origem de dados.
Sugestão
Existem estados para tarefas e processos. A maioria dos processos depende de outros processos de origem, tais como origens de dados e atualizações da criação de perfis de dados.
Selecione o estado para abrir o painel Detalhes do progresso e ver o progresso das tarefas. Para cancelar a tarefa, selecione Cancelar tarefa na parte inferior do painel.
Em cada tarefa, pode selecionar Ver detalhes para obter mais informações sobre o progresso, tais como o tempo de processamento, a data do último processamento, e quaisquer erros e avisos aplicáveis associados à tarefa ou ao processo. Selecione Ver estado do sistema na parte inferior do painel para ver outros processos no sistema.
Recomendamos que continue a transmitir os seus dados para a localização do Data Lake Storage através do pipeline existente e manter os manifestos e esquemas até determinar que a atualização foi bem-sucedida e que tudo está a funcionar conforme esperado.
Reverter a conversão de tabelas do Common Data Model para tabelas Delta
Se tentou atualizar uma origem de dados do Common Data Model do Azure Data Lake para tabelas Delta e o processo falhou, execute os passos que se seguem.
Pré-requisitos
- A sua organização continuou a transmitir os dados do Data Lake Storage através do seu pipeline.
- A sua organização manteve os manifestos e os esquemas do Data Lake Storage.
Reverter para uma origem de dados do Common Data Model do Azure Data Lake
Aceda a Dados>Origens de dados.
Selecione a origem de dados do Common Data Model do Azure Data Lake e, em seguida, selecione Reverter para tabelas do Common Data Model.
Confirme que pretende reverter. A página Origens de dados é aberta a mostrar a origem de dados novas no estado A atualizar.
Importante
Não interrompa o processo de atualização, pois isso pode afetar negativamente a reversão da origem de dados.