Armazenamentos de dados suportados no Azure Data Share

Importante

Azure Data Share está a ser retirado. Já não pode criar novas contas no Azure Data Share, e as capacidades existentes permanecerão em modo de manutenção até 12 de novembro de 2029. Para prazos de descontinuação, orientações de transição e próximos passos recomendados, consulte o anúncio de descontinuação do Azure Data Share.

Azure Data Share fornece partilha de dados aberta e flexível, incluindo a capacidade de partilhar de e para diferentes arquivos de dados. Os provedores de dados podem compartilhar dados de um tipo de armazenamento de dados, e os consumidores de dados podem escolher um armazenamento de dados para receber os dados.

Neste artigo, aprende sobre o conjunto de armazenamentos de dados Azure que o Azure Data Share suporta. Também aprende como os fornecedores e consumidores de dados podem combinar diferentes armazenamentos de dados.

Armazenamentos de dados suportados

A tabela a seguir explica os armazenamentos de dados suportados pelo Azure Data Share.

Armazenamento de dados Partilha com base em snapshots completos Partilha baseada em snapshots incrementais Partilha no local de origem
Armazenamento de Blobs do Azure ✓ ✓
Azure Data Lake Storage Gen1 ✓ ✓
Azure Data Lake Storage Gen2 ✓ ✓
Base de Dados SQL do Azure ✓
Azure Synapse Analytics (anteriormente SQL do Azure Data Warehouse) ✓
Azure Synapse Analytics (workspace) dedicated SQL pool ✓
Azure Data Explorer ✓

Matriz de suporte ao armazenamento de dados

O Azure Data Share permite que os consumidores de dados escolham um armazenamento de dados para aceitar dados. Por exemplo, os dados compartilhados do Banco de Dados SQL do Azure podem ser recebidos no Azure Data Lake Storage Gen2, no Banco de Dados SQL do Azure ou no Azure Synapse Analytics. Quando os clientes configuram um compartilhamento de dados de recebimento, eles podem escolher o formato para receber os dados.

A tabela a seguir explica as combinações e opções que os consumidores de dados podem escolher quando aceitam e configuram um compartilhamento de dados. Para obter mais informações, consulte Configurar um mapeamento de conjunto de dados.

Armazenamento de dados Armazenamento de Blobs Data Lake Storage Gen1 Data Lake Storage Gen2 Base de Dados SQL Synapse Analytics (anteriormente SQL Data Warehouse) Pool SQL dedicado do Synapse Analytics (espaço de trabalho) Data Explorer
Armazenamento de Blobs ✓ ✓
Data Lake Storage Gen1 ✓ ✓
Data Lake Storage Gen2 ✓ ✓
Base de Dados SQL ✓ ✓ ✓ ✓ ✓
Synapse Analytics (anteriormente SQL Data Warehouse) ✓ ✓ ✓ ✓ ✓
Pool SQL dedicado do Synapse Analytics (espaço de trabalho) ✓ ✓ ✓ ✓ ✓
Data Explorer ✓

Partilhar a partir de uma conta de armazenamento

O Compartilhamento de Dados do Azure dá suporte ao compartilhamento de arquivos, pastas e sistemas de arquivos do Azure Data Lake Storage Gen1 e do Azure Data Lake Storage Gen2. Ele também dá suporte ao compartilhamento de blobs, pastas e contêineres do Armazenamento de Blobs do Azure. Pode partilhar blobs de bloco, acréscimo ou página, e estes são recebidos como blobs de bloco.

Quando sistemas de arquivos, contêineres ou pastas são compartilhados no compartilhamento baseado em instantâneo, os consumidores de dados podem optar por fazer uma cópia completa dos dados compartilhados. Ou eles podem usar o recurso de instantâneo incremental para copiar apenas ficheiros novos ou atualizados.

Um instantâneo incremental é baseado na hora da última modificação dos arquivos. Os arquivos existentes que têm o mesmo nome que os arquivos nos dados recebidos são substituídos num snapshot. Os arquivos excluídos da origem não são excluídos no destino.

Se um instantâneo for interrompido e falhar, por exemplo, devido a uma ação de cancelamento, problema de rede ou desastre, o próximo instantâneo incremental copiará arquivos que tenham um tempo de última modificação maior do que o tempo do último instantâneo bem-sucedido.

Para obter mais informações, consulte: partilhar e receber dados do Armazenamento de Blobs do Azure e do Azure Data Lake Storage.

Partilhar a partir de uma origem baseada em SQL

O Azure Data Share dá suporte ao compartilhamento de tabelas e exibições do Banco de Dados SQL do Azure e do Azure Synapse Analytics (anteriormente SQL do Azure Data Warehouse). Ele dá suporte ao compartilhamento de tabelas do pool SQL dedicado do Azure Synapse Analytics (espaço de trabalho). O compartilhamento do pool SQL sem servidor do Azure Synapse Analytics (espaço de trabalho) não é suportado no momento.

Os consumidores de dados podem optar por aceitar os dados no Azure Data Lake Storage Gen2 ou no Armazenamento de Blobs do Azure como um arquivo CSV ou parquet. Eles também podem aceitar dados como tabelas no Base de Dados SQL do Azure e no Azure Synapse Analytics.

Quando os consumidores aceitam dados no Azure Data Lake Storage Gen2 ou no Armazenamento de Blobs do Azure, instantâneos completos substituem o conteúdo do arquivo de destino se o arquivo já existir. Quando os dados são recebidos numa tabela e a tabela de destino ainda não existe, o Azure Data Share cria uma tabela SQL usando o esquema de origem. Se uma tabela de destino já existir e tiver o mesmo nome, ela será descartada e substituída pelo instantâneo completo mais recente. Atualmente, não há suporte para snapshots incrementais.

Se um instantâneo for interrompido e falhar, por exemplo, devido a uma ação de cancelamento, problema de rede ou desastre, o próximo instantâneo copiará toda a tabela ou exibição novamente.

Para obter mais informações, consulte: compartilhar e receber dados do Base de Dados SQL do Azure e do Azure Synapse Analytics.

Partilhar a partir do Data Explorer

O Azure Data Share dá suporte à capacidade de partilhar bases de dados in-loco a partir de clusters do Azure Data Explorer. Um provedor de dados pode compartilhar no nível do banco de dados ou do cluster. Se você estiver usando a API Data Share para compartilhar dados, também poderá compartilhar tabelas específicas.

Quando os dados são compartilhados no nível do banco de dados, os consumidores de dados podem acessar apenas os bancos de dados que o provedor de dados compartilhou. Quando um provedor compartilha dados no nível do cluster, os consumidores de dados podem acessar todos os bancos de dados do cluster do provedor, incluindo quaisquer bancos de dados futuros criados pelo provedor de dados.

Para acessar bancos de dados compartilhados, os consumidores de dados precisam de seu próprio cluster do Azure Data Explorer. O cluster deles deve estar no mesmo datacenter do Azure que o cluster do Azure Data Explorer do provedor de dados.

Quando uma relação de compartilhamento é estabelecida, o Compartilhamento de Dados do Azure cria um link simbólico entre o cluster do provedor e o cluster do consumidor. Os dados ingeridos no cluster de origem usando o modo de lote aparecem no cluster de destino em poucos minutos.

Para obter mais informações, consulte: compartilhar e receber dados do Azure Data Explorer.

Para saber como começar a partilhar dados, avance para o tutorial Partilhar os seus dados .