Armazenamentos de dados com suporte no Azure Data Share
O Azure Data Share fornece compartilhamento de dados aberto e flexível, incluindo a capacidade de compartilhar de e para diferentes armazenamentos de dados. Os provedores de dados podem compartilhar dados de um tipo de armazenamento de dados e os consumidores de dados podem escolher um armazenamento de dados para receber os dados.
Neste artigo, você aprenderá sobre o conjunto de armazenamentos de dados do Azure aos quais o Azure Data Share dá suporte. Você também aprenderá como os provedores e consumidores de dados podem combinar diferentes armazenamentos de dados.
Armazenamento de dados com suporte
A tabela a seguir explica os armazenamentos de dados aos quais o Azure Data Share dá suporte.
| Armazenamento de dados | Compartilhamento baseado em instantâneos completos | Compartilhamento baseado em instantâneos incrementais | Compartilhamento no local |
|---|---|---|---|
| Armazenamento de Blobs do Azure | ✓ | ✓ | |
| Azure Data Lake Storage Gen1 | ✓ | ✓ | |
| Azure Data Lake Storage Gen2 | ✓ | ✓ | |
| Banco de Dados SQL do Azure | ✓ | ||
| Azure Synapse Analytics (antigo SQL Data Warehouse do Azure) | ✓ | ||
| Um pool de SQL dedicado do Azure Synapse Analytics (workspace). | ✓ | ||
| Azure Data Explorer | ✓ |
Matriz de suporte de armazenamento de dados
O Azure Data Share permite que os consumidores de dados escolham um repositório de dados para aceitar os dados. Por exemplo, os dados compartilhados do Banco de Dados SQL do Azure podem ser recebidos no Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure ou Azure Synapse Analytics. Quando os clientes configuram um compartilhamento de recebimento de dados, eles podem escolher o formato para receber os dados.
A tabela a seguir explica as combinações e opções que os consumidores de dados podem escolher ao aceitar e configurar um compartilhamento de dados. Para saber mais, consulte Configurar um mapeamento de conjunto de dados.
| Armazenamento de dados | Armazenamento de Blobs | Data Lake Storage Gen1 | Data Lake Storage Gen2 | Banco de Dados SQL | Synapse Analytics (anteriormente SQL Data Warehouse) | Pool de SQL dedicado do Synapse Analytics (espaço de trabalho) | Data Explorer |
|---|---|---|---|---|---|---|---|
| Armazenamento de Blobs | ✓ | ✓ | |||||
| Data Lake Storage Gen1 | ✓ | ✓ | |||||
| Data Lake Storage Gen2 | ✓ | ✓ | |||||
| Banco de Dados SQL | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Synapse Analytics (anteriormente SQL Data Warehouse) | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Pool de SQL dedicado do Synapse Analytics (espaço de trabalho) | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Data Explorer | ✓ |
Compartilhamento por meio de uma conta de armazenamento
O Azure Data Share dá suporte ao compartilhamento de arquivos, pastas e sistemas de arquivos do Azure Data Lake Storage Gen1 e Azure Data Lake Storage Gen2. Ele também dá suporte ao compartilhamento de blobs, pastas e contêineres do Armazenamento de Blobs do Azure. Você pode compartilhar blobs de páginas, de acréscimo ou de blocos, e eles serão recebidos como blobs de blocos.
Quando os sistemas de arquivos, contêineres ou pastas são compartilhados no compartilhamento baseado em instantâneo, os consumidores de dados podem escolher fazer uma cópia completa dos dados compartilhados. Ou podem usar o recurso de instantâneo incremental para copiar apenas novos arquivos ou arquivos atualizados.
Um instantâneo incremental é baseado na hora da última modificação dos arquivos. Os arquivos existentes com o mesmo nome dos arquivos nos dados recebidos são substituídos em um instantâneo. Os arquivos excluídos da origem não são excluídos do destino.
Se um instantâneo for interrompido e falhar, por exemplo, devido a uma ação de cancelamento, um problema de rede ou um desastre, o próximo instantâneo incremental copiará arquivos que têm um horário da última modificação maior que a hora do último instantâneo bem-sucedido.
Para mais informações, confira: compartilhar e receber dados do Armazenamento de Blobs do Azure e do Azure Data Lake Storage.
Compartilhamento por meio de uma fonte baseada em SQL
O Azure Data Share dá suporte ao compartilhamento de tabelas e exibições do Banco de Dados SQL do Azure e do Azure Synapse Analytics (anteriormente Azure SQL Data Warehouse). Ele oferece suporte ao compartilhamento de tabelas do pool SQL dedicado do Azure Synapse Analytics (workspace). O compartilhamento do pool SQL sem servidor do Azure Synapse Analytics (workspace) não tem suporte no momento.
Os consumidores de dados podem escolher aceitar os dados no Azure Data Lake Storage Gen2 ou no Azure Blob Storage como um arquivo CSV ou arquivo parquet. Eles também podem aceitar dados como tabelas no Banco de Dados SQL do Azure e no Azure Synapse Analytics.
Quando os consumidores aceitam dados no Azure Data Lake Storage Gen2 ou no Azure Blob Storage, os instantâneos completos substituem o conteúdo do arquivo de destino se o arquivo já existir. Quando os dados são recebidos em uma tabela e a tabela de destino ainda não existe, o Azure Data Share cria uma tabela SQL usando o esquema de origem. Se uma tabela de destino já existir e tiver o mesmo nome, ela será descartada e substituída pelo instantâneo completo mais recente. Instantâneos incrementais não são suportados atualmente.
Se um instantâneo for interrompido e falhar, por exemplo, devido a uma ação de cancelamento, um problema de rede ou um desastre, o próximo instantâneo copiará toda a tabela ou exibição novamente.
Para mais informações, confira Compartilhar e receber dados do Banco de Dados SQL do Azure e Azure Synapse Analytics.
Compartilhar do Data Explorer
O Azure Data Share dá suporte à capacidade de compartilhar bancos de dados in-loco de clusters do Azure Data Explorer. Um provedor de dados pode compartilhar no nível do banco de dados ou do cluster. Se você estiver usando a API do Data Share para compartilhar dados, também poderá compartilhar tabelas específicas.
Quando os dados são compartilhados no nível do banco de dados, os consumidores de dados podem acessar apenas os bancos de dados compartilhados pelo provedor de dados. Quando um provedor compartilha dados no nível do cluster, os consumidores de dados podem acessar todos os bancos de dados do cluster do provedor, incluindo quaisquer bancos de dados futuros que o provedor de dados criar.
Para acessar bancos de dados compartilhados, os consumidores de dados precisam de seu próprio cluster do Azure Data Explorer. Um cluster deve estar no mesmo datacenter do Azure que o cluster do Azure Data Explorer do provedor de dados.
Quando uma relação de compartilhamento é estabelecida, o Azure Data Share cria um link simbólico entre o cluster do provedor e o cluster do consumidor. Os dados ingeridos no cluster de origem usando o modo em lote aparecem no cluster de destino em alguns minutos.
Para mais informações, confira Compartilhar e receber dados de Azure Data Explorer.
Próximas etapas
Para saber como iniciar o compartilhamento de dados, continue com o tutorial sobre como compartilhar seus dados.