Início Rápido: Criar uma nova base de dados lake ao tirar partido dos modelos de base de dados
Este guia de introdução dá-lhe um cenário de exemplo completo sobre como pode aplicar modelos de base de dados para criar uma base de dados lake, alinhar dados com o seu novo modelo e utilizar a experiência integrada para analisar os dados.
Pré-requisitos
- São necessárias, pelo menos, permissões de função de Utilizador do Synapse para explorar um modelo de base de dados lake a partir da Galeria.
- As permissões de Administrador do Synapse ou Contribuidor do Synapse são necessárias na área de trabalho Azure Synapse para criar uma base de dados lake.
- As permissões de Contribuidor de Dados do Blob de Armazenamento são necessárias no data lake ao utilizar a opção Criar tabela a partir do data lake.
Criar uma base de dados lake a partir de modelos de base de dados
Utilize a nova funcionalidade de modelos de base de dados para criar uma base de dados lake que pode utilizar para configurar o modelo de dados para a base de dados.
Para o nosso cenário, vamos utilizar o Retail modelo de base de dados e selecionar as seguintes entidades:
- RetailProduct - Um produto é tudo o que pode ser oferecido a um mercado que possa satisfazer uma necessidade de potenciais clientes. Este produto é a soma de todos os atributos físicos, psicológicos, simbólicos e de serviço associados ao mesmo.
- Transação – o nível mais baixo de trabalho executável ou atividade do cliente. Uma transação consiste num ou mais eventos discretos.
- TransactionLineItem - Os componentes de uma Transação discriminada por Produto e Quantidade, um por item de linha.
- Parte – uma parte é uma entidade individual, organizacional, legal, organização social ou unidade empresarial de interesse para a empresa.
- Cliente – um cliente é uma entidade individual ou legal que comprou ou comprou um produto ou serviço.
- Canal – um canal é um meio através do qual os produtos ou serviços são vendidos e/ou distribuídos.
A forma mais fácil de encontrar entidades é através da caixa de pesquisa acima das diferentes áreas de negócio que contêm as tabelas.
Configurar a base de dados lake
Depois de criar a base de dados, certifique-se de que a conta de armazenamento e o caminho do ficheiro estão definidos para uma localização onde pretende armazenar os dados. O caminho será predefinido para a conta de armazenamento primária no Azure Synapse Analytics, mas pode ser alterado para as suas necessidades.
Para guardar o esquema e disponibilizá-lo no Azure Synapse, publique todas as alterações. Este passo conclui a configuração da base de dados lake e disponibiliza-a a todos os componentes no Azure Synapse Analytics e fora.
Ingerir dados para a base de dados lake
Para ingerir dados para a base de dados lake, pode executar pipelines com mapeamentos de fluxo de dados sem código, que têm um conector da BD da Área de Trabalho para carregar dados diretamente para a tabela da base de dados. Também pode utilizar os blocos de notas interativos do Spark para ingerir dados nas tabelas de bases de dados lake:
%%sql
INSERT INTO `retail_mil`.`customer` VALUES (1,date('2021-02-18'),1022,557,101,'Tailspin Toys (Head Office)','Waldemar Fisar',90410,466);
Consultar os dados
Após a criação da base de dados lake, existem diferentes formas de consultar os dados. Atualmente, as bases de dados SQL em conjuntos de SQL sem servidor são suportadas e compreendem automaticamente o formato de base de dados lake recentemente criado.
SELECT TOP (100) [ProductId]
,[ProductName]
,[ProductDescription]
,[ProductInternalName]
,[ItemSku]
,[PrimaryBrandId]
FROM [Retail_mil].[dbo].[RetailProduct]
A outra forma de aceder aos dados no Azure Synapse é abrir um novo bloco de notas do Spark e utilizar a experiência integrada:
df = spark.sql("SELECT * FROM `Retail_mil`.`RetailProduct`")
df.show(10)
Preparar modelos de machine learning
Pode utilizar a base de dados lake para preparar os seus modelos de machine learning e classificar os dados. Para obter mais detalhes , prepare modelos de machine learning
Passos seguintes
Continue a explorar as capacidades do estruturador de bases de dados com as ligações abaixo.