Início Rápido: Criar uma nova base de dados lake ao tirar partido dos modelos de base de dados

  • Artigo

Este guia de introdução dá-lhe um cenário de exemplo completo sobre como pode aplicar modelos de base de dados para criar uma base de dados lake, alinhar dados com o seu novo modelo e utilizar a experiência integrada para analisar os dados.

Pré-requisitos

  • São necessárias, pelo menos, permissões de função de Utilizador do Synapse para explorar um modelo de base de dados lake a partir da Galeria.
  • As permissões de Administrador do Synapse ou Contribuidor do Synapse são necessárias na área de trabalho Azure Synapse para criar uma base de dados lake.
  • As permissões de Contribuidor de Dados do Blob de Armazenamento são necessárias no data lake ao utilizar a opção Criar tabela a partir do data lake.

Criar uma base de dados lake a partir de modelos de base de dados

Utilize a nova funcionalidade de modelos de base de dados para criar uma base de dados lake que pode utilizar para configurar o modelo de dados para a base de dados.

Para o nosso cenário, vamos utilizar o Retail modelo de base de dados e selecionar as seguintes entidades:

  • RetailProduct - Um produto é tudo o que pode ser oferecido a um mercado que possa satisfazer uma necessidade de potenciais clientes. Este produto é a soma de todos os atributos físicos, psicológicos, simbólicos e de serviço associados ao mesmo.
  • Transação – o nível mais baixo de trabalho executável ou atividade do cliente. Uma transação consiste num ou mais eventos discretos.
  • TransactionLineItem - Os componentes de uma Transação discriminada por Produto e Quantidade, um por item de linha.
  • Parte – uma parte é uma entidade individual, organizacional, legal, organização social ou unidade empresarial de interesse para a empresa.
  • Cliente – um cliente é uma entidade individual ou legal que comprou ou comprou um produto ou serviço.
  • Canal – um canal é um meio através do qual os produtos ou serviços são vendidos e/ou distribuídos.

A forma mais fácil de encontrar entidades é através da caixa de pesquisa acima das diferentes áreas de negócio que contêm as tabelas.

Captura de ecrã a mostrar um exemplo de modelo de base de dados de Revenda em utilização.

Configurar a base de dados lake

Depois de criar a base de dados, certifique-se de que a conta de armazenamento e o caminho do ficheiro estão definidos para uma localização onde pretende armazenar os dados. O caminho será predefinido para a conta de armazenamento primária no Azure Synapse Analytics, mas pode ser alterado para as suas necessidades.

Captura de ecrã a mostrar as propriedades de uma entidade individual no modelo Base de dados de revenda.

Para guardar o esquema e disponibilizá-lo no Azure Synapse, publique todas as alterações. Este passo conclui a configuração da base de dados lake e disponibiliza-a a todos os componentes no Azure Synapse Analytics e fora.

Ingerir dados para a base de dados lake

Para ingerir dados para a base de dados lake, pode executar pipelines com mapeamentos de fluxo de dados sem código, que têm um conector da BD da Área de Trabalho para carregar dados diretamente para a tabela da base de dados. Também pode utilizar os blocos de notas interativos do Spark para ingerir dados nas tabelas de bases de dados lake:

%%sql
INSERT INTO `retail_mil`.`customer` VALUES (1,date('2021-02-18'),1022,557,101,'Tailspin Toys (Head Office)','Waldemar Fisar',90410,466);

Consultar os dados

Após a criação da base de dados lake, existem diferentes formas de consultar os dados. Atualmente, as bases de dados SQL em conjuntos de SQL sem servidor são suportadas e compreendem automaticamente o formato de base de dados lake recentemente criado.

SELECT TOP (100) [ProductId]
,[ProductName]
,[ProductDescription]
,[ProductInternalName]
,[ItemSku]
,[PrimaryBrandId]
FROM [Retail_mil].[dbo].[RetailProduct]

A outra forma de aceder aos dados no Azure Synapse é abrir um novo bloco de notas do Spark e utilizar a experiência integrada:

df = spark.sql("SELECT * FROM `Retail_mil`.`RetailProduct`")
df.show(10)

Preparar modelos de machine learning

Pode utilizar a base de dados lake para preparar os seus modelos de machine learning e classificar os dados. Para obter mais detalhes , prepare modelos de machine learning

Passos seguintes

Continue a explorar as capacidades do estruturador de bases de dados com as ligações abaixo.