Tutorial: Consultar o Azure Data Lake Storage usando a linguagem SQL no Synapse Analytics

2024-11-18

Este tutorial mostra como conectar o pool de SQL sem servidor do Azure Synapse aos dados armazenados em uma conta de armazenamento que tenha o Azure Data Lake Storage habilitado. Essa conexão permite que você execute consultas e análises SQL nativamente usando a linguagem SQL nos dados no Armazenamento do Azure.

Neste tutorial, você irá:

Ingerir dados em uma conta de armazenamento
Crie um workspace do Synapse Analytics (caso não tenha um).
Executar a análise em seus dados no Armazenamento de Blobs

Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Criar uma conta de armazenamento que tenha um namespace hierárquico (Azure Data Lake Storage)

Confira Criar uma conta de armazenamento para uso com o Azure Data Lake Storage.
Verifique se a sua conta de usuário tem a função Colaborador de Dados do Storage Blob atribuída a ela.

Importante

Atribua a função no escopo da conta de armazenamento. Você pode atribuir uma função ao grupo de recursos pai ou à assinatura, mas receberá erros relacionados a permissões até que essas atribuições de função sejam propagadas para a conta de armazenamento.

Baixar os dados de voos

Este tutorial usa dado de voo do Bureau of Transportation Statistics. Você precisa baixar esses dados para concluir o tutorial.

Baixe o arquivo On_Time_Reporting_Carrier_On_Time_Performance_1987_present_2016_1.zip. Ele tem os dados de voo.
Descompacte o conteúdo do arquivo compactado e anote o nome e o caminho do arquivo. Você precisará dessas informações em uma etapa posterior.

Copiar dados de origem para a conta de armazenamento

Navegue até sua nova conta de armazenamento no portal do Azure.
Selecione Navegador de armazenamento –>Contêineres de blob –>Adicionar contêiner e crie um contêiner chamado data.
No navegador de armazenamento, carregue o arquivo On_Time_Reporting_Carrier_On_Time_Performance_1987_present_2016_1.csv na pasta data.

Como criar um workspace do Azure Synapse

Crie um workspace do Azure Synapse no portal do Azure. Ao criar o workspace, use estes valores:

Assinatura: selecione a assinatura do Azure associada à conta de armazenamento.
Grupo de recursos: selecione o grupo de recursos no qual você colocou a conta de armazenamento.
Região: selecione a região da conta de armazenamento (por exemplo, Central US).
Nome: insira um nome para o workspace.
Logon de Administrador: insira o nome de usuário do administrador do SQL Server.
Senha do administrador do SQL: insira a senha de administrador para o SQL Server.
Valores das Marcas: Aceite o padrão.

Encontrar o nome do ponto de extremidade do SQL do Synapse (opcional)

O nome do servidor de nome do ponto de extremidade SQL sem servidor permite que você se conecte a qualquer ferramenta que possa executar consultas T-SQL no SQL Server ou no banco de dados SQL do Azure (por exemplo: SQL Server Management Studio, Azure Data Studio ou Power BI).

Para localizar o nome de servidor totalmente qualificado:

Selecione o workspace ao qual deseja se conectar.
Acesse a visão geral.
Localize o nome completo do servidor.
- Para um pool de SQL dedicado, use o ponto de extremidade do SQL.
- Para o pool de SQL sem servidor, use o ponto de extremidade do SQL sob demanda.

Neste tutorial, você usa o Synapse Studio para consultar dados do arquivo CSV que foi carregado na conta de armazenamento.

Usar o Synapse Studio para explorar dados

Abra o Synapse Studio. Confira Abrir o Synapse Studio
Crie um script SQL e execute esta consulta para exibir o conteúdo do arquivo:
```
SELECT
   TOP 100 *
FROM
   OPENROWSET(
      BULK 'https://<storage-account-name>.dfs.core.windows.net/<container-name>/folder1/On_Time.csv',
      FORMAT='CSV',
      PARSER_VERSION='2.0'
   ) AS [result]
```
Para obter informações de como criar um script SQL no Synapse Studio, confira scripts SQL do Synapse Studio no Azure Synapse Analytics

Limpar os recursos

Quando não forem mais necessários, exclua o grupo de recursos e todos os recursos relacionados. Para fazer isso, selecione o grupo de recursos da conta de armazenamento e o workspace e clique em Excluir.

Próxima etapa

Azure Data Lake Storage, Azure Databricks e Spark

Compartilhar via