Partilhar via

Tutorial: Consultar o Armazenamento do Azure Data Lake usando a linguagem SQL no Synapse Analytics

Este tutorial mostra como conectar seu pool SQL sem servidor do Azure Synapse aos dados armazenados em uma conta de Armazenamento do Azure que tenha o Armazenamento Azure Data Lake habilitado. Essa conexão permite que você execute nativamente consultas SQL e análises usando a linguagem SQL em seus dados no Armazenamento do Azure.

Neste tutorial, irá:

  • Ingerir dados em uma conta de armazenamento
  • Crie um espaço de trabalho do Synapse Analytics (se você não tiver um).
  • Realize análises nos seus dados no Blob Storage

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

  • Criar uma conta de armazenamento que tenha um namespace hierárquico (Armazenamento do Azure Data Lake)

    Consulte Criar uma conta de armazenamento para usar com o Azure Data Lake Storage.

  • Verifique se a sua conta de utilizador tem a função Colaborador de Dados de Blob de Armazenamento atribuída a ela.

    Importante

    Certifique-se de atribuir a função no escopo da conta de armazenamento. Você pode atribuir uma função ao grupo de recursos principal ou à assinatura, mas receberá erros relacionados a permissões até que essas atribuições de função se propaguem para a conta de armazenamento.

Descarregar os dados de voo

Este tutorial usa dados de voo do Bureau of Transportation Statistics. Você deve baixar esses dados para concluir o tutorial.

  1. Transfira o ficheiro On_Time_Reporting_Carrier_On_Time_Performance_1987_present_2016_1.zip . Este ficheiro contém os dados do voo.

  2. Descompacte o conteúdo do arquivo compactado e anote o nome do arquivo e o caminho do arquivo. Você precisa dessas informações em uma etapa posterior.

Copiar dados de origem para a conta de armazenamento

  1. No portal do Azure, navegue para a sua nova conta de armazenamento.

  2. Selecione navegador de armazenamento->containers de blobs->Adicionar contentor e crie um novo contentor chamado data.

    Captura de tela da criação de uma pasta no navegador de armazenamento

  3. No navegador de armazenamento, carregue o On_Time_Reporting_Carrier_On_Time_Performance_1987_present_2016_1.csv arquivo para a pasta de dados .

Criar uma área de trabalho do Azure Synapse

Crie um espaço de trabalho Synapse no portal do Azure. Ao criar o espaço de trabalho, use estes valores:

  • Assinatura: selecione a assinatura do Azure associada à sua conta de armazenamento.
  • Grupo de recursos: selecione o grupo de recursos onde você colocou sua conta de armazenamento.
  • Região: selecione a região da conta de armazenamento (por exemplo, Central US).
  • Nome: insira um nome para o espaço de trabalho Synapse.
  • Logon do administrador SQL: insira o nome de usuário do administrador para o SQL Server.
  • Senha de administrador do SQL: digite a senha de administrador do SQL Server.
  • Valores da tag: aceite o padrão.

Achar o nome do ponto final do Synapse SQL (passo opcional)

O nome do servidor do endpoint SQL sem servidor permite que se ligue a qualquer ferramenta que consiga executar consultas T-SQL no SQL Server ou na base de dados Azure SQL (por exemplo: SQL Server Management Studio, a extensão MSSQL no Visual Studio Code, ou Power BI).

Para encontrar o nome de servidor totalmente qualificado:

  1. Selecione no espaço de trabalho ao qual você deseja se conectar.
  2. Vá para a visão geral.
  3. Localize o nome do servidor completo.
    • Para um pool dedicado de SQL, use SQL Endpoint.
    • Para o pool SQL sem servidor, use o endpoint SQL sob pedido.

Neste tutorial, você usa o Synapse Studio para consultar dados do arquivo CSV que você carregou para a conta de armazenamento.

Utilize o Synapse Studio para explorar os dados

  1. Abra o Synapse Studio. Ver Open Synapse Studio

  2. Crie um script SQL e execute esta consulta para exibir o conteúdo do arquivo:

    SELECT
   TOP 100 *
FROM
   OPENROWSET(
      BULK 'https://<storage-account-name>.dfs.core.windows.net/<container-name>/folder1/On_Time.csv',
      FORMAT='CSV',
      PARSER_VERSION='2.0'
   ) AS [result]

    Para obter informações sobre como criar um script SQL no Synapse Studio, consulte Synapse Studio SQL scripts no Azure Synapse Analytics

Clean up resources (Limpar recursos)

Quando não forem mais necessários, exclua o grupo de recursos e todos os recursos relacionados. Para fazer isso, selecione o grupo de recursos para a conta de armazenamento e o espaço de trabalho e, em seguida, selecione Excluir.

Próximo passo

Azure Data Lake Storage, Azure Databricks & Spark

  • Last updated on