Analise dados com um pool SQL sem servidor

Neste tutorial, você aprenderá a analisar dados com o pool SQL sem servidor.

O pool SQL interno sem servidor

Os pools SQL sem servidor permitem que você use o SQL sem precisar reservar capacidade. A cobrança de um pool SQL sem servidor é baseada na quantidade de dados processados para executar a consulta e não no número de nós usados para executar a consulta.

Cada espaço de trabalho vem com um pool SQL sem servidor pré-configurado chamado Built-in.

Analise os dados do NYC Taxi com um pool SQL sem servidor

Nota

Certifique-se de ter colocado os dados de exemplo na conta de armazenamento principal

1. No Synapse Studio, vá para o hub Develop

2. Crie um novo script SQL.

3. Cole o código a seguir no script. (Atualize contosolake para o nome da sua conta de armazenamento e users com o nome do seu contêiner.)

   SELECT
       TOP 100 *
   FROM
       OPENROWSET(
           BULK 'https://contosolake.dfs.core.windows.net/users/NYCTripSmall.parquet',
           FORMAT='PARQUET'
       ) AS [result]
   

4. Selecione Executar.

A exploração de dados é apenas um cenário simplificado onde você pode entender as características básicas dos seus dados. Saiba mais sobre exploração e análise de dados neste tutorial.

Criar banco de dados de exploração de dados

Você pode navegar pelo conteúdo dos arquivos diretamente via master banco de dados. Para alguns cenários simples de exploração de dados, não é necessário criar um banco de dados separado. No entanto, à medida que você continua a exploração de dados, convém criar alguns objetos utilitários, como:

• Fontes de dados externas que representam as referências nomeadas para contas de armazenamento.
• Credenciais com escopo de banco de dados que permitem especificar como autenticar na fonte de dados externa.
• Usuários de banco de dados com permissões para acessar algumas fontes de dados ou objetos de banco de dados.
• Modos de exibição de utilitários, procedimentos e funções que você pode usar nas consultas.

1. Use o master banco de dados para criar um banco de dados separado para objetos de banco de dados personalizados. Não é possível criar objetos de banco de dados personalizados no master banco de dados.

   CREATE DATABASE DataExplorationDB 
                   COLLATE Latin1_General_100_BIN2_UTF8
   

   Importante

   Use um agrupamento com _UTF8 sufixo para garantir que o texto UTF-8 seja convertido corretamente em VARCHAR colunas. Latin1_General_100_BIN2_UTF8 fornece o melhor desempenho nas consultas que leem dados de arquivos Parquet e contêineres do Azure Cosmos DB. Para obter mais informações sobre como alterar agrupamentos, consulte Tipos de agrupamento suportados para Synapse SQL.

2. Alterne o contexto do banco de dados de master para DataExplorationDB usar o comando a seguir. Você também pode usar o banco de dados de uso de controle da interface do usuário para alternar seu banco de dados atual:

   USE DataExplorationDB
   

3. De criar objetos utilitários, como credenciais e fontes de DataExplorationDB dados.

   CREATE EXTERNAL DATA SOURCE ContosoLake
   WITH ( LOCATION = 'https://contosolake.dfs.core.windows.net')
   

   Nota

   Uma fonte de dados externa pode ser criada sem uma credencial. Se uma credencial não existir, a identidade do chamador será usada para acessar a fonte de dados externa.

4. Opcionalmente, use o banco de dados recém-criado DataExplorationDB para criar um login para um usuário no DataExplorationDB qual acessará dados externos:

   CREATE LOGIN data_explorer WITH PASSWORD = 'My Very Strong Password 1234!';
   

   Em seguida, crie um usuário de banco de dados para DataExplorationDB o login acima e conceda a ADMINISTER DATABASE BULK OPERATIONS permissão.

   CREATE USER data_explorer FOR LOGIN data_explorer;
   GO
   GRANT ADMINISTER DATABASE BULK OPERATIONS TO data_explorer;
   GO
   

5. Explore o conteúdo do arquivo usando o caminho relativo e a fonte de dados:

   SELECT
       TOP 100 *
   FROM
       OPENROWSET(
               BULK '/users/NYCTripSmall.parquet',
               DATA_SOURCE = 'ContosoLake',
               FORMAT='PARQUET'
       ) AS [result]
   

6. Publique suas alterações no espaço de trabalho.

O banco de dados de exploração de dados é apenas um espaço reservado simples onde você pode armazenar seus objetos utilitários. O pool Synapse SQL permite que você faça muito mais e crie um Data Warehouse Lógico - uma camada relacional criada sobre as fontes de dados do Azure. Saiba mais sobre como criar um armazém de dados lógico neste tutorial.

Próximos passos

Analise dados com um pool do Spark sem servidor