CETAS com Synapse SQL

Artigo
03/30/2023

Pode utilizar CREATE EXTERNAL TABLE AS SELECT (CETAS) no conjunto de SQL dedicado ou no conjunto de SQL sem servidor para concluir as seguintes tarefas:

Criar uma tabela externa
Exporte, em paralelo, os resultados de uma instrução SELECT transact-SQL para:
- Hadoop
- Azure Storage Blob
- Armazenamento do Azure Data Lake Ger2

CETAS no conjunto de SQL dedicado

Para obter o conjunto de SQL dedicado, a utilização e a sintaxe do CETAS, veja o artigo CREATE EXTERNAL TABLE AS SELECT (CRIAR TABELA EXTERNA COMO SELECT ). Além disso, para obter orientações sobre O CTAS com o conjunto de SQL dedicado, veja o artigo CREATE TABLE AS SELECT (CRIAR TABELA COMO SELECT ).

CETAS no conjunto de SQL sem servidor

Ao utilizar o conjunto de SQL sem servidor, o CETAS é utilizado para criar uma tabela externa e exportar os resultados da consulta para o Azure Storage Blob ou Azure Data Lake Storage Gen2.

Para obter a sintaxe completa, veja CREATE EXTERNAL TABLE AS SELECT (Transact-SQL).

Exemplos

Estes exemplos utilizam o CETAS para poupar a população total agregada por ano e o estado numa pasta de aggregated_data localizada na origem de dados population_ds.

Este exemplo baseia-se na credencial, origem de dados e formato de ficheiro externo criado anteriormente. Veja o documento de tabelas externas . Para guardar os resultados da consulta numa pasta diferente na mesma origem de dados, altere o argumento LOCALIZAÇÃO.

Para guardar resultados numa conta de armazenamento diferente, crie e utilize uma origem de dados diferente para DATA_SOURCE argumento.

Nota

Os exemplos que se seguem utilizam uma conta pública do Azure Open Data Storage. É só de leitura. Para executar estas consultas, tem de fornecer a origem de dados para a qual tem permissões de escrita.

-- use CETAS to export select statement with OPENROWSET result to  storage
CREATE EXTERNAL TABLE population_by_year_state
WITH (
    LOCATION = 'aggregated_data/',
    DATA_SOURCE = population_ds,  
    FILE_FORMAT = census_file_format
)  
AS
SELECT decennialTime, stateName, SUM(population) AS population
FROM
    OPENROWSET(BULK 'https://azureopendatastorage.dfs.core.windows.net/censusdatacontainer/release/us_population_county/year=*/*.parquet',
    FORMAT='PARQUET') AS [r]
GROUP BY decennialTime, stateName
GO

-- you can query the newly created external table
SELECT * FROM population_by_year_state

O exemplo seguinte utiliza uma tabela externa como origem para CETAS. Baseia-se na credencial, origem de dados, formato de ficheiro externo e tabela externa criada anteriormente. Veja o documento de tabelas externas .

-- use CETAS with select from external table
CREATE EXTERNAL TABLE population_by_year_state
WITH (
    LOCATION = 'aggregated_data/',
    DATA_SOURCE = population_ds,  
    FILE_FORMAT = census_file_format
)  
AS
SELECT decennialTime, stateName, SUM(population) AS population
FROM census_external_table
GROUP BY decennialTime, stateName
GO

-- you can query the newly created external table
SELECT * FROM population_by_year_state

Exemplo geral

Neste exemplo, podemos ver um exemplo de um código de modelo para escrever CETAS com uma Vista como origem e utilizar a Identidade Gerida como uma autenticação.

CREATE DATABASE [<mydatabase>];
GO

USE [<mydatabase>];
GO

CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';

CREATE DATABASE SCOPED CREDENTIAL [WorkspaceIdentity] WITH IDENTITY = 'Managed Identity';
GO

CREATE EXTERNAL FILE FORMAT [ParquetFF] WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL DATA SOURCE [SynapseSQLwriteable] WITH (
    LOCATION = 'https://<mystoageaccount>.dfs.core.windows.net/<mycontainer>/<mybaseoutputfolderpath>',
    CREDENTIAL = [WorkspaceIdentity]
);
GO

CREATE EXTERNAL TABLE [dbo].[<myexternaltable>] WITH (
        LOCATION = '<myoutputsubfolder>/',
        DATA_SOURCE = [SynapseSQLwriteable],
        FILE_FORMAT = [ParquetFF]
) AS
SELECT * FROM [<myview>];
GO

Tipos de dados suportados

O CETAS pode ser utilizado para armazenar conjuntos de resultados com os seguintes tipos de dados SQL:

binary
varbinary
caráter
varchar
nchar
nvarchar
data pequena
data
datetime
datetime2
datetimeoffset
hora
decimal
numeric
float
real
bigint
tinyint
smallint
int
bigint
bit
dinheiro
dinheiro pequeno
uniqueidentifier

Nota

Os LOBs com mais de 1 MB não podem ser utilizados com CETAS.

Passos seguintes

Experimente consultar o Apache Spark para Azure Synapse tabelas externas.

Partilhar via