CRIAR TABELA EXTERNA (Transact-SQL)

Aplica-se a: SQL Server 2016 (13.x) e versões posteriores Azure SQL DatabaseAzure SQL Managed InstanceAzure Synapse AnalyticsAnalytics Platform System (PDW)Armazém no Microsoft FabricBase de dados SQL no Microsoft Fabric

Cria uma tabela externa.

Este artigo fornece a sintaxe, argumentos, observações, permissões e exemplos para qualquer produto SQL escolhido.

Selecione um produto

Na linha seguinte, selecione o nome do produto em que está interessado e apenas as informações desse produto são apresentadas.

* Servidor SQL *  

Banco de Dados SQL

da Instância Gerenciada SQL do Azure

Armazém de dados da plataforma

Banco de dados SQL Fabric

Sinapse do Azure
Análise

Plataforma de análise
Sistema (PDW)

 

Visão geral: SQL Server

Este comando cria uma tabela externa para o PolyBase acessar dados armazenados em um cluster Hadoop ou tabela externa PolyBase de Armazenamento de Blob do Azure que faz referência a dados armazenados em um cluster Hadoop ou Armazenamento de Blob do Azure.

Aplica-se a: SQL Server 2016 (13.x) e versões posteriores.

Use uma tabela externa com uma fonte de dados externa para consultas PolyBase. As fontes de dados externas são usadas para estabelecer conectividade e dar suporte a estes casos de uso primários:

• Virtualização de dados e carregamento de dados usando virtualização de dados com PolyBase no SQL Server
• Operações de carregamento em massa usando o SQL Server ou o Banco de dados SQL usando BULK INSERT ou OPENROWSET

Uma tabela externa é baseada em uma fonte de dados externa.

Transact-SQL convenções de sintaxe

Sintaxe

-- Create a new external table
CREATE EXTERNAL TABLE { database_name.schema_name.table_name | schema_name.table_name | table_name }
    ( <column_definition> [ , ...n ] )
    WITH (
        LOCATION = 'folder_or_filepath' ,
        DATA_SOURCE = external_data_source_name ,
        [ FILE_FORMAT = external_file_format_name ]
        [ , <reject_options> [ , ...n ] ]
    )
[ ; ]

<reject_options> ::=
{
    | REJECT_TYPE = { value | percentage }
    | REJECT_VALUE = reject_value
    | REJECT_SAMPLE_VALUE = reject_sample_value ,
    | REJECTED_ROW_LOCATION = '/REJECT_Directory'
}

<column_definition> ::=
column_name <data_type>
    [ COLLATE collation_name ]
    [ NULL | NOT NULL ]

Argumentos

{ database_name.nome_schema.nome_de_tabela | schema_name.nome_de_tabela | table_name }

O nome de uma a três partes da tabela a ser criada.

Para uma tabela externa, o SQL armazena apenas os metadados da tabela, juntamente com estatísticas básicas sobre o arquivo ou pasta referenciado no Hadoop ou no Armazenamento de Blobs do Azure. Nenhum dado real é movido ou armazenado no SQL Server.

Importante

Para melhor desempenho, se o driver de fonte de dados externo suportar um nome de três partes, deve fornecer o nome de três partes.

< > column_definition [ ,... n ]

CREATE EXTERNAL TABLE suporta a capacidade de configurar o nome da coluna, o tipo de dados, a anulabilidade e o agrupamento. Não é possível usar o DEFAULT CONSTRAINT em tabelas externas.

As definições de coluna, incluindo os tipos de dados e o número de colunas, devem corresponder aos dados nos arquivos externos. Se houver uma incompatibilidade, as linhas do arquivo serão rejeitadas ao consultar os dados reais.

LOCALIZAÇÃO = 'folder_or_filepath'

Especifica a pasta ou o caminho do arquivo e o nome do arquivo para os dados reais no Hadoop ou no Armazenamento de Blobs do Azure. Além disso, o armazenamento de objetos compatível com o S3 é suportado a partir do SQL Server 2022 (16.x)). O local começa a partir da pasta raiz. A pasta raiz é o local de dados especificado na fonte de dados externa.

DATA_SOURCE = external_data_source_name

Especifica o nome da fonte de dados externa que contém o local dos dados externos. Esse local é um Hadoop File System (HDFS), um contêiner de Armazenamento de Blob do Azure ou o Azure Data Lake Store. Para criar uma fonte de dados externa, use CRIAR FONTE DE DADOS EXTERNA.

FILE_FORMAT = external_file_format_name

Especifica o nome do objeto de formato de arquivo externo que armazena o tipo de arquivo e o método de compactação para os dados externos. Para criar um formato de arquivo externo, use CREATE EXTERNAL FILE FORMAT.

Formatos de arquivo externos podem ser reutilizados por vários arquivos externos semelhantes.

Opções REJEITAR

Esta opção só pode ser usada com fontes de dados externas onde TYPE = HADOOP.

Pode especificar os parâmetros de rejeição que determinam como o PolyBase lida com registos sujos que recupera da fonte de dados externa. Um registo de dados é considerado "sujo" se os tipos de dados reais ou o número de colunas não corresponderem às definições de coluna da tabela externa.

Quando você não especifica ou altera valores de rejeição, o PolyBase usa valores padrão. Esta informação sobre os parâmetros de rejeição é armazenada como metadados adicionais quando cria uma tabela externa com CREATE EXTERNAL TABLE a instrução. Quando uma instrução ou SELECT INTO SELECT instrução futura SELECT seleciona dados da tabela externa, o PolyBase usa as opções de rejeição para determinar o número ou percentagem de linhas que podem ser rejeitadas antes que a consulta real falhe. A consulta devolve resultados (parciais) até que o limiar de rejeição seja ultrapassado. Em seguida, ele falha com a mensagem de erro apropriada.

REJECT_TYPE = { valor | percentagem }

Esclarece se a REJECT_VALUE opção é especificada como um valor literal ou uma porcentagem.

• valor

  REJECT_VALUE é um valor literal, não uma percentagem. A consulta falha quando o número de linhas rejeitadas excede reject_value.

  Por exemplo, se REJECT_VALUE = 5 e REJECT_TYPE = value, a SELECT consulta falha após cinco linhas serem rejeitadas.

• percentagem

  REJECT_VALUE é uma percentagem, não um valor literal. Uma consulta falha quando a percentagem de linhas falhadas excede reject_value. A percentagem de linhas com falha é calculada em intervalos.

REJECT_VALUE = reject_value

Especifica o valor ou a porcentagem de linhas que podem ser rejeitadas antes que a consulta falhe.

Para REJECT_TYPE = value, reject_value deve ser um número inteiro entre 0 e 2.147.483.647.

Para REJECT_TYPE = percentage, reject_value deve ser um flutuador entre 0 e 100.

REJECT_SAMPLE_VALUE = reject_sample_value

Este atributo é necessário quando você especifica REJECT_TYPE = percentage. Ele determina o número de linhas a serem recuperadas antes que o PolyBase recalcule a porcentagem de linhas rejeitadas.

O parâmetro reject_sample_value deve ser um número inteiro entre 0 e 2.147.483.647.

Por exemplo, se REJECT_SAMPLE_VALUE = 1000, o PolyBase calcula a percentagem de linhas falhadas depois de ter tentado importar 1.000 linhas do ficheiro de dados externo. Se a porcentagem de linhas com falha for menor que reject_value, o PolyBase tentará recuperar outras 1.000 linhas. Ele continua a recalcular a porcentagem de linhas com falha depois de tentar importar cada 1.000 linhas adicionais.

Observação

Como o PolyBase calcula a porcentagem de linhas com falha em intervalos, a porcentagem real de linhas com falha pode exceder reject_value.

Exemplo

Este exemplo mostra como as três REJECT opções interagem entre si. Por exemplo, se REJECT_TYPE = percentage, REJECT_VALUE = 30e REJECT_SAMPLE_VALUE = 100, o seguinte cenário pode ocorrer:

• O PolyBase tenta recuperar as primeiras 100 linhas; 25 reprovam e 75 conseguem.
• A porcentagem de linhas com falha é calculada como 25%, que é menor do que o valor de rejeição de 30%. Como resultado, o PolyBase continua recuperando dados da fonte de dados externa.
• O PolyBase tenta carregar as próximas 100 linhas; Desta vez, 25 linhas são bem-sucedidas e 75 linhas falham.
• A porcentagem de linhas com falha é recalculada como 50%. A porcentagem de linhas com falha excedeu o valor de rejeição de 30%.
• A consulta PolyBase falha com 50% linhas rejeitadas depois de tentar retornar as primeiras 200 linhas. As linhas correspondentes são devolvidas antes de a consulta PolyBase detetar que o limiar de rejeição foi ultrapassado.

REJECTED_ROW_LOCATION = localização do diretório

Aplica-se a: SQL Server 2019 (15.x) 6 e versões posteriores, e Azure Synapse Analytics.

Especifica o diretório dentro da Fonte de Dados Externa que as linhas rejeitadas e o arquivo de erro correspondente devem ser gravados.

Se o caminho especificado não existir, o PolyBase criará um em seu nome. Um diretório filho é criado com o nome _rejectedrows. O caractere _ garante que o diretório seja escapado para outro processamento de dados, a menos que explicitamente nomeado no parâmetro location. Dentro deste diretório, há uma pasta criada com base no tempo de envio de carregamento no formato YearMonthDay -HourMinuteSecond (por exemplo, 20230330-173205). Nesta pasta, dois tipos de arquivos são gravados, o arquivo _reason e o arquivo de dados. Esta opção só pode ser usada com fontes de dados externas onde TYPE = HADOOP e para tabelas externas usando DELIMITEDTEXTFORMAT_TYPE. Para mais informações, consulte CRIAR FONTE DE DADOS EXTERNA e CRIAR FORMATO DE FICHEIRO EXTERNO.

Os arquivos de motivo e os arquivos de dados têm o queryID associado à instrução CTAS. Como os dados e o motivo estão em arquivos separados, os arquivos correspondentes têm um sufixo correspondente.

Permissões

Requer estas permissões de usuário:

• CREATE TABLE
• ALTER ANY SCHEMA
• ALTER ANY EXTERNAL DATA SOURCE
• ALTER ANY EXTERNAL FILE FORMAT (aplica-se apenas a fontes de dados externas do Hadoop e Azure Storage)
• CONTROL DATABASE (aplica-se apenas a fontes de dados externas do Hadoop e Azure Storage)

Note-se, o login remoto especificado no DATABASE SCOPED CREDENTIAL usado no CREATE EXTERNAL TABLE comando deve ter permissão de leitura para o caminho/tabela/coleção na fonte de dados externa especificada no LOCATION parâmetro. Se planeia usar isto EXTERNAL TABLE para exportar dados para uma fonte de dados externa Hadoop ou Azure Storage, então o login especificado deve ter permissão de escrita no caminho especificado em LOCATION. O Hadoop não é suportado no SQL Server 2022 (16.x).

Para o Armazenamento de Blobs do Azure, ao configurar as chaves de acesso e a assinatura de acesso compartilhado (SAS) no portal do Azure, as contas de armazenamento do Armazenamento de Blob do Azure ou do ADLS Gen2, configure o de permissões Permitido para conceder pelo menos de leitura e permissões de gravação. permissão Lista também pode ser necessária ao pesquisar entre pastas. Você também deve selecionar de contêiner e de objeto como os tipos de recursos permitidos.

Importante

A ALTER ANY EXTERNAL DATA SOURCE permissão concede a qualquer principal a capacidade de criar e modificar qualquer objeto fonte de dados externo e, por isso, também concede a capacidade de aceder a todas as credenciais com âmbito de base de dados na base de dados. Essa permissão deve ser considerada altamente privilegiada e, portanto, deve ser concedida apenas a entidades confiáveis no sistema.

Tratamento de erros

Ao executar a instrução CREATE EXTERNAL TABLE, o PolyBase tenta se conectar à fonte de dados externa. Se a tentativa de ligação falhar, a instrução falha e a tabela externa não é criada. Pode levar um minuto ou mais para que o comando falhe, já que o PolyBase tenta novamente a conexão antes de eventualmente falhar na consulta.

Comentários

Em cenários de consulta ad hoc, como SELECT FROM EXTERNAL TABLE, o PolyBase armazena as linhas recuperadas da fonte de dados externa em uma tabela temporária. Após a conclusão da consulta, o PolyBase remove e exclui a tabela temporária. Nenhum dado permanente é armazenado em tabelas SQL. Em contraste, no cenário de importação, como SELECT INTO FROM EXTERNAL TABLE, o PolyBase armazena as linhas que são recuperadas da fonte de dados externa como dados permanentes na tabela SQL. A nova tabela é criada durante a execução da consulta quando o PolyBase recupera os dados externos.

O formato Hadoop é apenas suportado no SQL Server 2016 (13.x), SQL Server 2017 (14.x) e SQL Server 2019 (15.x).

O PolyBase pode enviar parte da computação da consulta para o Hadoop para melhorar o desempenho da consulta. Esta ação é conhecida como empurrar de predicado. Para habilitá-lo, especifique a opção de local do gerenciador de recursos do Hadoop em CREATE EXTERNAL DATA SOURCE.

Você pode criar muitas tabelas externas que fazem referência à mesma fonte de dados externa ou a fontes de dados externas diferentes.

Limitações

Como os dados de uma tabela externa não estão sob controlo direto de gestão do SQL Server, podem ser alterados ou removidos a qualquer momento por um processo externo. Como resultado, não é garantido que os resultados da consulta em uma tabela externa sejam determinísticos. A mesma consulta pode retornar resultados diferentes cada vez que é executada em uma tabela externa. Da mesma forma, uma consulta pode falhar se os dados externos forem movidos ou removidos.

Você pode criar várias tabelas externas que fazem referência a diferentes fontes de dados externas. Se você executar consultas simultaneamente em diferentes fontes de dados Hadoop, cada fonte Hadoop deverá usar a mesma definição de configuração do servidor 'conectividade hadoop'. Por exemplo, não é possível executar simultaneamente uma consulta em um cluster Hadoop do Cloudera e em um cluster Hadoop do Hortonworks, pois eles usam definições de configuração diferentes. Para as definições de configuração e combinações suportadas, veja Configuração de conectividade PolyBase.

Quando a tabela externa está usando DELIMITEDTEXT, CSV, PARQUETou DELTA como tipos de dados, as tabelas externas oferecem suporte apenas a estatísticas para uma coluna por CREATE STATISTICS comando.

Somente estas instruções DDL (Data Definition Language) são permitidas em tabelas externas:

• CREATE TABLE e DROP TABLE
• CREATE STATISTICS e DROP STATISTICS
• CREATE VIEW e DROP VIEW

Construções e operações não suportadas:

• Uma DEFAULT restrição nas colunas externas da tabela
• Operações DML (Data Manipulation Language) de exclusão, inserção e atualização

Limitações de consulta

O PolyBase pode consumir um máximo de 33 mil arquivos por pasta ao executar 32 consultas PolyBase simultâneas. Este número máximo inclui ficheiros e subpastas em cada pasta HDFS. Se o grau de simultaneidade for inferior a 32, um usuário pode executar consultas PolyBase em pastas no HDFS que contenham mais de 33k arquivos. Recomendamos que você mantenha os caminhos de arquivos externos curtos e não use mais de 30 mil arquivos por pasta HDFS. Quando muitos arquivos são referenciados, uma exceção de falta de memória da Java Virtual Machine (JVM) pode ocorrer.

Limitações de largura da tabela

No SQL Server 2016 (13.x), o PolyBase tem um limite de largura de linha de 32 KB baseado no tamanho máximo de uma única linha válida por definição de tabela. Se a soma do esquema de coluna for maior que 32 KB, o PolyBase não poderá consultar os dados.

Limitações do tipo de dados

Os seguintes tipos de dados não podem ser usados em tabelas externas PolyBase:

• geografia
• geometria
• Hierarquia
• imagem
• texto
• ntexto
• XML
• Qualquer tipo definido pelo usuário

Limitações específicas da fonte de dados

Oráculo

Os sinônimos Oracle não são suportados para uso com o PolyBase.

Tabelas externas para coleções MongoDB que contêm matrizes

Use sp_data_source_objects para detetar o esquema de coleções (colunas) das coleções MongoDB que contenham arrays e crie manualmente a tabela externa. O procedimento armazenado sp_data_source_table_columns também executa automaticamente o nivelamento por meio do driver ODBC do PolyBase para o driver MongoDB.

Bloqueio

Bloqueio partilhado no SCHEMARESOLUTION objeto.

Segurança

Os arquivos de dados de uma tabela externa são armazenados no Hadoop ou no Armazenamento de Blobs do Azure. Esses arquivos de dados são criados e gerenciados por seus próprios processos. É sua responsabilidade gerir a segurança dos dados externos.

Exemplos

Um. Criar uma tabela externa com dados em formato delimitado por texto

Este exemplo mostra todas as etapas necessárias para criar uma tabela externa com dados formatados em arquivos delimitados por texto. Ele define uma fonte de dados externa mydatasource e um formato de arquivo externo myfileformat. Esses objetos no nível de banco de dados são referenciados na instrução CREATE EXTERNAL TABLE. Para mais informações, consulte CRIAR FONTE DE DADOS EXTERNA e CRIAR FORMATO DE FICHEIRO EXTERNO.

CREATE EXTERNAL DATA SOURCE mydatasource
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (FIELD_TERMINATOR = '|')
);
GO

CREATE EXTERNAL TABLE ClickStream
(
    url VARCHAR (50),
    event_date DATE,
    user_IP VARCHAR (50)
)
WITH (
    DATA_SOURCE = mydatasource,
    LOCATION = '/webdata/employee.tbl',
    FILE_FORMAT = myfileformat
);

B. Criar uma tabela externa com dados em formato RCFile

Este exemplo mostra todas as etapas necessárias para criar uma tabela externa que tenha dados formatados como RCFiles. Ele define uma fonte de dados externa mydatasource_rc e um formato de arquivo externo myfileformat_rc. Esses objetos no nível de banco de dados são referenciados na instrução CREATE EXTERNAL TABLE. Para mais informações, consulte CRIAR FONTE DE DADOS EXTERNA e CRIAR FORMATO DE FICHEIRO EXTERNO.

CREATE EXTERNAL DATA SOURCE mydatasource_rc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat_rc
WITH (
    FORMAT_TYPE = RCFILE,
    SERDE_METHOD = 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
);
GO

CREATE EXTERNAL TABLE ClickStream_rc
(
    url VARCHAR (50),
    event_date DATE,
    user_ip VARCHAR (50)
)
WITH (
    DATA_SOURCE = mydatasource_rc,
    LOCATION = '/webdata/employee_rc.tbl',
    FILE_FORMAT = myfileformat_rc
);

C. Criar uma tabela externa com dados em formato ORC

Este exemplo mostra todas as etapas necessárias para criar uma tabela externa que tenha dados formatados como arquivos ORC. Ele define uma fonte de dados externa mydatasource_orc e um formato de arquivo externo myfileformat_orc. Esses objetos no nível de banco de dados são referenciados na instrução CREATE EXTERNAL TABLE. Para mais informações, consulte CRIAR FONTE DE DADOS EXTERNA e CRIAR FORMATO DE FICHEIRO EXTERNO.

CREATE EXTERNAL DATA SOURCE mydatasource_orc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat_orc
WITH (
    FORMAT = ORC,
    COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL TABLE ClickStream_orc (
    url VARCHAR (50),
    event_date DATE,
    user_ip VARCHAR (50)
)
WITH (
    LOCATION='/webdata/',
    DATA_SOURCE = mydatasource_orc,
    FILE_FORMAT = myfileformat_orc
);

D. Consultar dados do Hadoop

ClickStream é uma tabela externa que se conecta ao arquivo de texto delimitado employee.tbl em um cluster Hadoop. A consulta a seguir se parece com uma consulta em relação a uma tabela padrão. No entanto, essa consulta recupera dados do Hadoop e, em seguida, calcula os resultados.

SELECT TOP 10 (url)
FROM ClickStream
WHERE user_ip = 'xxx.xxx.xxx.xxx';

E. Unir dados do Hadoop com dados SQL

Esta consulta assemelha-se exatamente a um padrão JOIN em duas tabelas SQL. A diferença é que o PolyBase recupera os dados do fluxo de cliques do Hadoop e, em seguida, os une à tabela UrlDescription. Uma tabela é uma tabela externa e a outra é uma tabela SQL padrão.

SELECT url.description
FROM ClickStream AS cs
     INNER JOIN UrlDescription AS url
         ON cs.url = url.name
WHERE cs.url = 'msdn.microsoft.com';

F. Importar dados do Hadoop para uma tabela SQL

Este exemplo cria um novo ms_user de tabela SQL que armazena permanentemente o resultado de uma associação entre o user de tabela SQL padrão e a tabela externa ClickStream.

SELECT DISTINCT user.FirstName, user.LastName
INTO ms_user
FROM user INNER JOIN (
    SELECT * FROM ClickStream WHERE cs.url = 'www.microsoft.com'
) AS ms
ON user.user_ip = ms.user_ip;

G. Criar uma tabela externa para o SQL Server

Antes de criar uma credencial com escopo de banco de dados, o banco de dados de usuário deve ter uma chave mestra para proteger a credencial. Para mais informações, consulte CREATE MASTER KEY e CREATE DATABASE SCOPED CREDENTIAL.

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*  specify credentials to external data source
 *  IDENTITY: user name for external source.
 *  SECRET: password for external source.
 */
CREATE DATABASE SCOPED CREDENTIAL SqlServerCredentials
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';

Crie uma nova fonte de dados externa chamada SQLServerInstancee uma tabela externa chamada sqlserver.customer:

/* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
*  PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
*  CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE SQLServerInstance
WITH (
LOCATION = 'sqlserver://SqlServer',
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL = SQLServerCredentials
);
GO

CREATE SCHEMA sqlserver;

/* LOCATION: sql server table/view in 'database_name.schema_name.object_name' format
*  DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE sqlserver.customer (
    C_CUSTKEY INT NOT NULL,
    C_NAME VARCHAR(25) NOT NULL,
    C_ADDRESS VARCHAR(40) NOT NULL,
    C_NATIONKEY INT NOT NULL,
    C_PHONE CHAR(15) NOT NULL,
    C_ACCTBAL DECIMAL(15,2) NOT NULL,
    C_MKTSEGMENT CHAR(10) NOT NULL,
    C_COMMENT VARCHAR(117) NOT NULL
)
WITH (
    LOCATION='tpch_10.dbo.customer',
    DATA_SOURCE=SqlServerInstance
);

Eu. Criar uma tabela externa para Oracle

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/*
* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = 'oracle://<server address>[:<port>]',
    -- PUSHDOWN = ON | OFF,CREDENTIAL = credential_name
);

/*
* LOCATION: Oracle table/view in '<database_name>.<schema_name>.<object_name>' format. This may be case sensitive in the Oracle database.
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customers
(
    [O_ORDERKEY] DECIMAL (38) NOT NULL,
    [O_CUSTKEY] DECIMAL (38) NOT NULL,
    [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
    [O_TOTALPRICE] DECIMAL (15, 2) NOT NULL,
    [O_ORDERDATE] DATETIME2 (0) NOT NULL,
    [O_ORDERPRIORITY] CHAR (15) COLLATE Latin1_General_BIN NOT NULL,
    [O_CLERK] CHAR (15) COLLATE Latin1_General_BIN NOT NULL,
    [O_SHIPPRIORITY] DECIMAL (38) NOT NULL,
    [O_COMMENT] VARCHAR (79) COLLATE Latin1_General_BIN NOT NULL
)
WITH (
    DATA_SOURCE = external_data_source_name,
    LOCATION = 'DB1.mySchema.customer'
);

J. Criar uma tabela externa para Teradata

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = teradata://<server address>[:<port>],
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL =credential_name
);
GO

/* LOCATION: Teradata table/view in '<database_name>.<object_name>' format
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customer(
    L_ORDERKEY INT NOT NULL,
    L_PARTKEY INT NOT NULL,
    L_SUPPKEY INT NOT NULL,
    L_LINENUMBER INT NOT NULL,
    L_QUANTITY DECIMAL(15,2) NOT NULL,
    L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
    L_DISCOUNT DECIMAL(15,2) NOT NULL,
    L_TAX DECIMAL(15,2) NOT NULL,
    L_RETURNFLAG CHAR NOT NULL,
    L_LINESTATUS CHAR NOT NULL,
    L_SHIPDATE DATE NOT NULL,
    L_COMMITDATE DATE NOT NULL,
    L_RECEIPTDATE DATE NOT NULL,
    L_SHIPINSTRUCT CHAR(25) NOT NULL,
    L_SHIPMODE CHAR(10) NOT NULL,
    L_COMMENT VARCHAR(44) NOT NULL
)
WITH (
    LOCATION='customer',
    DATA_SOURCE= external_data_source_name
);

K. Criar uma tabela externa para o MongoDB

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/* LOCATION: Location string should be of format '<type>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = mongodb://<server>[:<port>],
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL = credential_name
);

/* LOCATION: MongoDB table/view in '<database_name>.<schema_name>.<object_name>' format
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customers(
    [O_ORDERKEY] DECIMAL(38) NOT NULL,
    [O_CUSTKEY] DECIMAL(38) NOT NULL,
    [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
    [O_TOTALPRICE] DECIMAL(15,2) NOT NULL,
    [O_ORDERDATE] DATETIME2(0) NOT NULL,
    [O_COMMENT] VARCHAR(79) COLLATE Latin1_General_BIN NOT NULL
)
WITH (
    LOCATION='customer',
    DATA_SOURCE= external_data_source_name
);

L. Consultar o armazenamento de objetos compatíveis com o S3 através de uma tabela externa

Aplica-se a: SQL Server 2022 (16.x) e versões posteriores.

O exemplo a seguir demonstra o uso do T-SQL para consultar um arquivo parquet armazenado no armazenamento de objetos compatível com o S3 por meio da consulta de tabela externa. O exemplo usa um caminho relativo dentro da fonte de dados externa.

CREATE EXTERNAL DATA SOURCE s3_ds
WITH
(   LOCATION = 's3://<ip_address>:<port>/',
    CREDENTIAL = s3_dc
);
GO

CREATE EXTERNAL FILE FORMAT ParquetFileFormat
WITH(
    FORMAT_TYPE = PARQUET
);
GO

CREATE EXTERNAL TABLE Region (
    r_regionkey BIGINT,
    r_name CHAR(25),
    r_comment VARCHAR(152)
)
WITH (
    LOCATION = '/region/',
    DATA_SOURCE = 's3_ds',
    FILE_FORMAT = ParquetFileFormat
);

Conteúdo relacionado

• CRIAR FONTE DE DADOS EXTERNA (Transact-SQL)
• CRIAR FORMATO DE ARQUIVO EXTERNO (Transact-SQL)
• sp_data_source_objects (Transact-SQL)