CREATE EXTERNAL TABLE (Transact-SQL)

Относится к: SQL Server 2016 (13.x) и более поздние версии, Azure SQL Database, Azure SQL Managed Instance, Azure Synapse Analytics, Analytics Platform System (PDW), Хранилище в Microsoft Fabric, SQL Database в Microsoft Fabric

Создает внешнюю таблицу.

Эта статья приводит синтаксис, аргументы, комментарии, разрешения и примеры для любых выбранных продуктов SQL.

Выбор продукта

В следующей строке выберите название нужного продукта, и отобразится информация только об этом продукте.

* SQL Server *  

База данных SQL

Управляемый экземпляр SQL Azure

Хранилище данных Fabric

База данных SQL Fabric

Azure Synapse
Аналитика

Платформа аналитики
Система (PDW)

 

Обзор: SQL Server

Эта команда создает внешнюю таблицу для PolyBase для доступа к данным, хранящимся в кластере Hadoop или Хранилище BLOB-объектов Azure внешней таблице PolyBase, которая ссылается на данные, хранящиеся в кластере Hadoop или Хранилище BLOB-объектов Azure.

Область применения: SQL Server 2016 (13.x) и более поздних версий.

Используйте внешнюю таблицу с внешним источником данных для запросов PolyBase. Внешние источники данных используются для обеспечения взаимодействия и поддерживают следующие основные варианты использования.

• Виртуализация данных и загрузка данных с помощью виртуализации данных с PolyBase в SQL Server
• Операции массовой загрузки в SQL Server или базе данных SQL с помощью BULK INSERT или OPENROWSET

Внешняя таблица основана на внешнем источнике данных.

Соглашения о синтаксисе Transact-SQL

Синтаксис

-- Create a new external table
CREATE EXTERNAL TABLE { database_name.schema_name.table_name | schema_name.table_name | table_name }
    ( <column_definition> [ , ...n ] )
    WITH (
        LOCATION = 'folder_or_filepath' ,
        DATA_SOURCE = external_data_source_name ,
        [ FILE_FORMAT = external_file_format_name ]
        [ , <reject_options> [ , ...n ] ]
    )
[ ; ]

<reject_options> ::=
{
    | REJECT_TYPE = { value | percentage }
    | REJECT_VALUE = reject_value
    | REJECT_SAMPLE_VALUE = reject_sample_value ,
    | REJECTED_ROW_LOCATION = '/REJECT_Directory'
}

<column_definition> ::=
column_name <data_type>
    [ COLLATE collation_name ]
    [ NULL | NOT NULL ]

Аргументы

{ database_name.schema_name.table_name | schema_name.table_name | table_name }

Имя создаваемой таблицы, состоящее из одной, двух или трех частей.

Для внешней таблицы SQL хранит только метаданные таблицы, а также базовую статистику о файле или папке, на которую ссылается Hadoop или Хранилище BLOB-объектов Azure. Фактические данные не перемещаются или хранятся в SQL Server.

Внимание

Для повышения производительности, если драйвер внешнего источника данных поддерживает трехкомпонентное имя, необходимо указать трехкомпонентное имя.

< > column_definition [ ,... n ]

CREATE EXTERNAL TABLE поддерживает возможность настройки имени столбца, типа данных, допустимости значений NULL и параметров сортировки. Нельзя использовать внешние DEFAULT CONSTRAINT таблицы.

Определения столбцов, включая типы данных и количество столбцов, должны соответствовать данным во внешних файлах. Если есть несоответствие, строки файлов отклоняются при запросе фактических данных.

LOCATION = путь_к_папке_или_файлу

Указывает путь к папке или файлу и имя файла для фактических данных в Хранилище BLOB-объектов Azure или Hadoop. Кроме того, начиная с SQL Server 2022 (16.x) поддерживается совместимое с S3 хранилище объектов. Расположение начинается с корневой папки. Она представляет собой расположение данных, указанное во внешнем источнике данных.

DATA_SOURCE = external_data_source_name

Указывает имя внешнего источника данных, содержащего расположение внешних данных. Это расположение — файловая система Hadoop (HDFS), контейнер Хранилище BLOB-объектов Azure или Azure Data Lake Store. Чтобы создать внешний источник данных, используйте CREATE EXTERNAL DATA SOURCE.

FILE_FORMAT = external_file_format_name

Указывает имя объекта формата внешнего файла, который хранит тип файла и метод сжатия для внешних данных. Чтобы создать формат внешнего файла, используйте CREATE EXTERNAL FILE FORMAT.

Форматы внешних файлов можно повторно использовать несколькими похожими внешними файлами.

Параметры REJECT

Этот параметр можно использовать только с внешними источниками данных, где TYPE = HADOOP.

Можно указать параметры отклонения, определяющие, как PolyBase обрабатывает грязные записи, полученные из внешнего источника данных. Запись считается "грязной", если фактический тип данных или количество столбцов не совпадают с определениями столбцов во внешней таблице.

Если вы не указываете или не меняете значения отклонения, PolyBase использует значения по умолчанию. Эти сведения о параметрах отклонения хранятся в виде дополнительных метаданных при создании внешней таблицы с CREATE EXTERNAL TABLE оператором. Когда будущая SELECT инструкция или SELECT INTO SELECT инструкция выбирает данные из внешней таблицы, PolyBase использует параметры отклонения, чтобы определить количество или процент строк, которые могут быть отклонены до сбоя фактического запроса. Запрос возвращает (частичные) результаты до превышения порогового значения отклонения. Затем он выдаст соответствующее сообщение об ошибке.

REJECT_TYPE = { значение | процент }

Указывает, указан литерал REJECT_VALUE или процент.

• значение

  REJECT_VALUE — это литеральное значение, а не процент. Запрос завершается ошибкой, если число отклоненных строк превышает reject_value.

  Например, если REJECT_VALUE = 5 и REJECT_TYPE = valueзапрос завершается ошибкой SELECT после того, как пять строк отклоняются.

• процент

  REJECT_VALUE — это процент, а не литеральное значение. Запрос завершается ошибкой, если процент неудачных строк превышает reject_value. Процент недопустимых строк вычисляется с интервалами.

REJECT_VALUE = reject_value

Задает значение или процент строк, которые можно отклонить, прежде чем запрос завершится ошибкой.

Для REJECT_TYPE = value, reject_value должно быть целым числом от 0 до 2 147 483 647.

Для REJECT_TYPE = percentage, reject_value должен быть плавающей в диапазоне от 0 до 100.

REJECT_SAMPLE_VALUE = reject_sample_value

Этот атрибут требуется при указании REJECT_TYPE = percentage. Он определяет количество строк, которое запрос попытается извлечь, прежде чем PolyBase пересчитает процент отклоненных строк.

Параметр reject_sample_value должен быть целым числом от 0 до 2 147 483 647.

Например, если REJECT_SAMPLE_VALUE = 1000PolyBase вычисляет процент неудачных строк после попытки импортировать 1000 строк из внешнего файла данных. Если процент неудачных строк меньше reject_value, PolyBase пытается получить еще 1000 строк. Он продолжает пересчитывать процент неудачных строк после попытки импортировать все дополнительные 1000 строк.

Примечание.

Поскольку PolyBase вычисляет процент отклоненных строк с интервалами, фактический процент отклоненных строк может превысить reject_value.

Пример

В этом примере показано, как три REJECT варианта взаимодействуют друг с другом. Например, если REJECT_TYPE = percentage, REJECT_VALUE = 30и REJECT_SAMPLE_VALUE = 100может произойти следующий сценарий:

• PolyBase попытается извлечь первые 100 строк; из них 25 отклонено, а 75 — извлечено успешно.
• Процент строк с ошибками равен 25 %, что меньше значения отклонения — 30 %. В результате PolyBase продолжает получать данные из внешнего источника данных.
• PolyBase пытается загрузить следующие 100 строк. На этот раз 25 строк извлечено успешно и 75 — отклонено.
• Процент отклоненных строк пересчитывается и составляет 50 %. Процент отклоненных строк превысил значение отклонения 30 %.
• Запрос PolyBase завершается ошибкой, поскольку после попытки извлечение первых 200 строк 50 % из них было отклонено. Соответствующие строки возвращаются до того, как запрос PolyBase обнаруживает превышение порогового значения отклонения.

REJECTED_ROW_LOCATION = расположение каталога

Область применения: SQL Server 2019 (15.x) CU 6 и более поздних версий и Azure Synapse Analytics.

Указывает каталог во внешнем источнике данных, в который должны записываться строки и соответствующий файл ошибок.

Если указанный путь не существует, PolyBase создает его от вашего имени. Дочерний каталог создается с именем _rejectedrows. Символ _ гарантирует, что каталог экранируется для другой обработки данных, если не указано явно в параметре расположения. В этом каталоге существует папка, созданная на основе времени отправки нагрузки в формате YearMonthDay -HourMinuteSecond (например, 20230330-173205). В этой папке записываются два типа файлов, _reason файл и файл данных. Этот параметр можно использовать только с внешними источниками данных, где TYPE = HADOOP и для внешних таблиц с помощью DELIMITEDTEXTFORMAT_TYPE. Дополнительные сведения см. в статье CREATE EXTERNAL DATA SOURCE and CREATE EXTERNAL FILE FORMAT.

Файлы причин и файлы данных имеют queryID, связанные с оператором CTAS. Так как данные и причины хранятся в отдельных файлах, эти файлы имеют соответствующие суффиксы.

Разрешения

Требуются следующие разрешения:

• CREATE TABLE
• ALTER ANY SCHEMA
• ALTER ANY EXTERNAL DATA SOURCE
• ALTER ANY EXTERNAL FILE FORMAT (применяется только к внешним источникам данных Службы хранилища Azure и Hadoop)
• CONTROL DATABASE (применяется только к внешним источникам данных Службы хранилища Azure и Hadoop)

Обратите внимание, что удаленное имя входа, указанное в DATABASE SCOPED CREDENTIALCREATE EXTERNAL TABLE команде, должно иметь разрешение на чтение пути или таблицы или коллекции во внешнем источнике данных, указанном в параметре LOCATION . Если вы планируете использовать это EXTERNAL TABLE для экспорта данных в внешний источник данных Hadoop или службы хранилища Azure, то указанный вход должен иметь разрешение на запись по пути, указанному в LOCATION. Hadoop не поддерживается в SQL Server 2022 (16.x).

Для Хранилища BLOB-объектов Azure при настройке ключей доступа и подписанного URL-адреса (SAS) на портале Azure, в учетных записях хранения Хранилища BLOB-объектов Azure или ADLS 2-го поколения нужно выбрать Предоставленные разрешения, чтобы предоставить по крайней мере разрешения Чтение и Запись. Также может потребоваться разрешение List при поиске по папкам. Необходимо также выбрать элементы Контейнер и Объект в качестве допустимых типов ресурсов.

Внимание

Разрешение ALTER ANY EXTERNAL DATA SOURCE предоставляет любому субъекту возможность создавать и изменять любой объект внешнего источника данных, поэтому он также предоставляет возможность доступа ко всем учетным данным в области базы данных. Это разрешение следует рассматривать как высоко привилегированное, поэтому его следует предоставлять только доверенным субъектам в системе.

Обработка ошибок

При выполнении инструкции CREATE EXTERNAL TABLE PolyBase пытается подключиться к внешнему источнику данных. Если попытка подключения завершается ошибкой, оператор завершается ошибкой, и внешняя таблица не создается. Это может занять около минуты, поскольку PolyBase повторяет попытки соединения, прежде чем запрос будет завершен ошибкой.

Замечания

В нерегламентированных сценариях запросов, таких как SELECT FROM EXTERNAL TABLEPolyBase, хранит строки, полученные из внешнего источника данных во временной таблице. После выполнения запроса PolyBase удаляет временную таблицу. В таблицах SQL не сохраняются постоянные данные. Напротив, в сценарии импорта, например SELECT INTO FROM EXTERNAL TABLEPolyBase, сохраняет строки, полученные из внешнего источника данных, в качестве постоянных данных в таблице SQL. Новая таблица создается при выполнении запросов, когда PolyBase извлекает внешние данные.

Формат Hadoop поддерживается только в SQL Server 2016 (13.x), SQL Server 2017 (14.x) и SQL Server 2019 (15.x).

PolyBase может передать некоторые вычисления запросов в Hadoop для повышения производительности запросов. Это действие называется pushdown предикатом. Для его выполнения задайте параметр расположения диспетчера ресурсов Hadoop в CREATE EXTERNAL DATA SOURCE.

Вы можете создать несколько внешних таблиц, которые ссылаются на один или разные внешние источники данных.

Ограничения

Так как данные для внешней таблицы не контролируются прямым управлением SQL Server, их можно изменять или удалять в любое время внешним процессом. По этой причине результаты запроса к внешней таблице необязательно будут детерминированными. Один и то же запрос может возвращать разные результаты при каждом обращении к внешней таблице. Аналогичным образом, запрос может завершиться ошибкой, если внешние данные удалены или перемещены.

Вы можете создать несколько внешних таблиц, которые ссылаются на разные внешние источники данных. Если же вы одновременно выполняете запросы к различным источникам данных Hadoop, каждый источник Hadoop должен иметь одинаковый параметр конфигурации сервера hadoop connectivity. Например, невозможно одновременно выполнить запрос к кластеру Cloudera Hadoop и кластеру Hortonworks Hadoop, поскольку они используют разные параметры конфигурации. Параметры конфигурации и поддерживаемые сочетания см. в разделе "Конфигурация подключения PolyBase".

Если внешняя таблица использует DELIMITEDTEXT, CSVPARQUETили DELTA как типы данных, внешние таблицы поддерживают статистику только для одного столбца для каждой CREATE STATISTICS команды.

Только эти инструкции DDL допускаются для внешних таблиц:

• CREATE TABLE и DROP TABLE.
• CREATE STATISTICS и DROP STATISTICS.
• CREATE VIEW и DROP VIEW.

Неподдерживаемые конструкции и операции:

• Ограничение DEFAULT на столбцы внешней таблицы
• Операции DML обновления, вставки и удаления

Ограничения запросов

PolyBase может обработать не более 33 тысяч файлов на папку при выполнении параллельных запросов PolyBase со степенью 32. Это максимальное число включает файлы и вложенные папки в каждой папке HDFS. Если степень параллелизма меньше 32, пользователь может выполнять запросы PolyBase к папкам в HDFS, если в них содержится более 33 тысяч файлов. Рекомендуется указывать короткие пути к внешним файлам и следить за тем, чтобы в каждой папке HDFS было не более 30 тысяч файлов. При ссылке на слишком большое число файлов может возникнуть исключение, связанное с нехваткой памяти на виртуальной машине Java.

Ограничения по ширине таблицы

В SQL Server 2016 (13.x) PolyBase имеет ограничение ширины строки в 32 КБ на основе максимального размера одной допустимой строки по определению таблицы. Если схема суммы столбцов превышает 32 КБ, PolyBase не сможет запросить данные.

Ограничения типов данных

В внешних таблицах PolyBase нельзя использовать следующие типы данных:

• географии
• геометрии
• hierarchyid (идентификатор иерархии)
• изображения
• текст
• ntext
• XML-
• Любой пользовательский тип

Ограничения, связанные с источником данных

Оракул

Синонимы Oracle не поддерживаются для использования с PolyBase.

Внешние таблицы для коллекций MongoDB, содержащих массивы

Используйте sp_data_source_objects для обнаружения схемы коллекции (столбцов) для коллекций MongoDB, содержащих массивы, и вручную создайте внешнюю таблицу. Хранимая sp_data_source_table_columns процедура также автоматически выполняет преобразование в плоскую структуру с помощью драйвера ODBC PolyBase для MongoDB.

Блокировка

Общая блокировка SCHEMARESOLUTION объекта.

Безопасность

Файлы данных для внешней таблицы хранятся в Hadoop или Хранилище BLOB-объектов Azure. Эти файлы данных создаются и управляются вашими собственными процессами. Это ваша ответственность за управление безопасностью внешних данных.

Примеры

А. Создайте внешнюю таблицу с данными с текстовыми разделителями.

В этом примере показаны все действия по созданию внешней таблицы с данными, отформатированными в виде файлов с текстовыми разделителями. Он определяет внешний источник данных mydatasource и внешний формат файла myfileformat. Затем эти объекты уровня базы данных ссылаются в инструкции CREATE EXTERNAL TABLE. Дополнительные сведения см. в статье CREATE EXTERNAL DATA SOURCE and CREATE EXTERNAL FILE FORMAT.

CREATE EXTERNAL DATA SOURCE mydatasource
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat
WITH (
    FORMAT_TYPE = DELIMITEDTEXT,
    FORMAT_OPTIONS (FIELD_TERMINATOR = '|')
);
GO

CREATE EXTERNAL TABLE ClickStream
(
    url VARCHAR (50),
    event_date DATE,
    user_IP VARCHAR (50)
)
WITH (
    DATA_SOURCE = mydatasource,
    LOCATION = '/webdata/employee.tbl',
    FILE_FORMAT = myfileformat
);

В. Создайте внешнюю таблицу с данными в формате RCFile.

В этом примере показаны все действия по созданию внешней таблицы с данными, отформатированными в виде файлов RCFile. Он определяет внешний источник данных mydatasource_rc и внешний формат файла myfileformat_rc. Затем эти объекты уровня базы данных ссылаются в инструкции CREATE EXTERNAL TABLE. Дополнительные сведения см. в статье CREATE EXTERNAL DATA SOURCE and CREATE EXTERNAL FILE FORMAT.

CREATE EXTERNAL DATA SOURCE mydatasource_rc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat_rc
WITH (
    FORMAT_TYPE = RCFILE,
    SERDE_METHOD = 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
);
GO

CREATE EXTERNAL TABLE ClickStream_rc
(
    url VARCHAR (50),
    event_date DATE,
    user_ip VARCHAR (50)
)
WITH (
    DATA_SOURCE = mydatasource_rc,
    LOCATION = '/webdata/employee_rc.tbl',
    FILE_FORMAT = myfileformat_rc
);

В. Создайте внешнюю таблицу с данными в формате ORC.

В этом примере показаны все действия по созданию внешней таблицы с данными, отформатированными в виде файлов ORC. В нем определяется внешний источник данных mydatasource_orc и формат внешнего файла myfileforma_orc. Затем эти объекты уровня базы данных ссылаются в инструкции CREATE EXTERNAL TABLE. Дополнительные сведения см. в статье CREATE EXTERNAL DATA SOURCE and CREATE EXTERNAL FILE FORMAT.

CREATE EXTERNAL DATA SOURCE mydatasource_orc
WITH (
    TYPE = HADOOP,
    LOCATION = 'hdfs://xxx.xxx.xxx.xxx:8020'
);
GO

CREATE EXTERNAL FILE FORMAT myfileformat_orc
WITH (
    FORMAT = ORC,
    COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);
GO

CREATE EXTERNAL TABLE ClickStream_orc (
    url VARCHAR (50),
    event_date DATE,
    user_ip VARCHAR (50)
)
WITH (
    LOCATION='/webdata/',
    DATA_SOURCE = mydatasource_orc,
    FILE_FORMAT = myfileformat_orc
);

Д. Запрос данных Hadoop

ClickStream — это внешняя таблица, соединенная с текстовым файлом с разделителями employee.tbl в кластере Hadoop. Следующий запрос выглядит так же, как запрос к стандартной таблице. Однако этот запрос извлекает данные из Hadoop, а затем вычисляет результаты.

SELECT TOP 10 (url)
FROM ClickStream
WHERE user_ip = 'xxx.xxx.xxx.xxx';

Е. Объединение данных Hadoop с данными SQL

Этот запрос выглядит так же, как стандарт JOIN в двух таблицах SQL. Разница в том, что PolyBase получает сведения о посещениях из Hadoop, а затем объединяет их с таблицей UrlDescription. Одна таблица является внешней, а другая — стандартной таблицей SQL.

SELECT url.description
FROM ClickStream AS cs
     INNER JOIN UrlDescription AS url
         ON cs.url = url.name
WHERE cs.url = 'msdn.microsoft.com';

F. Импорт данных из Hadoop в таблицу SQL

В этом примере создается новая таблица SQL — ms_user, в которой постоянно хранятся результаты объединения стандартной таблицы SQL user и внешней таблицы ClickStream.

SELECT DISTINCT user.FirstName, user.LastName
INTO ms_user
FROM user INNER JOIN (
    SELECT * FROM ClickStream WHERE cs.url = 'www.microsoft.com'
) AS ms
ON user.user_ip = ms.user_ip;

G. Создание внешней таблицы для SQL Server

Перед созданием учетных данных на уровне базы данных в базе данных должен быть главный ключ для защиты учетных данных. Дополнительные сведения см. в разделе CREATE MASTER KEY и CREATE DATABASE SCOPED CREDENTIAL.

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*  specify credentials to external data source
 *  IDENTITY: user name for external source.
 *  SECRET: password for external source.
 */
CREATE DATABASE SCOPED CREDENTIAL SqlServerCredentials
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';

Создание нового внешнего источника данных с именем SQLServerInstance и внешней таблицы с именем sqlserver.customer.

/* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
*  PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
*  CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE SQLServerInstance
WITH (
LOCATION = 'sqlserver://SqlServer',
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL = SQLServerCredentials
);
GO

CREATE SCHEMA sqlserver;

/* LOCATION: sql server table/view in 'database_name.schema_name.object_name' format
*  DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE sqlserver.customer (
    C_CUSTKEY INT NOT NULL,
    C_NAME VARCHAR(25) NOT NULL,
    C_ADDRESS VARCHAR(40) NOT NULL,
    C_NATIONKEY INT NOT NULL,
    C_PHONE CHAR(15) NOT NULL,
    C_ACCTBAL DECIMAL(15,2) NOT NULL,
    C_MKTSEGMENT CHAR(10) NOT NULL,
    C_COMMENT VARCHAR(117) NOT NULL
)
WITH (
    LOCATION='tpch_10.dbo.customer',
    DATA_SOURCE=SqlServerInstance
);

И. Создание внешней таблицы для Oracle

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/*
* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = 'oracle://<server address>[:<port>]',
    -- PUSHDOWN = ON | OFF,CREDENTIAL = credential_name
);

/*
* LOCATION: Oracle table/view in '<database_name>.<schema_name>.<object_name>' format. This may be case sensitive in the Oracle database.
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customers
(
    [O_ORDERKEY] DECIMAL (38) NOT NULL,
    [O_CUSTKEY] DECIMAL (38) NOT NULL,
    [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
    [O_TOTALPRICE] DECIMAL (15, 2) NOT NULL,
    [O_ORDERDATE] DATETIME2 (0) NOT NULL,
    [O_ORDERPRIORITY] CHAR (15) COLLATE Latin1_General_BIN NOT NULL,
    [O_CLERK] CHAR (15) COLLATE Latin1_General_BIN NOT NULL,
    [O_SHIPPRIORITY] DECIMAL (38) NOT NULL,
    [O_COMMENT] VARCHAR (79) COLLATE Latin1_General_BIN NOT NULL
)
WITH (
    DATA_SOURCE = external_data_source_name,
    LOCATION = 'DB1.mySchema.customer'
);

J. Создание внешней таблицы для Teradata

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/* LOCATION: Location string should be of format '<vendor>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = teradata://<server address>[:<port>],
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL =credential_name
);
GO

/* LOCATION: Teradata table/view in '<database_name>.<object_name>' format
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customer(
    L_ORDERKEY INT NOT NULL,
    L_PARTKEY INT NOT NULL,
    L_SUPPKEY INT NOT NULL,
    L_LINENUMBER INT NOT NULL,
    L_QUANTITY DECIMAL(15,2) NOT NULL,
    L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
    L_DISCOUNT DECIMAL(15,2) NOT NULL,
    L_TAX DECIMAL(15,2) NOT NULL,
    L_RETURNFLAG CHAR NOT NULL,
    L_LINESTATUS CHAR NOT NULL,
    L_SHIPDATE DATE NOT NULL,
    L_COMMITDATE DATE NOT NULL,
    L_RECEIPTDATE DATE NOT NULL,
    L_SHIPINSTRUCT CHAR(25) NOT NULL,
    L_SHIPMODE CHAR(10) NOT NULL,
    L_COMMENT VARCHAR(44) NOT NULL
)
WITH (
    LOCATION='customer',
    DATA_SOURCE= external_data_source_name
);

K. Создание внешней таблицы для MongoDB

-- Create a Master Key
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

/*
* Specify credentials to external data source
* IDENTITY: user name for external source.
* SECRET: password for external source.
*/
CREATE DATABASE SCOPED CREDENTIAL credential_name
WITH
    IDENTITY = '<username>',
    SECRET = '<password>';
GO

/* LOCATION: Location string should be of format '<type>://<server>[:<port>]'.
* PUSHDOWN: specify whether computation should be pushed down to the source. ON by default.
* CONNECTION_OPTIONS: Specify driver location
* CREDENTIAL: the database scoped credential, created above.
*/
CREATE EXTERNAL DATA SOURCE external_data_source_name
WITH (
    LOCATION = mongodb://<server>[:<port>],
    -- PUSHDOWN = ON | OFF,
    CREDENTIAL = credential_name
);

/* LOCATION: MongoDB table/view in '<database_name>.<schema_name>.<object_name>' format
* DATA_SOURCE: the external data source, created above.
*/
CREATE EXTERNAL TABLE customers(
    [O_ORDERKEY] DECIMAL(38) NOT NULL,
    [O_CUSTKEY] DECIMAL(38) NOT NULL,
    [O_ORDERSTATUS] CHAR COLLATE Latin1_General_BIN NOT NULL,
    [O_TOTALPRICE] DECIMAL(15,2) NOT NULL,
    [O_ORDERDATE] DATETIME2(0) NOT NULL,
    [O_COMMENT] VARCHAR(79) COLLATE Latin1_General_BIN NOT NULL
)
WITH (
    LOCATION='customer',
    DATA_SOURCE= external_data_source_name
);

L. Запрос хранилища объектов, совместимых с S3, через внешнюю таблицу

Область применения: SQL Server 2022 (16.x) и более поздних версий.

В следующем примере показано использование T-SQL для запроса файла parquet, хранящегося в хранилище объектов, совместимом с S3, с помощью запроса внешней таблицы. В примере используется относительный путь в внешнем источнике данных.

CREATE EXTERNAL DATA SOURCE s3_ds
WITH
(   LOCATION = 's3://<ip_address>:<port>/',
    CREDENTIAL = s3_dc
);
GO

CREATE EXTERNAL FILE FORMAT ParquetFileFormat
WITH(
    FORMAT_TYPE = PARQUET
);
GO

CREATE EXTERNAL TABLE Region (
    r_regionkey BIGINT,
    r_name CHAR(25),
    r_comment VARCHAR(152)
)
WITH (
    LOCATION = '/region/',
    DATA_SOURCE = 's3_ds',
    FILE_FORMAT = ParquetFileFormat
);

Связанный контент

• СОЗДАТЬ ВНЕШНИЙ ИСТОЧНИК ДАННЫХ (Transact-SQL)
• CREATE EXTERNAL FILE FORMAT (Transact-SQL)
• sp_data_source_objects (Transact-SQL)