CREATE TABLE [USING]

Статья
04/18/2024

Область применения: проверка помечены да Databricks SQL Databricks Runtime

Определяет управляемую или внешнюю таблицу, при необходимости используя источник данных.

Синтаксис

{ { [CREATE OR] REPLACE TABLE | CREATE [EXTERNAL] TABLE [ IF NOT EXISTS ] }
  table_name
  [ table_specification ]
  [ USING data_source ]
  [ table_clauses ]
  [ AS query ] }

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ , table_constraint ] [...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    GENERATED { ALWAYS | BY DEFAULT } AS IDENTITY [ ( [ START WITH start ] [ INCREMENT BY step ] ) ] |
    DEFAULT default_expression |
    COMMENT column_comment |
    column_constraint |
    MASK clause } [ ... ]

table_clauses
  { OPTIONS clause |
    PARTITIONED BY clause |
    CLUSTER BY clause |
    clustered_by_clause |
    LOCATION path [ WITH ( CREDENTIAL credential_name ) ] |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    WITH { ROW FILTER clause } } [...]

clustered_by_clause
  { CLUSTERED BY ( cluster_column [, ...] )
    [ SORTED BY ( { sort_column [ ASC | DESC ] } [, ...] ) ]
    INTO num_buckets BUCKETS }

Параметры

REPLACE

Если указано, заменяется таблица и ее содержимое, если оно уже существует. Это предложение поддерживается только для таблиц Delta Lake.

REPLACEсохраняет журнал таблиц.

Примечание.

Azure Databricks настоятельно рекомендует использовать REPLACE вместо удаления и повторного создания таблиц Delta Lake.
EXTERNAL

При указании создает внешнюю таблицу. При создании внешней таблицы необходимо также указать LOCATION предложение. При удалении внешней таблицы файлы не LOCATION будут удалены.
IF NOT EXISTS

Если этот параметр указан и таблица с таким именем уже существует, инструкция игнорируется.

IF NOT EXISTS не может сосуществовать с REPLACE, что означает CREATE OR REPLACE TABLE IF NOT EXISTS недопустимое использование.
table_name

Имя создаваемой таблицы. Имя не должно содержать временную спецификацию. Если имя не указано полностью, таблица создается в текущей схеме.

Таблицы, созданные в hive_metastore ней, могут содержать только буквенно-цифровые символы ASCII и символы подчеркивания (INVALID_SCHEMA_OR_RELATION_NAME).
table_specification

Это необязательное предложение определяет список столбцов, их типы, свойства, описания и ограничения.

Если не определить столбцы, схема таблицы должна указывать AS query или LOCATION.
- column_identifier
  
  Уникальное имя столбца.
  
  Идентификаторы столбцов таблиц Delta Lake без свойства сопоставления столбцов ('delta.columnMapping.mode' = 'name') не должны содержать символы ' (пробел), ",", ";", "{", "}", "(", ")". "n", "t" и "=".
  
  Идентификаторы столбцов AVRO таблицы должны начинаться с "" или буквы Юникода (включая буквы, отличные от ASCII) и следовать сочетанию букв Юникода и цифр.
- column_type
  
  Задает тип данных столбца. Не все типы данных, поддерживаемые Azure Databricks, поддерживаются всеми источниками данных.
- NOT NULL
  
  Если указан этот параметр, столбец не будет допускать значения NULL. Это предложение поддерживается только для таблиц Delta Lake.
- GENERATED ALWAYS AS ( expr )
  
  При указании этого предложения значение этого столбца определяется указанным значением expr.
  
  expr может состоять из литералов, идентификаторов столбцов в таблице и детерминированных встроенных функций или операторов SQL, кроме:
  - Агрегатные функции
  - Аналитические функции окон
  - Ранжирование функций окна
  - Функции генератора с табличным значением
  Кроме того, expr не должен содержать какой-либо вложенный запрос.
- GENERATED { ALWAYS | BY DEFAULT } AS IDENTITY [ ( [ START WITH start ] [ INCREMENT BY step ] ) ]
  
  Область применения: Databricks SQL Databricks Runtime 10.4 LTS и выше
  
  Определяет столбец идентификаторов. При записи в таблицу и отсутствии значений для столбца идентификаторов ему автоматически присваивается уникальное и статистически увеличивающееся (или уменьшающееся при отрицательном значении step) значение. Это предложение поддерживается только для таблиц Delta Lake. Это предложение может использоваться только для столбцов с типом данных BIGINT.
  
  Автоматически назначаемые значения начинаются с start и увеличиваются на step. Назначаемые значения являются уникальными, но не обязательно должны быть последовательными. Оба параметра являются необязательными, а значение по умолчанию — 1. step не может иметь значение 0.
  
  Если автоматически назначенные значения выходят за пределы диапазона типа столбца идентификаторов, запрос завершится ошибкой.
  
  Если используется ALWAYS, нельзя предоставить собственные значения для столбца идентификаторов.
  
  Следующие операции не поддерживаются:
  - PARTITIONED BY столбец удостоверений
  - UPDATE столбец удостоверений
  Примечание.
  
  Объявление столбца удостоверений в таблице Delta отключает одновременные транзакции. Используйте только столбцы удостоверений в случаях использования, когда одновременные записи в целевую таблицу не требуются.
- DEFAULT_EXPRESSION ПО УМОЛЧАНИЮ
  
  Область применения: Databricks SQL Databricks Runtime 11.3 LTS и выше
  
  Определяет значение DEFAULT для столбца, который используется в INSERT, UPDATE и MERGE ... INSERT, когда столбец не указан.
  
  Если значение по умолчанию не указано, для столбцов, допускающих значение NULL, применяется DEFAULT NULL.
  
  default_expression может состоять из литералов и встроенных функций SQL или операторов за исключением следующих:
  - Агрегатные функции
  - Аналитические функции окон
  - Ранжирование функций окна
  - Функции генератора с табличным значением
  Кроме того, default_expression не должен содержать какой-либо вложенный запрос.
  
  DEFAULT поддерживается для источников CSV, JSON, PARQUET и ORC.
- COMMENT column_comment
  
  Строковый литерал для описания столбца.
- column_constraint
  
  Внимание
  
  Эта функция предоставляется в режиме общедоступной предварительной версии.
  
  Добавляет ограничение первичного ключа или внешнего ключа в столбец таблицы Delta Lake.
  
  Ограничения не поддерживаются для таблиц в каталоге hive_metastore.
  
  Чтобы добавить ограничение проверки в таблицу Delta Lake, используйте инструкцию ALTER TABLE.
- Предложение MASK
  
  Применимо к: Databricks SQL Databricks Runtime 12.2 LTS и более поздних версий каталога Unity
  
  Внимание
  
  Эта функция предоставляется в режиме общедоступной предварительной версии.
  
  Добавляет функцию маски столбца для анонимизации конфиденциальных данных. Все будущие запросы из этого столбца получат результат оценки этой функции по столбцу вместо исходного значения столбца. Это может быть полезно для точного контроля доступа, в которых функция может проверить удостоверение и /или членство в группах вызывающего пользователя, чтобы решить, следует ли изменить значение.
- table_constraint
  
  Добавляет в таблицу Delta Lake информационный первичный ключ или информационные ограничения внешнего ключа.
  
  Ограничения ключей не поддерживаются для таблиц в каталоге hive_metastore .
  
  Чтобы добавить ограничение проверки в таблицу Delta Lake, используйте инструкцию ALTER TABLE.
USING data_source

Формат файла, используемый для таблицы. data_source должно иметь одно из следующих значений:
- AVRO
- BINARYFILE
- CSV
- DELTA
- JSON
- ORC
- PARQUET
- TEXT
В Databricks Runtime поддерживаются следующие дополнительные форматы файлов для таблицы:
- JDBC
- LIBSVM
- Полное имя класса пользовательской реализации org.apache.spark.sql.sources.DataSourceRegister.
Если USING не указывается, по умолчанию используется DELTA.

Для любого значения data_source, отличного от DELTA, необходимо также указать значение LOCATION, если каталог таблиц не имеет значение hive_metastore.

Ниже приведено следующее: Databricks Runtime

HIVE поддерживается для создания таблицы Hive SerDe в Databricks Runtime. Можно указать параметры file_format и row_format для Hive, используя для этого предложение OPTIONS. Оно представляет собой сопоставление в виде строки без учета регистра. option_keys являются:
- FILEFORMAT
- INPUTFORMAT
- OUTPUTFORMAT
- SERDE
- FIELDDELIM
- ESCAPEDELIM
- MAPKEYDELIM
- LINEDELIM
table_clauses

При необходимости укажите расположение, секционирование, кластеризацию, параметры, комментарии и определяемые пользователем свойства для новой таблицы. Каждое вложенное предложение может быть указано только один раз.
- PARTITIONED BY
  
  Необязательное предложение для секционирования таблицы по подмножеству столбцов.
  
  Примечание.
  
  Если таблица Delta не определена, столбцы секционирования помещаются в конец таблицы, даже если они определены ранее в спецификации столбцов. Рекомендуется использовать CLUSTER BY вместо PARTITIONED BY таблиц Delta.
- CLUSTER BY
  
  Область применения: Databricks SQL Databricks Runtime 13.3 и более поздних версий
  
  Необязательное предложение для кластеризации таблицы Delta с помощью подмножества столбцов. Для кластеризации других таблиц используется clustered_by_clause.
  
  Жидкость Delta Lake кластеризация не может сочетаться с PARTITIONED BY.
- clustered_by_clause
  
  При необходимости можно кластеризовать таблицу или каждую секцию по фиксированному количеству хэш-контейнеров, используя подмножество столбцов.
  
  Кластеризация не поддерживается для таблиц Delta Lake.
  - CLUSTERED BY
    
    Указывает набор столбцов для кластеризации каждой секции или таблицы, если секционирование не указано.
    - cluster_column
      
      Идентификатор, ссылающийся на объект column_identifier в таблице. При указании более чем одного столбца не должно быть дубликатов. Так как кластеризация проводится на уровне секций, не следует именовать столбец секционирования так же как столбец кластера.
  - SORTED BY
    
    При необходимости поддерживает порядок сортировки записей в контейнере.
    - sort_column
      
      Столбец, по которому сортируется контейнер. Столбец не должен быть столбцом секционирования. Столбцы сортировки должны быть уникальными.
    - ASC или DESC
      
      При необходимости указывает, каким образом сортируется sort_column: в порядке возрастания (ASC) или убывания (DESC). Значение по умолчанию — ASC.
  - INTO num_buckets BUCKETS
    
    Литерал INTEGER, указывающий количество сегментов, в которые делится каждая секция (или таблица, если секционирование не указано).
- LOCATION path [ WITH ( CREDENTIAL credential_name ) ]
  
  Необязательный путь к каталогу, в котором хранятся данные таблиц, что может быть путем к распределенному хранилищу. path должен быть СТРОКОВЫМ литералом. Если не указать расположение, таблица считается managed table, а Azure Databricks создает расположение таблицы по умолчанию.
  
  Указание расположения делает таблицу внешней таблицей.
  
  Для таблиц, которые не находятся в hive_metastore каталоге, таблица path должна быть защищена внешним расположением , если не указана допустимая учетная запись хранения.
  
  Нельзя создавать внешние таблицы в расположениях, перекрывающихся расположением управляемых таблиц.
  
  Для таблицы Delta Lake конфигурация таблицы наследуется от LOCATION, если данные представлены. Поэтому при указании предложения TBLPROPERTIES, table_specification или PARTITIONED BY для таблиц Delta Lake они должны точно совпадать с данными расположения Delta Lake.
- OPTIONS
  
  Задает или сбрасывает один или несколько параметров таблицы, определяемых пользователем.
- COMMENT table_comment
  
  Строковый литерал для описания таблицы.
- TBLPROPERTIES
  
  При необходимости задает одно или несколько свойств, определяемых пользователем.
- Предложение WITH ROW FILTER
  
  Применимо к: Databricks SQL Databricks Runtime 12.2 LTS и более поздних версий каталога Unity
  
  Внимание
  
  Эта функция предоставляется в режиме общедоступной предварительной версии.
  
  Добавляет функцию фильтра строк в таблицу. Все будущие запросы из этой таблицы получат подмножество строк, для которых функция оценивает логическое значение TRUE. Это может быть полезно для точного контроля доступа, в которых функция может проверить удостоверение и /или членство в группах вызывающего пользователя, чтобы решить, следует ли фильтровать определенные строки.
AS query

Это необязательное предложение заполняет таблицу с помощью данных из query. При указании query не следует также указывать table_specification. Схема таблицы является производным от запроса.

Обратите внимание, что Azure Databricks перезаписывает базовый источник данных данными входного запроса, чтобы убедиться, что таблица создана, содержит те же данные, что и входной запрос.

Примеры

-- Creates a Delta table
> CREATE TABLE student (id INT, name STRING, age INT);

-- Use data from another table
> CREATE TABLE student_copy AS SELECT * FROM student;

-- Creates a CSV table from an external directory
> CREATE TABLE student USING CSV LOCATION '/mnt/csv_files';

-- Specify table comment and properties
> CREATE TABLE student (id INT, name STRING, age INT)
    COMMENT 'this is a comment'
    TBLPROPERTIES ('foo'='bar');

-- Specify table comment and properties with different clauses order
> CREATE TABLE student (id INT, name STRING, age INT)
    TBLPROPERTIES ('foo'='bar')
    COMMENT 'this is a comment';

-- Create partitioned table
> CREATE TABLE student (id INT, name STRING, age INT)
    PARTITIONED BY (age);

-- Create a table with a generated column
> CREATE TABLE rectangles(a INT, b INT,
                          area INT GENERATED ALWAYS AS (a * b));

CREATE TABLE [USING]

Синтаксис

Параметры

Примеры

Связанные статьи

Дополнительные ресурсы