Поделиться через

Свойства приема данных

  • Статья

Область применения: ✅Microsoft Fabric✅Azure Data Explorer

Прием данных — это процесс, с помощью которого данные добавляются в таблицу и предоставляются для запроса. После ключевого слова with можно добавить свойства в команду приема.

Свойства приема

Внимание

Данные приема в очереди пакетируются с помощью свойств приема. Чем больше уникальных свойств сопоставления приема, таких как различные значения ConstValue, тем больше фрагментировано прием становится, что может привести к снижению производительности.

В следующей таблице перечислены и описываются поддерживаемые свойства и приведены примеры:

Свойство Description Пример
ingestionMapping Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(Не рекомендуется: avroMapping, csvMapping, jsonMapping.)
ingestionMappingReference Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице через именованный объект политики сопоставления. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="csv", ingestionMappingReference = "Mapping1")
(Не рекомендуется: avroMappingReference, csvMappingReference, jsonMappingReference.)
creationTime Значение даты и времени (в формате строки ISO8601), которое будет указано как время создания принятых экстентов данных. Если не указано, используется текущее значение (now()). Переопределение по умолчанию полезно при приеме старых данных, чтобы политика хранения применялась правильно. Если указано, убедитесь, что свойство Lookback в действующей политике объединения экстентов целевой таблицы соответствует указанному значению. with (creationTime="2017-02-13")
extend_schema Логическое значение, которое (при наличии) указывает команде расширить схему таблицы (по умолчанию имеет значение false). Этот параметр применяется только в командах .append и .set-or-append. Только разрешенные расширения схемы содержат больше столбцов, добавленных в таблицу в конце. Если исходной для таблицы является схема (a:string, b:int), расширение схемы (a:string, b:int, c:datetime, d:string) будет допустимым, а (a:string, c:datetime) — нет.
folder Для команд ingest-from-query указывает папку, которая будет сопоставлена с таблицей. Если таблица уже существует, это свойство переопределяет папку таблицы. with (folder="Tables/Temporary")
format Формат данных (см. поддерживаемые форматы данных). with (format="csv")
ingestIfNotExists Строковое значение, которое (при наличии) запрещает считать прием успешным, если в таблице уже есть данные с тегом ingest-by: и идентичным значением. Это гарантирует идемпотентность приема данных. Дополнительные сведения см. в разделе о тегах ingest-by:. Свойства with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') указывают, что, если данные с тегом ingest-by:Part0001 уже существуют, завершать текущий прием не следует. Если данные еще не существуют, для нового приема нужно установить этот тег (на случай, если при следующем приеме будет попытка принять те же данные).
ignoreFirstRecord Логическое значение. Вариант true означает, что при приеме следует игнорировать первую запись каждого файла. Это свойство удобно при работе с файлами в формате CSV (и аналогичных), где первая запись в файле содержит имена столбцов. По умолчанию предполагается значение false. with (ignoreFirstRecord=false)
policy_ingestiontime Логическое значение, которое (при наличии) указывает, следует ли включить политику времени приема для таблицы, созданной этой командой. Значение по умолчанию — true. with (policy_ingestiontime=false)
recreate_schema Логическое значение, которое (при наличии) разрешает команде воссоздать схему таблицы. Это свойство применимо только к команде .set-or-replace. Это свойство имеет приоритет над свойством extend_schema, если заданы оба свойства. with (recreate_schema=true)
tags Список тегов, которые нужно связать с полученными данными, в формате строки JSON. with (tags="['Tag1', 'Tag2']")
TreatGzAsUncompressed Логическое значение, указывающее true, что файлы с расширением .gz не сжимаются. Этот флаг иногда требуется при приеме из Amazon AWS S3. with (treatGzAsUncompressed=true)
validationPolicy Строка JSON, указывающая, какие проверки выполняются во время приема данных, представленных в формате CSV. Описание разных вариантов см. в разделе Прием данных. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (это политика по умолчанию)
zipPattern Это свойство используется при приеме данных из хранилища, содержащего ZIP-архив. Это строковое значение содержит регулярное выражение для выбора принимаемых файлов из ZIP-архива. Все остальные файлы в архиве игнорируются. with (zipPattern="*.csv")

Связанный контент