Свойства приема данных Azure Data Explorer
Приемом данных называется процесс, при котором данные добавляются в таблицу и становятся доступными для запросов в Azure Data Explorer. После ключевого слова with
можно добавить свойства в команду приема.
Свойства приема
Важно!
- В очереди данные приема пакетируются с помощью свойств приема. Чем больше используемых свойств сопоставления приема, таких как различные значения ConstValue, тем более фрагментирована прием, что может привести к снижению производительности.
В следующей таблице перечислены свойства, поддерживаемые Azure Data Explorer, а также их описания и примеры.
Свойство. | Описание | Пример |
---|---|---|
ingestionMapping |
Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. |
with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]") (Не рекомендуется: avroMapping , csvMapping , jsonMapping .) |
ingestionMappingReference |
Строковое значение, которое описывает сопоставление данных из исходного файла с фактическими столбцами в таблице через именованный объект политики сопоставления. Определяет значение format с использованием соответствующего типа сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. |
with (format="csv", ingestionMappingReference = "Mapping1") (Не рекомендуется: avroMappingReference , csvMappingReference , jsonMappingReference .) |
creationTime |
Значение даты и времени (в формате строки ISO8601), которое будет указано как время создания принятых экстентов данных. Если этот параметр не указан, используется текущее значение (now() ). Переопределение значения по умолчанию полезно при приеме старых данных, чтобы правильно применить к ним политику хранения. Если указано, убедитесь, что свойство Lookback в действующей политике объединения экстентов целевой таблицы соответствует указанному значению. |
with (creationTime="2017-02-13") |
extend_schema |
Логическое значение, которое (при наличии) указывает команде расширить схему таблицы (по умолчанию имеет значение false ). Этот параметр применяется только в командах .append и .set-or-append . Только допустимые расширения схемы содержат дополнительные столбцы, добавляемые в конец таблицы. |
Если исходной для таблицы является схема (a:string, b:int) , расширение схемы (a:string, b:int, c:datetime, d:string) будет допустимым, а (a:string, c:datetime) — нет. |
folder |
Для команд ingest-from-query указывает папку, которая будет сопоставлена с таблицей. Если таблица уже существует, это свойство перезапишет папку таблицы. | with (folder="Tables/Temporary") |
format |
Формат данных (см. поддерживаемые форматы данных). | with (format="csv") |
ingestIfNotExists |
Строковое значение, которое (при наличии) запрещает считать прием успешным, если в таблице уже есть данные с тегом ingest-by: и идентичным значением. Это гарантирует идемпотентность приема данных. Дополнительные сведения см. в разделе о тегах ingest-by:. |
Свойства with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') указывают, что, если данные с тегом ingest-by:Part0001 уже существуют, завершать текущий прием не следует. Если данные еще не существуют, для нового приема нужно установить этот тег (на случай, если при следующем приеме будет попытка принять те же данные). |
ignoreFirstRecord |
Логическое значение. Вариант true означает, что при приеме следует игнорировать первую запись каждого файла. Это свойство удобно при работе с файлами в формате CSV (и аналогичных), где первая запись в файле содержит имена столбцов. По умолчанию предполагается значение false . |
with (ignoreFirstRecord=false) |
policy_ingestiontime |
Логическое значение, которое (при наличии) указывает, следует ли включить политику времени приема для таблицы, созданной этой командой. Значение по умолчанию — true . |
with (policy_ingestiontime=false) |
recreate_schema |
Логическое значение, которое (при наличии) разрешает команде воссоздать схему таблицы. Это свойство применимо только к команде .set-or-replace . Это свойство имеет приоритет над свойством extend_schema , если заданы оба свойства. |
with (recreate_schema=true) |
tags |
Список тегов, которые нужно связать с полученными данными, в формате строки JSON. | with (tags="['Tag1', 'Tag2']") |
validationPolicy |
Строка JSON, указывающая, какие проверки следует выполнять во время приема данных, представленных в формате CSV. Описание разных вариантов см. в разделе Прием данных. | with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (эта политика используется по умолчанию) |
zipPattern |
Это свойство используется при приеме данных из хранилища, содержащего ZIP-архив. Это строковое значение содержит регулярное выражение для выбора принимаемых файлов из ZIP-архива. Все остальные файлы в архиве будут игнорироваться. | with (zipPattern="*.csv") |
См. также
- Ознакомьтесь с дополнительными сведениями о приеме данных.
- Ознакомьтесь с дополнительными сведениями о поддерживаемых форматах данных.
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по