Свойства приема данных Azure Synapse Data Explorer (предварительная версия)

Это важно

Обозреватель данных Azure Synapse Analytics (предварительная версия) будет прекращен 7 октября 2025 г. После этой даты рабочие нагрузки, работающие в Synapse Data Explorer, будут удалены, а связанные данные приложения будут потеряны. Мы настоятельно рекомендуем мигрировать в Eventhouse на платформе Microsoft Fabric.

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Прием данных — это процесс, с помощью которого данные добавляются в таблицу и предоставляются для запроса в Обозревателе данных. Вы добавляете свойства в команду загрузки после ключевого слова with.

Свойства поглощения

В следующей таблице перечислены свойства, поддерживаемые Data Explorer, описываются и приведены примеры:

Недвижимость Description Example
ingestionMapping Строковое значение, указывающее, как сопоставить данные из исходного файла с фактическими столбцами таблицы. Определите значение format с соответствующим типом отображения. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(не рекомендуется: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Строковое значение, указывающее, как сопоставить данные из исходного файла с фактическими столбцами таблицы с помощью именованного объекта политики сопоставления. Определите значение format с соответствующим типом сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="csv", ingestionMappingReference = "Mapping1")
(не рекомендуется: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime Значение даты и времени (отформатировано как строка ISO8601), используемое при создании диапазонов принятия данных. Если не указано, будет использоваться текущее значение (now()). Переопределение настройки по умолчанию полезно при загрузке старых данных, чтобы стратегия хранения данных применялась правильно. При указании убедитесь, что свойство Lookback в актуальной политике слияния экстентов целевой таблицы соответствует указанному значению. with (creationTime="2017-02-13")
extend_schema Логическое значение, которое, в случае указания, дает команду расширить схему таблицы (по умолчанию false). Этот параметр применяется только к .append командам и .set-or-append командам. Только разрешенные расширения схемы содержат дополнительные столбцы, добавленные в таблицу в конце. Если исходная схема таблицы является (a:string, b:int), допустимое расширение схемы будет (a:string, b:int, c:datetime, d:string), но (a:string, c:datetime) не будет допустимым.
folder Для команд импорта из запроса папка, которая назначается таблице. Если таблица уже существует, это свойство переопределит папку таблицы. with (folder="Tables/Temporary")
format Формат данных (см. поддерживаемые форматы данных). with (format="csv")
ingestIfNotExists Строковое значение, которое, если указано, не позволяет успешному завершению приема, если в таблице уже есть данные, помеченные тегом ingest-by: с тем же значением. Это гарантирует прием идемпотентных данных. Для получения более подробной информации см. ingest-by: tags. Свойства with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') указывают, что если данные с тегом ingest-by:Part0001 уже существуют, то не завершать текущую приемку. Если она еще не существует, эта новая загрузка должна иметь этот тег (на случай, если в будущем загрузка снова попытается обработать те же данные).
ignoreFirstRecord Логическое значение, которое, если установлено на true, указывает, что загрузка должна игнорировать первую запись каждого файла. Это свойство полезно для файлов в CSVи аналогичных форматов, если первая запись в файле содержит имена столбцов. По умолчанию false применяется. with (ignoreFirstRecord=false)
persistDetails Логическое значение, которое, если указано, показывает, что команда должна сохранять подробные результаты (даже в случае успешного выполнения), чтобы команда .show operation details могла получить их. По умолчанию — false. with (persistDetails=true)
policy_ingestiontime Логическое значение, которое, если указано, описывает, следует ли включить политику времени приема данных в таблице, создаваемой этой командой. Значение по умолчанию — true. with (policy_ingestiontime=false)
recreate_schema Логическое значение, которое, если указано, описывает, может ли команда повторно создать схему таблицы. Это свойство применяется только к команде .set-or-replace . Это свойство имеет приоритет над свойством extend_schema , если оба заданы. with (recreate_schema=true)
tags Список тегов для связывания с приемными данными, отформатированный как строка JSON with (tags="['Tag1', 'Tag2']")
validationPolicy Строка JSON, указывающая, какие проверки следует выполнять во время приема. Сведения о различных вариантах см. в разделе "Прием данных ". with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (на самом деле это политика по умолчанию)
zipPattern Используйте это свойство при приеме данных из хранилища с ZIP-архивом. Это строковое значение, указывающее регулярное выражение, используемое для выбора файлов из ZIP-архива для обработки. Все остальные файлы в архиве будут игнорироваться. with (zipPattern="*.csv")

Дальнейшие шаги

  • Last updated on