Обзор заданий импорта и экспорта данных
Для создания заданий импорта и экспорта данных и управления ими служит рабочая область Управление данными. По умолчанию процесс импорта и экспорта данных создает промежуточную таблицу для каждого объекта в целевой базе данных. Промежуточные таблицы позволяют проверить, очистить или преобразовать данные перед перемещением.
Примечание
В этой статье предполагается, что вы знакомы с информационными объектами.
Процесс импорта/экспорта данных
Ниже приведены шаги, необходимые для импорта или экспорта данных.
Создание задания импорта или экспорта, что предполагает выполнение следующих задач:
- Определение категории проекта.
- Определение объектов для импорта или экспорта.
- Определение формата данных для задания.
- Определение последовательности объектов, чтобы они обрабатывались в виде логических групп и в порядке, которые имеет какой-либо смысл.
- Определение того, следует ли использовать промежуточные таблицы.
Проверка правильности сопоставления исходных данных и целевых данных.
Проверка параметров безопасности для задания импорта или экспорта.
Запуск задания импорта или экспорта.
Проверка правильности выполнения задания путем просмотра истории задания.
Очистка промежуточных таблиц.
В остальных разделах этой статьи приведены дополнительные сведения о каждом шаге процесса.
Примечание
Чтобы обновить форму импорта и экспорта данных для просмотра последних данных о ходе выполнения, используйте значок обновления формы. Обновление на уровне браузера не рекомендуется, поскольку оно прерывает все задания импорта и экспорта, которые не выполняются в пакете.
Создание задания импорта или экспорта
Задание импорта или экспорта данных можно запустить один раз или несколько раз.
Определение категории проекта
Рекомендуем подойти к выбору категории проекта для задания импорта или экспорта со всей тщательностью. Категории проекта помогают управлять связанными заданиями.
Определение объектов для импорта или экспорта
Можно добавить в задание импорта или экспорта конкретные объекты или выбрать шаблон для применения. Шаблоны заполняют задание списком объектов. Действие Применить шаблон становится доступным после присвоения заданию имени и сохранения задания.
Определение формата данных для задания
При выборе объекта необходимо выбрать формат данных, которые будут экспортированы или импортированы. Форматы определяются с помощью плитки Настройка источников данных. Формат исходных данных представляет собой комбинацию параметров Тип, Формат файла, Разделитель строк и Разделитель столбцов. Имеются также другие атрибуты, но эти являются ключевыми атрибутами для понимания. В следующей таблице перечислены допустимые сочетания.
| Формат файла | Разделитель строк/столбцов | Стиль XML |
|---|---|---|
| Excel | Excel | -Н/Д- |
| XML | -Н/Д- | XML-элемент XML-атрибут |
| С разделителями, фиксированная ширина | Запятая, точкой с запятой, символ табуляции, вертикальная черта, двоеточие | -Н/Д- |
Примечание
Важно выбрать правильное значение для разделителя строк, разделителя столбцов и квалификатор текста, если параметр Формат файла имеет значение С разделителями. Убедитесь, что данные не содержат символ, используемый в качестве разделителя или квалификатора, поскольку в этом случае могут возникнуть ошибки во время импорта и экспорта.
Примечание
Для форматов файлов на основе XML обязательно используйте только допустимые символы. Дополнительные сведения о допустимых символах см. в разделе Допустимые символы в формате XML 1.0. В XML 1.0 не разрешаются никакие управляющие символы, за исключением символов табуляции, возвратов каретки и перевода строки. Примерами недопустимых символов являются квадратные скобки, фигурные скобки и обратные косые черты.
Чтобы импортировать или экспортировать данные, используйте Юникод вместо определенной кодовой страницы. Это поможет обеспечить наиболее согласованные результаты и исключить сбои задания управления данными из-за того, что они содержат символы Юникод. Системные форматы исходных данных, использующие Юникод, все содержат Unicode в имени источника. Формат Юникод применяется путем выбора кодовой страницы ANSI кодировки Юникод в качестве Кодовая страница на вкладке Язык и стандарты. Выберите одну из следующих кодовых страниц для Юникода:
| Кодовая страница | Отображаемое имя |
|---|---|
| 1200 | Юникод |
| 12000 | Юникод (UTF-32) |
| 12001 | Юникод (UTF-32 Big-Endian) |
| 1201 | Юникод (Big-Endian) |
| 65000 | Юникод (UTF-7) |
| 65001 | Юникод (UTF-8) |
Дополнительные сведения о кодовых страницах см. в разделе Идентификаторы кодовых страниц.
Определение последовательности объектов
Задать последовательность объектов можно в шаблоне данных или в заданиях импорта и экспорта. При запуске задания, которое содержит несколько информационных объектов, необходимо убедиться, что информационные объекты следуют в правильном порядке. Последовательность объектов задается главным образом для учета всех функциональных зависимостей между объектами. Если объекты не имеют никаких функциональных зависимостей, их можно импортировать или экспортировать параллельно.
Единицы выполнения, уровни и порядковые номера
Единица выполнения, уровень в единице выполнения и порядковый номер объекта помогают управлять порядком, в котором экспортируются или импортируются данные.
- В каждой единице выполнения сущности обрабатываются параллельно.
- В каждой единице выполнения объекты обрабатываются параллельно, если они имеют один и тот же уровень.
- На каждом уровне объекты обрабатываются в соответствии с их порядковым номером на данном уровне.
- После завершения обработки одного уровня обрабатывается следующий уровень.
Изменение последовательности
Изменить последовательность объектом может понадобиться в следующих ситуациях:
- Если для всех ваших изменений используется только одно задание, вы можете использовать команды изменения последовательности для оптимизации времени выполнения всего задания. В этих случаях можно использовать единицу выполнения для представления модуля, уровень для представления функциональной области в модуле, а порядковый номер для представления объекта. При таком подходе можно работать между модулями в параллельном режиме, но в пределах модуля все равно работать в определенной последовательности. Чтобы гарантировать успешное выполнение параллельных операций, необходимо учитывать все зависимости.
- Если используется несколько заданий данных (например, по одному заданию для каждого модуля), задание последовательности может влиять на уровень и порядковый номер для оптимального выполнения.
- Если зависимости отсутствуют вообще, вы можете задать последовательность объектов в различных единицах выполнения для максимальной оптимизации.
Меню Изменение последовательности доступно, когда выбрано несколько объектов. Изменять последовательность можно по единицам измерения, уровням или порядковым номерам. Можно задать приращение для изменения последовательности выбранных объектов. Единица, уровень и/или порядковый номер, выбранный для каждого объекта, обновляется на заданное значение приращения.
Сортировка
Для просмотра списка объектов в порядке последовательности можно использовать параметр Сортировать по.
Сокращение
Для импорта проектов можно сократить записи в объектах до проведения импорта. Сокращение полезно, если записи должны быть импортированы в чистый набор таблиц. Эта настройка по умолчанию отключен.
Проверка правильности сопоставления исходных данных и целевых данных
Сопоставление — это функция, которая применяется и к заданиям импорта, и к заданиям экспорта.
- В контексте задания импорта сопоставление описывает, какие столбцы в исходном файле становятся столбцами в промежуточной таблице. Таким образом система может определить, в какой столбец в промежуточной таблице должны копироваться данные того или иного столбца в исходном файле должны копироваться.
- В контексте задания экспорта сопоставление описывает, какие столбцы промежуточной таблицы (т. е. источника) становятся столбцами в целевом файле.
Если имена столбцов в промежуточной таблице и файле совпадают, система устанавливает сопоставления автоматически на основании имен. Однако, если имена различаются, столбцы не сопоставляются автоматически. В этих случаях необходимо выполнить сопоставление, выбрав команду Просмотр карты в объекте в задании данных.
Доступно два представления сопоставления: Визуализация сопоставления, которое используется по умолчанию, и Сведения о сопоставлении. Красной звездочкой (*) обозначаются любые обязательные поля в объекте. Эти поля должны быть сопоставлены, прежде чем вы сможете работать с объектом. Работая с объектом, вы можете отменить сопоставление других полей, если необходимо. Чтобы отменить сопоставление поля, выберите поле в столбце Объект или в столбце Источник, а затем выберите Удалить выбор. Выберите Сохранить, чтобы сохранить изменения, а затем закройте страницу, чтобы вернуться в проект. Эту же процедуру можно использовать для изменения сопоставления полей между источником и промежуточной таблицей после импорта.
Сопоставление на странице можно сгенерировать, выбрав Создать сопоставление источника. Сгенерированное сопоставление ведет себя как автоматическое сопоставление. Следовательно, все несопоставленные поля необходимо сопоставить вручную.
Проверка параметров безопасности для задания импорта или экспорта
Доступ к рабочей области Управление данными можно ограничить, чтобы пользователи, не являющиеся администраторами, имели доступ только к определенным заданиям данных. Доступ к заданию данных подразумевает полный доступ к истории выполнения этого задания и доступ к промежуточной таблице. Следовательно, при создании задания данных необходимо проследить за тем, чтобы были заданы надлежащие параметры управления доступом.
Ограничение доступа к заданию по ролям и пользователям
Меню Применимые роли служит для ограничения доступа к заданию одной или несколькими ролями безопасности. Доступ к заданию будут иметь только пользователи с этими ролями.
Также можно ограничить доступ к заданию конкретным набором пользователей. Предоставление доступа к заданию по отдельным пользователям, а не по ролям обеспечивает более высокий уровень контроля, если роли назначено несколько пользователей.
Ограничение доступа к заданию по юридическому лицу
Задания данных по природе своей являются глобальными. Таким образом, при создании и использовании задания данных в юридическом лице это задание будет видно другим юридическим лицам в системе. В некоторых сценариях такое предусмотренное по умолчанию поведение является предпочтительным. Например, в организации, которая импортирует накладные посредством информационных объектов, может существовать централизованная группа обработки накладных, отвечающая за устранение ошибок в накладных по всем подразделениям организации. В этом случае централизованной группе обработки накладных полезно иметь доступ к заданиям импорта накладных из всех юридических лиц. Следовательно, предусмотренное по умолчанию поведение соответствует требованиям с точки зрения юридических лиц.
Однако в организации также могут быть отдельные группы обработки накладных для каждого юридического лица. В таком случае команда в юридическом лице должна иметь доступ только к заданию импорта накладных в своем собственном юридическом лице. Для удовлетворения этого требования можно настроить контроль доступа к заданиям данных по юридическому лицу с помощью меню Применимые юридические лица внутри задания данных. По завершении конфигурирования пользователи смогут видеть только задания, доступные в юридическом лице, в которое они в данный момент вошли. Чтобы просмотреть задания в другом юридическом лице, пользователю понадобится перейти в это юридическое лицо.
Доступ к заданию можно ограничить по ролям, пользователям и юридическому лицу одновременно.
Запуск задания импорта или экспорта
Можно запустить задание однократно, нажав кнопку Импорт или Экспорт после определения задания. Чтобы настроить повторяющееся задание, нажмите кнопку Создать повторяющееся задание данных.
Примечание
Задания импорта или экспорта могут выполняться с помощью кнопки Импорт или Экспорт. Это действие планирует выполнение пакетного задания только один раз. Задание не выполняется немедленно, если пакетная служба ограничивается из-за загрузки пакетной службы. Задания также могут выполняться синхронно при выборе команды Импортировать сейчас или Экспортировать сейчас. Это запускает задание немедленно и полезно, если пакетный режим не запускается из-за регулирования. Задания также могут быть запланированы к выполнению в более позднее время. Это можно сделать, выбрав параметр Выполнить в пакетном режиме. Пакетные ресурсы обычно подвергаются регулированию, поэтому пакетное задание может начаться не сразу. Использование пакетного режима является рекомендуемым вариантом, поскольку он также помогает работать с большими объемами данных, которые необходимо импортировать или экспортировать. Пакетные задания можно запланировать для выполнения в определенной пакетной группе, благодаря чему обеспечивает больший контроль с точки зрения балансировки нагрузки.
Проверка правильности выполнения задания
Для исследования и устранения неполадок и в заданиях импорта, и в заданиях экспорта ведется история задания. Запуски задания в ней упорядочены по временным диапазонам.
По каждому запуску задания фиксируются следующие подробности:
- Сведения о выполнении
- Журнал выполнения
Сведения о выполнении отражают состояние каждого информационного объекта, обработанного заданием. Таким образом можно быстро найти следующую информацию:
- Объекты, которые были обработаны.
- Сколько записей в каждом объекте было успешно обработано, а сколько обработать не удалось.
- Записи промежуточной таблицы для каждого объекта.
Промежуточные данные можно загрузить в виде файла для заданий экспорта и в виде пакета для задания импорта и экспорта.
Из сведений о выполнении можно также открыть журнал выполнения.
Параллельный импорт
Чтобы ускорить импорт данных, можно включить параллельную обработку импорта файла, если объект поддерживает параллельный импорт. Чтобы настроить параллельный импорт для объекта, необходимо выполнить следующие действия.
Перейдите в раздел Администрирование системы > Рабочие области > Управление данными.
В разделе Импорт/экспорт выберите плитку Параметры структуры, чтобы открыть страницу Параметры структуры импорта и экспорта данных.
На вкладке Параметры объекта выберите Настройка параметров выполнения объекта, чтобы открыть страницу Параметры выполнения импорта объектов.
Настройте следующие поля, чтобы настроить параллельный импорт для объекта:
- В поле Объект выберите объект. Если поле объекта пусто, пустое значение используется в качестве настройки по умолчанию для всех последующих импортов, если объект поддерживает параллельный импорт.
- В поле Счетчик пороговых записей импорта введите пороговое количество записей для импорта. Это определяет число записей, обрабатываемых потоком. Если файл содержит 10000 записей, то число записей в 2500 со счетчиком задач, равным 4, означает, что каждый поток будет обрабатывать 2500 записей.
- В поле Счетчик задач импорта введите количество задач импорта. Число не должно превышать максимальное количество потоков в пакете, выделенных для пакетной обработки в разделе Администрирование системы > Конфигурация сервера.
Примечание
Добавление слишком большого количества параллельных задач приводит к тому, что базовая инфраструктура использует мощность ресурсов на 100% и влияет на производительность среды и другие операции. Рекомендуется понимать емкость ресурсов среды и потребление на основе настроенных задач параллельного импорта, а также ограничить количество задач.
Очистка истории заданий
По умолчанию записи истории заданий и соответствующие данные промежуточной таблицы старше 90 дней автоматически удаляются. Функцию очистки истории заданий в управлении данными можно использовать для настройки периодической очистки истории выполнения с более низким периодом хранения, чем по умолчанию. Эта функциональность заменяет предыдущую функцию очистки промежуточной таблицы, которая теперь устарела. Следующие таблицы будут очищены в процессе очистки.
Все промежуточные таблицы
DMFSTAGINGVALIDATIONLOG
DMFSTAGINGEXECUTIONERRORS
DMFSTAGINGLOGDETAIL
DMFSTAGINGLOG
DMFDEFINITIONGROUPEXECUTIONHISTORY
DMFEXECUTION
DMFDEFINITIONGROUPEXECUTION
Доступ к функции Очистка истории выполнения осуществляется из раздела Управление данными > Очистка истории заданий.
Параметры планирования
При планировании процесса очистки необходимо указать следующие параметры для определения критериев очистки.
Количество дней для сохранения истории — этот параметр используется для контроля объема сохраняемой истории выполнения. История указывается как число дней. Когда задание очистки запланировано как повторяющееся пакетное задание, эта настройка действует как постоянно скользящее окно, таким образом, всегда оставляя историю для определенного количества дней нетронутыми, но удаляя остальные данные. Значение по умолчанию — 7 дней.
Количество часов для выполнения задания — в зависимости от объема очищаемой истории, общее время выполнения задания по очистке может варьироваться от нескольких минут до нескольких часов. Для этого параметра должно быть задано количество часов, в течение которых задание выполняется. После выполнения задания очистки в течение указанного количества часов задание существует и возобновляет очистку при следующем выполнении на основе плана повторения.
Максимальное время выполнения может быть указано, установив максимальное ограничение на количество часов, которые задание должно выполняться, с помощью этого параметра. Логика очистки проходит по одному идентификатору выполнения задания за раз в хронологическом порядке, начиная с самого старого, для очистки связанной истории выполнения. Она перестанет подбирать новые идентификаторы выполнения для очистки, когда оставшаяся длительно выполнения будет находиться в пределах последних 10% от указанной длительности. В некоторых случаях работа по очистке продолжается и после указанного максимального времени. Эта длительность будет в значительной степени зависеть от количества удаляемых записей для текущего идентификатора выполнения, который был запущен до достижения порога 10%. Начавшаяся очистка должна быть завершена для обеспечения целостности данных, что означает, что очистка будет продолжаться, несмотря на превышение указанного лимита. Когда это завершено, новые идентификаторы выполнения не подбираются и выполняется задания очистки завершается. Оставшаяся история выполнения, которая не была очищена из-за недостаточного времени выполнения, будет выбрана при следующем запланированном выполнении задания. Значение по умолчанию и минимальное значение для этого параметра устанавливаются равными 2 часам.
Повторяющееся пакетное — задание очистки может быть выполнено в виде одноразового ручного выполнения или также может быть запланировано для повторного выполнения в пакете. Пакет может быть запланирован с помощью параметров Выполнять в фоновом режиме, что является стандартной настройкой пакетного выполнения.
Примечание
Если функция очистки истории заданий не используется, история выполнения старше 90 дней по-прежнему автоматически удаляется. Помимо автоматического удаления можно запустить очистку истории заданий. Убедитесь, что задание очистки запланировано на периодическое выполнение. Как было сказано выше, в ходе любого выполнения очистки в течение указанного максимума часов задание очищает только столько кодов выполнения, сколько возможно.
Очистка и архивация журнала заданий
Функция очистки и архивация журнала заданий заменяет предыдущие версии функций очистки. В этом разделе описываются новые возможности.
Одним из основных изменений функций очистки является использование системных пакетных заданий для очистки истории. Использование системного пакетного задания позволяет приложениям для управления финансами и операциями иметь автоматическое планирование и выполнение пакетного задания очистки, как только система будет готова к работе. Больше не требуется планировать пакетное задание вручную. В этом режиме выполнения по умолчанию пакетное задание будет выполняться каждый час, начиная с полуночи, и сохраняет историю выполнения за последние 7 дней. Очищенный журнал архивируется для дальнейшего извлечения. Начиная с версии 10.0.20, эта функция всегда включена.
Вторым изменением в процессе очистки является архивирование удаленной истории выполнения. Задание очистки архивирует удаленные записи в хранилище больших двоичных объектов, которое DIXF использует для обычной интеграции. Файл архива будет находиться в формате пакета DIXF и будет доступен в течение 7 дней в большом двоичном объекте; в течение это времени его можно будет скачать. Долговечность по умолчанию в 7 дней для файла архива может быть изменена на максимум 90 дней в параметрах.
Изменение параметров по умолчанию
Эта функция в настоящее время находится в режиме предварительной версии и должна быть явно включена путем предоставления доступа DMFEnableExecutionHistoryCleanupSystemJob. Функция промежуточной очистки должна быть также включена в управлении функциями.
Чтобы изменить значение по умолчанию для долговечности архивного файла, перейдите в рабочую область управления данными и выберите Очистка журнала заданий. Задайте для параметра Число дней хранения пакета в большом двоичном объекте значение от 7 до 90 (включительно). Это изменение вступит в силу для архивов, созданных после внесения этого изменения.
Скачивание архивированного пакета
Эта функция в настоящее время находится в режиме предварительной версии и должна быть явно включена путем предоставления доступа DMFEnableExecutionHistoryCleanupSystemJob. Функция промежуточной очистки должна быть также включена в управлении функциями.
Чтобы сказать архивированный журнал выполнения, перейдите в рабочую область управления данными и выберите Очистка журнала заданий. Выберите Журнал резервного копирования пакетов, чтобы открыть форму журнала. В этой форме отображается список всех заархивированных пакетов. Архив можно выбрать и скачать, выбрав пункт Скачать пакет. Скаченный пакет будет в формате пакета DIXF и содержит следующие файлы:
- Файл промежуточной таблицы сущности
- DMFDEFINITIONGROUPEXECUTION
- DMFDEFINITIONGROUPEXECUTIONHISTORY
- DMFEXECUTION
- DMFSTAGINGEXECUTIONERRORS
- DMFSTAGINGLOG
- DMFSTAGINGLOGDETAILS
- DMFSTAGINGVALIDATIONLOG
Сортировка данных составного объекта с использованием xslt
Эта функция позволяет экспортировать составной объект и применять xslt-файл для сортировки данных в файле xml.
Чтобы сортировать данные составных объектов с помощью xslt, выполните следующие действия.
- Создайте файл xslt для сортировки данных в формате XML. Например, если имеется файл XSLT для готового объекта Композитный заказов на покупку V3, можно сортировать данные формата атрибутов XML в заказе по INVOICEVENDORACCOUNTNUMBER для PURCHPURCHASEORDERHEADERV2ENTITY и заказ по LINENUMBER для PURCHPURCHASEORDERLINEV2ENTITY.
<xsl:stylesheet version='1.0' xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:template match="/*">
<xsl:copy>
<xsl:apply-templates select="@*" />
<xsl:apply-templates>
<xsl:sort select="@INVOICEVENDORACCOUNTNUMBER" data-type="text" order="ascending" />
</xsl:apply-templates>
</xsl:copy>
</xsl:template>
<xsl:template match="PURCHPURCHASEORDERHEADERV2ENTITY">
<xsl:copy>
<xsl:apply-templates select="@*"/>
<xsl:apply-templates select="*">
<xsl:sort select="@LINENUMBER" data-type="number" order="descending"/>
</xsl:apply-templates>
</xsl:copy>
</xsl:template>
<xsl:template match="@*|node()">
<xsl:copy>
<xsl:apply-templates select="@*|node()"/>
</xsl:copy>
</xsl:template>
</xsl:stylesheet>
- Перейдите в рабочую область Управление данными.
- В списке проектов экспорта данных выберите проект с источником данных XML и выберите Просмотр карты.
- Выберите Просмотр карты для любого объекта.
- Перейдите на вкладку Преобразования
- Выберите Создать и отправьте xslt-файл, созданный на шаге 1.