Синхронизация источника данных Excel с Dataverse с помощью потока данных

Один из распространенных сценариев, которые возникают при интеграции данных в Dataverse, — это синхронизация данных с источником. С помощью стандартного потока данных можно загрузить данные в Dataverse. В этой статье объясняется, как синхронизировать данные с исходной системой.

Важность ключевого столбца

Если вы используете реляционную систему управления базами данных в качестве источника, обычно в таблицах есть ключевые столбцы, а данные находятся в подходящем формате для загрузки в Dataverse. Однако данные из файлов Excel не всегда являются чистыми. У вас часто есть файл Excel с листами данных без каких-либо ключевых столбцов. В рекомендациях по сопоставлению полей для стандартных потоков данных можно увидеть, что если в источнике есть ключевой столбец, его можно легко использовать в качестве альтернативного ключа в сопоставлении полей потока данных.

Наличие ключевого столбца важно для таблицы в Dataverse. Ключевой столбец — это идентификатор строки; этот столбец содержит уникальные значения в каждой строке. Наличие ключевого столбца помогает избежать повторяющихся строк, а также помогает синхронизировать данные с исходной системой. Если строка удаляется из исходной системы, наличие ключевого столбца помогает найти её и удалить из Dataverse.

Создание ключевого столбца

Если в источнике данных нет ключевого столбца (Excel, текстовый файл или другие источники), можно создать его с помощью следующего метода:

1. Очистка данных.

   Первым шагом для создания ключевого столбца является удаление всех ненужных строк, очистка данных, удаление пустых строк и удаление любых возможных дубликатов.

   

2. Добавьте столбец индекса.

   После очистки данных следующим шагом является назначение ключевого столбца. Для этой цели вы можете использовать Добавить индекс на вкладке Добавить столбец.

   

При добавлении столбца индекса у вас есть несколько параметров для его настройки, например, параметры начального значения или числа значений, которые нужно пропускать каждый раз. Начальное значение по умолчанию равно нулю и увеличивается по одному значению каждый раз.

Использование ключевого столбца в качестве альтернативного ключа

Теперь, когда у вас есть ключевой(ые) столбец(ы), можно назначить сопоставление полей потока данных альтернативному ключу.

Этот параметр прост, необходимо просто задать альтернативный ключ. Однако если у вас несколько файлов или таблиц, он имеет еще один шаг, который следует рассмотреть.

Если у вас несколько файлов

Если у вас есть только один файл Excel (или лист или таблица), шаги, описанные в предыдущей процедуре, достаточно, чтобы задать альтернативный ключ. Однако если у вас несколько файлов (или листов или таблиц) с одной структурой (но с разными данными), необходимо добавить их вместе.

Если вы получаете данные из нескольких файлов Excel, параметр "Объединить файлы " Power Query автоматически добавит все данные вместе, и выходные данные будут выглядеть следующим образом.

Как показано на предыдущем рисунке, помимо результата объединения, Power Query также включает столбец Source.Name, содержащий имя файла. Значение индекса в каждом файле может быть уникальным, но оно не уникально для нескольких файлов. Однако сочетание столбца Index и столбца Source.Name является уникальным сочетанием. Выберите составной альтернативный ключ для этого сценария.

Удаление строк, которые больше не существуют в выходных данных запроса

Последним шагом является выбор Удалить строки, которых больше не существует в выходных данных запроса. Этот параметр сравнивает данные в таблице Dataverse с данными, поступающими из источника на основе альтернативного ключа (который может быть составным ключом), и удаляет строки, которые больше не существуют. В результате данные в Dataverse всегда синхронизируются с источником данных.