Импорт данных с помощью Power Query
Microsoft Cloud for Sustainability - Бесплатная пробная версия
Управляемый опыт Power Query — это наиболее полный доступный подход к приему данных в Microsoft Sustainability Manager. Он позволяет импортировать данные для нескольких сущностей из нескольких источников с помощью одного импорта. Вы можете добавить одну или несколько сущностей в потоке приема вместе с подробными инструкциями, чтобы гарантировать успешность приема.
Этот поток разделяет этапы преобразования и сопоставления данных, чтобы позволить различным пользователям преобразовывать и сопоставлять данные во время приема. Он также позволяет преобразовывать и сопоставлять данные в одном потоке приема. Интерфейс сопоставления также включает в себя интеллектуальную логику для определения правильных сущностей модели данных с использованием информации об атрибутах из запросов преобразования данных.
Действия, описанные в этом разделе, помогут вам использовать интерфейс Power Query в Sustainability Manager.
Шаг 1. Запуск интерфейса Power Query
Чтобы получить доступ к новому интерфейсу Power Query, выберите Импорты данных в разделе Управление данными в области Данные левой панели навигации.
Выберите Интерфейс с подсказками Power Query. Откроется новый экран навигации, где вы можете выбрать сущности для импорта.
Sustainability Manager теперь создал корзину покупок, в которой все доступные сущности разбиты на следующие категории.
- Деятельность, сопровождаемая выбросами углекислого газа
- Выбросы углекислого газа
- Вода
- Отходы
- Эталонные данные
Выберите любую из этих категорий данных, чтобы просмотреть список всех их сущностей, которые вы можете импортировать.
Шаг 2. Добавление сущностей
Вы можете добавить одну или несколько сущностей в рамках одного импорта данных. Выберите кнопку Добавить перед каждой сущностью в корзине покупок справа. Вы можете также добавить сущности из разных категорий в рамках одного импорта.
Флажок обозначает каждую выбранную сущность в корзине. Вы можете удалить сущности из корзины, выбрав X рядом с ними.
Вы также можете просмотреть любые импортированные данные для каждой из этих сущностей, выбрав Просмотр рядом с именем сущности. В новом окне отображаются все данные, которые уже были импортированы в Sustainability Manager.
Интерфейс корзины покупок представлен на отдельной панели навигации справа под названием Инструменты преобразования данных. Эти инструменты отображаются на трех вкладках. Каждая вкладка доступна на протяжении всего процесса импорта, но при необходимости их можно скрыть, выбрав Скрыть инструменты преобразования данных в правом верхнем углу. Каждая вкладка поможет вам успешно импортировать данные.
Данные
На вкладке Данные представлен список всех сущностей, добавленных в импорт данных, а также раскрывающийся список всех сущностей, доступных для импорта в Sustainability Manager. Выберите раскрывающийся список, чтобы просмотреть список сущностей. Выберите сущность, чтобы добавить ее в импорт данных. Этот инструмент дает вам возможность добавлять сущности, если вы забыли сделать выбор на первом этапе.
Контрольный список
Вкладка Контрольный список предоставляет список всех сущностей, причем первыми отображаются сущности из импорта. После выбора любой сущности вы увидите список всех обязательных и необязательных атрибутов для успешного импорта. Этот инструмент предоставляет вам краткую справку, позволяющую убедиться, что все необходимые атрибуты импортируются из источника данных для успешного импорта.
Контрольный список также предоставляет дополнительную информацию о каждом атрибуте, например, если это список подстановки или выбора. Вы можете получить более подробную информацию о некоторых из этих атрибутов, выбрав значок информации рядом с ними.
Для некоторых атрибутов открывается новое окно с доступной информацией.
Заметка
Вкладка Контрольный список предоставляет только информацию об атрибутах, связанных с выбранной сущностью, поэтому вы не можете использовать ее для добавления дополнительных сущностей в импорт данных из раскрывающегося списка, который доступен только через вкладку Данные. Однако вы можете выбрать Добавить на главном экране навигации, чтобы добавить больше сущностей с любой из трех вкладок, выбранной в разделе Инструменты преобразования данных. Вы можете увидеть только список сущностей, выбранных для импорта, на вкладке Данные.
Шаблоны и советы
Вкладка Шаблоны и советы предоставляет вам возможность загружать и использовать упрощенные шаблоны Excel в интерфейсе Power Query. Специальный интерфейс шаблонов, подробно описанный в разделе Импорт данных с помощью шаблонов Excel, используется для однократного импорта и предоставляет рекомендации по успешному импорту данных в Sustainability Manager. Однако шаблоны внутри Power Query включают только те сущности и атрибуты, которые можно загрузить через интерфейс Power Query, добавить данные и создать подключение Power Query.
На этой вкладке содержатся инструкции по использованию этих шаблонов в интерфейсе Power Query. Она также включает видеоролики и документацию о том, как преобразовывать данные в Sustainability Manager, а также подробную документацию по Power Query. Вся эта информация помогает удовлетворить ваши потребности в зависимости от уровня опыта, как в отношении экологических сущностей, так и в отношении опыта работы с Power Platform. Возможность включения шаблонов в интерфейс Power Query обеспечивает гибкость, если вам сложно использовать инструменты преобразования Power Query даже с предоставленной информацией.
Шаг 3. Выбор источника данных
После добавления всех сущностей в корзину выберите Далее, чтобы выбрать источник данных. Отображается список всех соединителей Power Query, которые можно использовать для импорта данных.
Выберите источник данных, чтобы перейти на страницу Параметры подключения. В зависимости от выбранного источника вам может потребоваться пройти аутентификацию с использованием своих учетных данных и установить подключение к источнику данных.
Пример источника данных Excel:
Пример базы данных SQL:
Выберите источник данных, затем выберите Далее внизу экрана. Выберите вкладку на левой панели навигации, чтобы просмотреть набор данных, затем выберите Преобразовать данные.
Шаг 4. Преобразование данных
Следующий пример с использованием образцов данных иллюстрирует пошаговый интерфейс преобразования данных с помощью Power Query.
Файл данных, который мы используем для извлечения данных для стационарного сжигания, не содержит заголовков столбцов и соглашений об именах, определенных в модели данных Sustainability Manager. Также неясно, имеются ли в системе все необходимые справочные данные для успешного импорта данных о стационарном сжигании. Все данные о зависимостях теперь можно проверить и импортировать с помощью того же импорта данных, если их еще нет в системе.
Добавить запросы: сначала добавьте запросы для преобразования исходных данных. Чтобы гарантировать целостность исходных данных, мы рекомендуем вам создать копию запроса исходных данных. Выберите запрос демонстрационных данных, нажмите CTRL+C, затем нажмите CTRL+V, чтобы создать новый запрос и переименовать его в стационарное горение.
Просмотрите атрибуты данных: выберите вкладку Контрольный список в разделе Инструменты преобразования данных, выберите раскрывающееся меню, затем выберите стационарное сжигание в разделе Последние модули данных. В списке отображаются все необходимые атрибуты для успешного импорта данных, а также дополнительные атрибуты для этой сущности. Последние модули данных в раскрывающемся списке контрольного списка всегда предоставляют список всех сущностей в корзине покупок, которые вы выбрали при импорте данных.
Контрольный список указывает, что существуют другие сущности, которые уже должны быть в системе или которые необходимо импортировать вместе с другими атрибутами, включая даты, список выбора и подстановку. Следующие инструкции показывают, как добавить каждую из этих зависимых сущностей и атрибутов.
Даты начала/окончания потребления: набор данных не включает даты начала и окончания потребления, которые являются обязательными атрибутами для стационарного сжигания. Чтобы добавить эти атрибуты, выберите Добавить столбец вверху, затем выберите Пользовательский столбец. В окне обновите Новое имя столбца на Дата начала потребления, выберите тип данных дата из раскрывающегося списка, добавьте #date(2021,09,01) в раздел Формула пользовательского столбца, затем выберите ОК. Повторите этот шаг, чтобы добавить столбец для Дата окончания потребления в том же формате (год, месяц, дата). На этом шаге добавляются столбцы для этих двух обязательных атрибутов. Чтобы скопировать столбец, выберите Дублировать столбец, затем выберите Заменить значения, чтобы изменить любое из значений в нем.
Объект: выберите значок информации рядом с объектом, чтобы получить список всех объектов, находящихся в настоящее время в системе. Похоже, что для этого набора данных все объекты уже находятся в системе и перечислены в столбце с названием Операция. Измените заголовок столбца на Объект.
Подразделение: чтобы добавить Организационное подразделение к этому импорту, перейдите на вкладку Данные в разделе Инструменты преобразования данных и введите Организация в раскрывающемся списке. Это действие показывает сущность Подразделение под справочными данными. Выберите его, чтобы добавить в корзину.
Создайте новый запрос, скопировав запрос демонстрационных данных слева и переименовав его в Подразделение. Контрольный список подразделения указывает, что обязательные атрибуты включают имя и тип подразделения. Выберите Выбрать столбцы вверху, снимите флажок Выбрать все, затем выберите организация, чтобы отобразить только столбец организация. Чтобы добавить тип организации, выберите Добавить столбец вверху, выберите Пользовательский столбец, чтобы открыть новое окно, затем измените Новое имя столбца на Тип подразделения. Выберите тип данных текст из раскрывающегося списка, добавьте "Деление" в двойных кавычках в разделе Формула пользовательского столбца, затем выберите ОК.
Это действие добавляет в запрос столбец тип подразделения. Переименуйте столбец организация в Имя, как определено в модели данных. Обязательно проверьте наличие дубликатов. Щелкните правой кнопкой мыши заголовок столбца Имя, щелкните правой кнопкой мыши и выберите Удалить дубликаты.
Тип качества данных: Тип качества данных — это список выбора, который может быть одним из трех вариантов. Чтобы добавить этот атрибут, выберите запрос стационарного горения, выберите Добавить столбец вверху, затем выберите Пользовательский столбец. В новом окне Новое имя столбца обновляет Тип качества данных. В раскрывающемся списке выберите тип данных как текст, добавьте "Измеренные" в двойных кавычках в разделе Формула пользовательского столбца, затем выберите ОК. Это действие добавляет в запрос столбец Тип качества данных.
Тип топлива: для поля Тип топлива самый простой способ — создать книгу Excel и добавить типы исходного топлива в один столбец. Хотя вы можете использовать Power Query, чтобы извлечь эту информацию из исходного файла, вам понадобится определенный уровень опыта работы с Power Platform, что может быть не идеальным решением для небольшого подмножества данных. Для этого примера мы создали файл Excel, в котором перечислены типы топлива из источника данных. Чтобы импортировать этот файл, выберите Получить данные вверху, что добавляет его в список уже созданных запросов. Выберите Использовать первую строку в качестве заголовков, чтобы гарантировать, что новый запрос использует первую строку в качестве заголовка.
Тип топлива в источнике данных должен точно соответствовать тому, как он описан в модели данных Sustainability Manager. Выберите значок информации рядом с типом топлива под контрольным списком, чтобы просмотреть полный список и соглашение об именовании. В этом наборе данных Уголь необходимо обновить до Угольная смола. Выберите ячейку, содержащую Уголь, щелкните правой кнопкой мыши, выберите Переименовать, замените Уголь на Угольная смола, затем выберите ОК.
В демонстрационных данных используется другое соглашение об именовании типов топлива, поэтому мы должны привести их в соответствие с типами топлива, описанными в модели данных. Нам нужно добавить условный столбец, доступный в Power Query. Выберите запрос стационарного горения, выберите Добавить столбец вверху, затем выберите Условный столбец. Обновите имя столбца на Тип топлива, затем выберите первое топливо из источника данных, используя раскрывающийся список под именем столбца, чтобы применить условие. В этом примере, если какой-либо из типов исходного топлива имеет значение больше 0, мы выбираем соответствующий тип топлива, соответствующий нашей модели данных, которую мы загрузили ранее. Продолжайте добавлять условия для всех шести типов топлива в демонстрационных данных. Выберите ОК, чтобы добавить столбец типа топлива с этими условиями в запрос стационарного сжигания.
Имя: набор данных не включает столбец Имя, который также является обязательным атрибутом для стационарного горения. Вы можете переименовать любой столбец в запросе стационарного горения или добавить собственный столбец и уникальное имя. Добавьте настраиваемый столбец с заголовком Имя и текстом Стационарное сжигание.
Количество и единица количества: Количество и Единица количества являются обязательными полями для стационарного сжигания., поэтому нам нужно добавить их в запрос. Выберите Добавить столбец вверху, затем выберите Условный столбец. Обновите имя столбца на Количество, затем выберите Тип топлива под именем столбца, чтобы применить условие. В этом примере мы сопоставляем количество типа топлива с количеством в демонстрационных данных. Введите каждый из видов топлива. В раскрывающемся списке Выходные данные выберите Использовать значения в столбце, чтобы выбрать соответствующий тип топлива в следующем раскрывающемся списке. Продолжайте добавлять предложения для всех шести типов топлива в демонстрационных данных. Выберите ОК, чтобы добавить столбец Количество с этими условиями в запрос стационарного сжигания.
Повторите эти шаги, чтобы добавить столбец для единицы количества.
Проверка единиц: для успешного импорта единицы в источнике данных должны соответствовать единицам, определенным в модели данных Sustainability Manager. Чтобы проверить соглашение об именовании, выберите значок Схема информации рядом с единицей количества в контрольном списке сущности. Откроется новое окно со всеми единицами и соглашением об именовании. Чтобы обновить единицы измерения для демонстрационных данных:
- Выберите раскрывающийся список рядом с заголовком Единица количества.
- Выберите Загрузить больше, чтобы предоставить список всех единиц в этом столбце.
- Щелкните правой кнопкой мыши первую единицу и выберите Заменить значения.
- Введите имя единицы в модели данных и выберите OK.
Повторите этот шаг для всех единиц в данных.
Очистка данных: важно убедиться, что ни одна из записей не содержит пустых ячеек в запросе. Чтобы проверить и удалить их, выберите любой из раскрывающихся заголовков столбца Количество топлива, затем выберите Удалить пустое. Повторите этот шаг для всех столбцов Количество топлива. Повторите тот же шаг для столбца с именем Единица количества.
Завершение запросов: последний шаг — выбрать необходимые атрибуты для стационарного сжигания и завершить подготовку запроса. Выберите Выбрать столбцы в верхнем окне навигации, снимите флажок Выбрать все и выберите все необходимые атрибуты. Чтобы убедиться, что все атрибуты доступны и выбраны в запросе, обратитесь к контрольному списку в разделе Инструменты преобразования данных. После выбора выберите ОК.
Удаление демонстрационных данных: перед преобразованием запросов удалите исходный запрос демонстрационных данных.
Шаг 5. Создание импорта данных
После создания и преобразования запросов выберите Создать внизу страницы, чтобы создать импорт данных.
Задание расписания импорта данных: на этой странице можно определить периодическое расписание обновления данных из подключенного источника, которое можно отключить с помощью переключателя. Обновление может выполняться автоматически с определенной частотой или по определенному расписанию. Вы также можете заменить ранее импортированные данные. После выбора вариант выберите Далее.
Просмотр и имя: введите имя для импорта данных вместе с описанием (необязательно), затем выберите Подключиться.
Для этого набора данных создается импорт данных. Данные не отображаются в Sustainability Manager, пока они не сопоставлены с сущностями модели данных. Вы можете продолжить сопоставление после завершения преобразования либо вы или другой пользователь можете завершить сопоставление позже.
Выберите Готово, чтобы перейти на страницу Импорты данных, или выберите **Сопоставить поля для сопоставления ваших данных.
Шаг 6: сопоставление данных
Интерфейс сопоставления предоставляет дополнительные рекомендации, логику для сопоставления сущностей и атрибутов, возможность предварительного просмотра сопоставленных данных и интеллект для идентификации сущностей, соответствующих данным из запросов.
Страница Сопоставление содержит следующие компоненты:
Запросы: все запросы, созданные на этапе преобразования данных. Синяя точка рядом с запросом означает, что сопоставление неполное, требует проверки и не сохранено.
Источник данных: в этом раскрывающемся списке представлен список всех доступных сущностей, которые можно сопоставить с выбранными запросами. Сущности, выбранные ранее на этапах импорта, всегда отображаются вверху раскрывающегося списка в разделе «Недавно использованные».
Предварительный просмотр данных: после сопоставления запроса с сущностью создается предварительный просмотр сопоставленных данных, чтобы вы могли просмотреть сопоставление перед его сохранением.
Автоматическое сопоставление: автоматическое сопоставление позволяет сопоставить данные с запросом, если вы знаете, для какой сущности предназначен запрос. Он анализирует частичные слова и частичные совпадения слов. Выберите запрос на панели навигации слева, выберите соответствующую сущность в раскрывающемся списке источников данных, затем выберите Автоматическое сопоставление для сопоставления полей.
Найти лучшее сопоставление: вы можете сопоставлять запросы с сущностями модели данных даже с частичной или неполной информацией. Логика сначала сравнивает процентное совпадение для всех обязательных атрибутов в запросе, затем для необязательных атрибутов, затем сопоставление имени запроса с определением экологических данных и, наконец, любое из добавленных или выбранных определений данных во время импорта. Выберите запрос слева, затем выберите Найти лучшее сопоставление, чтобы сопоставить исходные поля с правильной сущностью модели данных. Еще одна проверка при сопоставлении — это случаи, когда поля не совпадают точно и требуют проверки перед сохранением сопоставления. Эти поля выделены синим цветом, что указывает на то, что их необходимо проверить перед сохранением сопоставления.
Готов к импорту: вы можете импортировать несколько сущностей посредством одного импорта, для чего требуется несколько запросов, которые необходимо сопоставить при импорте данных. Сопоставление выполняется индивидуально для каждого запроса, чтобы обеспечить возможность просмотра и точного сопоставления исходных полей. Если рабочий процесс импорта запускается до завершения сопоставления, возникают ошибки импорта. Интерфейс сопоставления включает специальный переключатель, который включается после завершения сопоставления. Этот шаг гарантирует, что импорт не запустится до завершения сопоставления, что исключает любые ошибки приема, которые могут возникнуть из-за неполного сопоставления.
Для демонстрационных данных выберите каждый из запросов и завершите сопоставление с помощью функции Автоматическое сопоставление или Найти лучшее сопоставление. Просмотрите исходные поля во время каждого сопоставления. После проверки сохраните сопоставление и установите переключатель Готово к импорту в положение Вкл. Перейдите на экран Импорты данных, чтобы просмотреть состояние добавленного импорта данных.
Страница Импорты данных обновляется и включает следующие сведения для каждого импорта:
- Имя импорта данных.
- Описание, если оно добавлено пользователем.
- Статус сопоставления, указывающий, что импорт сопоставлен или не сопоставлен.
- Переключатель Готово к импорту.
- Состояние импорта данных.
- Последнее обновление, включая дату и время обновления.
- Определение данных импортируемой сущности или сущностей.
- Владелец импорта данных.
- Владелец шага сопоставления.
Вы можете редактировать импорт и сопоставление отдельно.
Редактирование импорта Power Query
Sustainability Manager позволяет обновлять или редактировать предыдущий импорт, а также вносить изменения в исходный файл, сущности, запланированное обновление или имя импорта. Выполните следующие действия, чтобы изменить существующий импорт.
На левой панели навигации в разделе Управление данными выберите Импорты данных.
Выберите импорт данных, который требуется изменить.
Выберите Изменить импорт в верхней части страницы. Появится страница Определите свои данные с возможностью добавить сущности данных в импорт.
Добавьте или измените сущности и выберите Далее.
Выберите Настройка подключения.
Выберите учетные данные, затем выберите Подключиться.
Если вы хотите изменить тип импорта или исходный файл, выберите Получить данные в верхней части навигации. Вы вернетесь на страницу Подключение к источнику данных, где вы сможете повторить предыдущие шаги. Вы также можете редактировать и преобразовывать данные в существующих запросах, используя функции Power Query.
Дополнительную документацию по использованию Power Query можно найти в разделе Шаблоны и советы в разделе Инструменты преобразования данных.
Если вы планируете обновлять только расписание обновления данных, выберите Создать в нижней части страницы. Затем вы можете обновить обновление данных, имя или описание импорта. По завершении выберите Подключить.
Выберите Готово, если обновление сопоставления не требуется. Если сопоставление необходимо обновить, выберите Сопоставить поля, чтобы перейти к экрану сопоставления.
Выберите запросы, которые необходимо заново сопоставить, и выполните предыдущие шаги сопоставления. После завершения сопоставления сохраните сопоставление и установите для переключателя Готово к импорту значение Да.
Импорт теперь обновляется на странице импортов данных.
Если необходимо обновить только сопоставление, перейдите на страницу сопоставления со страницы Импорты данных, выбрав Изменить сопоставление в верхней навигации.
Импорт пользовательских измерений
Импорт пользовательских измерений является неотъемлемой частью нового интерфейса импорта и доступен только через интерфейс Power Query.
Следующие шаги являются предпочтительным рабочим процессом для приема пользовательских измерений:
- Определите новые столбцы в исходных данных.
- Преобразуйте в однородную форму, чтобы их можно было обрабатывать в расчетах и отчетах.
- Создайте и сопоставьте пользовательские измерения.
- Ссылайтесь на пользовательские измерения в расчетах и анализе.
В этом разделе основное внимание уделяется импорту и сопоставлению. Чтобы узнать больше о пользовательских измерениях, перейдите в раздел Пользовательские измерения.
Чтобы принять пользовательские измерения, определите дополнительные атрибуты (столбцы) в источнике данных, например Excel или базе данных, которую вы хотите принять.
Пример дополнительных данных:
В интерфейсе Power Query преобразуйте данные, возможно, с помощью нескольких запросов, чтобы данные были согласованными и пригодными для вычислений (при необходимости). Например, здесь мы преобразуем гетерогенный набор данных в несколько однородных.
Запрос перед преобразованием:
Запрос после преобразования:
Сопоставление
Выполните шаги, чтобы обнаружить и сопоставить атрибуты сущности модели данных. Просмотрите все сопоставления и убедитесь, что ни одно пользовательское измерение не сопоставлено со стандартным или неправильным целевым полем пользовательского измерения.
В разделе Пользовательские измерения:
- Исходные поля: выберите из раскрывающегося списка исходное поле из исходных данных.
- Целевые поля:
- Если пользовательское измерение уже существует в раскрывающемся списке, выберите его и нажмите Добавить.
- Если оно недоступно, введите имя для сопоставления, выберите тип и выберите Добавить.
Вы также можете создать измерения в параметрах управления Пользовательские измерения перед сопоставлением, чтобы их можно было выбрать в раскрывающемся списке.
Добавление существующего пользовательского измерения:
Добавьте новое пользовательское измерение:
См. также
- Обзор импорта данных
- Добавочное обновление данных
- Изменение ответственного за подключение для импорта данных (предварительная версия)
- Импорт данных с помощью шаблонов Excel
- Импорт данных с помощью Power Query
- Импорт данных с помощью соединителей поставщиков данных
- Импорт данных вручную
- Обработка ошибок
- Особенности и часто задаваемые вопросы
- Интеграция
