Імпорт даних за допомогою Power Query

2024-11-12

Керований Power Query досвід є найбільш всеосяжним підходом до прийому, доступним всередині Microsoft Sustainability Manager. Це дозволяє імпортувати дані для кількох сутностей через кілька джерел, і все це за допомогою одного імпорту. Ви можете додати одну або кілька сутностей протягом усього процесу прийому разом із детальними інструкціями, щоб забезпечити успішне проковтування.

Цей процес розділяє етапи перетворення даних і відображення, щоб дозволити різним користувачам перетворювати та відображати дані під час прийому. Це також дозволяє перетворювати та відображати дані в межах одного потоку прийому. Досвід картографування також включає інтелектуальну логіку для визначення правильних сутностей моделі даних за допомогою атрибутичної інформації із запитів на перетворення даних.

Кроки, описані в цьому розділі, допоможуть вам використовувати Power Query досвід роботи в Менеджері зі сталого розвитку.

Крок 1: Почніть Power Query досвід

Щоб отримати доступ до нових Power Query можливостей, виберіть «Імпорт даних» у розділі «Керування даними» в області «Дані » на навігаційній панелі ліворуч.
Виберіть Power Query «Керований досвід». Відкриється новий екран навігації, де ви можете вибрати сутності для імпорту.

Менеджер зі сталого розвитку тепер створив кошик для покупок, де всі доступні сутності розбиті на наступні категорії.
- Вуглецева діяльність
- Викиди вуглецю
- Вода
- Відходи
- Супровідні дані
Виберіть будь-яку з цих категорій даних, щоб переглянути список усіх сутностей, які можна імпортувати.

Крок 2: Додайте сутності

Ви можете додати одну або кілька сутностей під час імпортування даних. Натисніть кнопку «Додати » перед кожною сутністю в кошику для покупок праворуч. Ви також можете додавати сутності за категоріями в межах одного імпорту.

Галочка вказує на кожну вибрану сутність у кошику для покупок. Ви можете видалити сутності з кошика для покупок, натиснувши X поруч із ними.

Ви також можете переглянути будь-які імпортовані дані для кожної з цих сутностей, вибравши «Вигляд » поруч із іменем сутності. У новому вікні відображаються всі дані, які вже були імпортовані в Менеджер сталого розвитку.

Робота з кошиком для покупок надається в окремій навігаційній панелі праворуч під назвою « Інструменти перетворення даних». Ці інструменти відображаються у трьох вкладках. Кожна вкладка доступна протягом усього процесу імпорту, але за потреби їх можна приховати, вибравши Приховати інструменти перетворення даних у верхньому правому куті. Кожна вкладка допомагає успішно імпортувати дані.

Дані
Контрольний
Шаблони та поради

Дані

Вкладка «Дані » містить список усіх сутностей, доданих до імпорту даних, а також розкривний список усіх сутностей, доступних для імпорту в Менеджері сталого розвитку. Виберіть випадаюче меню, щоб переглянути список сутностей. Виберіть сутність, щоб додати її до імпорту даних. Цей інструмент дає вам можливість додати сутності, якщо ви забули зробити вибір на першому кроці.

Контрольний список

Вкладка «Контрольний список » надає список усіх сутностей із сутностей з імпорту, показаних першими. Після того, як ви виберете будь-яку сутність, ви побачите список усіх обов’язкових і необов’язкових атрибутів для успішного імпорту. Цей інструмент надає вам коротку довідку, щоб переконатися, що всі необхідні атрибути імпортуються з джерела даних для успішного імпорту.

Контрольний список також надає більше інформації про кожен з атрибутів, наприклад, якщо це список пошуку або вибору. Ви можете отримати більш детальну інформацію про деякі з цих атрибутів, натиснувши піктограму інформації поруч з ними.

Знімок екрана, на якому показано, як отримати докладнішу інформацію про атрибути.

Для деяких атрибутів відкривається нове вікно з доступною інформацією.

Скріншот, на якому видно відкриття нового вікна з деталями атрибутів.

Нотатка

Вкладка «Контрольний список » надає інформацію лише про атрибути, пов’язані з вибраною сутністю, тому ви не можете використовувати її для додавання додаткових сутностей до імпорту даних із розкривного списку, який доступний лише на вкладці «Дані ». Однак ви можете вибрати Додати на головному екрані навігації, щоб додати більше сутностей за допомогою будь-якої з трьох вкладок, вибраних у розділі Інструменти перетворення даних. Список сутностей, вибраних для імпорту, можна переглянути лише на вкладці Дані .

Шаблони та поради

На вкладці «Шаблони та поради » можна завантажувати та використовувати спрощені шаблони Excel у Power Query межах програми. Спеціальні шаблони, описані в розділі Імпорт даних за допомогою шаблонів Excel, використовуються для одноразового імпорту та містять вказівки щодо успішного імпорту даних у Менеджер сталого розвитку. Однак шаблони всередині Power Query містять лише сутності та атрибути, які ви можете завантажити за допомогою інтерфейсу Power Query , додати дані та створити Power Query з’єднання.

Знімок екрана, на якому показано вкладку «Шаблони та поради» на сторінці «Інструменти перетворення даних».

Ця вкладка містить вказівки щодо використання цих шаблонів у цьому процесі Power Query . Він також містить відео та документацію про те, як трансформувати дані в Sustainability Manager, а також детальну документацію про Power Query. Уся ця інформація допомагає задовольнити ваші потреби залежно від рівня досвіду, як щодо суб’єктів сталого розвитку, так і Power Platform від експертизи. Можливість включення шаблонів у Power Query інтерфейс забезпечує гнучкість, якщо вам важко використовувати Power Query інструменти трансформації навіть із наданою інформацією.

Крок 3: Виберіть джерело даних

Після того, як ви додасте всі сутності до кошика для покупок, натисніть «Далі », щоб вибрати джерело даних. Відобразиться список усіх Power Query конекторів, які можна використовувати для імпорту даних.
Виберіть джерело даних, щоб перейти на сторінку Налаштування підключення. Залежно від вибраного джерела, можливо, вам доведеться пройти автентифікацію за допомогою облікових даних і встановити з’єднання з джерелом даних.

Приклад джерела даних Excel:

Приклад бази даних SQL:
Виберіть джерело даних, а потім натисніть Далі в нижній частині екрана. Виберіть вкладку на панелі навігації ліворуч, щоб переглянути набір даних, а потім виберіть Перетворити дані.

Крок 4: Перетворіть дані

Наведений нижче приклад із використанням зразків даних ілюструє керований досвід перетворення даних за використанням Power Query.

Файл даних, який ми використовуємо для вилучення даних для стаціонарного спалювання, не містить заголовків стовпців і правил іменування, як це визначено в моделі даних Sustainability Manager. Також незрозуміло, чи є в системі всі необхідні довідкові дані для успішного імпорту стаціонарних даних про згоряння. Усі дані залежностей тепер можна перевірити та імпортувати за допомогою того самого імпорту даних, якщо їх ще немає в системі.

20.

Додати запити: спочатку додайте запити для перетворення вихідних даних. Щоб переконатися, що вихідні дані не змінюються, рекомендуємо створити копію запиту на вихідні дані. Виберіть запит демонстраційних даних, натисніть сполучення клавіш CTRL+C, а потім натисніть CTRL+V , щоб створити новий запит і перейменувати його на стаціонарне горіння.
Перегляньте атрибути даних: виберіть вкладку «Контрольний список » у меню «Інструменти перетворення даних», виберіть випадаюче меню, а потім виберіть стаціонарне спалювання в розділі «Останні модулі даних». У списку відображаються всі необхідні атрибути для успішного імпорту даних, а також необов’язкові атрибути для цієї сутності. Останні модулі даних у випадаючому списку контрольного списку завжди надають список усіх сутностей у кошику для покупок, які ви вибрали під час імпорту даних.

Контрольний список вказує на те, що є інші сутності, які вже мають бути в системі або їх потрібно імпортувати разом з іншими атрибутами, які включають дати, список вибору та пошук. У наведених нижче інструкціях показано, як додати кожну з цих залежних сутностей і атрибутів.
Дати початку/закінчення споживання: Набір даних не включає дати початку та закінчення споживання, які є обов’язковими атрибутами для стаціонарного спалювання. Щоб додати ці атрибути, виберіть Додати стовпець угорі, а потім виберіть Спеціальний стовпець. У вікні оновіть ім’я нового стовпця до Дата початку споживання, виберіть тип даних дати з розкривного списку, додайте #date(2021,09,01) у розділі Формула настроюваного стовпця, а потім натисніть OK. Повторіть цей крок, щоб додати стовпець для дати завершення споживання в тому ж форматі (рік, місяць, дата). На цьому кроці додаються стовпці для цих двох обов’язкових атрибутів. Щоб скопіювати стовпець, виберіть пункт Дублювати стовпець, а потім натисніть кнопку Замінити значення , щоб змінити будь-які значення в ньому.
Об'єкт: Виберіть піктограму інформації поруч із об'єктом, щоб отримати список усіх об'єктів, які наразі є в системі. Для цього набору даних виглядає так, ніби всі об'єкти вже є в системі та перелічені під колонкою під назвою «Експлуатація». Змініть заголовок стовпця на Об'єкт.
Організаційна одиниця: щоб додати організаційну одиницю до цього імпорту, перейдіть на вкладку Дані в розділі Інструменти перетворення даних і введіть Організація в розкривному списку. Ця дія показує сутність Організаційної одиниці під довідковими даними. Виберіть його, щоб додати в кошик для покупок.

Створіть новий запит, скопіювавши запит demo data з лівого боку та перейменувавши його в Org unit. У чек-листі організаційної одиниці вказується, що обов'язковими атрибутами є назва та тип організаційної одиниці. Виберіть Вибрати стовпці вгорі, зніміть прапорець Вибрати всі , а потім виберітьорганізацію , щоб відображався лише стовпець організації . Щоб додати тип організації, виберіть Додати стовпець угорі, виберіть Настроюваний стовпець , щоб відкрити нове вікно, а потім змініть ім'я нового стовпця на Тип організаційної одиниці. Виберіть текст типу даних із розкривного списку, додайте «Поділ» у подвійних лапках під формулою користувацького стовпця, а потім натисніть OK.

Ця дія додає до запиту стовпець типу організаційної одиниці. Перейменуйте стовпець організації на Ім'я , як визначено в моделі даних. Обов'язково перевірте, чи немає дублікатів. Клацніть правою кнопкою миші на заголовку стовпця Ім'я , клацніть правою кнопкою миші та виберіть Видалити дублікати.
Тип якості даних: Тип якості даних - це список вибору, який може бути одним з трьох варіантів. Щоб додати цей атрибут, виберіть стаціонарний запит на згоряння, виберіть Додати стовпець угорі, а потім виберіть Настроюваний стовпець. У новому вікні тип якості даних оновлює нове ім'ястовпця. У розкривному меню виберіть тип даних як текст, додайте "Metered" у подвійних лапках під формулою користувацького стовпця, а потім натисніть OK. Ця дія додає до запиту стовпець Тип якості даних.
Тип палива: для типу палива найпростішим способом є створення книги Excel і додавання початкових типів палива в одному стовпці. Хоча ви можете використовувати Power Query цю інформацію для вилучення з вихідного файлу, вам знадобиться певний рівень Power Platform знань, який може бути не ідеальним для невеликої підмножини даних. Для цього прикладу ми створили файл Excel, у якому перераховані типи палива з джерела даних. Щоб імпортувати цей файл, у верхній частині вибираємо Отримати дані , що додає їх до списку вже створених запитів. Виберіть пункт Використовувати перший рядок як заголовки , щоб переконатися, що новий запит використовує перший рядок як заголовок.

Тип палива в джерелі даних має точно збігатися з тим, як він описаний у моделі даних Sustainability Manager. Виберіть піктограму інформації поруч із типом палива під контрольним списком, щоб побачити повний список і правила найменування. У цьому наборі даних вугілля має бути оновлено до Coal Tar. Виберіть клітинку з вугіллям , клацніть правою кнопкою миші, виберіть пунктПерейменувати , замінитивугілля на вугільну смолу , а потім натиснітькнопку OK .

У демонстраційних даних використовується інша угода про іменування типів палива, тому ми повинні узгодити їх з типами палива, описаними в моделі даних. Нам потрібно додати умовний стовпець, доступний у Power Query. Виберіть запит на стаціонарне згоряння, виберіть Додати стовпець у верхній частині, а потім виберіть Умовний стовпець. Оновіть ім'я стовпця на «Тип палива», а потім виберіть перше паливо з джерела даних, застосувавши умову в розкривному списку під назвою стовпця. У цьому прикладі, якщо будь-який із вихідних типів палива має значення більше 0, ми вибираємо відповідний тип палива, що відповідає нашій моделі даних, яку ми завантажили раніше. Продовжуйте додавати пункти для всіх шести типів палива в демонстраційних даних. Натисніть OK , щоб додати стовпець типу палива з цими умовами до запиту стаціонарного згоряння.
Назва: набір даних не містить стовпця Назва , який також є обов'язковим атрибутом для стаціонарного спалювання. Ви можете перейменувати будь-який із стовпців у запиті на стаціонарне згоряння або додати власний стовпець і унікальне ім'я. Додайте власний стовпець під назвою «Назва» з текстом « Стаціонарне горіння ».
Quantity та Quantity Unit: Quantity та Quantity Unit є обов'язковими полями для стаціонарного спалювання, тому нам потрібно додати їх до запиту. Виберіть Додати стовпець угорі, а потім виберіть Умовний стовпець. Оновіть ім'я стовпця на «Кількість», а потім виберіть «Тип палива» під іменем стовпця, щоб застосувати умову. У цьому прикладі ми зіставляємо кількість типу палива з кількістю в демонстраційних даних. Введіть кожен з типів палива. У розкривному меню Вихід виберіть Використовувати значення в стовпці , щоб вибрати відповідний тип палива в наступному розкривному списку. Продовжуйте додавати пункти для всіх шести типів палива в демо-даних. Натисніть OK , щоб додати стовпець «Кількість» із цими умовами до запиту стаціонарного згоряння.

Повторіть ці кроки, щоб додати стовпець для одиниці кількості.
Перевірити одиниці: щоб імпорт пройшов успішно, одиниці в джерелі даних мають збігатися з одиницями, визначеними в моделі даних Менеджера сталого розвитку. Щоб перевірити правила іменування, виберіть піктограму «Структура інформації» поруч із одиницею кількості в контрольному списку сутності. Відкриється нове вікно для всіх модулів та правил їх іменування. Щоб оновити одиниці виміру демонстраційних даних:
1. Виберіть випадаюче меню поруч із заголовком «Одиниця кількості».
2. Виберіть Завантажити більше , щоб надати список усіх одиниць у цьому стовпці.
3. Клацніть правою кнопкою миші на першій одиниці та виберіть Замінити значення.
4. Введіть назву моделі даних пристрою та натисніть OK.
Повторіть цей крок для всіх одиниць у даних.
Очищення даних: важливо переконатися, що жоден із записів не містить порожніх клітинок у запиті. Щоб перевірити та видалити їх, виберіть будь-який із розкривних списків заголовка стовпця «Кількість палива», а потім натисніть «Видалити порожні». Повторіть цей крок для всіх стовпців «Кількість палива». Повторіть той самий крок для стовпця з іменем «Одиниця кількості».
Finalize Queries: Останнім кроком є вибір потрібних атрибутів для стаціонарного спалювання та доопрацювання запиту. Виберіть Вибрати стовпці у верхньому вікні навігації, зніміть прапорець Вибрати все , а потім виберіть усі необхідні атрибути. Щоб переконатися, що всі атрибути доступні та вибрані в запиті, зверніться до контрольного списку в розділі Інструменти перетворення даних. Після вибору натисніть кнопку OK.
Видалити демо-дані: перш ніж перетворювати запити, видаліть оригінальний запит на демонстраційні дані.

Крок 5: Створіть імпорт даних

Після створення та перетворення запитів виберіть Створити внизу сторінки, щоб імпортувати дані.
Імпорт даних за розкладом: на цій сторінці можна визначити повторюваний розклад для оновлення даних із підключеного джерела, який можна вимкнути за допомогою перемикача. Оновлення може здійснюватися автоматично з певною періодичністю або за певним графіком. Ви також можете замінити раніше імпортовані дані. Вибравши опцію, натисніть кнопку Далі.
Відгук і назва: введіть ім’я для імпорту даних разом з описом (необов’язково), а потім натисніть Підключитися.

Для цього набору даних створюється імпорт даних. Дані не відображатимуться в Менеджері сталого розвитку, доки їх не буде зіставлено з сутностями моделі даних. Ви можете продовжити відображення після завершення перетворення, або ви чи інший користувач можете завершити зіставлення пізніше.
Виберіть Готово , щоб перейти на сторінку імпортуванняданих, або виберіть Поля карти, щоб зіставити **дані.

Крок 6: Картографічні дані

Функція картографування надає більше вказівок, логіку для відображення сутностей і атрибутів, можливість попереднього перегляду зіставлених даних та аналітику для виявлення сутностей, які відповідають даним із запитів.

34.

Сторінка Mapping містить наступні компоненти:

Запити: усі запити, згенеровані на етапі перетворення даних. Синя крапка поруч із запитом вказує на те, що відображення незавершене, потребує перегляду та не було збережено.
Джерело даних: Цей випадаючий список надає список усіх доступних сутностей, які можна зіставити з вибраними запитами. Сутності, вибрані на попередніх етапах імпорту, завжди відображаються у верхній частині спадного списку в розділі «Нещодавно використані».
Попередній перегляд даних: після того, як запит зіставлено з сутністю, створюється попередній перегляд зіставлених даних, щоб ви могли переглянути зіставлення перед його збереженням.

37.

Автоматична карта: Автоматична карта дає змогу зіставити дані із запитом, якщо ви знаєте, для якої сутності призначено запит. Він аналізує часткові слова та часткові збіги слів. Виберіть запит на панелі навігації ліворуч, виберіть відповідну сутність із розкривного списку джерела даних, а потім виберіть Автоматична карта , щоб зіставити поля.
Знайти найкращу відповідність: ви можете зіставляти запити з сутностями моделі даних навіть із частковою або неповною інформацією. Логіка спочатку порівнює відсотковий збіг для всіх потрібних атрибутів у запиті, потім для необов’язкових атрибутів, потім збіг назви запиту з визначенням даних сталого розвитку та, нарешті, будь-яке з доданих або вибраних визначень даних під час імпорту. Виберіть запит у лівій частині, а потім натисніть кнопку Знайти найкращу відповідність , щоб зіставити поля джерела з правильною сутністю моделі даних. Ще одна перевірка валідації в рамках мапінгу – це коли поля не точно збігаються та вимагають вашої перевірки перед збереженням карти. Ці поля виділені синім кольором, що вказує на те, що їх необхідно перевірити перед збереженням відображення.
Готовий до імпорту: ви можете імпортувати кілька сутностей за допомогою одного імпорту, для чого потрібно виконати кілька запитів, які мають бути зіставлені під час імпорту даних. Зіставлення виконується індивідуально для кожного запиту, щоб забезпечити точний перегляд і відображення вихідних полів. Якщо працівник імпорту запускається до завершення відображення, виникають помилки імпорту. Можливість мапінгу включає спеціальний перемикач, який вмикається після завершення картографування. Цей крок гарантує, що імпорт не буде виконано до завершення зіставлення, усуваючи будь-які помилки прийому, які можуть виникнути через неповне відображення.

Для демонстраційних даних виберіть кожен із запитів і завершіть зіставлення за допомогою функцій «Автоматична карта » або «Знайти найкращий варіант». Перевіряйте поля джерела під час кожного зіставлення. Після підтвердження збережіть зіставлення та ввімкніть опцію Готово до імпорту в положення Увімкнено. Перейдіть на екран Імпорт даних, щоб переглянути статус імпорту доданих даних.

39.

Сторінка імпорту даних оновлюється та містить такі відомості для кожного імпорту:

Назва імпорту даних.
Опис, якщо його додав користувач.
Статус зіставлення, що вказує на те, що імпорт зіставлений або незіставлений.
Перемкніть пункт Готовий до імпорту.
Статус імпорту даних.
Останнє оновлення, включаючи дату та час оновлення.
Визначення даних сутності або сутностей, які імпортуються.
Власник імпорту даних.
Власник кроку картографування.

Ви можете редагувати, імпортувати та зіставляти окремо.

40.

Редагування імпортованого файлу Power Query

Менеджер сталого розвитку дає змогу оновлювати або редагувати попередній імпорт і вносити зміни до вихідного файлу, сутностей, запланованого оновлення або імені імпорту. Виконайте ці дії, щоб відредагувати наявний імпорт.

На навігаційній панелі ліворуч у розділі Керування даними виберіть Імпорт даних.
Виберіть імпорт даних, який потрібно відредагувати.
Виберіть Редагувати імпорт у верхній частині сторінки. З’явиться сторінка Визначити свої дані з можливістю додати сутності даних до імпорту.
Додайте або змініть сутності та натисніть Далі .
Виберіть Налаштувати підключення.
Виберіть облікові дані, а потім натисніть Підключитися .
Якщо ви хочете змінити тип імпорту або вихідний файл, виберіть Отримати дані на верхній панелі навігації. Ви повернетеся на сторінку Підключення до джерела даних, де можна повторити попередні кроки. Ви також можете редагувати та перетворювати дані в існуючих запитах за допомогою Power Query функцій.

Докладнішу документацію про використання Power Query можна знайти в розділі Шаблони та поради в розділі Інструменти перетворення даних.
Якщо ви плануєте оновлювати лише графік оновлення даних, натисніть Створити внизу сторінки. Після цього ви можете оновити оновлення даних, імпортувати ім'я або опис. Завершивши, виберіть Підключитися.
Виберіть «Готово », якщо оновлення карт не потрібне. Якщо картографію потрібно оновити, виберіть Поля карти, щоб перейти на екран картографування.
Виберіть запити, які потрібно перепризначити, і дотримуйтесь попередніх кроків зіставлення. Після завершення зіставлення збережіть зіставлення та встановіть перемикач Готово до імпорту на Так.

Імпорт тепер оновлено на сторінці імпорту даних.
Якщо потрібно оновити лише картографію, перейдіть на сторінку зіставлення зі сторінки імпорту даних, вибравши Редагувати відображення у верхній частині навігації.

Імпорт спеціальних розмірів

Імпорт користувацьких розмірів є невід’ємною частиною нового режиму імпорту та доступний лише в цьому Power Query інтерфейсі.

Наведені нижче кроки є бажаним робочим процесом для використання користувацьких розмірів.

Визначте нові стовпці у вихідних даних.
Перевести в однорідну форму, щоб її можна було обробляти в розрахунках і звітах.
Створюйте та зіставляйте їх із власними розмірами.
Звертайтеся до користувацьких розмірів під час розрахунків та аналізу.

Цей розділ присвячено імпорту та зіставленню. Щоб дізнатися більше про спеціальні розміри, перейдіть у розділ Спеціальні розміри.

Щоб отримати користувацькі розміри, визначте більше атрибутів (стовпців) у джерелі даних, наприклад Excel або базі даних, які потрібно використовувати.

Приклад додаткових даних:

49.

Power Query У цьому інтерфейсі перетворіть дані, можливо, за допомогою кількох запитів, щоб вони були узгодженими та придатними для обчислень (за потреби). Наприклад, тут ми перетворюємо різнорідний набір даних у множинні однорідні.

Запит перед перетворенням:

50.

Запит на пост трансформації:

51.

Зіставлення

Дотримуйтеся вказівок, щоб виявити та зіставити атрибути сутності моделі даних. Перегляньте всі зіставлення та переконайтеся, що жоден спеціальний параметр не зіставлено зі стандартним або неправильним полем призначення спеціального розміру.

У розділі "Спеціальні розміри ":

Поля джерела: виберіть зі спадного меню поле джерела з вихідних даних.
Поля призначення :
- Якщо спеціальний параметр уже є в спадному меню, виберіть його та натисніть Додати.
- Якщо він недоступний, введіть ім’я для відображення, виберіть тип і натисніть Додати.

Ви також можете створити розміри в налаштуваннях керування спеціальними розмірами перед зіставленням, щоб їх можна було вибрати в спадному меню.

Додайте наявний спеціальний параметр:

52.