使用 Power Query 导入数据

Microsoft Cloud for Sustainability 图标。 Microsoft Cloud for Sustainability

Power Query 引导式体验是 Microsoft Sustainability Manager 中提供的最全面的引入方法。 它允许您通过多个源导入多个实体的数据,全部通过一个导入完成。 您可以在整个引入流中添加一个或多个实体以及详细的指导,以确保引入成功。

此流分离了数据转换和映射步骤,以允许不同的用户在引入期间转换和映射数据。 它还允许您在同一引入流中转换和映射数据。 映射体验还包括使用来自数据转换查询的属性信息来识别正确的数据模型实体的智能逻辑。

本节中的步骤可帮助您在 Sustainability Manager 中使用 Power Query 体验。

步骤 1:启动 Power Query 体验

  1. 要访问新 Power Query 体验,在左侧导航的数据区域中,在数据管理下选择数据导入

  2. 选择 Power Query 引导式体验。 将打开一个新的导航屏幕,您可以在其中选择要导入的实体。

    显示在何处选择要导出的实体的屏幕截图。

    Sustainability Manager 现在创建了一个购物车体验,将所有可用的实体细分为以下类别。

    • 碳活动
    • 碳排放
    • 水能
    • 废物
    • 引用数据

    选择这些数据类别中的任何一个,可查看可以导入的所有实体的列表。

步骤 2:添加实体

您可以在同一数据导入中添加一个或多个实体。 在右侧购物车中的每个实体之前选择添加按钮。 您也可以在同一导入中跨类别添加实体。

显示如何向导入中添加实体的屏幕截图。

复选标记表示购物车中的每个选定实体。 您可以通过选择实体旁边的 X 从购物车中删除实体。

您还可以通过选择实体名称旁边的查看来查看每个实体的任何导入数据。 一个新窗口将显示已导入 Sustainability Manager 的所有数据。

购物车体验在右侧名为数据转换工具的单独导航下提供。 这些工具显示在三个选项卡中。 在整个导入体验中,每个选项卡都可用,但如果需要,可以通过选择右上角的隐藏数据转换工具来隐藏这些选项卡。 每个选项卡将帮助您成功导入数据。

数据​

数据选项卡提供添加到数据导入的所有实体的列表,以及 Sustainability Manager 中可供导入的所有主体的下拉列表。 选择下拉列表可以列出实体。 选择一个实体以将其添加到数据导入中。 此工具为您提供了添加实体的选项,以防您忘记在第一步中进行选择。

显示如何向导入中添加实体(如果您之前未添加)的屏幕截图。

清单

清单选项卡提供所有实体的列表,其中首先显示导入中的实体。 选择任何实体后,您将看到成功导入所需的所有必需和可选属性的列表。 此工具为您提供一个快速参考,以确保从数据源导入所有让导入成功所需的必需属性。

显示所有实体列表的屏幕截图。

清单还提供关于每个属性的更多信息,例如,如果是查找或选择列表时。 您可以通过选择属性旁边的信息图标来获得关于其中一些属性的更多详细信息。

显示如何获取有关属性的更多详细信息的屏幕截图。

对于某些属性,它会打开一个包含可用信息的新窗口。

显示新窗口打开、窗口中显示属性详细信息的的屏幕截图。

备注

清单选项卡仅提供与所选实体关联的属性信息,让您不能使用它从下拉列表中将更多实体添加到数据导入中,而只能通过数据选项卡提供。但是,您可以在主导航屏幕上选择添加,使用数据转换工具下选择的三个选项卡中的任何一个添加更多实体。 您只能在数据选项卡中看到选择要导入的实体列表。

模板和提示

模板和提示选项卡为您提供在 Power Query 体验中下载和使用简化 Excel 模板的选项。 使用 Excel 模板导入数据中详细介绍的专用模板体验用于一次性导入,并为成功将数据导入 Sustainability Manager 提供指导。 但是,Power Query 中的模板仅包括您可以通过 Power Query 体验下载、添加数据和创建 Power Query 连接的实体和属性。

显示数据转换工具页面的模板和提示选项卡的屏幕截图。

此选项卡包括如何在 Power Query 体验中使用这些模板的指南。 另外还包括关于如何在 Sustainability Manager 中转换数据的视频和文档,以及关于 Power Query 的详细文档。 所有这些信息帮助根据有关可持续发展实体和 Power Platform 专业知识的经验水平满足您的需求。 如果您发现即使使用所提供的信息,也很难使用 Power Query 转换工具,这时,在 Power Query 体验中包含模板的选项将提供灵活性。

步骤 3:选择数据源

  1. 将所有实体添加到购物车后,选择下一步选择数据源。 将有一个列表显示可用于导入数据的所有 Power Query 连接器。

    16.

  2. 选择数据源进入连接设置页面。 根据所选的源,您可能需要使用凭据进行身份验证,并与数据源建立连接。

    Excel 数据源示例:

    17.

    SQL 数据库示例:

    18.

  3. 选择数据源,然后选择屏幕底部的下一步。 选择左侧导航中的选项卡预览数据集,然后选择转换数据

    19.

步骤 4:转换数据

以下使用示例数据的示例说明了使用 Power Query 转换数据的引导式体验。

我们用于提取固定燃烧源数据的数据文件不包含 Sustainability Manager 数据模型中定义的列标题和命名约定。 而且,也不清楚系统中是否存在成功导入固定燃烧源数据所需的所有参考数据。 现在可以检查所有依赖关系数据,如果系统中还没有这些数据,可以通过相同的数据导入来导入。

20.

  1. 添加查询:首先,添加查询以转换源数据。 要确保源数据完好无损,我们建议您创建源数据查询的副本。 选择演示数据查询,按 CTRL+C,然后按 CTRL+V 创建一个新查询,并将其重命名为固定燃烧源

  2. 查看数据属性:选择数据转换工具中的清单选项卡,选择下拉菜单,然后在最近数据模块下选择固定燃烧源。 将有一个列表显示成功导入数据所需的所有属性,以及此实体的可选属性。 清单下拉列表中的最近数据模块始终提供您在数据导入中选择的购物车中所有实体的列表。

    21.

    清单指示系统中必须已经存在其他实体,或者需要将这些实体与其他属性一起导入,包括日期、选择列表和查找。 以下说明显示如何添加这些依赖实体和属性中的每一个。

  3. 消耗开始/结束日期:数据集不包括消耗开始和结束日期,这是固定燃烧源所需的属性。 要添加这些属性,选择顶部的添加列,然后选择自定义列。 在窗口中,将新列名称更新为消耗开始日期,从下拉列表中选择日期数据类型,在自定义列公式下添加 #date(2021,09,01),然后选择确定。 重复此步骤,以相同的格式(年、月、日期)为消费结束日期添加一列。 此步骤将添加这两个必需属性的列。 要复制列,选择复制列,然后选择替换值更改其中的任何值。

    22.

  4. 设施:选择设施旁边的信息图标,可以获取系统中当前所有设施的列表。 对于此数据集,看起来所有设施都已在系统中,并列在名为操作的列下。 将列标题更改为设施

  5. 部门:要将部门添加到此导入,转到数据转换工具下的数据选项卡,在下拉列表中输入组织。 此操作向您显示参考数据下的部门实体。 选择它可以将它添加到购物车中。

    23.

    通过复制左侧的演示数据查询创建一个新查询,将其重命名为部门。 部门清单指示所需的属性包括名称和部门类型。 选择顶部的选择列,取消选中全选,然后选择组织以仅显示组织列。 要添加组织类型,选择顶部的添加列,选择自定义列打开新窗口,然后将新列名称更改为部门类型。 从下拉列表中选择数据类型文本,在自定义列公式下使用双引号添加 "Division",然后选择确定

    24.

    此操作将部门类型列添加到查询中。 根据数据模型中的定义,将组织列重命名为名称。 确保检查重复项。 右键单击名称列标题,右键单击,选择删除重复项

  6. 数据质量类型数据质量类型是一个选择列表,可以是三个选项之一。 要添加此属性,选择固定燃烧源查询,选择顶部的添加列,然后选择自定义列。 在新窗口中,新列名称将更新数据质量类型。 在下拉列表中,为数据类型选择文本,在自定义列公式下使用双引号添加“Metered”,然后选择确定。 此操作将数据质量类型列添加到查询中。

  7. 燃料类型:对于燃料类型,最简单的方法是创建 Excel 工作簿并在一个列中添加源燃料类型。 虽然您可以使用 Power Query 从源文件中提取这些信息,但您需要一定水平的 Power Platform 专业知识,其可能不适合于一小部分数据。 对于此示例,我们创建了一个 Excel 文件,该文件列出了数据源中的燃料类型。 要导入此文件,在顶部选择获取数据,这会将其添加到已创建的查询列表中。 选择将第一行用作标头,确保新查询将第一行作为标头。

    25.

    数据源中的燃料类型需要与 Sustainability Manager 数据模型中的描述完全匹配。 选择清单下燃料类型旁边的信息图标,可以查看完整列表和命名约定。 在此数据集中,需要更新为煤焦油。 选择包含的单元格,右键单击,选择重命名,将替换为煤焦油,然后选择确定

    26.

    演示数据会对燃料类型使用不同的命名约定,因此我们必须将它们与数据模型中描述的燃料类型保持一致。 我们需要在 Power Query 中添加一个可用的条件列。 选择固定燃烧源查询,选择顶部的添加列,然后选择条件列。 将列名更新为燃料类型,然后使用列名下的下拉列表从数据源中选择第一个燃料以应用条件。 在此示例中,如果有任何源燃料类型的值大于 0,我们选择与之前上载的数据模型相匹配的相应燃料类型。 继续在演示数据中添加所有六个燃料类型的子句。 选择确定,将包含这些条件的燃料类型列添加到固定燃烧源查询中。

    27.

  8. 名称:数据集不包括名称列,这也是固定燃烧源所需的属性。 您可以重命名固定燃烧源查询中的任意列,也可以添加自定义列和唯一名称。 添加标题为名称的自定义列,使用固定燃烧源文本。

  9. 数量和数量单位数量数量单位是固定燃烧源的必填字段,因此我们必须将它们添加到查询中。 选择顶部的添加列,然后选择条件列。 将列名称更新为数量,然后选择列名下的燃料类型应用条件。 在此示例中,我们将燃料类型数量与演示数据中的数量进行匹配。 输入每个燃料类型。 在输出下拉列表下,选择使用列中的值在下一个下拉列表中选择相应的燃料类型。 继续在演示数据中添加所有六个燃料类型的子句。 选择确定,将包含这些条件的数量列添加到固定燃烧源查询中。

    28.

    重复这些步骤,为数量单位添加一列。

    29.

  10. 验证单位:为成功导入,数据源中的单位必须与 Sustainability Manager 数据模型中定义的单位相匹配。 要验证命名约定,在实体清单中选择数量单位旁边的信息概览图标。 将为所有单位及其命名约定打开一个新窗口。 要更新演示数据的单位:

    1. 选择数量单位标题旁边的下拉列表。
    2. 选择加载更多提供该列中所有单位的列表。
    3. 右键单击第一个单位,选择替换值
    4. 输入单位的数据模型名称,然后选择确定

    对数据中的所有单位重复此步骤。

    30.

  11. 清理数据:确保查询中没有任何记录具有空单元格,这一点很重要。 要检查并删除空单元格,选择燃料数量列标题下拉列表中的任何一个,然后选择删除空单元格。 对所有燃料数量列重复此步骤。 对名为数量单位的列重复相同的步骤。

  12. 完成查询:最后一步是选择固定燃烧源所需的属性并完成查询。 在顶部导航窗口中选择选择列,取消选中全选,然后选择所有必需的属性。 要验证所有属性是否可用并且是否在查询中选择,请参考数据转换工具下的清单。 选择后,选择确定

  13. 删除演示数据:在转换查询之前,删除原始的演示数据查询。

步骤 5:创建数据导入

  1. 在创建和转换查询后,选择页面底部的创建创建数据导入。

  2. 计划数据导入:此页面提供一个选项,用于为来自连接源的数据刷新定义定期计划,此计划可以使用切换关闭。 刷新可以按定义的频率或按定义的时间表自动进行。 您还可以选择替换之前导入的数据。 选择选项后,选择下一步

    31.

  3. 查看并命名:为数据导入输入名称以及说明(可选),然后选择连接

    32.

    为此数据集创建数据导入。 数据在映射到数据模型实体之前不会显示在 Sustainability Manager 中。 您可以在转换完成后继续映射,也可以在以后由您或其他用户完成映射。

    33.

  4. 选择完成转到数据导入页面,或选择**映射字段映射数据。

步骤 6:映射数据

映射体验提供了更多的指导、映射实体和属性的逻辑、预览映射数据的能力以及识别与查询数据匹配的实体的智能。

34.

映射页面包含以下组件:

  • 查询:在数据转换步骤中生成的所有查询。 查询旁边的蓝点表示映射不完整,必须进行检查,其尚未保存。

  • 数据源:此下拉列表提供可映射到所选查询的所有可用实体的列表。 在前面的导入步骤中选择的实体始终显示在“最近使用”下的下拉列表的顶部。

    36.

  • 预览数据:将查询映射到实体后,将生成映射数据的预览,以便您在保存映射之前查看映射。

37.

  • 自动映射:如果您知道查询针对哪个实体,可以使用“自动映射”将数据映射到查询。 它会分析部分字词和部分字词匹配项。 在左侧导航中选择一个查询,从数据源下拉列表中选择适当的实体,然后选择自动映射映射字段。

  • 查找最佳匹配:您可以将查询映射到数据模型实体,即使只有部分信息或信息不完整。 此逻辑首先比较查询中所有必需属性的匹配百分比,然后比较可选属性的匹配百分比,然后将查询名称与可持续性数据定义进行匹配,最后比较导入过程中添加或选择的所有数据定义。 选择左侧的查询,然后选择查找最佳匹配将源字段映射到正确的数据模型实体。 映射体验中的另一个验证检查是字段不完全匹配,需要在保存映射之前进行验证。 这些字段以蓝色突出显示,指示在保存映射之前必须对其进行检查。

    38.

  • 已准备好导入:您可以通过一个导入导入多个实体,这需要在数据导入中映射多个查询。 每个查询将单独完成映射,以确保可以准确地查看和映射源字段。 如果导入 worker 在映射完成之前运行,会发生导入错误。 映射体验包括一个专用切换,它会在映射完成后打开。 此步骤确保在映射完成之前不会运行导入,从而消除了不完整映射可能导致的任何引入错误。

对于演示数据,选择每个查询,使用自动映射查找最佳匹配完成映射。 在每个映射期间查看源字段。 验证后,保存映射并将已准备好导入切换为。 转到数据导入屏幕可以查看添加的数据导入的状态。

39.

数据导入页面会更新并包括每个导入的以下详细信息:

  • 数据导入的名称。
  • 说明(如果用户添加)。
  • 映射状态,指示导入已映射或未映射。
  • 已准备好导入切换。
  • 数据导入的状态。
  • 上次刷新时间,包括刷新的日期和时间。
  • 要导入的实体的数据定义。
  • 数据导入的负责人。
  • 映射步骤的负责人。

您可以单独编辑导入和映射。

40.

编辑 Power Query 导入

Sustainability Manager 允许您更新或编辑以前的导入,并更改源文件、实体、计划刷新或导入名称。 按照以下步骤编辑现有导入。

  1. 在左侧导航中的数据管理下面,选择数据导入

  2. 选择要编辑的数据导入。

  3. 选择页面顶部的编辑导入。 将显示定义您的数据页面,其中包含向导入添加数据实体的选项。

    41.

  4. 添加或更改实体,然后选择下一步

  5. 选择配置连接

    42.

  6. 选择凭据,然后选择连接

    43.

  7. 如果要更改导入类型或源文件,请在顶部导航中选择获取数据。 您将返回到连接到数据源页面,您可以在其中重复之前的步骤。 您还可以使用 Power Query 功能编辑和转换现有查询中的数据。

    44.45.46.47.48.

    有关如何使用 Power Query 的更多文档在数据转换工具下的模板和提示中提供。

  8. 如果您计划仅更新数据刷新计划,请选择页面底部的创建。 然后可以更新数据刷新、导入名称或说明。 在您完成时,选择连接

  9. 如果不需要映射更新,选择完成。 如果需要更新映射,选择映射字段转到映射屏幕。

  10. 选择必须重新映射的查询,然后按照前面的映射步骤操作。 映射完成后,保存映射并将已准备好导入切换设置为

    导入现在已在数据导入页面更新。

  11. 如果只需要更新映射,在顶部导航中选择编辑映射,从数据导入页面转到映射页面。

导入自定义维度

导入自定义维度是新导入体验不可或缺的一部分,只能通过 Power Query 体验使用。

以下步骤是引入自定义维度的首选工作流:

  • 在源数据中定义新列。
  • 转换为同等形式,以可以在计算和报告中进行处理。
  • 创建并映射到自定义维度。
  • 在计算和分析中引用自定义维度。

本节着重介绍导入和映射。 要了解有关自定义维度的更多信息,请转到自定义维度

要引入自定义维度,在数据源(如 Excel 或数据库)中定义更多要引入的属性(列)。

其他数据示例:

49.

在 Power Query 体验中,转换数据,可能有多个查询,以使数据一致且对计算有效(如果需要)。 例如,这里,我们将一个异构数据集转换为多个同构数据集。

转换前查询:

50.

转换后查询:

51.

映射

按照以下步骤检测和映射数据模型实体属性。 检查所有映射,确保没有自定义维度映射到标准或不正确的自定义维度目标字段。

自定义维度部分:

  • 源字段:从下拉列表中选择原始数据的源字段。
  • 目标字段:
    • 如果下拉列表中已存在自定义维度,选择该维度,然后选择添加
    • 如果没有,输入要映射到的名称,选择类型,然后选择添加

您也可以在映射前在自定义维度管理设置中创建维度,以可以在 dropdown 控件中进行选择。

添加现有自定义维度:

52.

添加新自定义维度:

53.

另请参见

Microsoft Cloud for Sustainability 图标。产品页面注册图标。免费试用社区图标。社区