连接到 Power Query 数据源

Power Query 提供了不同连接器来引入数据,其中大部分都受 Dynamics 365 Customer Insights 支持。 在 Power Query 连接器参考中,Customer Insights(数据流)列中带复选标记的连接器可用于将数据导入 Customer Insights - Data。 查看特定连接器的文档了解有关其先决条件、查询限制和其他详细信息的更多信息。

Power Query 具有数据大小和性能限制。 它以 CSV 格式复制 Dataverse 托管数据湖中的数据,因此与其他数据源连接相比,数据同步需要更长的时间。

为了在专用网络中安全地连接数据,Power Query 支持使用虚拟网络数据网关(预览)

创建新的数据源

  1. 转到数据>数据源

  2. 选择添加数据源

  3. 选择 Microsoft Power Query

  4. 为数据源提供名称说明(可选),然后选择下一步

  5. 选择一个可用连接器, 在本示例中,我们选择文本/CSV 连接器。

  6. 在所选连接器的连接设置中输入所需详细信息,然后选择下一步查看数据预览。

  7. 选择转换数据

  8. Power Query - 编辑查询页面查看和优化您的数据。 系统在您的所选数据源中识别出的表在左侧窗格中显示。

    编辑查询对话框

  9. 转换您的数据。 选择要编辑或转换的表。 要应用转换,使用 Power Query 窗口中的选项。 每个转换都会列在应用的步骤下。 Power Query 提供了大量预构建的转换选项。

    重要提示

    建议您使用以下转换:

    • 如果您从 CSV 文件引入数据,第一行通常包含标题。 转到转换并选择使用第一行作为标题
    • 确保数据类型设置正确并与数据匹配。 例如,对于日期字段,请选择日期类型。
  10. 若要在编辑查询对话框中向数据源添加更多表,转到主页并选择获取数据。 重复步骤 5-10,直到您为此数据源添加了所有表。 如果有其中包含多个数据集的数据库,则每个数据集有自己的表。

  11. 选择是手动刷新数据源还是自动刷新。 要自动刷新,设置期限。

  12. 选择保存数据源页面将打开,显示处于正在刷新状态的新数据源。

    提示

    任务和流程有状态。 大多数流程依赖于其他上游流程,例如数据源和数据分析刷新

    选择状态以打开进度详细信息窗格,并查看任务的进度。 要取消作业,选择窗格底部的取消作业

    在每个任务下,您可以选择查看详细信息来获取更多进度信息,例如处理时间、上次处理日期以及与任务或流程相关的任何适用的错误和警告。 选择面板底部的查看系统状态可以查看系统中的其他流程。

加载数据可能需要一些时间。 成功刷新后,可以从数据>页查看引入的数据。

注意

  • 基于 Power Query 的数据源将在 Dataverse 中创建数据流。 不要更改 Power Platform 管理中心中用于 Customer Insights - Data 的数据流的名称。 重命名数据流会导致数据源和 Dataverse 数据流之间的引用出现问题。
  • Customer Insights - Data 中 Power Query 数据源的并发评估具有与 PowerBI.com 中的数据流相同的刷新限制。 如果数据刷新因为达到评估限制而失败,我们建议您调整每个数据流的刷新计划,以确保不会同时处理数据源。

添加来自本地数据源的数据

基于 Microsoft Power Platform 数据流 (PPDF),支持从本地数据源引入数据。 通过在设置环境时提供 Microsoft Dataverse 环境 URL,您可以在 Customer Insights - Data 中启用数据流。

将 Dataverse 环境与 Customer Insights - Data 关联后创建的数据源默认使用 Power Platform 数据流数据流使用数据网关支持本地连接。 您可以删除和重新创建使用本地数据网关关联 Dataverse 环境之前就存在的数据源。

现有 Power BI 或 Power Apps 环境中的数据网关是可见的,如果数据网关和 Customer Insights 环境位于同一 Azure 区域,您可以在 Customer Insights 中重复使用这些网关。 数据源页面显示用于转到 Microsoft Power Platform 环境的链接,您可以在该环境中查看和配置本地数据网关。

最佳实践和故障排除

由于本地数据网关位于组织的网络,Microsoft 无法检查其运行状况。 以下建议可以帮助解决将数据导入 Customer Insights 时网关超时的问题:

  • 监视和优化本地数据网关性能,并按照本地数据网关规模指南操作。

  • 分离引入和转换数据流。 在处理一个数据流中速度较慢的数据源的多个查询或查询相同数据源的多个数据流时,分离数据流来引入和转换很有帮助。

  • 将实体分成多个数据流

  • 在早期选择正确的连接器和筛选器

  • 确保所有本地数据网关节点都运行正常,并且在节点和 SQL 实例的数据源之间配置合适的网络延迟。

  • 如果您预期会有大量数据请求,使用可扩展的数据网关群集。

  • 确保数据源适当扩展,并且源中的资源利用率不会异常高。

  • 考虑将大型表划分为小表。

  • 考虑在同一地理区域托管数据源和数据网关。

  • 优化数据源查询和索引。 正确建立索引和分区的数据可以更快、更有效地访问,从而提高查询和数据流性能。

重要提示

将网关更新到最新版本。 您可以直接从网关屏幕上显示的提示安装更新并重新配置网关,或下载最新版本。 如果您不使用最新的网关版本,数据流刷新将失败并显示错误消息,如不支持关键字:配置属性。参数名称:关键字

本地数据网关的错误通常是由配置问题引起的。 有关数据网关故障排除的详细信息,请参阅本地数据网关故障排除

编辑 Power Query 数据源

您必须是数据流的负责人才能编辑它。

备注

可能不能对其中一个应用的进程(如细分或数据统一)正在使用的数据源进行更改。

设置页中,您可以跟踪每个活动进程的进度。 进程完成后,可以回到数据源页进行更改。

  1. 转到数据>数据源。 在要更新的数据源旁边,选择编辑

  2. 创建新数据源一节所述,在 Power Query - 编辑查询对话中应用您的更改和转换。

  3. 选择保存应用您的更改并返回到数据源页面。

    提示

    任务和流程有状态。 大多数流程依赖于其他上游流程,例如数据源和数据分析刷新

    选择状态以打开进度详细信息窗格,并查看任务的进度。 要取消作业,选择窗格底部的取消作业

    在每个任务下,您可以选择查看详细信息来获取更多进度信息,例如处理时间、上次处理日期以及与任务或流程相关的任何适用的错误和警告。 选择面板底部的查看系统状态可以查看系统中的其他流程。

加载数据可能需要一些时间。 成功刷新后,从数据>页查看引入的数据。

转移 Power Query 数据源所有权

您可以将数据源所有权转移给组织中的其他人员。 例如,如果负责人离开组织或者为了进行协作需要更改。

转移所有权

执行此操作的用户必须具有 Dataverse 管理员角色。

  1. 转到 Power Apps

  2. 选择映射到 Customer Insights - Data 环境的 Dataverse 环境。

  3. 转到数据流,选择所有数据流

  4. 搜索要取得所有权的数据流的负责人。

  5. 选择垂直省略号 (⋮),然后选择更改负责人

  6. 输入新负责人的名称,然后选择更改负责人

将 Power Query 计划更新为系统刷新计划

Customer Insights - Data 将不同的 Power Query 刷新计划与系统刷新计划保持一致。 要确保 Customer Insights - Data 反映当前数据,删除 Power Query 刷新计划,让这些数据源在系统刷新时刷新。 如果您的 Power Query 数据源在数据源页面上显示已完成,但出现警告,说明您的数据源包含单独的刷新计划。 删除此单独的计划。 系统刷新后,状态将变为已完成

重要提示

数据源刷新时间将加入系统刷新的总时间。 建议您查看 Power Query 运行持续时间,然后根据需要更改系统刷新计划。 例如,Power Query 源平均可能需要 30 分钟完成刷新。 因此,建议您将系统刷新计划更新为提前 30 分钟开始,以在同等时间收到结果。

删除 Power Query 计划

  1. 转到数据>数据源

  2. 选择所需的 Power Query 数据源。

  3. 选择垂直省略号 (⋮),选择编辑刷新设置

  4. 选择手动刷新

  5. 选择保存

查看 Power Query 运行持续时间

  1. 转到数据>数据源

  2. 选择所需的 Power Query 数据源。

  3. 选择状态

按需刷新 Power Query 数据源

只有 Power Query 数据源的负责人可以根据需要刷新数据源。 如果您不是数据源的负责人,在数据源页面的由其他人管理下查找数据源负责人。

  1. 转到数据>数据源

  2. 选择所需的 Power Query 数据源,然后选择刷新

后续步骤