Microsoft Sustainability Manager 提供增量数据导入,因此在每次数据导入刷新有新数据时只能引入新数据。 增量导入可减少每次刷新的处理时间,从而能够更快、更高效地访问更新的数据。 此外,它还消除了每次刷新时只引入新数据的自定义方法的需要。
通过编辑导入/连接,您可以根据需要在完全刷新或增量刷新之间轻松切换。 增量刷新设置仅在编辑期间可用,以确保您在连接设置期间将所有数据引入 Sustainability Manager。 它还确保您可以验证一切是否按预期工作,如在设置增量刷新之前,正确地进行了所有需要的转换和映射。 此步骤是必需的,因为设置增量刷新后,Power Query 不会再次提取失败的数据。 如果出现 Power Query 失败,它会自动提取旧数据。
增量刷新在查询级别计划。 如果数据导入有多个查询,您必须为该导入中的所有查询计划增量刷新。 增量刷新支持所有数据源和数据类型,其提供了跨不同时间限制参数计划增量刷新的灵活性。
计划增量刷新
要为 Power Query 连接导入计划增量刷新,请执行以下步骤。
从数据导入页面选择 Power Query 导入,然后选择编辑刷新策略。
在刷新策略页面上,设置部分已选择完全刷新。 选择增量刷新打开一组下拉列表来定义增量刷新。
源数据中需要日期或时间列来筛选新数据。 典型示例包括消耗开始日期、消耗结束日期或交易日期。
存储以前的行指示需要存储过去哪个时间段的来自源的数据,必须为特定的时间单位(如天、月、季度或年)进行定义。
刷新以前的行指示需要刷新过去哪个时间段的来自源的数据,必须为特定的时间单位(如天、月、季度或年)进行定义。
备注
刷新以前的行和刷新以前的行的值必须是 1 到 120 之间的整数。 此外,刷新期间必须小于或等于存储期间。
如果您只想在特定日期或时间列的最大值更改时刷新数据,选择检测数据更改。 只有当您确定只有所选列发生了更改,而源数据中没有其他内容时,才需要检查此字段。
如果要刷新整个期间的数据,选择仅刷新整个期间的数据。 在您保存这些设置后,过去的数据将在此数据流下次刷新时加载到数据流存储中。 每次后续刷新仅更新过去更改的数据。
选择保存为所选查询计划增量刷新。 对所有必须计划增量刷新的查询重复这些步骤。
增量刷新的错误处理
增量刷新中的错误场景不包括由于数据流限制导致的数据导入中的准确错误消息。 但是,您可以通过以下步骤使用 Power Apps 门户中的数据流 ID 来获取详细的错误消息。
在数据导入页面选择失败的增量刷新导入,转到导入/连接刷新。 请注意错误消息字段中的数据流名称。
转到 Power Apps 门户,从左侧窗格中选择数据流。 搜索在上一步中获得的数据流名称,然后选择显示刷新历史记录。
从失败数据流列表中选择最新的开始时间。 将显示更详细的错误消息,其中包含增量刷新失败原因的详细信息。
备注
Sustainability Manager 将为数据导入中的增量刷新提供详细的错误消息,就像为未来版本中的完全刷新提供错误消息一样。
重要提示
您必须首先设置具有完全刷新的数据导入,来计划增量刷新。 此步骤确保在为所有后续新数据设置增量刷新之前,将源中所有可用的历史数据导入到 Sustainability Manager 中。
您需要为给定导入或连接中的每个查询分别设置增量刷新。
每当您编辑连接时,Sustainability Manager 都会将数据导入和所有查询重置为完全刷新。 您必须为该编辑后的导入中的所有查询重新配置增量刷新。
如果数据导入或连接启用了删除之前导入的数据,用户界面中的增量刷新按钮将被禁用。