将 Copilot 与 Microsoft Fabric 数据管道配合使用
Copilot可帮助你创建将数据从公共或内部数据源复制到 lakehouse 进行分析的数据管道。 本单元重点介绍每个步骤背后的 概念、流程和原理 。
准备源和目标
任何管道运行前,必须具备几个基础元素:访问带工作区的 Fabric 租户,以及作为目标的湖仓一体。 这些是确保数据集成过程同时具备 源 和 目标 的基石。
创建连接
连接对于将 Fabric 与外部数据源链接至关重要。 从概念上讲, 连接 定义 数据的来源 及其 访问方式。 公共数据集通常可以通过匿名身份验证引入,而企业源可能需要更严格的凭据。
创建或获取对流水线所需连接的访问权限。 在Fabric门户中选择齿轮图标,然后管理连接和网关以管理连接设置和凭据。 Copilot不会替换此身份验证和访问配置。
使用 Copilot 引入数据
打开或创建管道,然后在“主页”选项卡上选择Copilot。选择提取数据以生成复制活动。 在提示符中键入 /,以选择现有的源和目标连接。 你仍必须提供缺少的上下文,例如:
- 源连接
- 目标连接
- 目标表名称
Source connection of CopyDataActivity is [source]; destination connection is [lakehouse]; table name is [tablename].
Copilot为该活动提供框架,但你必须验证并完成该活动,包括文件路径、文件格式和列分隔符。 在运行它之前,请查看默认值并填写上下文相关的详细信息。
安全协调各项操作
管道协调活动;删除文件的活动不会转换其内容。 如果工作流需要删除一次性暂存文件,可以请求 Delete 活动:
Add a Delete activity before the Copy activity for a disposable staging folder. Don't run the pipeline.
查看建议的活动及其对复制活动的依赖。 自行配置和验证连接、文件夹路径和删除范围。 仅使用一次性数据进行测试:删除活动会删除文件,不能替代数据转换。
从概念上讲,此阶段展示了 Copilot 如何促进 流水线编排 ,同时由你负责精度和治理。
总结管道
Copilot 还可以使用通俗语言描述管道。 这有助于你:
- 验证管道是否与你的意向保持一致。
- 强化对工作流组件的了解。
- 思考摄取、转换和编排如何结合在一起。
例如,请考虑以下提示:
Summarize this pipeline, turning the technical configuration into a conceptual narrative.
使用错误消息助手进行故障排除
管道运行失败时,打开“监视”,筛选失败的管道,然后选择失败运行旁边的Copilot图标。 还可以从管道创作页访问故障排除。 Copilot总结了错误并建议故障排除步骤。 仍需检查日志并验证建议的修补程序。 如果在提示中包含错误,请删除凭据和其他敏感信息:
Explain this pipeline timeout error and suggest troubleshooting steps: [sanitized error message].
将解释视为可能的原因,而不是确认的诊断。
生成管道表达式
管道通常需要动态表达式来构造文件路径、格式化日期或条件逻辑。 在支持表达式的活动设置中,选择 “添加动态内容” 以打开表达式生成器。 使用其Copilot窗格生成表达式,查看表达式,然后选择“接受”以应用它。
Create an expression that builds a dynamic output file path using today's date in yyyy-MM-dd format.
除了生成之外,还可以要求 Copilot 解释现有表达式的作用 — 帮助你以增量方式学习表达式语言,而无需离开管道编辑器。
Copilot有助于生成管道活动和表达式、汇总工作流并调查错误。 你仍负责连接、权限、配置和验证。 有关已记录的入口点,请参阅数据工厂中的Copilot入门。