Microsoft Fabric 中有什么新增功能?(存档)
此存档页会定期更新显示 Microsoft Fabric 中的新增功能中的存档内容
若要关注 Fabric 新闻和功能中的最新信息,请参阅 Microsoft Fabric 博客。 若要关注 Power BI 中的最新动态,请参阅 Power BI 中有哪些新增功能?
不熟悉 Microsoft Fabric?
本节包含对 Microsoft Fabric 新用户非常实用的往期文章和公告。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 3 月 | Microsoft Fabric 现在符合 HIPAA | 我们很高兴地宣布,我们面向企业推出的一站式分析解决方案 Microsoft Fabric 已获得新的 HIPAA 和 ISO 27017、ISO 27018、ISO 27001、ISO 27701 认证。 |
2024 年 3 月 | 考试 DP-600 现已推出 | 考试 DP-600 现已推出,并推出了 Microsoft Certified:Fabric 分析工程师助理认证。 Fabric 职业中心可帮助你快速学习并取得认证。 |
2024 年 3 月 | Fabric Copilot 定价:端到端示例 | Fabric 中的 Copilot 将于 2024 年 3 月 1 日开始计费,作为现有 Power BI Premium 或 Fabric 容量的一部分。 了解如何计算 Fabric Copilot 使用量。 |
2024 年 1 月 | 面向数据科学和数据工程的 Microsoft Fabric Copilot | 面向数据科学和数据工程的 Copilot 现已在全球推出。 面向数据科学和数据工程的 Copilot 有哪些作用? |
2023 年 12 月 | Fabric 平台安全基础知识 | 从整体出发详细了解系统工作中的主要安全流来介绍 Microsoft Fabric 安全体系结构。 |
2023 年 11 月 | 面向现有 Synapse 用户的 Microsoft Fabric 解释 | 重点介绍使用 Synapse 当前平台即服务 (PaaS) 版本的客户可以期待的功能。 我们将解释 Fabric 正式版对当前投资的意义(剧透:我们完全支持你的投资),以及如何思考未来。 |
2023 年 11 月 | Microsoft Fabric 现已正式发布 | Microsoft Fabric 现已正式发售。 Microsoft Fabric 可以将所有人聚集在一个专为 AI 时代构建的由 AI 提供支持的平台上,从而改变团队处理数据的方式。 这包括下列功能:Power BI、数据工厂、数据工程、数据科学、实时分析、数据仓库和整个 Fabric 平台。 |
2023 年 11 月 | Fabric 工作负载现已正式发布! | Microsoft Fabric 现已正式发布! Microsoft Fabric Synapse Data Warehouse、数据工程和数据科学、实时分析、数据工厂、OneLake 以及整体的 Fabric 平台现已正式发布。 |
2023 年 11 月 | 在 Microsoft Fabric 中实现奖牌式湖屋体系结构 | 本文介绍了奖牌式数据湖体系结构以及如何在 Microsoft Fabric 中实现湖屋。 |
2023 年 10 月 | 宣布推出 Fabric 路线图 | 宣布推出 Fabric 路线图。 在这里可以看到我们正在开发的功能,以及它们预计何时可用。 |
2023 年 10 月 | 语义链接入门 | 了解语义链接如何在 Microsoft Fabric 中将 Power BI 语义模型与 Synapse 数据科学无缝连接。 有关详细信息,请访问 Microsoft Fabric 中的语义链接:桥接 BI 和数据科学。 还可以查看目前在 fabric-samples GitHub 存储库中提供的语义链接示例笔记本。 这些笔记本展示了如何在 Microsoft Fabric 中使用语义链接的 Python 库 SemPy。 |
2023 年 9 月 | Fabric 容量 - 你需要了解的最近更新和即将推出的所有内容 | 详细了解我们对 Fabric 和 Power BI 用户的 Fabric 容量管理平台所做的改进。 |
2023 年 8 月 | 访问面向开发人员、初创公司和企业的 Microsoft Fabric! | 了解如何以开发人员、初创公司或企业的身份启用 Microsoft Fabric,这需要不同的步骤。 有关更多信息,请参阅启用面向开发人员、初创公司和企业的 Microsoft Fabric。 |
2023 年 8 月 | 强大、实用且美观:设计获取数据的新方法 | 从数据集成设计团队那里,了解 Microsoft Fabric 的强大、创新和功能设计,这是 Microsoft 为数据集成的未来设计的。 |
2023 年 8 月 | Learn Live:Microsoft Fabric 入门 | 呼吁所有专业人员、爱好者和学习者们! 8 月 29 日,我们将与 Microsoft 的数据大使团队和 Microsoft 全球学习团队合作,共同开启“Learn Live:Microsoft Fabric 入门”系列,提供 9 个涵盖 Microsoft Fabric 相关主题的直播课程! |
2023 年 7 月 | 分步教程:使用 Microsoft Fabric 生成 ERL | 在这份综合指南中,我们将引导你完成使用 Microsoft Fabric 创建提取、转换和加载 (ETL) 管道的过程。 |
2023 年六月 | 熟练掌握 Microsoft Fabric - AI 支持的分析平台 | Fabric 适用于谁? 如何熟练掌握? 此博客文章解答了有关 Microsoft Fabric 的这些问题,Microsoft Fabric 是一种综合数据分析解决方案,通过在单个平台上统一多个体验。 |
2023 年六月 | 介绍 Microsoft Fabric 中的端到端方案 | 在此博客中,我们将探讨 四种端到端方案,这些方案是客户使用 Microsoft Fabric 从其数据中提取价值和见解的典型途径。 |
2023 年 5 月 | Microsoft Fabric 入门 - 一站式满足所有分析需求 | Microsoft Fabric 中从数据移动到数据科学、实时分析和商业智能等一切的技术概述和简介。 |
2023 年 5 月 | Fabric 中的 Microsoft OneLake,是数据的 OneDrive | Microsoft OneLake 为整个组织带来了首个多云 SaaS 数据湖。 |
正式版功能
下表列出了已从预览版过渡到正式版 (GA) 的 Microsoft Fabric 功能。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | OneLake 提供 Delta Lake 格式的 Eventhouse | 为兑现一个逻辑复制承诺,我们很高兴地宣布,OneLake 提供 Delta Lake 格式的 Eventhouse 已正式发布。 |
2024 年 5 月 | Microsoft Fabric 专用链接 | 适用于 Microsoft Fabric 的 Azure 专用链接通过提供网络隔离并在入站网络流量上应用需要的控制,从而保护对 Microsoft Fabric 中敏感数据的访问。 有关详细信息,请参阅宣布正式发布 Fabric 专用链接。 |
2024 年 5 月 | 受信任工作区访问权限 | OneLake 快捷方式中的受信任工作区访问权限现已正式发布。 现在,可以使用 Fabric 数据管道中受信任的工作区访问(预览版)创建数据管道,以访问启用了防火墙的 Azure Data Lake Storage Gen2 (ADLS Gen2) 帐户。 利用工作区标识在 Fabric 和存储帐户之间建立安全无缝的连接。 借助受信任的工作区访问权限,还可以从 Fabric 中的 OneLake 快捷方式安全且无缝地访问 ADLS Gen2 存储帐户。 |
2024 年 5 月 | 托管专用终结点 | 借助 Microsoft Fabric 托管专用终结点(预览版),可以通过托管虚拟网络安全连接到防火墙后面的数据源,或者无法从公共互联网访问的数据源。 有关详细信息,请参阅宣布正式发布 Fabric 专用链接、受信任工作区访问权限和托管专用终结点。 |
2024 年 5 月 | Eventhouse | Eventhouse 是一个托管多个 KQL 数据库的全新动态工作区,通常作为 Fabric 实时智能的一部分提供。 Eventhouse 提供了管理和分析大量实时数据的可靠解决方案。 使用入门指南来创建和管理 Eventhouse |
2024 年 5 月 | 数据工程:环境 | Fabric 中的环境现已正式发布。 “环境”是一个集中项,可用于在一个位置配置运行 Spark 作业所需的所有设置。 在 GA 中,我们添加了对 Git、部署管道、REST API、资源文件夹和共享的支持。 |
2024 年 5 月 | Microsoft Fabric Core REST API | Microsoft Fabric Core API 现已正式发布。 Fabric 用户 API 是企业和合作伙伴使用 Microsoft Fabric 的主要推动者,因为它们实现了与服务的端到端全自动交互、使 Microsoft Fabric 能够集成到外部 Web 应用程序中,且通常使客户和合作伙伴能够更轻松地缩放其解决方案。 |
2024 年 5 月 | Power Query Dataflow Gen2 SDK for VS Code | Power Query SDK 现已在 Visual Studio Code 中正式发布! 要开始使用 Visual Studio Code 中的 Power Query SDK,请从 Visual Studio Code 市场进行安装。 |
2024 年 4 月 | 语义链接 | 语义链接功能现已正式发布! 现在,包附带默认 VHD,让你可以立即在 Fabric 中使用语义链接,而无需安装任何 pip。 |
2024 年 3 月 | Dataflow Gen2 中的 VNet 网关 | 针对 Fabric 中 Dataflows Gen2 的 VNet 数据网关支持现已正式发布。 VNet 数据网关可帮助从 Fabric 第 2 代数据流连接到 VNet 中的 Azure 数据服务,而无需本地数据网关。 |
2023 年 11 月 | Microsoft Fabric 现已正式发布 | Microsoft Fabric 现已正式发售。 Microsoft Fabric 可以将所有人聚集在一个专为 AI 时代构建的由 AI 提供支持的平台上,从而改变团队处理数据的方式。 这包括下列功能:Power BI、数据工厂、数据工程、数据科学、实时分析、数据仓库和整个 Fabric 平台。 |
Community
本部分汇总了 Microsoft Fabric 社区之前为潜在和现有的影响者和 MVP 提供的机会。 若要了解 Microsoft MVP 奖并查找 MVP,请参阅 mvp.microsoft.com。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 已解决的 Fabric 社区帖子现已在“Fabric 帮助”窗格中提供 | 现在可以在“Fabric 帮助”窗格中找到 Fabric 社区讨论中已解决的帖子。 |
2024 年 5 月 | 宣布召开 Microsoft Fabric 社区大会(欧洲) | 宣布于 2024 年 9 月 24 日召开 Microsoft Fabric 社区大会(欧洲)。 立即注册! |
2024 年 5 月 | 注册 Microsoft Build:Microsoft Fabric 云技能挑战赛 | 从 2024 年 5 月 21 日起,注册 Microsoft Build:Microsoft Fabric 云技能挑战赛,并准备考试 DP-600 和上级技能和提升 Fabric 分析工程师助理认证的技能。 |
2024 年 3 月 | 考试 DP-600 现已推出 | 考试 DP-600 现已推出,并推出了 Microsoft Certified:Fabric 分析工程师助理认证。 Fabric 职业中心可帮助你快速学习并取得认证。 |
2024 年 3 月 | Microsoft Fabric 社区大会 | 欢迎参加我们于 2024 年 3 月 26 日至 28 日在拉斯维加斯举行的首届年度 Microsoft Fabric 社区大会。 亲眼见证 Microsoft Fabric 和 Microsoft 的其他数据和 AI 产品如何助力你的组织迎接 AI 时代。 使用代码 MSCUST 立即注册,享受专属折扣! |
2024 年 3 月 | 宣布“Hack Together:Microsoft Fabric 全球 AI 黑客”的优胜者 | 我们收到了全球 100 多位参赛者提交的 50 个编程马拉松项目。 评委们对项目提交的广度、深度和整体质量评价极高。 认识“Fabric 全球 AI 黑客”大赛的优胜者! |
2024 年 1 月 | 宣布推出 Fabric 职业中心 | 全新 Fabric 职业中心是你专业成长的一站式商店! 我们创建了一个全面的学习之旅,提供最好的免费点播和实时培训,并提供考试折扣。 |
2024 年 1 月 | Hack Together:Microsoft Fabric 全球 AI 黑客 | Hack Together 是一个全球在线编程马拉松,从 2024 年 2 月 15 日至 3 月 4 日运行。 加入 Hack Together: The Microsoft Fabric Global AI Hack,这是一个虚拟活动,可以在其中学习、试验并破解 Microsoft Fabric 中新的 Copilot 和 AI 功能! 有关更多信息,请参阅 Microsoft Fabric 全球 AI 黑客。 |
2023 年 12 月 | Microsoft Fabric 社区大会 | 欢迎参加我们于 2024 年 3 月 26 日至 28 日在拉斯维加斯举行的首届年度 Microsoft Fabric 社区大会。 亲眼见证 Microsoft Fabric 和 Microsoft 的其他数据和 AI 产品如何助力你的组织迎接 AI 时代。 立即注册,与数千位和你一样渴望分享洞见的数据创新者共同探索数据和 AI 的未来。 |
2023 年 11 月 | Microsoft Fabric MVP Corner - 特别版 (Ignite) | “Microsoft Fabric MVP Corner”系列博客的一份特别版重点介绍了由 MVP 在 Microsoft Ignite 2023 大会前后创作的与 Fabric 相关的精选内容,这也是我们宣布 Microsoft Fabric 正式发布的时间。 |
2023 年 10 月 | Microsoft Fabric MVP 专区 - 2023 年 10 月 | 2023 年 10 月由 MVP 创建的与 Fabric 相关的精选内容亮点。 |
2023 年 9 月 | Microsoft Fabric MVP 专区 - 2023 年 9 月 | 2023 年 9 月由 MVP 创建的与 Fabric 相关的精选内容亮点。 |
2023 年 8 月 | Microsoft Fabric MVP 专区 - 2023 年 8 月 | 2023 年 8 月由 MVP 创建的与 Fabric 相关的选定内容的亮点。 |
2023 年 7 月 | Microsoft Fabric MVP 角 - 2023 年 7 月 | 2023 年 7 月由 MVP 创建的与 Fabric 相关的选定内容的亮点。 |
2023 年 6 月 | Microsoft Fabric MVP 角 - 2023 年 6 月 | Fabric MVP 角的博客系列,重点介绍由 MVP 在 2023 年 6 月创建的与 Fabric 相关的选定内容。 |
2023 年 5 月 | Fabric 用户组 | Power BI 用户组现已成为 Fabric 用户组! |
2023 年 5 月 | 通过 MVP 了解 Microsoft Fabric | 在我们于 Build 2023 大会上正式宣布 Microsoft Fabric 之前,MVP 有机会熟悉该产品。 几个月来,他们一直在积极测试 Fabric 并获取有价值的见解。 现在,他们对产品的热情显而易见,因为他们急切地想与社区分享他们对 Microsoft Fabric 的知识和想法。 |
Fabric 示例和指南
本部分汇总了 Microsoft Fabric 的已存档指导和示例项目资源。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 3 月 | 使用负责任 AI 保护 Microsoft Fabric Lakehouse 中的 PII 信息 | 要在 Microsoft Fabric 中使用 Azure AI 识别和提取 个人身份信息 (PII),一种可能方法是使用 Azure AI 语言检测文本数据中的 PII 实体并进行分类,例如姓名、地址、电子邮件地址、电话号码、社会保障号码等。 |
2024 年 2 月 | 在 Microsoft Fabric 中使用 OneLake 构建常见的数据体系结构 | 详细了解常见的数据体系结构模式,如何使用 Microsoft Fabric 进行保护,以及有关 OneLake 安全性的基本构建基块。 |
2024 年 1 月 | 新的 Fabric 认证和 Fabric 职业中心 | Microsoft 认证考试 DP-600:使用 Microsoft Fabric 实现分析解决方案的测试版在有限时间内可用。 通过此考试可获得 Microsoft 认证:Fabric 分析工程师助理认证。 |
2023 年 12 月 | 使用 Azure 存储资源管理器处理 OneLake | 如果要使用直接与 Windows 文件资源管理器集成的应用程序,请查看 OneLake 文件资源管理器。 但如果你习惯使用 Azure 存储资源管理器执行数据管理任务,则可以继续使用 OneLake 的功能及其主要优势。 |
2023 年 11 月 | 语义链接:OneLake 集成语义模型 | 语义链接添加了对最近发布的 OneLake 集成语义模型的支持。 现在可以通过 OneLake 使用语义模型的名称直接访问数据,方法是使用 read_table 函数,并将新的 mode 参数设置为 onelake 。 |
2023 年 11 月 | 将 SAP 数据集成到 Microsoft Fabric 中 | 使用 Microsoft Fabric 的内置连接性是将 SAP 数据添加到 Fabric 数据资产最简单且最不费力的方式。 |
2023 年 11 月 | Fabric 改变了游戏规则:使用语义链接验证依赖关系 – 数据质量 | 遵循这个分步示例,了解如何使用语义链接探索表中各列之间的功能依赖关系。 语义链接是可用于在 Microsoft Fabric 中 Power BI 数据集和 Synapse Data Science 之间建立连接的一项功能。 |
2023 年 11 月 | 在 Microsoft Fabric 中实现奖牌式湖屋体系结构 | 本文介绍了奖牌式数据湖体系结构以及如何在 Microsoft Fabric 中实现湖屋。 |
2023 年 10 月 | Fabric Change the Game:探索数据 | 参考这个现实的例子,它使用快捷方式从 Azure Data Lake Storage 读取数据、将原始数据整理成结构化表,并进行了基本的数据探索。 我们的数据探索使用多元和迷人的伦敦作为数据源,信息是从 data.london.gov.uk/ 提取的。 |
2023 年 9 月 | 宣布端到端研讨会:使用 Microsoft Fabric 分析野生动物数据 | 新的研讨会指导你使用 Microsoft Fabric 为 Snapshot Serengeti 数据集构建动手的端到端数据分析解决方案。 该数据集由大约 168 万张野生动物图像和图像注释组成,格式为 .json 文件。 |
2023 年 9 月 | 新的学习路径:使用 Microsoft Fabric 实现 Lakehouse | 新的使用 Microsoft Fabric 实现 Lakehouse 学习路径介绍了使用 Microsoft Fabric 实现数据湖屋的基础组件,包含七个深入的模块。 |
2023 年 9 月 | Fabric 就绪性存储库 | Fabric 就绪性存储库是任何有兴趣探索 Microsoft Fabric 精彩世界的人的资源宝库。 |
2023 年 7 月 | 连接到 OneLake | 如何连接到我 OneLake? 此博客介绍如何连接 OneLake 并与之交互,包括 OneLake 如何实现与通过 ADLS Gen2 使用的任何工具的兼容性! |
2023 年 6 月 | 将 Azure Databricks 与 Microsoft Fabric 和 OneLake 配合使用 | Azure Databricks 如何与 Microsoft Fabric 配合工作? 此博客文章回答了这个问题,并详细介绍了两个系统如何协同工作。 |
2023 年 7 月 | Microsoft Fabric 体验的免费预览版使用已延长至 2023 年 10 月 1 日 | 我们正在延长对 Fabric 体验(除 Power BI 之外)的免费预览使用。 这些 体验在 2023 年 10 月 1 日之前不会计入购买的容量。 |
Microsoft Fabric 中的 Microsoft Copilot
本部分总结了有关 Fabric 中 Copilot 的存档公告。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | Copilot 隐私和安全 | 有关 Microsoft Fabric 中 Copilot 的隐私和安全的详细信息,以及有关每个工作负载的详细信息,请参阅 Microsoft Fabric 中 Copilot 的隐私性、安全性和负责任使用(预览版)。 |
2024 年 5 月 | AI 和 Copilot 设置会自动委托给容量管理员 | 在租户管理门户中,可以将 AI 和 Copilot 功能的启用委托给容量管理员。 此 AI 和 Copilot 设置会自动委托给容量管理员,租户管理员将无法关闭该委托。 |
2024 年 2 月 | Fabric 改变游戏规则:在 Microsoft Fabric 中使用 Copilot 出奇简单 | 此博客文章介绍了如何简单启用 Copilot,它是一种生成式 AI,带来了转换和分析数据、生成见解以及在 Microsoft Fabric 中创建可视化效果和报表的新方法。 |
2024 年 2 月 | Microsoft Fabric 中面向数据工厂的 Copilot | Microsoft Fabric 中面向数据工厂的 Copilot 现在以预览版提供,并包含在 Dataflow Gen2 体验中。 有关详细信息,请参阅面向数据工厂的 Copilot。 |
2024 年 1 月 | 面向数据科学和数据工程的 Microsoft Fabric Copilot | 面向数据科学和数据工程的 Copilot 现已在全球推出。 面向数据科学和数据工程的 Copilot 有哪些作用? |
2024 年 1 月 | 如何为所有人启用 Fabric 中的 Copilot | 请按照本指南为组织中的每个人启用 Fabric 中的 Copilot。 有关详细信息,请参阅适用于 Microsoft Fabric 的 Copilot 概述(预览版)。 |
2024 年 1 月 | Fabric 中的 Copilot 在全球范围推出 | Fabric 中的 Copilot面向所有客户推出,包括 Copilot for Power BI、数据工厂以及数据科学和数据工程。 有关更多信息,请参阅 Fabric 中的 Copilot 概述。 |
2023 年 11 月 | 通过 Microsoft Fabric 和 Copilot 为 Power BI 用户赋能 | 我们很高兴地宣布 Microsoft Fabric 正式发布,并推出 Microsoft Fabric 中的 Copilot 预览版,包括适用于 Power BI 的体验。 |
2023 年 11 月 | Microsoft Fabric 中适用于 Power BI 的 Copilot(预览版) | 我们很高兴地宣布推出 Microsoft Fabric 中的 Copilot 预览版,包括适用于 Power BI 的体验,它可帮助用户在 Power BI Web 体验中创建报表,从而快速上手。 有关详细信息,请参阅适用于 Power BI 的 Copilot。 |
2023 年 10 月 | 在 Microsoft Fabric 中使用 Semantic Kernel 与数据聊天 | 了解如何在 Microsoft Fabric 中基于业务数据构造 Copilot 工具。 |
Microsoft Fabric 中的数据工厂
本部分汇总了 Microsoft Fabric 中的数据工厂的已存档的新特性和功能。 通过数据工厂社区论坛关注问题和反馈。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | Dataflow Gen2 认证的连接器更新 | 已发布新的和更新的 Dataflow Gen2 连接器。 有关详细信息,请参阅 2024 年 6 月认证的连接器更新。 |
2024 年 6 月 | 新数据管道连接器更新 | 更多连接器现在可用于数据管道。 有关详细信息,请参阅 2024 年 6 月 Fabric 更新。 |
2024 年 6 月 | Lakehouse 架构功能 | Lakehouse 架构功能(预览版)引入了数据管道支持,可从 Lakehouse 表读取架构信息,并支持将数据写入指定架构下的表。 Lakehouse 架构允许将表组合在一起,以便更好地发现数据、进行访问控制等操作。 |
2024 年 6 月 | 通过数据管道跨工作区移动数据,新式获取数据体验 | 现在可以跨不同的工作区在湖屋、仓库等之间移动数据。 在管道新式获取数据中,从 OneLake 数据中心左侧资源管理器下的另一个工作区中选择一个 Fabric 项。 |
2024 年 6 月 | 在数据管道中创建新仓库作为目标 | 现在可以在数据管道中创建新仓库作为目标,而不是仅选择现有仓库。 |
2024 年 5 月 | Microsoft Build 回顾中的数据工厂公告 | 不要错过 Fabric 公告中的任何数据工厂,下面是 Build 2024 中 Fabric 中数据工厂所有新功能的回顾。 |
2024 年 5 月 | 新认证的连接器 | Power Query SDK 和 Power Query 连接器认证过程引入了多个新的 Power Query 连接器,包括 Oracle 数据库、MySQL、Oracle 云存储、Azure AI、Azure 文件、Dynamics AX、Google Bigquery、Snowflake ADBC 的连接器以及即将推出的更多连接器。 |
2024 年 5 月 | Microsoft Fabric 中的 API for GraphQL(预览版) | 新的 API for GraphQL 是一个数据访问层,允许我们在 Fabric 中快速高效地查询多个数据源。 有关详细信息,请参阅什么是 Microsoft Fabric API for GraphQL? |
2024 年 5 月 | Power Query Dataflow Gen2 SDK for VS Code GA | Power Query SDK 现已在 Visual Studio Code 中正式发布! 要开始使用 Visual Studio Code 中的 Power Query SDK,请从 Visual Studio Code 市场进行安装。 |
2024 年 5 月 | 刷新“刷新历史记录”对话框 | “刷新历史记录详细信息”弹出窗口现在有“刷新”按钮。 |
2024 年 5 月 | 新的和更新的认证连接器 | Power Query SDK 和 Power Query 连接器认证过程推出了四个新的和更新的 Power Query 连接器。 |
2024 年 5 月 | 数据工厂预览版中的数据工作流 | 数据工厂中的数据工作流(预览版)由 Apache Airflow 提供支持,为定义为有向无环图 (DAG) 的、基于 Python 的数据流程提供无缝创作、计划和监视体验。 有关详细信息,请参阅快速入门:创建数据工作流。 |
2024 年 5 月 | 在 Fabric 数据管道(预览版)中访问受信任工作区 | 利用工作区标识在 Fabric 和存储帐户之间建立安全无缝的连接。 现在,可以使用 Fabric 数据管道中受信任的工作区访问(预览版)创建数据管道,以访问启用了防火墙的 Azure Data Lake Storage Gen2 (ADLS Gen2) 帐户。 |
2024 年 5 月 | 用于数据管道的 Blob 存储事件触发器(预览版) | Fabric 数据工厂数据管道 中的 Azure Blob 存储事件触发器(预览版)使用 Fabric Reflex 警报和事件流来创建 Azure 存储帐户的事件订阅。 |
2024 年 5 月 | 数据管道的 Azure HDInsight 活动 | Azure HDInsight 活动允许执行 Hive 查询、调用 MapReduce 程序、执行 Pig 查询、执行 Spark 程序或 Hadoop Stream 程序。 |
2024 年 5 月 | 复制数据助手 | 在管道登陆页中选择“复制数据助手”或在“复制数据”下拉列表中选择“使用复制助手”,开始使用新式获取数据体验。 可以轻松连接到最近使用的 Fabric 项,并提供从示例数据和新连接读取源的直观方法。 |
2024 年 5 月 | 复制数据时编辑目的地表列类型 | 为许多数据存储复制新的或自动创建的目的地表时,可以编辑目的地表列类型。 有关详细信息,请参阅在复制活动中配置 Lakehouse。 |
2024 年 4 月 | Spark 作业定义活动 | 使用新的 Spark 作业定义活动,将可以在管道中运行 Spark 作业定义。 |
2024 年 4 月 | ADF 复制活动中的 Fabric 仓库 | 现在可以从 Azure 数据工厂/Synapse 管道连接到 Fabric 仓库。 在复制活动、查找活动、存储过程活动、脚本活动和获取元数据活动中创建新源或接收器目的地时,可以找到此新连接器。 |
2024 年 4 月 | 增加了对编辑 Fabric 仓库和其他 SQL 数据存储中目标表的列类型的支持 | 通过数据管道将数据从任何受支持的数据源移动到 Fabric 仓库或其他 SQL 数据存储(SQL Server、Azure SQL 数据库、Azure SQL 托管实例 或 Azure Synapse Analytics)时,用户现在可以指定每个列的数据类型。 |
2024 年 4 月 | 改进了将数据写入 SFTP 时的性能 | 改进了 SFTP 连接器的性能,在写入 SFTP 作为目的地时提供更好的性能。 |
2024 年 4 月 | 本地数据网关和虚拟网络数据网关对服务主体名称身份验证类型的支持 | 本地数据网关和虚拟网络数据网关现在支持 Azure 服务主体 (SPN)。 了解如何在 Azure Data Lake Storage、Dataverse、Azure SQL 数据库、Web 连接器等中利用服务主体身份验证类型。 |
2024 年 4 月 | 新的认证连接器和更新 | Power Query SDK 和 Power Query 连接器认证过程推出了 11 个新的和更新的自定义 Power Query 连接器。 |
2024 年 4 月 | 全新表达式生成器体验 | Fabric 数据工厂管道中脚本活动的全新体验,可更轻松地使用管道表达式语言生成表达式。 |
2024 年 4 月 | 数据工厂将每个管道的最大活动数增加到 80 | 我们已将管道中可以定义的活动数限制从 40 提升到了 80。 |
2024 年 4 月 | 适用于 Fabric 数据工厂管道的 REST API 预览版 | 适用于 Fabric 数据工厂管道的 REST API 现在推出预览版。 适用于数据工厂管道的 REST API 使你能够扩展 Fabric 中的内置功能,以创建、读取、更新、删除和列出管道。 |
2024 年 3 月 | Dataflows Gen2 中的快速复制 | 借助快速复制,可以使用数据流的简单体验以及管道复制活动的可缩放后端引入 TB 数据。 |
2024 年 3 月 | 使用数据工厂中的数据管道将本地数据集成到 Microsoft Fabric 中(预览版) | 借助本地数据网关(预览版),客户现在可以通过数据工厂使用数据流和数据管道连接到本地数据源。 有关详细信息,请参阅如何在 Microsoft Fabric 的数据工厂中访问本地数据源。 |
2024 年 3 月 | 用于 Fabric 数据管道的 CI/CD 预览版 | Git 集成以及与内置部署管道到数据工厂数据管道的集成现已提供预览版。 有关详细信息,请参阅数据工厂向 Fabric 数据管道添加 CI/CD。 |
2024 年 3 月 | 使用“获取数据”功能浏览 Azure 资源 | 了解如何使用“获取数据”中的“浏览 Azure”功能浏览和连接到所有 Azure 资源。 可以首先浏览 Azure 资源,然后轻松连接到 Synapse、blob 存储或 ADLS Gen2 资源。 |
2024 年 3 月 | Dataflow Gen2 对 VNet 网关的支持现已正式发布 | 针对 Fabric 中 Dataflows Gen2 的 VNet 数据网关支持现已正式发布。 VNet 数据网关可帮助从 Fabric 第 2 代数据流连接到 VNet 中的 Azure 数据服务,而无需本地数据网关。 |
2024 年 3 月 | 数据流中的隐私级别支持 | 现在可以在 Dataflow Gen2 中为连接设置隐私级别。 隐私级别对于正确配置至关重要,以便只有授权用户才能查看敏感数据。 |
2024 年 3 月 | 通过 Fabric 数据工厂数据管道将数据复制到 S3 兼容存储 | Fabric 数据工厂数据管道现在提供将数据复制到 S3 兼容存储的功能! 可以使用数据管道中的复制助手和复制活动来完成此数据移动。 |
2024 年 2 月 | Dataflows Gen2 数据目的地和托管设置 | Dataflows Gen2 的新功能包括目的地、托管设置和高级主题。 |
2024 年 2 月 | Microsoft Fabric 中面向数据工厂的 Copilot | Microsoft Fabric 中面向数据工厂的 Copilot 现在以预览版提供,并包含在 Dataflow Gen2 体验中。 有关详细信息,请参阅面向数据工厂的 Copilot。 |
2024 年 2 月 | 认证连接器更新 | 借助 Power Query SDK,可以为 Power BI 和 Dataflow 创建新的连接器。 新的认证 Power Query 连接器已列入Power Query 中的认证连接器列表。 |
2024 年 2 月 | 数据管道连接器更新 | 数据工厂数据管道中有新的连接器可用,包括 Amazon S3 兼容数据源和 Google Cloud Storage 数据源。 有关详细信息,请参阅 Microsoft Fabric 中的数据管道连接器。 |
2024 年 1 月 | 使用数据工厂自动化构造数据仓库查询和命令 | 在 Fabric 数据工厂中,可以通过多种方式查询数据、检索数据,并使用很容易实现自动化的管道活动从仓库执行命令。 |
2024 年 1 月 | 使用 Fabric 数据工厂数据管道来协调基于笔记本的工作流 | 利用数据管道在 Fabric 中使用数据工厂生成 Fabric Spark 笔记本工作流时的指南和良好做法。 |
2023 年 12 月 | 使用 Azure 数据工厂 (ADF) 来读取和写入 Fabric 湖屋中的数据 | 现在可以使用 ADF(Azure 数据工厂)来读取和写入 Microsoft Fabric 湖屋中的数据。 借助复制活动或映射数据流,可以使用 ADF 或 Synapse Analytics(目前为预览版)读取、写入、转换和处理数据。 |
2023 年 12 月 | 设置活动状态,方便管道调试 | 在 Fabric 数据工厂数据管道中,现在可以将活动的状态设置为非活动状态,这样即使配置不完整或无效,也可以保存管道。 将其视为管道代码的“注释禁止”部分。 |
2023 年 12 月 | 管道编辑器中的连接编辑 | 现在可以在设计管道时编辑现有数据连接,而无需离开管道编辑器界面! 设置连接时,只需选择“编辑”,即会显示一个弹出窗口。 |
2023 年 12 月 | Fabric 数据工厂中的 Azure Databricks 笔记本执行 | 现在,可以使用 Fabric 数据工厂创建功能强大的数据管道工作流,包括 Azure Databricks 群集中的笔记本执行。 将 Databricks 活动添加到管道、指向现有群集或请求新群集,数据工厂将自动执行 Notebook 代码。 |
2023 年 11 月 | 在 Microsoft Fabric 中实现奖牌式湖屋体系结构 | 本文介绍了奖牌式数据湖体系结构以及如何在 Microsoft Fabric 中实现湖屋。 |
2023 年 11 月 | 第 2 代数据流的 Fabric 连接器正式发布 | 湖屋、数据仓库和 KQL 数据库的连接器现已正式发布。 建议在尝试从这些 Fabric 工作负载连接到数据时使用这些连接器。 |
2023 年 11 月 | 取消第 2 代数据流的自动刷新 | 为了防止不必要的资源消耗,我们提供了一种新机制,该机制会在已知刷新结果没有影响时立即停止数据流的刷新。 这是为了更主动地减少消耗。 |
2023 年 11 月 | 通过网关传播第 2 代数据流错误消息 | 我们进行了诊断改进,以便在数据流刷新失败时为通过企业数据网关运行的数据流提供有意义的错误消息。 |
2023 年 11 月 | 为 SAP HANA 连接器提供了实现列绑定的第 2 代数据流支持 | 为 SAP HANA 启用了列绑定支持。 此可选参数可显著提高性能。 有关详细信息,请参阅针对 SAP HANA 连接器的列绑定支持。 |
2023 年 11 月 | 第 2 代数据流暂存项目隐藏 | 在 Fabric 中使用某个第 2 代数据流时,系统将自动创建一组暂存项目。 现在,这些暂存项目将从该第 2 代数据流体验中抽取出来,并且将在工作区列表中隐藏。 用户无需执行任何操作,此更改不会影响现有数据流。 |
2023 年 11 月 | 第 2 代数据流对 VNet 网关的支持预览版 | 针对 Fabric 中第 2 代数据流的 VNet 数据网关支持现已推出预览版。 VNet 数据网关可帮助从 Fabric 第 2 代数据流连接到 VNet 中的 Azure 数据服务,而无需本地数据网关。 |
2023 年 11 月 | 跨工作区“另存为” | 现在可以使用“另存为”按钮跨工作区克隆数据管道。 |
2023 年 11 月 | 动态内容浮出控件与电子邮件和 Teams 活动集成 | 在电子邮件和 Teams 活动中,现在可以轻松添加动态内容。 通过这种新的管道表达式集成,你将看到浮出控件菜单,该菜单可帮助你快速选择和生成消息内容,而无需了解管道表达式语言。 |
2023 年 11 月 | 复制活动现在支持针对 Fabric 数据仓库连接器的容错 | 数据管道中的复制活动现在支持针对 Fabric 仓库的容错。 容错可让你在不中断数据移动的情况下处理某些错误。 通过启用容错,可以继续复制数据,同时跳过不兼容的数据(如重复行)。 |
2023 年 11 月 | MongoDB 和 MongoDB Atlas 连接器 | MongoDB 和 MongoDB Atlas 连接器现已推出,可在数据工厂数据管道中用作源和目标。 |
2023 年 11 月 | Microsoft 365 连接器现在支持将数据引入湖屋(预览版) | Microsoft 365 连接器现在支持将数据引入湖屋表。 |
2023 年 11 月 | 方便在设计器中编辑管道的多任务支持 | 现在可以打开和编辑来自不同工作区的数据管道,并使用 Fabric 中的多任务功能在它们之间导航。 |
2023 年 11 月 | 添加到管道返回值的字符串内插 | 现在可以编辑数据管道中的数据连接。 以前,当需要编辑连接时,会打开一个新选项卡。 现在,可以保留在管道中并无缝更新连接。 |
2023 年 10 月 | 重新设计活动类别 | 我们重新设计了活动的分类方式,使你能够更轻松地查找你想要的活动,包括控制流、通知等新类别。 |
2023 年 10 月 | 复制运行时性能改进 | 我们对复制运行时性能进行了改进。 根据我们的测试结果,通过改进,用户从 parquet/csv 文件复制到 Lakehouse 表的持续时间预计会缩短 25%-35%。 |
2023 年 10 月 | 可用于变量的整数数据类型 | 我们现在支持整数变量! 创建新变量时,现在可以选择将变量类型设置为整数,以便更轻松地对变量使用算术函数。 |
2023 年 10 月 | 系统变量现在支持管道名称。 | 我们添加了一个名为“管道名称”的新系统变量,让你可以在管道表达式编辑器中检查和传递管道的名称,从而在 Fabric 数据工厂中实现更强大的工作流。 |
2023 年 10 月 | 支持复制活动映射中的类型编辑 | 当你将数据登陆到 Lakehouse 表时,现在可以编辑列类型。 这样,可以更轻松地自定义目标中的数据架构。 只需导航到“映射”选项卡,导入架构(如果未看到任何映射),并使用下拉列表进行更改。 |
2023 年 10 月 | 新的认证连接器:Emplifi 指标 | 宣布新的 Emplifi 指标连接器发布。 Power BI 连接器是 Emplifi 公共 API 与 Power BI 本身之间的一层。 有关详细信息,请参阅 Emplifi 公共 API 文档。 |
2023 年 10 月 | SAP HANA(连接器更新) | 此更新考虑了 SAP Datasphere 的其他安全概念,增强了 SAP HANA 连接器,使其能够使用 SAP Datasphere 中部署的 HANA 计算视图。 |
2023 年 10 月 | 将活动状态设置“注释禁止”管道的一部分 | Fabric 数据工厂数据管道中现已提供活动状态,使你能够在不删除定义的情况下注释禁止管道的一部分。 |
2023 年 8 月 | 暂存标签 | 暂存数据的概念是在适用于 Microsoft Fabric 的数据流 Gen2 中引入的,现在你能够定义数据流中的哪些查询应使用暂存机制。 |
2023 年 8 月 | 保护日志的输入/输出 | 我们为名为“安全输入”和“安全输出”的“设置变量”活动添加了高级设置。 启用安全输入或输出时,可以隐藏敏感信息,使其不被捕获到日志中。 |
2023 年 8 月 | 已将管道运行状态添加到“输出”面板 | 我们最近添加了“管道状态”,以便开发人员可以轻松查看管道运行的状态。 现在可以从“输出”面板查看管道运行状态。 |
2023 年 8 月 | 数据管道 FTP 连接器 | FTP 连接器现在可用于 Microsoft Fabric 中的“数据工厂”数据管道。 在“新建连接”菜单中查找它。 |
2023 年 8 月 | 数据流中的最大实体数 | 可以作为数据流一部分的新最大实体数已提高到 50。 |
2023 年 8 月 | 管理连接功能 | 现在,通过“管理连接”选项,可以查看与数据流的关联连接、取消与连接的关联或编辑连接凭据和网关。 |
2023 年 8 月 | Power BI Lakehouses 连接器 | 8 月份版本的 Power BI Desktop 和网关中对 Lakehouses 连接器的更新包含显著的性能改进。 |
2023 年 7 月 | 数据流中的新式数据连接和发现体验 | 改进的体验旨在加快 在 Dataflow、Dataflow Gen2 和 Datamart 中发现数据的过程。 |
2023 年 5 月 | 介绍 Microsoft Fabric 中的数据工厂 | 数据工厂使你能够 使用下一代数据流和数据管道开发企业级数据集成解决方案。 |
Microsoft Fabric 中的数据工厂示例和指南
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 数据工厂管道导航器思维导图 | 最终数据工厂管道思维导图有助于在数据工厂旅程中导航数据工厂管道,以生成成功的数据集成项目。 |
2024 年 5 月 | 语义模型刷新活动 | 了解如何在数据管道中使用备受关注的语义模型刷新活动,以及现在如何创建整个管道生命周期内的完整端到端解决方案。 |
2024 年 2 月 | Fabric 数据管道 - 高级计划技巧 | 此博客系列介绍了 Microsoft Fabric 数据管道中的高级计划技巧。 |
2023 年 12 月 | 使用 DeltaLake.Table M 函数从 Delta Lake 表读取数据 | DeltaLake.Table 是 Power Query 的 M 语言中用于从 Delta Lake 表读取数据的新函数。 此函数现已在 Power BI Desktop 的 Power Query 以及第一代和第二代数据流中提供,并取代了使用社区开发的解决方案的需求。 |
2023 年 10 月 | Microsoft Fabric 数据工厂网络研讨会系列 - 2023 年 10 月 | 诚邀你加入我们 10 月份的网络研讨会系列,我们将在会上介绍如何使用数据工厂在各种场景中转换和协调数据。 |
2023 年 9 月 | 从 Microsoft Fabric 管道通知 Outlook 和 Teams 频道/组 | 了解如何向 Teams 频道/组和 Outlook 电子邮件发送通知。 |
2023 年 9 月 | Microsoft Fabric 数据工厂网络研讨会系列–2023 年 9 月 | 加入我们的数据工厂网络研讨会系列,我们将在其中介绍如何使用数据工厂在各种场景中转换和协调数据。 |
2023 年 8 月 | Microsoft Fabric 的元数据驱动管道 - 第 2 部分:数据仓库样式 | 概述 Microsoft Fabric 中遵循奖牌体系结构并将数据仓库用作金牌层的元数据驱动管道。 |
2023 年 8 月 | Microsoft Fabric 的元数据驱动管道 | 简要介绍 Microsoft Fabric 中遵循奖牌体系结构(铜牌、银牌、金牌)的元数据驱动管道。 |
2023 年 8 月 | 使用数据管道将数据复制到 KQL 数据库/从中复制数据并通过查找活动创建工作流 | 支持使用数据管道将实时智能的 KQL DB 同时用作目标和源,让你能够构建和管理各种提取、转换和加载 (ETL) 活动,从而利用 KQL DB 的强大优势和功能。 |
2023 年 8 月 | 以增量方式聚集数据 | 借助包含数据目的地支持的 Dataflows Gen2,你可以设置自己的模式来以增量方式加载新数据、替换某些旧数据,并使报告与源数据一致更新。 |
2023 年 8 月 | 数据管道性能改进第 3 部分:历史加载性能提升超过 50% | 了解如何在 Fabric 数据管道(现为预览版)的当前状态下考虑分页情况。 当已分页的页面数不太大时,此管道性能良好。 有关详细信息,请参阅历史加载性能提升超过 50%。 |
2023 年 8 月 | 数据管道性能改进第 2 部分:创建 JSON 数组 | 此博客系列中的示例显示了如何将两个数组合并到一个 JSON 对象数组中,以及如何获取数据范围并创建多个子范围,然后将这些范围存储为一个 JSON 数组。 有关详细信息,请参阅创建 JSON 数组。 |
2023 年 7 月 | 数据管道性能改进第 1 部分:如何将时间间隔 (dd.hh:mm:ss) 转换为秒 | 有关使用多个复制活动并行移动较小卷来移动数据的系列博客的第一部分:如何将时间间隔 (dd.hh:mm:ss) 转换为秒。 |
2023 年 7 月 | 使用 Fabric 数据工厂数据管道构造数据分析工作流 | 一篇博客,介绍数据工厂中的数据管道,以及 使用管道协调 Fabric 数据分析项目和活动 所带来的优势。 |
2023 年 7 月 | 数据管道教程:使用分页功能从 REST API 将文件引入 Lakehouse。 AVEVA 数据中心 | 在此博客中,我们将以 AVEVA 客户的角色为角色,该客户需要将 运营数据从 AVEVA 数据中心检索到 Microsoft Fabric Lakehouse。 |
2023 年 7 月 | 数据工厂聚焦:数据流 Gen2 | 此博客聚焦介绍了数据工厂实现的两个主要高级功能:数据流和管道。 |
Microsoft Fabric 中的 Synapse 数据工程
本部分汇总了数据工程的已存档的新特性和功能,包括 Microsoft Fabric 中的数据工厂。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | Spark 运行时中用于 Fabric Synapse 数据仓库的 Fabric Spark 连接器(预览版) | 用于 Synapse 数据仓库的 Fabric Spark 连接器(预览版)使 Spark 开发人员或数据科学家能够使用简化的 Spark API 从仓库或湖屋的 SQL 分析端点(从同一工作区或跨工作区)访问和处理数据。 |
2024 年 6 月 | 外部数据共享公共 API 预览 | 适用于 OneLake 外部数据共享 的 REST API 现在以预览版提供。 用户现在可以通过使用公共 API 自动创建共享来扩展其数据共享用例。 |
2024 年 6 月 | 容量池预览 | 容量管理员现在可以根据工作负载要求创建自定义池(预览版),从而对计算资源进行精细控制。 可在工作区 Spark 设置和环境项中将用于数据工程师和数据科学的自定义池设置为 Spark 池选项。 |
2024 年 6 月 | Apache Spark 的本机执行引擎 | 适用于 Fabric Runtime 1.2 的面向 Fabric 数据工程和数据科学的 Apache Spark 本机执行引擎现已处于预览状态。 有关详细信息,请参阅 Fabric Spark 的本机执行引擎。 |
2024 年 6 月 | OneLake 数据访问角色 API | 在 OneLake 数据访问角色预览版发布之后,现已提供用于管理数据访问角色的新 API。 这些 API 可用于以编程方式管理 Lakehouses 的精细数据访问。 |
2024 年 5 月 | Runtime 1.3(Apache Spark 3.5、Delta Lake 3.1、R 4.3.3、Python 3.11)(预览版) | Fabric Runtime 1.3 中的增强功能包括合并 Delta Lake 3.1、与 Python 3.11 的兼容性、支持初学者池、与环境和库管理功能的集成。 此外,Fabric Runtime 现在通过支持 R 语言和集成 Copilot 来丰富数据科学体验。 |
2024 年 5 月 | Spark 运行系列分析和自动优化功能预览 | 使用 Spark 监视运行系列分析功能,可以分析管道 Spark 活动定期运行实例的运行持续时间趋势和性能比较,以及来自同一笔记本或 Spark 作业定义的重复 Spark 运行活动。 |
2024 年 5 月 | 本地或网络受限数据源的 OneLake 快捷方式(预览版) | 使用环境中计算机上的 Fabric 本地数据网关连接到本地数据源,可联网查看 S3 兼容、Amazon S3 或 Google 云存储数据源。 然后,创建快捷方式并选择该网关。 有关详细信息,请参阅创建本地数据的快捷方式。 |
2024 年 5 月 | 在笔记本中评论 @tagging | 笔记本现在支持在评论中标记他人的功能,就像使用 Office 产品的熟悉功能一样。 |
2024 年 5 月 | 笔记本功能区升级 | Fabric 笔记本功能区中的新功能包括“主页”选项卡上的“会话连接”控件和 Data Wrangler 按钮、“高并发会话”、新的“查看会话信息”控件(包括会话超时)。 |
2024 年 5 月 | 数据工程:环境 GA | Fabric 中的环境现已正式发布。 “环境”是一个集中项,可用于在一个位置配置运行 Spark 作业所需的所有设置。 在 GA 中,我们添加了对 Git、部署管道、REST API、资源文件夹和共享的支持。 |
2024 年 5 月 | 工作区数据工程/科学的公共 API | Fabric 数据工程/科学工作区设置的 REST API 支持允许用户创建/管理其 Spark 计算、选择默认运行时/默认环境、启用或禁用高并发模式或 ML 自动记录。 |
2024 年 4 月 | Fabric Spark 乐观作业许可 | Fabric Spark 乐观作业许可可减少出现限制错误(“HTTP 430:超出 Spark 容量限制”响应)的频率,并提升客户的作业许可体验,尤其是在高峰使用时段。 |
2024 年 4 月 | 对入门池的单节点支持 | 借助入门池对单节点的支持功能,可以将入门池设置为最多一个节点,并获得超快的 Spark 会话启动时间。 |
2024 年 4 月 | 适用于 Synapse VS Code 的容器映像 | 为了简化开发过程,我们发布了适用于 Synapse VS Code 的容器映像,其中包含该扩展所需的所有依赖项。 |
2024 年 4 月 | Git 与 Spark 作业定义集成 | 借助 Git 与 Spark 作业定义的集成,可以将 Spark 作业定义的更改签入包含 Spark 作业源代码和其他项属性的 Git 存储库。 |
2024 年 4 月 | 全新改进的笔记本中的对象资源管理器体验 | 新的对象资源管理器体验提高了资源管理器中数据源的灵活性和可发现性,此外还提高了资源文件夹的可发现性。 |
2024 年 4 月 | %在 Notebook 中运行脚本 | 现在可以像 Jupyter Notebook %run 命令一样,使用 %run magic 命令在笔记本资源文件夹中运行 Python 脚本和 SQL 脚本。 |
2024 年 4 月 | S3 兼容数据源的 OneLake 快捷方式预览版 | S3 兼容数据源的 OneLake 快捷方式现已推出预览版。 创建 Amazon S3 兼容的快捷方式,以通过单个统一的命名空间连接到现有数据,而无需复制或移动数据。 |
2024 年 4 月 | Google Cloud Storage 的 OneLake快捷方式预览版 | Google Cloud Storage 的 OneLake快捷方式现已推出预览版。 创建 Google Cloud Storage 快捷方式,以通过单个统一的命名空间连接到现有数据,而无需复制或移动数据。 |
2024 年 4 月 | OneLake 数据访问角色 | 适用于湖屋的 OneLake 数据访问角色为预览版。 可以通过新的文件夹安全用户界面轻松更新角色权限和用户/组分配。 |
2024 年 3 月 | “加载到表”的新验证增强功能 | “加载到表”功能的新验证增强功能有助于缓解任何验证问题,并使数据加载体验更流畅、更快。 |
2024 年 3 月 | 笔记本作业队列 | 现在,借助笔记本作业的作业队列,管道或作业计划程序触发的作业将添加到队列中,并在容量释放时自动重试。 有关详细信息,请参阅 Microsoft Fabric Spark 中的作业队列。 |
2024 年 3 月 | Apache Spark 的自动优化查询优化功能 | Apache Spark 的自动优化查询优化功能现已推出。 自动优化利用 Spark SQL 查询和机器学习算法中的历史数据自动微调配置,确保执行时间更快和提高效率。 |
2024 年 3 月 | OneLake 文件资源管理器:通过 Excel 进行编辑 | 在文件资源管理器的最新版本 v1.0.11.0 中,我们很高兴地宣布,你现在可以使用 Excel 直接更新文件,镜像 OneDrive 中可用的用户友好体验。 |
2024 年 2 月 | 适用于 OneLake 快捷方式的受信任工作区访问(预览版) | 借助受信任的工作区访问(预览版),可以从 Fabric 中的 OneLake 快捷方式安全且无缝地访问 ADLS Gen2 存储帐户。 有关详细信息,请参阅受信任的工作区访问(预览版)。 |
2024 年 2 月 | 在 OneLake 中使用 S3 快捷方式降低出口成本 | 了解 OneLake 的 S3 快捷方式现在如何支持缓存,从而极大地降低出口成本。 将新的启用 S3 快捷方式缓存设置与 S3 快捷方式配合使用。 |
2024 年 2 月 | OneLake 快捷方式 API | 借助新推出的 OneLake 快捷方式 REST API,将能以编程方式创建和管理快捷方式,目前此功能为预览版。 现在能够以编程方式创建、读取和删除 OneLake 快捷方式。 相关示例请参阅使用 OneLake 快捷方式 REST API。 |
2024 年 2 月 | 浏览代码片段 | 使用新的“浏览代码片段”笔记本功能,可以轻松访问和插入常用代码片段的代码片段并支持多种语言。 |
2024 年 2 月 | 配置会话超时 | 笔记本现在支持为当前实时会话配置会话超时。 这有助于避免因超时而浪费资源或丢失上下文。 可以指定 Spark 会话的最大持续时间(从几分钟到数小时),还可以在会话过期之前获取警报并延长警报。 |
2024 年 2 月 | Fabric 笔记本状态栏升级 | 新的 Fabric 笔记本状态栏有三个持久化的信息按钮:会话状态、保存状态和单元格选择状态。 此外,上下文功能还包括有关 git 连接状态的信息、用于延长会话超时的快捷方式和失败单元格导航器。 |
2024 年 1 月 | 面向数据科学和数据工程的 Microsoft Fabric Copilot | 面向数据科学和数据工程的 Copilot 现已在全球推出。 面向数据科学和数据工程的 Copilot 有哪些作用? |
2024 年 1 月 | 最新版本的 OneLake 文件资源管理器包含了 Excel 集成 | 最新版本的 OneLake 文件资源管理器 (v1.0.11.0) 提供了多项更新来增强 OneLake 体验,包括 Excel 集成。 |
2023 年 12 月 | %%configure – 在 Notebook 中个性化设置 Spark 会话 | 现在,可以在交互式笔记本和管道笔记本活动中使用 magic 命令 %%configure 个性化设置 Spark 会话。 |
2023 年 12 月 | 笔记本中的 Rich Dataframe 预览版 | Fabric 笔记本更新了 display() 函数,现命名为 Rich dataframe preview。 现在,使用 display() 预览数据帧时,可以轻松指定范围、查看 DataFrame 摘要和列统计信息、检查无效值或缺失值,以及预览长单元格。 |
2023 年 12 月 | 使用 Azure 存储资源管理器处理 OneLake | 如果要使用直接与 Windows 文件资源管理器集成的应用程序,请查看 OneLake 文件资源管理器。 但如果你习惯使用 Azure 存储资源管理器执行数据管理任务,则可以继续使用 OneLake 的功能及其主要优势。 |
2023 年 11 月 | 针对湖屋的辅助功能支持 | 为了提供更具包容性且用户友好的交互,我们实现了多项改进来支持湖屋体验中的辅助功能,包括屏幕阅读器兼容性、响应式设计文本重排、键盘导航、图像替换文字以及表单域和标签。 |
2023 年 11 月 | 湖屋中的增强多任务体验 | 我们引入了新功能来增强湖屋内的多任务体验,包括运行操作期间的多任务处理、无阻塞重载和更清晰的通知。 |
2023 年 11 月 | 湖屋中的升级 DataGrid 功能 | 升级后的适用于湖屋表的 DataGrid 预览版现在提供列排序、筛选和调整大小功能。 |
2023 年 11 月 | SQL 分析终结点重新预配 | 现在可以直接在湖屋中重试 SQL 分析终结点预配。 这意味着,如果初始预配尝试失败,可以选择重试,而无需创建全新的湖屋。 |
2023 年 11 月 | Microsoft Fabric Runtime 1.2 | Microsoft Fabric Runtime 1.2 是我们数据处理功能的重大进步。 Microsoft Fabric Runtime 1.2 包括 Apache Spark 3.4.1、Mariner 2.0 操作系统、Java 11、Scala 2.12.17、Python 3.10、Delta Lake 2.4 和 R 4.2.2,确保你可使用最前沿的工具。 此外,此版本还捆绑了默认包,包括完整的 Anaconda 安装以及基本的 Java/Scala、Python 和 R 库,可简化工作流。 |
2023 年 11 月 | 多运行时支持 | 随着 Runtime 1.2 的引入,Fabric 支持多个运行时,使用户能够灵活地在它们之间无缝切换,最大限度地减少不兼容或中断的风险。 更改运行时后,从下一个 Spark 会话开始,工作区中所有由系统创建的项(包括湖屋、SJD 和笔记本)都将使用新选择的工作区级运行时版本运行。 |
2023 年 11 月 | Delta 将作为新 Runtime 1.2 中的默认表格式 | 默认的 Spark 会话参数 spark.sql.sources.default 现在为 delta 。 每当表类型被省略时,使用 Spark SQL、PySpark、Scala Spark 和 Spark R 创建的所有表都会默认将该表创建为 Delta 格式。 |
2023 年 11 月 | 智能缓存 | 默认情况下,会在 Fabric Spark 中启用新修改和优化的智能缓存功能。 智能缓存功能通过快捷方式从 OneLake 或 ADLS Gen2 存储读取数,可在后台流畅工作,缓存数据,帮助加快在 Microsoft Fabric 中执行 Apache Spark 作业的速度。 |
2023 年 11 月 | 用于实现 Spark 增强功能的监视中心 | 监视中心的最新增强功能旨在提供有关 Spark 和湖屋活动的全面详细视图,包括执行程序分配、Spark 应用程序的运行时版本、详细信息页面中的相关项链接。 |
2023 年 11 月 | 针对湖屋操作的监视 | 用户现在可以查看湖屋维护作业和表加载活动的进度和状态。 |
2023 年 11 月 | Spark 应用程序资源使用情况分析 | 为满足客户监视 Spark 资源使用状况指标以调整和优化性能的要求,我们很高兴地推出了 Spark 资源使用状况分析功能(现为预览版)。 这个新发布的功能使用户能够监视分配的执行程序、运行中的执行程序、空闲执行程序以及 Spark 执行。 |
2023 年 11 月 | Spark 作业定义的 REST API 支持(预览版) | Spark 作业定义的 REST 公共 API 现已推出,用户可以轻松地管理和操作 SJD 项。 |
2023 年 11 月 | 对湖屋、加载到表和表维护的 REST API 支持 | 作为工作负载集成的关键要求,针对湖屋的 REST 公共 API 现已推出。 湖屋 REST 公共 API 使用户可以轻松地以编程方式管理和操作湖屋项目。 |
2023 年 11 月 | 对 git 集成和部署管道的湖屋支持(预览版) | 湖屋现与 Microsoft Fabric 中的生命周期管理功能集成,可在产品的整个生命周期内实现所有开发团队成员之间的标准化协作。 生命周期管理会持续向多个环境提供功能和 bug 修复,从而促进有效的产品版本控制和发布过程。 |
2023 年 11 月 | 在笔记本中嵌入 Power BI 报表 | 我们很高兴地宣布,powerbiclient Python 包现将在 Fabric 笔记本中获得原生支持。 这意味着,只需几行代码即可轻松地在笔记本中嵌入 Power BI 报表并与之交互。 若要详细了解如何操作,请参阅使用 powerbiclient 包嵌入 Power BI 组件。 |
2023 年 11 月 | Mssparkutils 新 API – 引用并行运行多个笔记本 | mssparkutils 中的新 runMultiple API(称为 mssparkutils.notebook.runMultiple() )可让你并行运行多个笔记本,或使用预定义的拓扑结构。 有关详细信息,请参阅笔记本实用工具。 |
2023 年 11 月 | 笔记本资源 .JAR 文件支持 | 现在,我们支持在笔记本资源管理器中上传 .jar 文件。 你可以添加自己的已编译库,使用拖放操作生成代码片段以将其植入会话中,以及方便地在代码中加载库。 |
2023 年 11 月 | 笔记本 Git 集成预览版 | Fabric 笔记本现提供 Git 集成,用于通过 Azure DevOps 进行源代码管理。 它允许用户利用 Fabric Git 函数和 Azure DevOps 轻松控制笔记本代码版本并管理 git 分支。 |
2023 年 11 月 | 部署管道中的笔记本(预览版) | 现在,还可以使用笔记本跨不同环境(例如开发、测试和生产)部署代码。 还可以使用部署规则来自定义部署笔记本时的行为,例如更改笔记本的默认湖屋。 开始使用部署管道,笔记本将自动在部署内容中显示。 |
2023 年 11 月 | 笔记本 REST API 预览版 | 借助适用于笔记本项的 REST 公共 API,数据工程师/数据科学家可以自动执行管道,并方便高效地建立 CI/CD。 笔记本 Restful 公共 API 使用户可以轻松地管理和操作 Fabric 笔记本项,并将笔记本与其他工具和系统集成。 |
2023 年 11 月 | 环境功能预览版 | 我们很高兴地宣布推出 Fabric 中的环境(预览版)。 “环境”是一个集中项,可用于在一个位置配置运行 Spark 作业所需的所有设置。 |
2023 年 11 月 | vscode.dev 中的 Synapse VS Code 扩展(预览版) | 借助 vsocde.dev 上的 Synapse VS Code 扩展支持,用户现在可以无缝地编辑和执行 Fabric 笔记本,而无需离开浏览器窗口。 此外,VS Code 的所有本机专业开发人员功能现在都可供此环境中的最终用户访问。 |
2023 年 10 月 | 一次创建多个 OneLake 快捷方式 | 创建多个 OneLake 快捷方式变得更加容易。 现在可以浏览到所需位置并一次选择多个目标,而不是一次创建一个快捷方式。 然后,你选择的所有目标都会在一次操作中创建为新快捷方式。 |
2023 年 10 月 | Delta-RS 引入了对 OneLake 的原生支持 | OneLake 团队与 Delta-RS 社区合作,帮助引入对识别 Delta-RS 和 Rust Object Store 中的 OneLake URL 的支持。 |
2023 年 9 月 | 将笔记本导入工作区 | 工作区中新的“导入笔记本”条目 ->“新建”菜单让你可以轻松地在目标工作区中导入新的 Fabric Notebook 项。 可以上传一个或多个文件,包括 .ipynb 、.py 、.sql 、.scala 、.r 文件格式。 |
2023 年 9 月 | Synapse VS Code 扩展中的笔记本文件系统支持 | Synapse VS Code 扩展现在支持 Microsoft Fabric 中用于数据工程和数据科学的笔记本文件系统。 Synapse VS Code 扩展使用户能够在 Visual Studio Code 环境中直接开发其笔记本项目。 |
2023 年 9 月 | 笔记本共享仅执行模式 | 我们现在支持在共享笔记本时单独检查“运行”操作,如果刚刚选择了“运行”操作,收件人将看到“仅执行”笔记本。 |
2023 年 9 月 | 笔记本保存冲突解决 | 现在,当存在保存冲突时,我们支持查看和比较同一笔记本的两个版本之间的差异。 |
2023 年 9 月 | 用于快速数据复制的 Mssparkutils 新 API | 我们现在在 mssparkutils 中支持一种新方法,它可以更快地实现大量数据的移动/复制:Mssparkutils.fs.fastcp() 。 可使用 mssparkutils.fs.help("fastcp") 检查详细使用情况。 |
2023 年 9 月 | 笔记本资源 .whl 文件支持 | 现在,我们支持在 Notebook 资源管理器中上传 .whl 文件。 |
2023 年 8 月 | 在 Microsoft Fabric 中适合数据工程和数据科学工作负载的笔记本中引入高并发模式 | 通过高并发模式,可以在为单个会话付费的情况下在同一群集上同时运行笔记本,而不会影响性能或安全性。 高并发模式给 Fabric Spark 用户带来了诸多好处。 |
2023 年 8 月 | 服务主体支持连接到数据流、数据市场、数据集和数据流第 2 代中的数据 | Azure 服务主体已添加作为一组数据源的身份验证类型,可在数据集、数据流、数据流第 2 代和数据市场中使用。 |
2023 年 8 月 | 宣布对 Direct Lake 数据集提供 XMLA 写入支持 | Direct Lake 数据集现在支持 XMLA 写入操作。 现在,你可通过喜欢的 BI Pro 工具和脚本,使用 XMLA 终结点管理 Direct Lake 数据集。 |
2023 年 7 月 | Lakehouse 共享和访问权限管理 | 共享湖屋并管理权限,以便用户可以通过数据中心、SQL 分析终结点和默认语义模型访问湖屋数据。 |
2023 年 6 月 | 使用快捷方式将现有数据虚拟化到 OneLake 中 | 使用 OneLake 连接数据接收器而无需移动或复制数据,这样就可以创建 名为快捷方式的特殊文件夹,指向其他存储位置。 |
2023 年 5 月 | 介绍 Microsoft Fabric 中的数据工程 | 借助 Synapse 数据工程(Microsoft Fabric 的核心体验之一),数据工程师感觉很自在,能够 利用 Apache Spark 的强大功能大规模转换其数据,并构建出强大的湖屋体系结构。 |
Synapse 数据工程示例和指南
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 揭秘 Fabric 中的数据引入:使用 Fabric 数据管道将数据引入 Fabric Lakehouse 的基本组件 | 了解批处理数据引入框架,该框架基于在 Fabric 中生成 Lakehouse 时处理不同客户的经验。 |
2024 年 6 月 | 使用 Dataflows Gen2 中的快速复制功能提高性能并节省成本 | 了解快速复制功能如何帮助提高 Dataflows Gen2 的性能和成本效益。 |
2024 年 5 月 | 使用数据管道从 Lakehouse 复制另一个工作区中的数据 | 了解如何通过数据管道在跨不同工作区的 Lakehouse 之间复制数据。 |
2024 年 5 月 | 使用 Sparklens 对 Microsoft Fabric Spark Notebooks 进行分析 | 在本博客中,你将了解如何利用 Sparklens(一种开源 Spark 分析工具)来分析 Microsoft Fabric Spark Notebooks 并提高 Spark 代码的性能。 |
2024 年 3 月 | 桥接 Fabric Lakehouse:实现无缝 ETL 的增量更改数据馈送 | 了解如何使用增量更改数据馈送在奖牌体系结构中跨不同湖屋实现无缝数据同步。 |
2024 年 1 月 | 使用 Fabric 数据工厂数据管道来协调基于笔记本的工作流 | 利用数据管道在 Fabric 中使用数据工厂生成 Fabric Spark 笔记本工作流时的指南和良好做法。 |
2023 年 11 月 | Fabric 更改游戏:将自己的库与 Microsoft Fabric 配合使用 | 在 Lakehouse 中使用自己的 Python 库的分步指南。 使用 Python 创建自己的库非常简单,而在 Fabric 上重用它甚至更简单。 |
2023 年 8 月 | Fabric 改变游戏规则:使用笔记本记录工作负载 | 详细了解如何借助笔记本中的 OneLake API 路径,使用笔记本将工作负载记录到 OneLake 中。 |
Microsoft Fabric 中的 Synapse 数据科学
本部分汇总了 Microsoft Fabric 中数据科学体验的已存档的新改进和功能。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 容量池预览 | 容量管理员现在可以根据工作负载要求创建自定义池(预览版),从而对计算资源进行精细控制。 可在工作区 Spark 设置和环境项中将用于数据工程师和数据科学的自定义池设置为 Spark 池选项。 |
2024 年 6 月 | Apache Spark 的本机执行引擎 | 适用于 Fabric Runtime 1.2 的面向 Fabric 数据工程和数据科学的 Apache Spark 本机执行引擎现已处于预览状态。 有关详细信息,请参阅 Fabric Spark 的本机执行引擎。 |
2024 年 6 月 | 揭秘 Fabric 中的数据引入:使用 Fabric 数据管道将数据引入 Fabric Lakehouse 的基本组件 | 了解批处理数据引入框架,该框架基于在 Fabric 中生成 Lakehouse 时处理不同客户的经验。 |
2024 年 6 月 | 使用 Dataflows Gen2 中的快速复制功能提高性能并节省成本 | 了解快速复制功能如何帮助提高 Dataflows Gen2 的性能和成本效益。 |
2024 年 5 月 | 工作区数据工程/科学的公共 API | Fabric 数据工程/科学工作区设置的 REST API 支持允许用户创建/管理其 Spark 计算、选择默认运行时/默认环境、启用或禁用高并发模式或 ML 自动记录。 |
2024 年 4 月 | 语义链接 GA | 语义链接功能现已正式发布! 此包附带默认 VHD。 现在,你可以立即在 Fabric 中使用语义链接,而无需安装任何 pip。 |
2024 年 4 月 | 适用于 AI 和 Copilot 的容量级别委派 | 租户管理员现在可以在 Fabric 中为整个组织、特定安全组或特定容量启用 AI 和 Copilot。 |
2024 年 3 月 | 欧盟客户可以在不启用跨地区设置的情况下使用 AI 和 Copilot | 自 3 月中旬起,欧盟客户可以在不开启跨地区设置的情况下使用 AI 和 Copilot,并且其 AI 和 Copilot 请求将在 EUDB 内进行处理。 |
2024 年 3 月 | Code-First 超参数优化预览版 | FLAML 当前已集成用于超参数优化,目前是预览功能。 Fabric 的 flaml.tune 功能简化了此过程,提供了一种经济高效且有效的超参数优化方法。 |
2024 年 3 月 | Code-First AutoML 预览版 | 借助新的 AutoML 功能,可以自动执行机器学习工作流,并用更少的努力获得最好的结果。 AutoML(或自动化机器学习)是一组技术和工具,可针对任何给定数据和任务类型自动训练和优化机器学习模型。 |
2024 年 3 月 | 比较嵌套运行 | ML 试验的“运行列表视图”中的父和子运行引入了分层结构,允许用户在单个视图中轻松查看各种父和子运行,并与它们无缝交互以直观地比较结果。 |
2024 年 3 月 | 支持必需 MIP 标签强制实施 | Fabric 中的 ML 模型和试验项现在为 Microsoft 信息保护 (MIP) 标签提供增强支持。 |
2024 年 1 月 | 面向数据科学和数据工程的 Microsoft Fabric Copilot | 面向数据科学和数据工程的 Copilot 现已在全球推出。 面向数据科学和数据工程的 Copilot 有哪些作用? |
2023 年 12 月 | 语义链接更新 | 我们很高兴地宣布语义链接发布最新更新! 除了许多改进之外,我们还为 Power BI 工程社区添加了许多新功能,Fabric 笔记本中的这些功能可满足所有自动化需求。 |
2023 年 12 月 | Fabric 中预生成的 Azure AI 服务预览版 | Fabric 中预生成的 AI 服务预览版与 Azure AI 服务(以前称为 Azure 认知服务)集成。 预生成的 Azure AI 服务 允许使用预生成的 AI 模型轻松增强数据,而无需任何先决条件。 目前,预生成的 AI 服务处于预览状态,包含对 Microsoft Azure OpenAI 服务、Azure AI 语言和 Azure AI 翻译的支持。 |
2023 年 11 月 | 笔记本中的 Copilot(预览版) | Fabric 数据科学和数据工程笔记本中的 Copilot旨在加速提升生产力,提供实用的答案和指导,并为数据浏览、数据准备和机器学习等常见任务生成代码。 你可以使用 magic 命令通过聊天面板甚至笔记本单元格与 AI 进行交互和互动,以更快地从数据中获取见解。 有关详细信息,请参阅笔记本中的 Copilot。 |
2023 年 11 月 | 数据整理器中的自定义 Python 操作 | 数据整理器是一种基于笔记本的探索性数据分析工具,始终允许用户浏览和应用常见的数据清理操作,实时生成相应的代码。 现在,除了从 UI 生成代码之外,用户还可以在数据整理器中使用自定义操作编写自己的代码。 |
2023 年 11 月 | 适用于 Spark 数据帧的数据整理器(预览版) | 数据整理器现在支持 Spark 数据帧(现为预览版)。 到目前为止,用户已能够使用可实时转换为 Python 代码的常见操作来浏览和转换 pandas 数据帧。 新版本允许用户使用数据整理器来编辑 Spark 数据帧和 pandas 数据帧。 |
2023 年 11 月 | MLFlow 笔记本小组件 | MLflow 内联创作小组件使用户能够毫不费力地跟踪试验运行以及指标和参数(所有这些操作都直接从笔记本内完成)。 |
2023 年 11 月 | 新模型和试验项可用性改进 | 针对我们模型和试验跟踪功能的全新增强功能得益于重要的用户反馈。 运行详细信息视图中的全新树控件通过显示所选的运行来简化跟踪。 我们增强了比较功能,使你可以轻松调整比较窗格,获取更加友好的体验。 现在,可以选择运行名称以查看“运行详细信息”视图。 |
2023 年 11 月 | 最近的试验运行 | 现在,用户可以更方便地直接从工作区列表视图查看试验的最近运行。 通过此更新,可以更轻松地跟踪最近的活动、快速跳转到相关的 Spark 应用程序,并根据运行状态应用筛选器。 |
2023 年 11 月 | 已将“模型”重命名为“ML 模型” | Microsoft 已将“模型”重命名为“ML 模型”以确保清晰,避免与其他 Fabric 元素产生任何混淆。 有关详细信息,请参阅 Microsoft Fabric 中的机器学习试验。 |
2023 年 11 月 | SynapseML v1.0 | SynapseML v1.0 现已发布。 SynapseML v1.0 简化了在 Fabric 上构建生产就绪型机器学习系统的工作,且已在 Microsoft 使用了六年多。 |
2023 年 11 月 | 使用 SynapseML 训练可解释的提升计算机 | 我们在 SynapseML 中引入了由 Apache Spark 提供支持的可解释提升计算机 (EBM) 的可缩放实现。 EBM 是一种强大的机器学习技术,它将梯度提升的准确性与对模型可解释性的高度关注相结合。 |
2023 年 11 月 | Microsoft Fabric 中的预生成 AI 模型(预览版) | 我们很高兴地宣布在 Fabric 中推出预生成 AI 模型的预览版。 Azure OpenAI 服务、文本分析和 Azure AI 翻译是 Fabric 中提供的预生成模型,同时支持 RESTful API 和 SynapseML。 还可以使用 OpenAI Python 库访问 Fabric 中的 Azure OpenAI 服务。 |
2023 年 11 月 | 在 sparklyr 中重复使用现有 Spark 会话 | 我们添加了对 sparklyr 中名为“synapse”的新连接方法的支持,使用户能够连接到现有的 Spark 会话。 此外,我们还为 OSS sparklyr 项目提供了此连接方法。 用户现在可以在同一会话中使用 sparklyr 和 SparkR,并在它们之间轻松共享数据。 |
2023 年 11 月 | 针对 ML 试验和 ML 模型的 REST API 支持 | 针对 ML 试验和 ML 模型的 REST API 现已推出。 借助这些适用于 ML 试验和 ML 模型的 REST API,让用户能够以编程方式创建和管理机器学习项目,这是实现管道自动化和工作负载集成所需满足的一个关键要求。 |
2023 年 10 月 | 语义链接(预览版) | 语义链接是一项创新功能,可将 Power BI 语义模型与 Microsoft Fabric 中的 Synapse 数据科学无缝连接。 作为奖牌体系结构中的金牌层,Power BI 语义模型包含组织中最精细且最有价值的数据。 |
2023 年 10 月 | Microsoft Fabric 中的语义链接:桥接 BI 和数据科学 | 我们很高兴推出语义链接的预览版,这是一项创新功能,可将 Power BI 语义模型与 Microsoft Fabric 中的 Synapse 数据科学无缝连接。 |
2023 年 10 月 | 开始使用语义链接(预览版) | 了解语义链接如何在 Microsoft Fabric 中将 Power BI 语义模型与 Synapse 数据科学无缝连接。 有关详细信息,请访问 Microsoft Fabric 中的语义链接:桥接 BI 和数据科学。 还可以查看目前在 fabric-samples GitHub 存储库中提供的语义链接示例笔记本。 这些笔记本展示了如何在 Microsoft Fabric 中使用语义链接的 Python 库 SemPy。 |
2023 年 8 月 | 利用 Microsoft Fabric 中 LangChain 的强大功能获得高级文档摘要 | 利用 Microsoft Fabric 和 SynapseML LLM 功能的潜力,有效地对自己的文档进行总结和组织。 |
2023 年 7 月 | 释放 SynapseML 和 Microsoft Fabric 的力量:PDF 文档上的 Q&A 指南 | 在此博客文章中,我们将深入探讨 Microsoft Fabric 和 SynapseML 的精彩功能和特点,以演示如何利用生成式 AI 模型或大型语言模型 (LLM) 对任何 PDF 文档执行问答 (Q&A) 任务。 |
2023 年 5 月 | 介绍 Microsoft Fabric 中的 Synapse 数据科学 | 借助 Microsoft Fabric 中的数据科学,可以 利用机器学习功能的强大功能无缝扩充数据,作为数据和分析工作流的一部分。 |
Synapse 数据科学示例和指南
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 使用 Microsoft Fabric 生成自定义 AI 应用程序:为增强语言模型实现检索增强生成 | 本指南会指导你使用 Azure OpenAI 和 Azure AI 搜索在 Microsoft Fabric 中实现 RAG(检索增强生成)系统。 |
2024 年 3 月 | 新的 AI 样本 | 新的 AutoML 示例、模型优化和语义链接示例显示在 Microsoft Fabric 上数据科学样本的“快速教程”类别中。 |
2023 年 12 月 | 在 Azure 机器学习服务中使用 Microsoft Fabric 的 Lakehouse 数据和提示流来创建 RAG 应用程序 | 一个分步的 RAG 应用程序,通过 Azure 机器学习服务中的提示流运行,与 Microsoft Fabric 的 Lakehouse 数据相结合。 |
2023 年 11 月 | Microsoft Fabric 中的全新数据科学快乐路径教程 | 我们更新了 Microsoft Fabric 的数据科学快乐路径教程。 这一全新的综合教程以银行客户流失问题为背景,演示了整个数据科学工作流。 |
2023 年 11 月 | 新的数据科学示例 | 我们扩展了数据科学示例集合,在其中添加了全新的端到端 R 示例,以及关于“解释模型输出”和“可视化模型行为”的全新快速教程示例。 |
2023 年 11 月 | 新的数据科学预测示例 | 我们与 Sonata Software 合作开发了销售预测方面的全新数据科学示例。 这一新示例包含整个数据科学工作流,从数据清理到 Power BI 可视化效果。 该笔记本介绍了利用 SARIMAX 算法的强大功能开发超市销售预测模型并对其进行评估和评分的步骤。 |
2023 年 8 月 | 新计算机故障和客户流失示例 | 我们已在 Microsoft Fabric Synapse 数据科学“使用示例”菜单中添加了更多示例。 若要查看这些数据科学示例,请选择“Synapse 数据科学”,然后选择“使用示例”。 |
2023 年 8 月 | 将 Semantic Kernel 与 Microsoft Fabric 中的湖屋配合使用 | 了解数据科学家可如何利用 Fabric 来将 Semantic Kernel 与 Microsoft Fabric 中的湖屋配合使用。 |
Synapse Data Warehouse
本部分汇总了 Microsoft Fabric 中的 Synapse 数据仓库的已存档的新改进和功能。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 就地还原门户体验 | 现在,可以通过 Fabric 门户在仓库中创建用户创建的还原点。 有关更多信息,请参阅在 Microsoft Fabric 中就地还原仓库。 |
2024 年 6 月 | Spark 运行时中用于 Fabric 数据仓库的 Fabric Spark 连接器(预览版) | 用于 Fabric 数据仓库的 Fabric Spark 连接器(预览版)使 Spark 开发人员或数据科学家能够使用简化的 Spark API 从 Fabric DW 或湖屋的 SQL 分析端点(从同一工作区或跨工作区)访问和处理数据。 |
2024 年 5 月 | 监视仓库的工具 | 可以使用多种工具来监视 Synapse 数据仓库的活动,包括:Synapse 数据仓库中的计费和利用率报告、使用 DMV 监视连接、会话和请求、查询见解以及现在的查询活动。 有关详细信息,请阅读查询活动:监视正在运行和已完成的 T-SQL 查询的一站式视图。 |
2024 年 5 月 | Copilot用于数据仓库 | 适用于数据仓库的 Copilot(预览版)现已推出受限预览版,提供 Copilot 聊天窗格、快速操作和代码补全。 |
2024 年 5 月 | 具有时间旅行的仓库查询(预览版) | Microsoft Fabric 中的仓库提供了在语句级别查询过去存在的历史数据的功能,目前处于预览状态。 从特定时间戳查询数据的能力在数据仓库行业被称为时间旅行。 |
2024 年 5 月 | COPY INTO 增强功能 | COPY INTO 现在支持通过受信任的工作区功能对受防火墙保护的存储进行 Microsoft Entra ID 身份验证和访问。 有关详细信息,请参阅 COPY INTO 增强和 COPY INTO (Transact-SQL)。 |
2024 年 4 月 | ADF 复制活动中的 Fabric 仓库 | 现在可以从 Azure 数据工厂/Synapse 管道连接到 Fabric 仓库。 在复制活动、查找活动、存储过程活动、脚本活动和获取元数据活动中创建新源或接收器目的地时,可以找到此新连接器。 |
2024 年 4 月 | Git 集成 | 借助适用于仓库的 Git 集成,你可以将仓库的更改作为 SQL 数据库项目签入 Azure DevOps Git 存储库。 |
2024 年 4 月 | 分区排除 | 分区排除是针对具有大量文件的表的性能改进。 湖屋的 SQL 分析终结点使用分区排除功能从与查询相关的分区读取数据。 当查询针对包含许多文件的表中的少数分区时,最近的改进实现了甚至更高的性能改进。 |
2024 年 3 月 | Microsoft Fabric 中的镜像(预览版) | 借助 Fabric 中的镜像,可以轻松地将数据库引入 Microsoft Fabric 中的 OneLake,以便获得无缝的零 ETL、有关数据的准实时见解,以及解锁仓库、BI、AI 等。 有关详细信息,请参阅Fabric 中的镜像是什么?。 |
2024 年 3 月 | 冷缓存性能改进 | Fabric 将数据存储在 Delta 表中,当数据未缓存时,它需要将数据从 parquet 文件格式结构转码到内存中结构,以便进行查询处理。 最近的冷缓存性能改进进一步优化了转码,我们在测试中观察到,当数据之前没有缓存时,查询速度快达 9%。 |
2024 年 3 月 | 直接通过 DW 编辑器提取并发布 SQL 数据库项目 | SQL 数据库项目扩展会创建一个 SQL 项目 (.sqlproj ) 文件,它是 SQL 对象的本地表示形式,其包含用于单一数据库的架构(例如,表、存储过程或函数)。 现在可以直接通过 DW 编辑器提取和发布 SQL 数据库项目。 |
2024 年 3 月 | 更改仓库项所有者 | 新的接管 API 允许将仓库所有者从当前所有者更改为新所有者,这可以是 SPN 或机构帐户。 |
2024 年 3 月 | 克隆表 RLS 和 CLS | 克隆表现在会从克隆表的源继承行级别安全性 (RLS) 和动态数据掩码。 |
2024 年 2 月 | 体验性能改进 | 近期的连接和性能增强功能包括改进了创建仓库、T-SQL 执行、自动元数据发现和错误消息传送的体验。 |
2023 年 12 月 | Fabric Warehouse 的自动日志检查点 | 自动日志检查点是帮助数据仓库提供出色性能和最佳功能的方法之一,而你无需进行额外的工作! |
2023 年 12 月 | 还原点和就地还原 | 现在可以创建还原点并将仓库就地还原到某个过去的时间点。 还原点和就地还原功能目前为预览版。 就地还原是数据仓库恢复的重要组成部分,它通过替换或覆盖创建还原点的现有数据仓库,将数据仓库还原到之前已知的可靠状态。 |
2023 年 11 月 | TRIM T-SQL 支持 | 现在,可以使用 TRIM 命令通过 TRIM (Transact-SQL) 中的关键字 LEADING 和/或 TRAILING 来移除字符串中的空格或特定字符。 |
2023 年 11 月 | GENERATE_SERIES T-SQL 支持 | 使用 GENERATE_SERIES (Transact-SQL) 在给定间隔内生成一系列数字。 序列值之间的间隔和步骤由用户定义。 |
2023 年 11 月 | SSD 元数据缓存 | 现在,文件和行组元数据也会在内存中和 SSD 缓存中缓存,进一步提高了性能。 |
2023 年 11 月 | 针对 CSV 引入的 PARSER 2.0 改进 | 适用于 COPY INTO 的 CSV 文件分析器版本 2.0 从 Microsoft Research 的数据平台和分析组进行了创新,使 CSV 文件引入在 Fabric 仓库上快速启动。 有关详细信息,请参阅 COPY INTO (Transact-SQL)。 |
2023 年 11 月 | 启用了快速计算资源分配 | 现在,Fabric 仓库中的所有查询执行都由最近作为全局资源治理组件的一部分部署的新技术提供支持,该组件以毫秒为单位分配计算资源。 |
2023 年 11 月 | 对仓库的 REST API 支持 | 借助仓库公共 API,SQL 开发人员现在可以实现其管道的自动化并方便高效地建立 CI/CD。 通过仓库 REST 公共 API,用户可以轻松管理和操作 Fabric 仓库项。 |
2023 年 11 月 | 对 Fabric 仓库的 SQLPackage 支持 | SQLPackage 现在支持 Fabric 仓库。 SqlPackage 是一种命令行实用工具,通过公开一些公共数据层应用程序框架 (DacFx) API 自动执行以下数据库开发任务。 通过 SqlPackage 命令行工具,可以指定这些操作以及特定于操作的参数和属性。 |
2023 年 11 月 | Power BI 语义模型 | Microsoft 已将 Power BI 数据集内容类型重命名为语义模型。 这也适用于 Microsoft Fabric 语义模型。 有关详细信息,请参阅 Power BI 数据集的新名称。 |
2023 年 11 月 | SQL 分析终结点 | Microsoft 已将 Lakehouse 的 SQL 终结点重命名为 湖屋的 SQL 分析终结点。 |
2023 年 11 月 | 动态数据屏蔽 | Lakehouse 中 Fabric 仓库和 SQL 分析终结点中的动态数据掩码 (DDM)。 有关详细信息和示例,请参阅《Fabric 数据仓库中的动态数据掩码》以及《如何在 Synapse 数据仓库中实现动态数据掩码》。 |
2023 年 11 月 | 使用时间旅行克隆表 | 现在,可以使用表克隆,以基于过去最多七个日历日的数据创建表的克隆。 |
2023 年 11 月 | 用户体验更新 | 仓库中的多项用户体验已上线。 有关详细信息,请参阅 Fabric 仓库用户体验更新。 |
2023 年 11 月 | 自动数据压缩 | 自动数据压缩会将许多较小的 parquet 文件重新写入几个较大的 parquet 文件,从而提高读取表时的性能。 数据压缩是帮助仓库提供出色性能的方法之一,且无需你付出任何努力。 |
2023 年 10 月 | 支持 sp_rename | 现在,对 T-SQL sp_rename 语法的支持已可用于仓库和 SQL 分析终结点。 有关详细信息,请参阅《Fabric Warehouse 对 sp_rename 的支持》。 |
2023 年 10 月 | 查询见解 | 查询见解功能是一种可缩放、可持续且可扩展的解决方案,可以增强 SQL 分析体验。 借助历史查询数据、聚合见解以及对实际查询文本的访问,你可以分析和优化查询性能。 |
2023 年 10 月 | 完整 DML 到 Delta Lake 日志 | Fabric 仓库现在将每个表的所有插入、更新和删除发布到其在 OneLake 中的 Delta Lake 日志。 |
2023 年 10 月 | V-Order 写入优化 | V-Order 将优化 parquet 文件,以便在 Microsoft Fabric 计算引擎(例如 Power BI、SQL、Spark 等)下实现瞬时读取。 这种优化通常能够使仓库查询受益,加快其读取速度,同时仍然确保 parquet 文件 100% 符合其开源规范。 从本月开始,引入到 Fabric 仓库的所有数据都会使用 V-Order 优化。 |
2023 年 10 月 | 可突发容量 | 可突发容量允许工作负载使用更多资源来提高性能。 可突发容量有限,它向后端计算资源应用了限制,极大地降低了带宽限制的风险。 有关详细信息,请参阅针对可突发容量的仓库 SKU 防护措施。 |
2023 年 10 月 | Synapse Data Warehouse 中的限制和平滑 | 新文章详细介绍了 Synapse Data Warehouse 中的限制和平滑行为,其中几乎所有活动都归类为后台,以在限制生效之前利用 24 小时的平滑窗口。 详细了解如何在 Synapse Data Warehouse 中观察利用率。 |
2023 年 9 月 | 默认语义模型改进 | 默认语义模型不再自动添加新对象。 可以在仓库项设置中启用此功能。 |
2023 年 9 月 | 部署管道现在支持仓库 | 部署管道使创建者能够在内容到达用户之前在服务中进行开发和测试。 支持的内容类型包括报表、分页报表、仪表板、语义模型、数据流以及新增的仓库。 了解如何使用 REST API 和 DevOps 以编程方式部署内容。 |
2023 年 9 月 | Microsoft Fabric 中仓库的 SQL 项目支持 | Azure Data Studio 和 Visual Studio Code 中提供的 SQL 数据库项目扩展现在支持 Microsoft Fabric Data Warehouse。 |
2023 年 9 月 | 公告:Fabric Warehouse 和 SQL 分析端点的列级和行级安全性 | Fabric Warehouse 和 SQL 分析终结点中的列级和行级安全性现在处于预览状态,其行为与 SQL Server 中的相同功能类似。 |
2023 年 9 月 | 使用情况报告 | 利用率和计费报告适用于 Microsoft Fabric 容量指标应用中的 Fabric 数据仓库。 有关详细信息,请阅读利用率和计费报告 Fabric 数据仓库。 |
2023 年 8 月 | 已启用 SSD 缓存 | 本地 SSD 缓存将会以高度优化的格式将经常访问的数据存储在本地磁盘上,从而显著降低 I/O 延迟。 这会立即使你受益,且不需要执行任何操作或进行配置。 |
2023 年 7 月 | 共享 | 工作区中的任何管理员或成员都可以与组织中的另一个收件人共享仓库。 还可以使用“管理权限”体验授予这些权限。 |
2023 年 7 月 | 表克隆 | 零复制克隆通过复制元数据创建表副本,同时引用 OneLake 中的相同数据文件。 这样可以避免存储数据的多个副本,因而在 Microsoft Fabric 中克隆表时可以节省存储成本。 有关详细信息,请参阅教程,了解如何使用 T-SQL 克隆表或在 Fabric 门户中克隆表。 |
2023 年 5 月 | 介绍 Microsoft Fabric 中的 Synapse 数据仓库 | Synapse 数据仓库是 Microsoft Fabric 中的下一代数据仓库,它是第一个本机支持开放数据格式 Delta-Parquet 的事务数据仓库。 |
Synapse 数据仓库示例和指南
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 掌握企业 T-SQL ETL/ELT:数据仓库和 Fabric 管道指南 | 了解企业级 ETL/ELT 框架的基本组件,该框架使用 Fabric 管道和数据仓库来执行 T-SQL 的转换。 此外,我们将检查一个动态 SQL 脚本,该脚本用于在整个企业中以增量方式处理表。 |
2024 年 4 月 | Fabric 改变游戏规则:将 Azure SQL 数据库镜像到 Microsoft Fabric | 将 Azure SQL 数据库镜像到 Microsoft Fabric 的分步指南。 |
2024 年 2 月 | 将 Azure Synapse 专用 SQL 池映射到 Fabric 数据仓库计算 | 阅读有关将 Azure Synapse Analytics 专用 SQL 池中的数据仓库单位 (DWU) 映射到大致同等数量 Fabric 容量单位 (CU) 的指南。 |
2024 年 1 月 | 使用数据工厂自动化构造数据仓库查询和命令 | 在 Fabric 数据工厂中,可以通过多种方式查询数据、检索数据,并使用很容易实现自动化的管道活动从仓库执行命令。 |
2023 年 11 月 | 从 Azure Synapse 专用 SQL 池进行迁移 | 有关如何从 Azure Synapse 数据仓库专用 SQL 池迁移到 Microsoft Fabric,我们提供了内含迁移 runbook 的详细指南。 |
2023 年 8 月 | 使用 Microsoft Fabric 进行高效数据分区:最佳做法和实施指南 | 一种使用 Fabric 笔记本进行数据分区的推荐方法。 数据分区是一种数据管理技术,用于将大型数据集划分为更小、更易于管理的子集(称为“分区”或“分片”)。 |
2023 年 5 月 | Microsoft Fabric - SQL 用户或 DBA 如何连接 | 此博客回顾了如何通过表格数据流或 TDS 终结点连接到 Lakehouse 的 SQL 分析终结点,这是所有与 SQL Server 终结点交互的新式 Web 应用程序所熟悉的。 |
Microsoft Fabric 中的实时智能
本部分汇总了 Microsoft Fabric 中实时智能的已存档的新改进和功能。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | Eventhouse 中的图形语义 | Eventhouse 中的图形语义允许用户将其数据建模为图形,并使用 Kusto 查询语言 (KQL) 执行高级图形查询和分析。 |
2024 年 6 月 | 使用 Data Activator 触发器在实时仪表板上设置警报 | 实时仪表板视觉对象现在支持警报,以使用 Data Activator 扩展监视支持。 与 Data Activator 集成后,当关键指标实时更改时,你将收到及时的警报。 |
2024 年 6 月 | OneLake 提供 Delta Lake 格式的 Eventhouse GA | 为兑现一个逻辑复制承诺,我们很高兴地宣布,OneLake 提供 Delta Lake 格式的 Eventhouse 已正式发布。 |
2024 年 6 月 | 实时仪表板 | 实时仪表板可与数据进行动态实时交互。 实时仪表板以原生方式可视化存储在 Eventhouse 中的数据。 实时仪表板仅支持 1 秒或 10 秒的超低刷新频率。 有关详细信息,请参阅使用实时仪表板可视化和浏览数据。 |
2024 年 5 月 | Eventhouse GA | Eventhouse 是一个托管多个 KQL 数据库的全新动态工作区,通常作为 Fabric 实时智能的一部分提供。 Eventhouse 提供了管理和分析大量实时数据的可靠解决方案。 使用入门指南来创建和管理 Eventhouse |
2024 年 5 月 | 实时智能的 Copilot | 用于实时智能的 Copilot 现已推出预览版! 对于已经是 KQL 爱好者的用户或正在探索其潜在用途的新用户来说,Copilot 可以帮助你轻松入门和浏览数据。 |
2024 年 5 月 | 使用实时智能自动执行 Fabric 项 | 了解如何以更加事件驱动的方式与数据管道、笔记本、Spark 作业进行交互。 |
2024 年 5 月 | 实时智能 | 本月发布了实时智能,这是实时分析和 Data Activator 的下一个演变。 |
2024 年 5 月 | 实时智能新预览功能 | 在 Build 2024 中,发布了实时智能的十几个新特性和功能,分为引入和处理、分析和转换以及可视化和操作等类别。 |
2024 年 5 月 | 实时中心预览版 | 实时中心是单一的、租户范围的、统一的、逻辑的位置,用于流式传输动态数据。 它使你能够轻松发现、引入、管理和使用来自各种来源的动态数据。 它列出了可以直接执行操作的所有流和 Kusto 查询语言 (KQL) 表。 它还提供了一种从 Microsoft 产品和 Fabric 事件引入流数据的简单方法。 有关详细信息,请参阅实时中心概述。 |
2024 年 5 月 | 获取事件预览 | 获取事件体验允许用户直接从实时中心、Eventstream、Eventhouse 和 Data Activator 连接到各种源。 凭借获取事件,将流式传输数据从 Microsoft 源直接引入 Fabric,获得一流的体验。 |
2024 年 5 月 | 增强 Eventstream 功能预览 | 借助增强的 Eventstream 功能,现在不仅可以使用我们新的消息传递连接器从 Microsoft 源流式传输数据,还可以从 Google Cloud、Amazon Kinesis、数据库变更数据捕获流等其他平台流式传输数据。 |
2024 年 5 月 | 事件流 - 增强功能预览 | 增强功能的预览版支持许多新源 - Google Cloud Pub/Sub、Amazon Kinesis Data Streams、Confluent Cloud Kafka、Azure SQL 数据库变更数据捕获 (CDC)、PostgreSQL 数据库 CDC、MySQL 数据库 CDC、Azure Cosmos DB CDC、Azure Blob 存储事件和 Fabric 工作区项事件,以及新的 Stream 目标。 它在可视化设计器中支持两种不同的模式,即编辑模式和实时视图。 它还支持基于数据流中内容的路由。 有关详细信息,请参阅什么是 Microsoft Fabric 事件流。 |
2024 年 4 月 | Kusto 缓存消耗预览版 | Kusto 缓存消耗预览版意味着你将看到来自 KQL 数据库和 Eventhouse 项目的 OneLake 缓存数据存储计量的计费消耗量。 有关详细信息,请参阅 KQL 数据库消耗。 |
2024 年 4 月 | Eventstream 中的暂停和继续功能预览版 | 借助暂停和继续功能,可以暂停来自 Eventstream 中各种源和目的地的数据流式处理。 然后可以从暂停时间或自定义时间无缝恢复数据流式处理,确保不会丢失任何数据。 |
2024 年 3 月 | 新表达式“更改依据”、“增加依据”和“减少依据” | 在 Data Activator 中设置触发器的条件时,我们添加了语法,使你能够按绝对数或百分比检测数据何时发生变化。 请参阅新表达式“更改依据”、“增加依据”和“减少依据”。 |
2024 年 3 月 | Fabric 实时智能与最新发布的适用于 Azure SQL 的数据库观察程序集成 | Azure SQL 用户可以将数据库观察程序监视解决方案与 Microsoft Fabric 配合使用。 适用于 Azure SQL 的数据库观察程序(预览版)提供高级监视功能,并且可以与 Eventhouse KQL 数据库集成。 |
2024 年 3 月 | 更新 KQL 数据库中的记录(预览版) | update 命令现作为预览功能提供。 详细了解如何更新 Kusto 数据库中的记录。 |
2024 年 3 月 | 从查询集查询 Azure 数据资源管理器数据 | 现在可以从 Fabric 的 KQL 查询集连接到 Azure 数据资源管理器群集并使用其中的数据。 |
2024 年 2 月 | Eventhouse 概述:使用 Microsoft Fabric 处理实时数据 | Eventhouse(预览版)是托管多个 KQL 数据库的动态工作区,是 Fabric 实时智能的一部分。 Eventhouse 提供了管理和分析大量实时数据的可靠解决方案。 使用入门指南来创建和管理 Eventhouse |
2024 年 2 月 | Delta Lake 表的 KQL DB 快捷方式支持基于名称的列映射 | KQL DB 现在支持读取具有列名称映射的 Delta 表。 借助列映射功能,Delta 表列和基础 Parquet 文件列可以使用不同的名称。 这样就可以在 Delta 表上执行增量架构演变操作,而无需重写基础 Parquet 文件,并让用户能够使用 Parquet 不允许的字符来命名 Delta 表列。 |
2024 年 2 月 | Delta Lake 表的 KQL DB 快捷方式支持删除向量 | KQL DB 现在可以读取具有删除向量的 Delta 表,通过将删除向量标记的删除应用到最新的表版本,从而解析当前表状态。 |
2024 年 2 月 | KQL DB 中的获取数据功能现在支持在通过 Eventstream 引入之前处理事件 | 使用“在 Eventstream 中引入前先进行事件处理”选项,可以在将数据引入目标表中之前对其进行处理。 选择此选项后,获取数据进程将继续在 Eventstream 中无缝执行,并自动填充目标表和数据源详细信息。 |
2024 年 2 月 | KQL DB 现在支持使用 Apache Flink 进行数据引入 | 使用开源 Flink 连接器,可以将数据从 Flink 发送到表。 使用 Azure 数据资源管理器和 Apache Flink,可以构建面向数据驱动型方案的可缩放快速应用程序。 |
2024 年 2 月 | 使用 Kusto Splunk 通用连接器将数据从 Splunk 通用转发器路由到 KQL DB | 现在可以使用 Kusto Splunk 通用连接器将数据从 Splunk 通用转发器发送到 KQL DB 中的表。 |
2023 年 12 月 | 在 KQL 数据库中运行报告时,在 Power BI 中计算非重复计数 | 新的 Fabric KQL 数据库 dcount 和 dcountif 函数使用特殊算法返回非重复计数的估计值,即使在极其庞大的数据集中也是如此。 新函数 count_distinct 和 count_distinctif 会返回精确的非重复计数。 |
2023 年 12 月 | 创建预配置了与 KQL DB 连接的笔记本 | 现在,只需从 KQLDB 编辑器创建新的笔记本,并预配置与 KQL 数据库的连接,就可以使用 PySpark 来浏览数据。 此选项创建了一个带有可执行代码单元格的 PySpark 笔记本,可以从所选的 KQL DB 中读取数据。 |
2023 年 12 月 | KQL 数据库架构验证 | 新的 Kusto 命令 .show database schema violations 旨在验证数据库架构的当前状态并查找不一致。 可以使用 .show database schema violations 对数据库或在 CI/CD 自动化中进行抽查。 |
2023 年 12 月 | 在 OneLake 中启用 KQL 数据库的数据可用性 | 能在 OneLake 中使用 KQL 数据库的数据,意味着能够同时享受到这两个工具的优势。 既可以在 KQL 数据库中以高性能和低延迟查询数据,还可以通过 Power BI Direct Lake 模式、仓库、湖屋、Notebooks 等多种方式在 Delta Parquet 中查询相同的数据。 |
2023 年 12 月 | Fabric 改变了游戏规则:实时智能 | 实时智能是一种强大的工具,在降低复杂性的同时简化了数据集成过程。 Microsoft Fabric 允许你使用 Eventstream 或 Spark Stream 生成实时流分析数据。 |
2023 年 11 月 | 宣布在 Real-Time Analytics KQL 数据库中推出 Delta Lake 支持 | 现在可以启用 Delta Lake 格式的 KQL 数据库的可用性。 选择 Delta Lake 作为统一的数据湖表格式是为了在 Microsoft Fabric 中实现跨所有计算引擎的无缝数据访问。 |
2023 年 11 月 | Microsoft Fabric 中的实时分析正式版 (GA) | 宣布推出 Microsoft Fabric 中的实时分析正式版! 实时分析提供众多功能,旨在提高数据分析的效率和有效性。 |
2023 年 11 月 | KQL 数据库中的增量 Parquet 支持 | 为兑现一个逻辑复制承诺,我们很高兴地宣布,KQL 数据库中的数据现在可以以增量 parquet 格式在 OneLake 中提供。 现在,可以通过从湖屋或仓库创建 OneLake 快捷方式或直接通过 Power BI Direct Lake 模式访问此增量表。 |
2023 年 11 月 | 适用于 KQL 数据库的开源连接器 | 现在支持多个用于实时分析的开源连接器,使用户能够从各种源引入数据并使用 KQL DB 对其进行处理。 |
2023 年 11 月 | 针对 KQL 数据库的 REST API 支持 | 我们很高兴地宣布推出适用于 KQL DB 的 REST 公共 API。 适用于 KQL DB 的公共 REST API 使用户能够以编程方式管理其流以及使其实现自动化。 |
2023 年 11 月 | Eventstream 现已正式发布 | Eventstream 现已正式发布,添加了旨在将数据处理体验提升到下一级别的增强功能。 |
2023 年 11 月 | 适用于 KQL 数据库的 Eventstream 数据转换 | 现在,可以在 Eventstream 中将数据流转换为实时数据,然后再将其发送到 KQL 数据库。 在 Eventstream 中创建 KQL 数据库目标时,可以将引入模式设置为“引入前进行事件处理”,并添加事件处理逻辑,例如筛选和聚合以转换数据流。 |
2023 年 11 月 | Splunk 加载项预览版 | 适用于 Splunk 的 Microsoft Fabric 加载项允许用户使用 Kusto python SDK 将来自 Splunk 平台的日志引入 Fabric KQL DB。 |
2023 年 11 月 | 在 Fabric 中的任意位置从 Eventstream 获取数据 | 如果正在处理其他 Fabric 项并想要从 Eventstream 引入数据,我们全新的“从 Eventstream 获取数据”功能简化了该过程,可让你在使用 KQL 数据库和湖屋时从 Eventstream 获取数据。 |
2023 年 11 月 | 湖屋目标的两种引入模式 | 我们为湖屋目标引入了两种不同的引入模式:每个文件的行数和持续时间。 |
2023 年 11 月 | 在将数据引入湖屋之前优化表 | 现在可在 Eventstream 湖屋目标中使用表优化快捷方式,以压缩湖屋表上生成的大量小型流式处理文件。 表优化快捷方式的工作原理是,打开包含 Spark 作业的笔记本,它将压缩目标 Lakehouse 表中的小型流式处理文件。 |
2023 年 11 月 | 在 Eventstream 中创建云连接 | 我们简化了在 Eventstream 中与 Azure 服务建立云连接的过程。 在将 Azure 资源(例如 Azure IoT 中心和 Azure 事件中心)添加到 Eventstream 时,你现在可以创建云连接并在 Eventstream 中输入 Azure 资源凭据。 此增强功能可显著改善向 Eventstream 添加新数据源的过程,从而节省时间和精力。 |
2023 年 11 月 | 在实时分析中获取数据:一种新的改进体验 | 新的“获取数据”体验简化了 KQL 数据库中的数据引入过程。 |
2023 年 10 月 | 扩展的自定义应用连接 | 新的新建自定义应用连接在将数据流引入 Eventstream 方面提供了更大的灵活性。 |
2023 年 10 月 | 增强事件处理器 UX | 新的无代码事件处理器 UX 改进提供了直观的体验,让你可以轻松地在画布上添加或删除操作。 |
2023 年 10 月 | Eventstream Kafka 终结点和示例代码 | 自定义应用功能在源和目标中具有新的终结点,包括为你提供便利的示例 Java 代码。 只需将其添加到应用程序,即可将实时事件流式传输到 Eventstream。 |
2023 年 10 月 | 事件处理编辑器 UX 改进 | 最近的 UX 改进推出了全屏模式,为设计数据处理工作流提供了更宽敞的工作区。 数据流操作的插入和删除变得更加直观了,以便更轻松地拖放和连接数据转换。 |
2023 年 10 月 | KQL 数据库自动缩放算法改进 | 用户无需担心需要多少资源来支持 KQL 数据库中的工作负载。 KQL 数据库具有复杂的内置多维自动缩放算法。 我们最近实现了一些优化,使一些时序分析变得更加高效。 |
2023 年 10 月 | 了解 Fabric KQL DB 容量 | 详细了解在 Microsoft Fabric 的 SaaS 世界中 KQL 数据库如何计费。 |
2023 年 9 月 | 从 KQL DB 到增量表的 OneLake 快捷方式 | 现在可以在 OneLake 中创建从 KQL DB 到增量表的快捷方式,从而实现就地数据查询。 现在可以直接从 KQL DB 查询 Lakehouse 或 Warehouse 中的增量表。 |
2023 年 9 月 | 使用 KQL 将数据建模为图形并进行查询 | Kusto 查询语言 (KQL) 现在允许将数据建模为图形并进行查询。 此功能目前以预览版提供。 要了解详细信息,请参阅 KQL 中的图形语义简介和 Graph 运算符和函数。 |
2023 年 9 月 | 从 Power BI Desktop 轻松连接到 KQL 数据库 | Power BI Desktop 在“获取数据”对话框和“OneLake 数据中心”菜单中发布了两种轻松连接到 KQL 数据库的新方法。 |
2023 年 9 月 | Eventstream 现在支持使用 AMQP 格式连接字符串进行数据引入 | AMQP 代表高级消息队列协议,该协议支持各种消息传送模式。 在 Eventstream 中,现在可以创建自定义应用源或目标,并选择 AMQP 格式连接字符串,以便将数据引入 Fabric 或使用 Fabric 中的数据。 |
2023 年 9 月 | Eventstream 支持从 Azure IoT 中心引入数据 | Azure IoT 中心是一种云托管的解决方案,提供安全信道,用于从 IoT 设备发送和接收数据。 在 Eventstream 中,现在可以将 Azure IoT 中心数据流式传输到 Fabric 中并执行实时处理,然后再将其存储在 Kusto 数据库或 Lakehouse 中。 |
2023 年 9 月 | Microsoft Fabric 中的实时数据共享 | 实时智能中的数据库快捷方式是在 KQL 数据库中嵌入的、对 Azure 数据资源管理器 (ADX) 中的源数据库的引用,允许就地数据共享。 数据库快捷方式展示的行为与 Azure 数据资源管理器后继数据库类似。 |
2023 年 8 月 | 预配优化 | KQL 数据库预配过程已得到优化。 现在,只需几秒钟即可创建 KQL 数据库。 |
2023 年 8 月 | KQL 数据库对内联 Python 的支持 | Fabric KQL 数据库支持使用 python() 插件运行 Kusto 查询语言 (KQL) 中嵌入的 Python 代码。 默认禁用该插件。 在开始之前,请在 KQL 数据库中启用 Python 插件。 |
2023 年 7 月 | Microsoft Fabric Eventstream:使用 Python、KQL 和 Power BI 生成实时见解 | Microsoft Fabric Eventstream是一种高吞吐量、低延迟的数据引入和转换服务。 |
2023 年 7 月 | 使用来自自定义应用程序的 Eventstream 将实时事件流式传输到 Microsoft Fabric | 实时智能下的 Eventstream 是 Fabric 中的一个集中式平台,使你能够毫不费力地捕获、转换实时事件并将其路由到多个目标,这一切都通过用户友好的无代码体验实现。 |
2023 年 6 月 | 揭开史诗般的机遇:探索实时智能的有趣游戏 | 作为 Kusto 侦探机构第 2 季 的一部分,我们很高兴为所有调查人员和数据爱好者提供一个史诗般的机会,以有趣而引人入胜的方式了解新作品集。 现在正在 https://detective.kusto.io/ 招聘! |
2023 年 5 月 | Kusto 中的新增功能 - 版本 2023! | 宣布在 Microsoft Fabric 中推出 Synapse 实时分析! |
实时智能示例和指南
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | Power BI 管理门户使用指标仪表板停用 | 自 2024 年 7 月起,已移除 Power BI 管理门户使用指标仪表板。 现在可通过管理员监视工作区(预览版)开箱即用地支持可比见解。 管理员监视工作区提供了多个 Power BI 报表和语义模型,包括侧重于 Fabric 租户清单和审核活动监视的功能使用情况和采用报告。 |
2024 年 5 月 | 根据实时中心的数据发出警报并采取行动 | Microsoft Fabric 的新实时中心和 Data Activator 提供一种无代码体验,用于在更改的数据中检测到模式或条件时自动采取行动,并嵌入在实时中心周围,随时可用于创建警报。 |
2024 年 5 月 | 将 API 与 Fabric 实时智能配合使用:Eventhouse 和 KQL DB | 了解如何使用 KQL API 在 Fabric 中创建/更新/删除项,以及访问资源的数据平面。 |
2024 年 5 月 | 使用“获取事件”体验连接和流式传输事件 | “获取事件”体验简化了浏览和搜索源和流的过程。 |
2024 年 5 月 | 使用增强 Eventstream 从新源获取实时数据 | 了解如何连接到 Eventstream 中的新源。 首先创建事件流并选择“增强功能(预览版)”。 |
2024 年 3 月 | 使用“获取数据”功能浏览 Azure 资源 | 了解如何使用“获取数据”中的“浏览 Azure”功能浏览和连接到所有 Azure 资源。 可以首先浏览 Azure 资源,然后轻松连接到 Synapse、blob 存储或 ADLS Gen2 资源。 |
2023 年 11 月 | 语义链接:使用 Great Expectations 进行数据验证 | Great Expectations Open Source (GX OSS) 是一个热门的 Python 库,它提供了一个框架来描述和验证可接受的数据状态。 借助 Microsoft Fabric 语义链接的最新集成,GX 现在可以访问语义模型,进一步实现数据科学家与业务分析师之间的无缝协作。 |
2023 年 11 月 | 探索 Eventstream 中的数据转换,以实现 KQL 数据库集成 | 深入了解一个使用现实中共享单车数据的实操方案,了解如何计算每条街道上每分钟租用的自行车数,利用 Eventstream 强大的事件处理程序,掌握实时数据转换,并毫不费力地将处理后的数据导入你的 KQL 数据库。 |
2023 年 10 月 | 使用 Microsoft Fabric Real-Time Analytics 从 RabbitMQ 到 PowerBI 报表 | 将数据从 RabbitMQ 发送到 Microsoft Fabric 中的 KQL 数据库的端到端方案演练。 |
2023 年 10 月 | 将 Azure IoT 中心数据流式传输到 Fabric Eventstream 以用于电子邮件警报 | 在数据流到达各种 Fabric 目标(例如 Lakehouse、KQL 数据库和 Reflex)前使用 Fabric Eventstream 无缝引入和转换实时数据流的演示。 然后,使用 Data Activator 触发器在 Reflex 中配置电子邮件警报。 |
2023 年 9 月 | 实时智能示例库 | 实时智能现在提供了一个包含多个数据集的综合示例库,可让你快速浏览、学习和入门。 通过从实时智能体验主页选择使用示例来访问示例。 |
2023 年 9 月 | 快速入门:使用 Java 从 Apache Kafka 生态系统将数据发送到 Fabric 中的实时智能 | 了解如何将数据从 Kafka 发送到 Fabric 中的实时智能。 |
2023 年 6 月 | 从原始数据到见解:如何将数据从 Azure 事件中心引入 KQL 数据库 | 了解 Azure 事件中心与 KQL 数据库之间的集成。 |
2023 年 6 月 | 从原始数据到见解:如何将数据从 Eventstream 引入 KQL 数据库 | 了解 Eventstream 与 KQL 数据库之间的集成,这两者都是实时智能体验的一部分。 |
2023 年 6 月 | 发现将数据导入 KQL 数据库的最佳方式 | 此博客介绍了 将数据引入 KQL 数据库 的不同选项。 |
2023 年 6 月 | 开始使用 KQL 浏览数据 - 一种用于 PB 级数据分析的专用工具 | 在此博客中,我们将重点介绍在实时智能中查询数据的不同方法。 |
2023 年 5 月 | 使用 Microsoft Fabric 事件流引入、转换和路由实时事件 | 现在,可以使用 Microsoft Fabric 事件流通过无代码体验引入、捕获、转换和路由实时事件并将其路由到 Microsoft Fabric 中的各种目标 。 |
Microsoft Fabric 核心功能
Microsoft Fabric 体验的已存档新闻和功能公告。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 5 月 | Microsoft Fabric 专用链接 GA | 适用于 Microsoft Fabric 的 Azure 专用链接通过提供网络隔离并在入站网络流量上应用需要的控制,从而保护对 Microsoft Fabric 中敏感数据的访问。 有关详细信息,请参阅宣布正式发布 Fabric 专用链接。 |
2024 年 5 月 | 受信任工作区访问权限 GA | OneLake 快捷方式中的受信任工作区访问权限现已正式发布。 现在,可以使用 Fabric 数据管道中受信任的工作区访问(预览版)创建数据管道,以访问启用了防火墙的 Azure Data Lake Storage Gen2 (ADLS Gen2) 帐户。 利用工作区标识在 Fabric 和存储帐户之间建立安全无缝的连接。 借助受信任的工作区访问权限,还可以从 Fabric 中的 OneLake 快捷方式安全且无缝地访问 ADLS Gen2 存储帐户。 |
2024 年 5 月 | Fabric API 演练 | 了解如何在 Fabric 中使用 REST API,包括创建工作区,添加权限,删除、创建、执行数据管道,以及如何使用管理 API 暂停/恢复 Fabric 活动。 |
2024 年 5 月 | 托管专用终结点 GA | 借助 Microsoft Fabric 托管专用终结点(预览版),可以通过托管虚拟网络安全连接到防火墙后面的数据源,或者无法从公共互联网访问的数据源。 有关详细信息,请参阅宣布正式发布 Fabric 专用链接、受信任工作区访问权限和托管专用终结点。 |
2024 年 5 月 | Fabric UX 系统 | Fabric UX 系统代表了 Microsoft Fabric 在设计一致性和可扩展性方面的飞跃。 |
2024 年 5 月 | Microsoft Fabric Core REST API | Microsoft Fabric Core API 现已正式发布。 Fabric 用户 API 是企业和合作伙伴使用 Microsoft Fabric 的主要推动者,因为它们实现了与服务的端到端全自动交互、使 Microsoft Fabric 能够集成到外部 Web 应用程序中,且通常使客户和合作伙伴能够更轻松地缩放其解决方案。 |
2024 年 5 月 | Microsoft Fabric 管理员 API 预览版 | Fabric 管理员 API 旨在简化管理任务。 现在,可以使用同一组 API 管理 Power BI 和新 Fabric 项(以前称为项目)。 在此增强功能之前,必须使用两个不同的 API 进行导航:一个用于 Power BI 项,另一个用于新的 Fabric 项。 |
2024 年 5 月 | Fabric 工作负载开发工具包(预览版) | Microsoft Fabric 工作负载开发工具包可扩展到其他工作负载,并提供强大的开发人员工具包,用于使用前端 SDK 和后端 REST API 设计、开发以及与 Microsoft Fabric 互操作。 |
2024 年 5 月 | 外部数据共享简介(预览版) | 外部数据共享(预览版)是一项新功能,使 Fabric 用户可与另一 Fabric 租户中的用户共享其 Fabric 租户中的数据。 |
2024 年 5 月 | Microsoft Fabric 中的任务流(预览版) | Microsoft Fabric 中任务流的预览版已为所有 Microsoft Fabric 用户启用。 凭借 Fabric 任务流,在设计数据项目时,不再需要使用白板来绘制项目的不同部分及其相互关系。 相反,可以使用任务流构建此关键信息并将其引入项目本身。 |
2024 年 5 月 | Power BI:订阅、许可证和试用版 | 有关 Power BI 实现规划和规划 Power BI 和 Fabric 的订阅、许可证和试用版的关键注意事项的信息。 |
2024 年 5 月 | 注册 Microsoft Build:Microsoft Fabric 云技能挑战赛 | 从 2024 年 5 月 21 日起,注册 Microsoft Build:Microsoft Fabric 云技能挑战赛,并准备考试 DP-600 和上级技能和提升 Fabric 分析工程师助理认证的技能。 |
2024 年 3 月 | Microsoft Fabric 现在符合 HIPAA | 我们很高兴地宣布,我们面向企业推出的一站式分析解决方案 Microsoft Fabric 已获得新的 HIPAA 和 ISO 27017、ISO 27018、ISO 27001、ISO 27701 认证。 |
2024 年 3 月 | 工作区中的文件夹预览版 | 作为工作区中的组织单位,文件夹通过提供用于组织和管理项的分层结构来解决此难点。 有关详细信息,请参阅在工作区内创建文件夹(预览版)。 |
2024 年 3 月 | Fabric Copilot 定价:端到端示例 | Fabric 中的 Copilot 将于 2024 年 3 月 1 日开始计费,作为现有 Power BI Premium 或 Fabric 容量的一部分。 了解如何计算 Fabric Copilot 使用量。 |
2024 年 3 月 | 容量平台的暂停/继续功能、容量指标、虚拟化项目以及适用于 Copilot 和 VNET 网关的工作负载更新 | Fabric 容量平台现在支持有关暂停/继续以及支持 Copilot、容量指标和 VNET 网关的虚拟化项目和工作区的使用情况报告。 有关详细信息,请参阅暂停/继续的容量平台更新以及适用于 Copilot 和 VNET 网关的容量指标。 |
2024 年 2 月 | Microsoft Fabric 托管专用终结点(预览版) | 借助 Microsoft Fabric 托管专用终结点(预览版),可以安全连接到防火墙后面的数据源,或者无法从公共互联网访问的数据源。 具有托管专用终结点的工作区通过 Microsoft Fabric 创建的托管虚拟网络进行网络隔离。 有关详细信息,请参阅推出 Microsoft Fabric 托管专用终结点(预览版)。 |
2024 年 2 月 | Azure 专用链接对 Microsoft Fabric 的支持(预览版) | 适用于 Microsoft Fabric 的 Azure 专用链接通过提供网络隔离并在入站网络流量上应用需要的控制,从而保护对 Microsoft Fabric 中敏感数据的访问。 有关详细信息,请参阅宣布 Azure 专用链接支持 Microsoft Fabric(预览版)。 |
2024 年 2 月 | OneLake 中的域(预览版) | OneLake 中的域有助将数据组织为逻辑数据网格,从而方便联合身份治理并根据业务需求进行优化。 现在可以为用户创建子域、默认域,并在域之间移动工作区。 有关详细信息,请参阅 Fabric 域。 |
2024 年 2 月 | 可自定义的 Fabric 导航栏 | 现在可以在导航栏中自定义首选入口点,包括固定常用入口点和取消固定很少使用的选项。 |
2024 年 2 月 | 工作区中的持久筛选器 | 现在可以将所选筛选器保存在工作区列表视图中,下次打开工作区时会自动应用这些筛选器。 |
2023 年 12 月 | Microsoft Fabric 管理员 API 预览版 | Fabric 管理员 API 旨在简化管理任务。 Fabric 管理员 API 的初始设置旨在简化工作区、Fabric 项目和用户访问详细信息的发现。 |
2023 年 12 月 | Fabric 和 Power BI 中的工作区保留更改 | 协作工作区的保留期可配置为 7 到 90 天。 默认情况下,将启用工作区保留设置,默认保留期为 7 天。 |
2023 年 11 月 | Fabric 工作负载现已正式发布! | Microsoft Fabric 现已正式发布! Microsoft Fabric Synapse Data Warehouse、数据工程和数据科学、实时分析、数据工厂、OneLake 以及整体的 Fabric 平台现已正式发布。 |
2023 年 11 月 | Microsoft Fabric 用户 API 预览版 | 我们很高兴地宣布推出 Microsoft Fabric 用户 API 预览版。 Fabric 用户 API 是企业和合作伙伴使用 Microsoft Fabric 的主要推动者,因为它们实现了与服务的端到端全自动交互、使 Microsoft Fabric 能够集成到外部 Web 应用程序中,且通常使客户和合作伙伴能够更轻松地缩放其解决方案。 |
2023 年 10 月 | 项目类型图标 | 我们的设计团队已经完成了整个平台上项目类型图标的返工,以改进视觉分析。 |
2023 年 10 月 | 基于关键字的租户设置筛选 | Microsoft Fabric 最近在管理门户中为租户设置页面引入了基于关键字的筛选。 |
2023 年 9 月 | 监视中心 - 列选项 | 监视中心内的列选项可为用户提供更出色的自定义体验和更大的操作空间。 |
2023 年 9 月 | OneLake 文件资源管理器 v1.0.10 | OneLake 文件资源管理器会自动同步你在 Windows 文件资源管理器中有权访问的所有 Microsoft OneLake 项。 使用最新版本时,可以在使用 OneLake 文件资源管理器应用和 Fabric Web 门户之间无缝转换。 还可以右键单击 Windows 通知区域中的 OneLake 图标,然后选择“诊断操作”以查看客户端站点日志。 详细了解开放工作区和项的在线便捷访问。 |
2023 年 8 月 | 多任务导航改进 | 现在,即使刷新页面,所有 Fabric 项也都会在导航窗格的单个浏览器选项卡中打开。 这确保你可以刷新页面,而不必担心丢失上下文。 |
2023 年 8 月 | 监视中心对个性化列选项的支持 | 我们更新了监视中心,允许用户对特定于活动的列进行个性化设置。 现在,你可以灵活地显示与所关注的活动相关的列。 |
2023 年 7 月 | 新的 OneLake 文件资源管理器更新,支持切换组织帐户 | 使用 OneLake 文件资源管理器 v1.0.9.0 时,可以轻松地在不同的 Microsoft Entra ID(前身为 Azure Active Directory)帐户之间进行选择和切换。 |
2023 年 7 月 | “帮助”窗格 | “帮助”窗格具有功能感知功能,会显示有关当前 Fabric 屏幕上可用操作和功能的文章。 有关详细信息,请参阅每月 Fabric 更新中的“帮助”窗格。 |
Microsoft Fabric 中的持续集成/持续交付 (CI/CD)
本部分包括有关 Microsoft Fabric 工作区中开发过程、工具和版本控制的指导和文档更新。
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 在 Fabric Git 集成中引入新分支功能 | Fabric Git 集成中的新分支功能包括重新设计的源代码管理窗格、快速创建新的连接工作区和分支的能力,以及查找与当前工作区相关的内容的上下文相关分支。 |
2024 年 5 月 | CI/CD 的部署管道 API | 从“部署”API 开始,已引入 Fabric 部署管道 API,该 API 允许部署整个工作区或仅部署选择的项目。 |
2024 年 5 月 | Fabric CI/CD 中的新项 | 数据管道、仓库、Spark 和 Spark 作业现在可用于 git 集成和部署管道中的 CI/CD。 |
2024 年 4 月 | 推出在 Fabric 数据管道中访问受信任工作区的功能 | 在 Fabric 中创建数据管道,以轻松安全地访问已启用防火墙的 ADLS Gen2 存储帐户。 此功能利用工作区标识在 Fabric 和存储帐户之间建立安全无缝的连接。 |
2024 年 3 月 | 用于 Fabric 数据管道的 CI/CD 预览版 | Git 集成以及与内置部署管道到数据工厂数据管道的集成现已提供预览版。 有关详细信息,请参阅数据工厂向 Fabric 数据管道添加 CI/CD。 |
2024 年 3 月 | Git 集成的系统文件更新 | 自动生成的系统文件 item.metadata.json 和 item.config.json 已合并到单个系统文件 .platform 中。 有关详细信息,请参阅自动生成的系统文件。 |
2024 年 2 月 | 适用于 Fabric Git 集成的 REST API | 适用于 Fabric Git 集成的 REST API 可将 Fabric Git 集成无缝整合到团队的端到端 CI/CD 管道中,而无需手动触发 Fabric 中的操作。 |
2024 年 2 月 | Git 集成设置的委派 | 要启用对 Git 相关设置的更多控制,租户管理员现在可以通过什么是管理门户?将这些设置委托给容量管理员和工作区管理员。 |
2023 年 11 月 | Microsoft Fabric 用户 API | Microsoft Fabric 用户 API 现已推出。 Fabric 用户 API 是企业和合作伙伴使用 Microsoft Fabric 的主要推动者,因为它们实现了与服务的端到端全自动交互、使 Microsoft Fabric 能够集成到外部 Web 应用程序中,且通常使客户和合作伙伴能够更轻松地缩放其解决方案。 |
2023 年 11 月 | 部署管道中的笔记本(预览版) | 现在,还可以使用笔记本跨不同环境(例如开发、测试和生产)部署代码。 还可以使用部署规则来自定义部署笔记本时的行为,例如更改笔记本的默认湖屋。 开始使用部署管道,笔记本将自动在部署内容中显示。 |
2023 年 11 月 | 笔记本 Git 集成预览版 | Fabric 笔记本现提供 Git 集成,用于通过 Azure DevOps 进行源代码管理。 它允许用户利用 Fabric Git 函数和 Azure DevOps 轻松控制笔记本代码版本并管理 Git 分支。 |
2023 年 11 月 | 笔记本 REST API 预览版 | 借助适用于笔记本项的 REST 公共 API,数据工程师/数据科学家可以自动执行管道,并方便高效地建立 CI/CD。 笔记本 Restful 公共 API 使用户可以轻松地管理和操作 Fabric 笔记本项,并将笔记本与其他工具和系统集成。 |
2023 年 11 月 | 对 git 集成和部署管道的湖屋支持(预览版) | 湖屋项目现与 Microsoft Fabric 中的生命周期管理功能集成,可在产品的整个生命周期内实现所有开发团队成员之间的标准化协作。 生命周期管理会持续向多个环境提供功能和 bug 修复,从而促进有效的产品版本控制和发布过程。 |
2023 年 11 月 | 对 Fabric 仓库的 SQLPackage 支持 | SQLPackage 现在支持 Fabric 仓库。 SqlPackage 是一种命令行实用工具,通过公开一些公共数据层应用程序框架 (DacFx) API 自动执行以下数据库开发任务。 通过 SqlPackage 命令行工具,可以指定这些操作以及特定于操作的参数和属性。 |
2023 年 9 | Microsoft Fabric 中仓库的 SQL 项目支持 | Azure Data Studio 和 Visual Studio Code 中提供的 SQL 数据库项目扩展现在支持 Microsoft Fabric Data Warehouse。 |
2023 年 9 月 | Synapse VS Code 扩展中的笔记本文件系统支持 | Synapse VS Code 扩展现在支持 Microsoft Fabric 中用于数据工程和数据科学的笔记本文件系统。 Synapse VS Code 扩展使用户能够在 Visual Studio Code 环境中直接开发其笔记本项目。 |
2023 年 9 月 | 部署管道现在支持仓库 | 部署管道使创建者能够在内容到达用户之前在服务中进行开发和测试。 支持的内容类型包括报表、分页报表、仪表板、语义模型、数据流以及新增的仓库。 了解如何使用 REST API 和 DevOps 以编程方式部署内容。 |
2023 年 9 月 | Git 与 Power BI 中的分页报表集成 | 现在可以发布 Power BI 分页报表,并将其与 git 工作区保持同步。 开发人员可以应用其开发流程、工具和最佳做法。 |
2023 年 8 月 | 介绍 Microsoft Fabric 中 Synapse 数据仓库的 dbt 适配器 | dbt 适配器允许连接数据并将其转换为 Synapse Data Warehouse。 数据生成工具 (dbt) 是一个开源框架,可简化数据转换和分析工程。 |
2023 年 5 月 | 介绍 Microsoft Fabric 中的 git 集成,实现无缝源代码管理 | 在 Fabric 中开发时,开发人员可以使用 git 分支备份和版本化其工作、根据需要回滚、协作或独立工作。 详细了解 如何将工作区连接到 Azure 存储库。 |
持续集成/持续交付 (CI/CD) 示例
月 | 功能 | 了解详细信息 |
---|---|---|
2024 年 6 月 | 开始使用专用工作区进行隔离开发 | 在本演练中,我们将讨论如何从主分支为专用工作区设置 git(该分支连接到共享开发团队工作区),以及如何将更改从专用工作区提交到共享工作区的主分支。 |
2024 年 3 月 | Microsoft Fabric 生命周期管理 – Git 集成和部署管道入门 | 通过演示场景了解生命周期管理的要点,并探索什么是生命周期管理以及它在 Fabric 中的含义。 |
Fabric Data Activator
本部分汇总了 Microsoft Fabric 中的 Data Activator 的已存档的新特性和功能。
月 | 功能 | 了解详细信息 |
---|---|---|
2023 年 10 月 | 宣布推出 Data Activator 预览版 | 我们很高兴地宣布,Data Activator 现提供预览版,并且已为所有现有的 Microsoft Fabric 用户启用。 |
2023 年 8 月 | 更新了有关触发器设计的预览体验 | 我们一直在研究设计触发器的新体验,现已将其在预览版中推出! 现在,每个触发器中会显示三个卡片:“选择”、“检测”和“执行”。 |
2023 年 5 月 | 使用 Data Activator 从数据驱动操作 | Data Activator 是一种新的无代码 Microsoft Fabric 体验,使业务分析师能够自动从数据中推动操作。 若要了解详细信息,请注册使用 Data Activator 有限预览版。 |
Fabric 和 Microsoft 365
本部分包含有关 Microsoft Fabric 与 Microsoft Graph 和 Microsoft 365 集成的文章和公告。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 3 月 | 分析 Microsoft Fabric 中的 Dataverse 表 | 在 Fabric 中创建快捷方式时,现在将看到 Dataverse 的选项。 当选择此快捷方式类型并指定 Dataverse 环境详细信息时,可以快速查看和使用该环境中的表。 |
2023 年 11 月 | Fabric + Microsoft 365 数据:更好的整合 | Microsoft Graph 是 Microsoft 365 中数据和智能的网关。 适用于 Microsoft Fabric 的 Microsoft 365 数据集成 使你能够通过一套分析体验在一个位置管理 Microsoft 365 和其他数据源。 |
2023 年 11 月 | Microsoft 365 连接器现在支持将数据引入湖屋(预览版) | Microsoft 365 连接器现在支持将数据引入湖屋表。 |
2023 年 10 月 | Microsoft OneLake 为 Power Platform 和 Dynamics 365 添加了快捷方式支持 | 现可直接在 Dataverse 中创建 Dynamics 365 和 Power Platform 数据的快捷方式,并使用 Microsoft Fabric 将其与其余 OneLake 数据一起进行分析。 无需导出数据、生成 ETL 管道或使用合作伙伴集成工具。 |
2023 年 5 月 | 启用 Microsoft Fabric for Microsoft 365 开发人员帐户的分步指南 | 此博客回顾了如何使用 Microsoft 365 开发人员帐户和 Fabric 免费试用版 启用 Microsoft Fabric。 |
2023 年 5 月 | 将 Microsoft 365 数据与 Microsoft Fabric 更好地组合在一起 | 适用于 Microsoft Fabric 的 Microsoft 365 数据集成 使你能够通过一套分析体验在一个位置管理 Microsoft 365 和其他数据源。 |
迁移
本部分包括有关迁移到 Microsoft Fabric 的指南和文档更新。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 2 月 | 将 Azure Synapse 专用 SQL 池映射到 Fabric 数据仓库计算 | 阅读有关将 Azure Synapse Analytics 专用 SQL 池中的数据仓库单位 (DWU) 映射到大致同等数量 Fabric 容量单位 (CU) 的指南。 |
2023 年 11 月 | 从 Azure Synapse 专用 SQL 池进行迁移 | 有关如何从 Azure Synapse 数据仓库专用 SQL 池迁移到 Microsoft Fabric,我们提供了内含迁移 runbook 的详细指南。 |
2023 年 11 月 | 从 Azure Synapse Spark 迁移到 Fabric | 有关将 Azure Synapse Spark 迁移到 Microsoft Fabric 的详细文章集,包括可能涉及多个方案和阶段的迁移过程。 |
2023 年 7 月 | Fabric 带来重大改变 - OneLake 集成 | 此博客文章介绍了 OneLake 集成和多个方案,以引入 Fabric Onelake 中的数据,包括 ADLS、ADF、OneLake Explorer、Databricks。 |
2023 年 6 月 | Microsoft Fabric 带来重大改变:导出数据并构建 Lakehouse | 此博客文章介绍了 将数据从 Azure SQL Database 导出到 OneLake 的方案。 |
2023 年 6 月 | 使用 Microsoft Fabric 将数据大规模复制到 Azure SQL | 你是否知道可以使用 Microsoft Fabric 在几分钟内将数据从支持的数据源大规模复制到 Azure SQL 数据库或 Azure SQL 托管实例? |
2023 年 6 月 | 将大型机 DB2 z/OS 数据引入 Microsoft Fabric | 在此博客中,我们回顾了在 Microsoft Fabric 中打开 DB2 for z/OS 数据的便利性和易用性。 |
监视
本部分包含有关监视 Microsoft Fabric 容量和利用率(包括 监视中心)的指南和文档更新。
Month | 功能 | 了解详细信息 |
---|---|---|
2024 年 3 月 | 暂停和继续的容量指标支持 | 结构容量指标已使用新的系统事件和对帐逻辑进行更新,以简化暂停容量的分析。 Fabric 暂停和继续是一项容量管理功能,可用于暂停 F SKU 容量来管理成本。 当容量无法正常运行时,可以暂停它以节省成本,然后,如果以后想要继续对容量的工作,则可以重新激活它。 |
2023 年 10 月 | Synapse Data Warehouse 中的限制和平滑 | 新文章可帮助你了解 Fabric 容量限制。 当租户在一段时间内的消耗多于购买的容量资源时,就会发生限制。 |
2023 年 9 月 | 监视中心 - 列选项 | 用户可以根据监视中心内的自定义需求选择和重新排序列。 |
2023 年 9 月 | Fabric 容量 - 你需要了解的最近更新和即将推出的所有内容 | 详细了解我们对 Fabric 和 Power BI 用户的 Fabric 容量管理平台所做的改进。 |
2023 年 9 月 | Microsoft Fabric 容量指标 | Microsoft Fabric 容量指标应用在应用源中提供,可用于各种计费和利用率报告。 |
2023 年 8 月 | 监视中心对个性化列选项的支持 | 监视中心允许用户对特定于活动的列进行个性化设置。 现在,你可以灵活地显示与所关注的活动相关的列。 |
2023 年 5 月 | Microsoft Fabric 中的容量指标 | 详细了解 通用计算容量和 Fabric 的容量指标管理功能,管理员可使用这些功能来 监视使用情况 并做出数据驱动的扩展决策。 |
Microsoft Purview
本部分汇总了有关 Microsoft Fabric 中 Microsoft Purview 的治理和合规性功能的存档公告。 详细了解 Microsoft Fabric 中的信息保护。
Month | 功能 | 了解详细信息 |
---|---|---|
2023 年 5 月 | Microsoft Fabric 中的管理、安全和治理 | Microsoft Fabric 提供由 Microsoft Purview 提供支持的内置企业级治理和合规性功能。 |