Microsoft Fabric 中的湖屋是什么?

Microsoft Fabric 湖屋是一个数据体系结构平台,用于在单个位置存储、管理和分析结构化数据和非结构化数据。 这是一种灵活且可缩放的解决方案,让组织能够使用各种工具和框架处理大量数据,以处理和分析这些数据。 它与其他数据管理和分析工具集成,为数据工程和分析提供了一种全面的解决方案。

Gif of overall lakehouse experience.

Lakehouse SQL 分析终结点

Lakehouse 通过在创建期间自动生成 SQL 分析终结点和默认语义模型来创建服务层。 通过这种新的透视功能,用户能够直接在湖中的 Delta 表上工作,从而从数据引入到报告,全程提供顺畅且高性能的体验。

请务必注意,SQL 分析终结点是只读体验,不支持事务数据仓库的完整 T-SQL 外围应用。

注意

SQL 分析终结点中只有 Delta 格式的表可用。 无法使用 SQL 分析终结点查询 Parquet、CSV 和其他格式。 如果未看到表,则需要将其转换为 Delta 格式。

自动表发现和注册

自动表发现和注册是湖屋的一项功能,它为数据工程师和数据科学家提供将文件完全托管到表的体验。 可将文件放入湖屋的托管区域,系统会自动验证此文件是否采用支持的结构化格式,并使用必要的元数据(例如列名、格式、压缩等)将此文件注册到元存储中。 (目前唯一支持的格式是 Delta 表。)然后,可以将文件引用为表,并使用 SparkSQL 语法与数据交互。

与湖屋项交互

数据工程师可以通过多种方式与湖屋和湖屋中的数据进行交互:

  • 湖屋资源管理器:资源管理器是主要的湖屋交互页面。 可将数据加载到 Lakehouse,使用对象资源管理器浏览 Lakehouse 中的数据,还可设置 MIP 标签以及其他标记。 详细了解资源管理器体验:导航 Fabric 湖屋资源管理器

  • 笔记本:数据工程师可使用笔记本编写代码,以表和/或文件夹的形式直接读取、转换和写入湖屋。 若要详细了解如何在湖屋中使用笔记本,可参阅:使用笔记本浏览湖屋中的数据,以及如何使用笔记本将数据加载到湖屋

  • 管道:数据工程师可以使用数据集成工具(例如管道复制工具)从其他源拉取数据并将其放入湖屋。 若要详细了解如何使用复制活动,请参阅:如何使用复制活动复制数据

  • Apache Spark 作业定义:数据工程师可以开发可靠的应用程序,并协调用 Java、Scala 和 Python 编译的 Spark 作业的执行。 若要详细了解 Spark 作业,请参阅:Apache Spark 作业的定义是什么?

  • Dataflows Gen 2:数据工程师可以使用 Dataflows Gen 2 来引入和准备其数据。 若要详细了解如何使用数据流加载数据,请参阅:创建第一个数据流来获取和转换数据

详细了解将数据加载到湖屋的不同方法:将数据引入 Fabric 湖屋的选项

使用湖屋进行多任务

多任务体验提供的浏览器选项卡设计可让你在多个项之间无缝打开和切换,从而比以往更高效地管理数据湖屋。 不必在不同窗口之间疲于奔波,也不会丢失任务跟踪。 Lakehouse 提供了增强的多任务体验,使你的数据管理之旅尽可能高效且用户友好,并具有以下功能:

  • 保留正在运行的操作:可以在一个选项卡中上传或运行数据加载操作,并在另一个选项卡中检查另一个任务。通过增强的多任务处理,在选项卡之间导航时,不会取消正在运行的操作。 你可以专注于你的工作,而不会中断。

  • 保留上下文: 在选项卡之间切换时,所选对象、数据表或文件将保持打开且就绪可用。 数据湖屋的上下文始终触手可及。

  • 非阻止列表重载:文件和表列表的非阻止重载机制。 列表在后台刷新时,你可以继续工作。 它可确保你拥有最新的数据,同时为你提供流畅和不间断的体验。

  • 定义明确的通知:Toast 通知会指定它们来自哪个湖屋,便于更轻松地跟踪多任务环境中的更改和更新。

无障碍湖屋设计

辅助功能一直是确保 Lakehouse 对所有人具有包容性且用户友好的首要任务。 以下是我们迄今为支持辅助功能而实施的关键举措:

  • 屏幕阅读器兼容性:你可以与常用的屏幕阅读器无缝配合工作,使视觉障碍的用户能够有效地导航和与平台交互。

  • 文本重排:适应不同屏幕大小和方向的响应式设计。 文本和内容动态重排,让用户更轻松地在各种设备上查看和交互应用程序。

  • 键盘导航:改进了键盘导航,允许用户在不依赖鼠标的情况下在湖屋中移动,从而提升运动障碍人士的体验。

  • 图像的替换文字:所有图像现在都包含描述性的替换文字,使屏幕阅读器能够传达有意义的信息。

  • 窗体字段和标签:所有窗体字段都有关联的标签,简化了每个人的数据输入工作,包括使用屏幕阅读器的输入。

在本概述中,你对湖屋有了基本的了解。 请继续查看下一篇文章,了解如何创建和使用自己的湖屋: