通过使用 Lakehouse 查询浏览器查询数据

湖屋查询浏览器是一个集成的查询编辑器,直接嵌入在湖屋浏览器中。 无需离开资源管理器即可针对 Lakehouse 数据编写和运行 Spark SQL 查询。 无需切换到 SQL 分析终结点或创建笔记本即可快速浏览数据。

查询浏览器使用 Apache Spark 作为执行引擎,利用 lakehouse Livy 端点。 获得与 Spark 笔记本相同的 SQL 方言、对读取和写入操作的支持,以及高效查询大型数据集的功能。

湖屋查询浏览器的动画正在运行。

打开查询浏览器

可以通过以下方式从 Lakehouse 资源管理器中打开查询资源管理器:

  • 顶部导航菜单 - 从顶部导航菜单中选择 “新建 SparkSQL 查询 ”。 空白查询选项卡会直接在 Lakehouse 资源管理器中打开。
  • 左侧导航菜单 - 右键单击资源管理器树中的任何表、视图或快捷方式,然后选择 “新建 SparkSQL 查询”。 此时会打开包含预填充 SELECT * FROM <table> LIMIT 100 语句的查询选项卡。

当查询资源管理器打开时,左侧的资源管理器树仍会显示,因此您可以在编写查询时参考架构和表。

查询编辑器功能

查询编辑器为 Spark SQL 提供高效的创作体验:

  • IntelliSense — 表名、列名、架构和 SQL 函数的自动完成。 键入 FROM 后,IntelliSense 会提示可用的湖仓、架构和表。 在查询中引用表时,将显示列建议。 将鼠标悬停在表名上,即可在弹出窗口中查看其列。
  • 语法突出显示 - 颜色编码的 SQL 关键字、标识符和文本。
  • 格式 - 在工具栏中选择 “格式” 以自动缩进和构建 SQL。
  • 运行和取消 — 选择 “运行 ”以执行查询,或 选择“取消” 以停止正在运行的查询。
  • 行号和代码折叠 - 折叠长查询部分以便于导航。

动态选项卡

可以同时打开多个查询选项卡,并立即在它们之间切换。 每个选项卡单独维护自己的查询文本、执行状态和结果。

若要打开新选项卡,请从功能区或上下文菜单中选择 “新建 SparkSQL 查询 ”。 若要关闭选项卡,请选择选项卡上的 X 。关闭一个选项卡不会影响其他选项卡。

需要同时浏览数据的不同方面时,动态选项卡非常有用。 例如,一个订单选项卡,一个客户选项卡,以及一个区域细分选项卡。

注释

选项卡不会跨会话持久存在。 如果关闭或离开 Lakehouse,将丢失所有打开的选项卡及其查询内容。

运行查询

从查询窗口工具栏中选择“ 运行 ”时,查询资源管理器将连接到使用 Lakehouse Livy 终结点的轻型 Spark 会话,并针对快速启动进行优化。

查询资源管理器底部的状态栏显示当前会话状态:

地位 Meaning
未连接 当前没有活动的 Spark 会话。
启动会话 新的 Spark 会话正在初始化(仅限冷启动)。
正在执行查询 查询正在运行。
会话就绪 会话处于活动状态,可供下一个查询使用。

在后续查询(热启动)中,执行将立即开始,而无需执行“正在启动会话”步骤。

支持的 SQL 语句

查询资源管理器支持所有 Spark SQL 语句,包括:

  • SELECT——跨架构和湖仓查询和探索数据。
  • DML — 用于数据修改的插入、更新、删除和合并。
  • DDL - CREATE VIEW、CREATE TABLE、ALTER 和 DROP 进行架构管理。
  • 实用工具语句 - DESCRIBE、SHOW TABLES、SHOW SCHEMAS 和其他元数据查询。

注释

查询浏览器不支持创建物化视图。 如果查询资源浏览器检测到物化视图语法,系统会弹出一个对话框,提示你改用笔记本。

跨架构和跨 Lakehouse 查询

你可以在同一湖仓中跨不同架构查询表,在同一工作区中的多个湖仓之间查询,甚至在不同工作区中的湖仓之间查询——所有这些操作都可在一个查询选项卡中完成。

  • 跨架构 — 使用 schema_name.table_name 语法引用表(例如,SELECT * FROM sales.orders JOIN marketing.campaigns ON ...)。
  • Cross-lakehouse - 使用完全限定的路径 workspace_name.lakehouse_name.schema_name.table_name 查询其他 Lakehouse 中的表。

Tip

将引用的 Lakehouse 添加到资源管理器窗格中(使用 Add lakehouse),以启用跨 Lakehouse 查询的 IntelliSense 建议。 即使不添加该引用,查询也能成功执行,但将无法获得自动补全支持。

Results

查询结果显示在编辑器下方的网格中。 结果网格提供:

  • 列排序 — 选择列标题以按升序或降序排序。
  • 搜索和筛选 - 内联筛选结果以查找特定值。
  • 行计数指示器 - 显示返回的行数。 默认情况下,结果上限为 1,000 行。 当结果被截断时,会显示清晰的提示。
  • 复制 - 选择单元格并使用 Ctrl+C 进行复制。 粘贴到Excel或其他工具中。
  • 导出 - 下载 CSV、JSON 或 XML 格式的结果。
  • 内联图表 - 直接从结果集中创建条形图、折线图、饼图和其他图表类型。 更改图表类型或基础数据时,图表会更新。 不需要可视化代码。

创建视图

可以直接从查询资源管理器创建视图,以将有用的查询保留为可重用资产。 视图会自动显示在 Lakehouse 资源管理器树中,并与表一起显示。

可通过两种方法创建视图:

  • SQL 语句 - 在编辑器中编写并运行 CREATE VIEW 语句。 有关 Spark 视图的详细信息,请参阅 Lakehouse 中的 Spark 视图。

    CREATE VIEW my_view AS
    SELECT customer_id, SUM(amount) AS total
    FROM sales.orders
    GROUP BY customer_id
    
  • 另存为视图 — 运行 SELECT 查询后,选择工具栏中的 “另存为视图 ”。 提供对话框中视图的名称。

注释

你需要对 Lakehouse 进行写入访问权限才能创建视图。 如果没有写入权限,则视图创建将返回权限错误。

Limitations

  • 仅限 Spark SQL — 查询浏览器支持 Spark SQL。 不支持 PySpark、Scala 和 R。 对于多语言支持,请使用 笔记本。
  • 不保存查询 - 不会跨会话保留查询。 若要保留有用的查询,请将其另存为视图。
  • 无查询历史记录 - 不存储以前的查询。 计划在后续版本中推出查询保存和历史记录功能。
  • 不支持创建具体化视图 - 不支持具体化视图 (MLV) 创建。 使用笔记本创建具体化视图。
  • 没有实时协作 — 查询资源管理器不支持实时共同创作。
  • 不支持查询调度 — 如需按计划执行查询,请使用 管道 或笔记本。