湖屋查询浏览器是一个集成的查询编辑器,直接嵌入在湖屋浏览器中。 无需离开资源管理器即可针对 Lakehouse 数据编写和运行 Spark SQL 查询。 无需切换到 SQL 分析终结点或创建笔记本即可快速浏览数据。
查询浏览器使用 Apache Spark 作为执行引擎,利用 lakehouse Livy 端点。 获得与 Spark 笔记本相同的 SQL 方言、对读取和写入操作的支持,以及高效查询大型数据集的功能。
打开查询浏览器
可以通过以下方式从 Lakehouse 资源管理器中打开查询资源管理器:
- 顶部导航菜单 - 从顶部导航菜单中选择 “新建 SparkSQL 查询 ”。 空白查询选项卡会直接在 Lakehouse 资源管理器中打开。
-
左侧导航菜单 - 右键单击资源管理器树中的任何表、视图或快捷方式,然后选择 “新建 SparkSQL 查询”。 此时会打开包含预填充
SELECT * FROM <table> LIMIT 100语句的查询选项卡。
当查询资源管理器打开时,左侧的资源管理器树仍会显示,因此您可以在编写查询时参考架构和表。
查询编辑器功能
查询编辑器为 Spark SQL 提供高效的创作体验:
-
IntelliSense — 表名、列名、架构和 SQL 函数的自动完成。 键入
FROM后,IntelliSense 会提示可用的湖仓、架构和表。 在查询中引用表时,将显示列建议。 将鼠标悬停在表名上,即可在弹出窗口中查看其列。 - 语法突出显示 - 颜色编码的 SQL 关键字、标识符和文本。
- 格式 - 在工具栏中选择 “格式” 以自动缩进和构建 SQL。
- 运行和取消 — 选择 “运行 ”以执行查询,或 选择“取消” 以停止正在运行的查询。
- 行号和代码折叠 - 折叠长查询部分以便于导航。
动态选项卡
可以同时打开多个查询选项卡,并立即在它们之间切换。 每个选项卡单独维护自己的查询文本、执行状态和结果。
若要打开新选项卡,请从功能区或上下文菜单中选择 “新建 SparkSQL 查询 ”。 若要关闭选项卡,请选择选项卡上的 X 。关闭一个选项卡不会影响其他选项卡。
需要同时浏览数据的不同方面时,动态选项卡非常有用。 例如,一个订单选项卡,一个客户选项卡,以及一个区域细分选项卡。
注释
选项卡不会跨会话持久存在。 如果关闭或离开 Lakehouse,将丢失所有打开的选项卡及其查询内容。
运行查询
从查询窗口工具栏中选择“ 运行 ”时,查询资源管理器将连接到使用 Lakehouse Livy 终结点的轻型 Spark 会话,并针对快速启动进行优化。
查询资源管理器底部的状态栏显示当前会话状态:
| 地位 | Meaning |
|---|---|
| 未连接 | 当前没有活动的 Spark 会话。 |
| 启动会话 | 新的 Spark 会话正在初始化(仅限冷启动)。 |
| 正在执行查询 | 查询正在运行。 |
| 会话就绪 | 会话处于活动状态,可供下一个查询使用。 |
在后续查询(热启动)中,执行将立即开始,而无需执行“正在启动会话”步骤。
支持的 SQL 语句
查询资源管理器支持所有 Spark SQL 语句,包括:
- SELECT——跨架构和湖仓查询和探索数据。
- DML — 用于数据修改的插入、更新、删除和合并。
- DDL - CREATE VIEW、CREATE TABLE、ALTER 和 DROP 进行架构管理。
- 实用工具语句 - DESCRIBE、SHOW TABLES、SHOW SCHEMAS 和其他元数据查询。
注释
查询浏览器不支持创建物化视图。 如果查询资源浏览器检测到物化视图语法,系统会弹出一个对话框,提示你改用笔记本。
跨架构和跨 Lakehouse 查询
你可以在同一湖仓中跨不同架构查询表,在同一工作区中的多个湖仓之间查询,甚至在不同工作区中的湖仓之间查询——所有这些操作都可在一个查询选项卡中完成。
-
跨架构 — 使用
schema_name.table_name语法引用表(例如,SELECT * FROM sales.orders JOIN marketing.campaigns ON ...)。 -
Cross-lakehouse - 使用完全限定的路径
workspace_name.lakehouse_name.schema_name.table_name查询其他 Lakehouse 中的表。
Tip
将引用的 Lakehouse 添加到资源管理器窗格中(使用 Add lakehouse),以启用跨 Lakehouse 查询的 IntelliSense 建议。 即使不添加该引用,查询也能成功执行,但将无法获得自动补全支持。
Results
查询结果显示在编辑器下方的网格中。 结果网格提供:
- 列排序 — 选择列标题以按升序或降序排序。
- 搜索和筛选 - 内联筛选结果以查找特定值。
- 行计数指示器 - 显示返回的行数。 默认情况下,结果上限为 1,000 行。 当结果被截断时,会显示清晰的提示。
- 复制 - 选择单元格并使用 Ctrl+C 进行复制。 粘贴到Excel或其他工具中。
- 导出 - 下载 CSV、JSON 或 XML 格式的结果。
- 内联图表 - 直接从结果集中创建条形图、折线图、饼图和其他图表类型。 更改图表类型或基础数据时,图表会更新。 不需要可视化代码。
创建视图
可以直接从查询资源管理器创建视图,以将有用的查询保留为可重用资产。 视图会自动显示在 Lakehouse 资源管理器树中,并与表一起显示。
可通过两种方法创建视图:
SQL 语句 - 在编辑器中编写并运行
CREATE VIEW语句。 有关 Spark 视图的详细信息,请参阅 Lakehouse 中的 Spark 视图。CREATE VIEW my_view AS SELECT customer_id, SUM(amount) AS total FROM sales.orders GROUP BY customer_id另存为视图 — 运行 SELECT 查询后,选择工具栏中的 “另存为视图 ”。 提供对话框中视图的名称。
注释
你需要对 Lakehouse 进行写入访问权限才能创建视图。 如果没有写入权限,则视图创建将返回权限错误。
Limitations
- 仅限 Spark SQL — 查询浏览器支持 Spark SQL。 不支持 PySpark、Scala 和 R。 对于多语言支持,请使用 笔记本。
- 不保存查询 - 不会跨会话保留查询。 若要保留有用的查询,请将其另存为视图。
- 无查询历史记录 - 不存储以前的查询。 计划在后续版本中推出查询保存和历史记录功能。
- 不支持创建具体化视图 - 不支持具体化视图 (MLV) 创建。 使用笔记本创建具体化视图。
- 没有实时协作 — 查询资源管理器不支持实时共同创作。
- 不支持查询调度 — 如需按计划执行查询,请使用 管道 或笔记本。