本概述总结了 Microsoft Fabric 中提供的 Spark 监视 API。 它适用于需要 Spark 应用程序的可靠监视和诊断功能的开发人员和数据工程师。
Fabric Spark 监控 API
Fabric 提供 API 来监视工作区和项级别的 Spark 应用程序，以及单个 Spark 应用程序的详细诊断。
工作区和 Item-Level API
| 应用程序接口 | 说明 |
|---|---|
| 工作区中的 Spark 应用程序 | 检索工作区中的 Spark 应用程序列表。 |
| 用于笔记本的 Spark 应用程序 | 检索与笔记本关联的 Spark 应用程序的列表。 |
| 用于 Spark 作业定义的 Spark 应用程序 | 检索与 Spark 作业定义关联的 Spark 应用程序的列表。 |
| Lakehouse 的 Spark 应用程序 | 检索与 Lakehouse 关联的 Spark 应用程序的列表。 |
单个 Spark 应用程序 API
这些 API 用于深入探讨诊断，为单个 Spark 应用程序提供全面的详细信息、指标和日志。
| 应用程序接口 | 说明 |
|---|---|
| 笔记本运行过程 | 检索执行特定笔记本运行的 Spark 应用程序的详细信息。 |
| Spark 作业定义提交 | 检索通过 Spark 作业定义启动的 Spark 应用程序的详细信息。 |
| Lakehouse操作 | 检索由 Lakehouse 操作触发的 Spark 应用程序的详细信息。 |
| Spark 开源指标 API | 与 Spark History Server API 完全一致，用于收集 Spark 指标。 |
| Livy 日志 | 检索 Spark Livy 日志以获取详细的会话级别信息。 |
| 驱动程序日志 | 访问驱动程序日志以调试应用程序级问题。 |
| 执行程序日志 | 检索执行程序日志以排查分布式执行问题。 |
| 资源使用情况 API | 监视 Spark 资源使用情况信息。 |
后续步骤
使用以下资源快速访问API以列出Livy会话以及获得Spark应用程序的详细诊断。
- 工作区和项目级别 API
列出所有已完成且处于活动状态的 Livy 会话。
- 工作区 - 会话列表（Spark）
- 笔记本 - 查看会话（笔记本）
- Spark 作业定义 - 会话列表（Spark 作业定义）
- Lakehouse - 会话列表（Lakehouse）
单个 Spark 应用程序 API
a。 获取应用程序详细信息
- 笔记本 - 获取 Livy 会话（笔记本）
- Spark 作业定义 - 获取 Livy 会话（SparkJobDefinition）
- Lakehouse - Get Livy Session （Lakehouse）
b. 检索日志和指标